Seq vs Seq: a suíte Ettin de codificadores e decodificadores emparelhados

TL;DR

• Ettin apresenta as primeiras versões de ponta a ponta emparelhadas entre codificadores (encoder) e decodificadores (decoder), treinadas com dados idênticos, formatos de modelo idênticos e receitas de treinamento idênticas fonte.
• A suíte cobre seis escalas, variando de 17 milhões a 1 bilhão de parâmetros, tanto para encoders quanto para decoders fonte.
• A formação segue uma receita de três fases: pré-treinamento em 1,7 trilhões de tokens com contextos curtos, Extensão de Contexto para 8K tokens em 250 bilhões de tokens e uma fase de Decaimento com 100 bilhões de tokens de fontes premium fonte.
• Todo o conjunto de dados de treinamento é público e reproduzível, permitindo comparações justas; encoders se destacam em classificação e recuperação, enquanto decoders lideram na geração fonte.
• Em benchmarks, modelos Ettin superam ou igualam baselines como Llama 3.2 1B e SmolLM2, com ganhos acentuados em tarefas com alto conteúdo de conhecimento, como SciQ fonte.

Contexto e antecedentes

A comunidade de LLMs tem se concentrado amplamente em modelos apenas de decodificador (decoder) como GPT, Llama e Qwen para geração, enquanto modelos apenas de codificador (encoder) continuam a ser centrais para tarefas de produção como classificação, recuperação e embeddings. Encoders costumam ser mais rápidos e consomem menos memória para tarefas discriminativas, mas historicamente ficaram atrás em capacidades generativas em comparação com decoders. Ettin oferece uma comparação justa entre as duas arquiteturas, treinadas com os mesmos dados, formatos de modelo e receitas, sendo as únicas diferenças o padrão de atenção e o objetivo de treinamento. O projeto leva o nome do gigante mitológico noruegês Ettin, refletindo sua abordagem de arquiteturas emparelhadas. Todo o dado utilizado é público e reproduzível, fortalecendo o compromisso com ciência aberta e reprodutibilidade. Você pode continuar treinando esses modelos com dados novos ou propor uma nova receita para melhorar ainda mais os resultados fonte.

O que há de novo

Ettin apresenta uma suíte coerente de seis modelos para cada arquitetura, abrangendo de 17M a 1B de parâmetros. A mesma base de dados, formatos de modelo e receita de treinamento é aplicada a ambas as famílias para permitir comparações justas entre padrões de atenção e objetivos. Especificamente:

• Dois objetivos de treinamento são explorados em um cenário controlado: mascaramento de linguagem (MLM) para encoders e modelagem de linguagem causal (CLM) para decoders. A mesma base de dados e receita é aplicada a ambos, permitindo uma análise justa de arquitetura vs. objetivo.
• O regime de dados é aberto e reprodutível: os dados de treinamento são públicos, permitindo que pesquisadores reproduzam resultados ou estendam o treinamento com novos dados.
• Ettin emprega uma abordagem de treinamento em três fases, semelhante à linha do ModernBERT, com extensão de contexto para capturar dependências de longo alcance. Fase 1 pré-treina com 1,7T tokens e contextos curtos (1024) para fundar conhecimentos básicos; Fase 2 amplia o contexto para 8K tokens com dados filtrados de alta qualidade; Fase 3 utiliza 100B tokens de fontes premium e reduz gradualmente a taxa de aprendizado fonte.
• Os modelos encoders e decoders entregam desempenho de ponta para modelos abertos em várias tarefas e tamanhos. Em várias avaliações, encoders Ettin superam o ModernBERT, enquanto decoders Ettin superam ou igualam baselines consolidadas como Llama 3.2 e SmolLM2, com ganhos notáveis em tarefas de alto conteúdo de conhecimento, como SciQ fonte.
• Os resultados destacam vantagens arquiteturais fundamentais que persistem quando dados, receitas e escalas são controlados: encoders se destacam em classificação e recuperação, enquanto decoders mantêm vantagem em geração, com o desempenho se consolidando à medida que o tamanho aumenta. Um experimento adicional trocando o objetivo após o treinamento inicial sugere que a escolha da arquitetura importa além do próprio objetivo, impactando dinâmica de aprendizado e comportamento, inclusive em métricas de viés como WinoGender fonte.
• Para pesquisadores e profissionais, Ettin oferece boilerplates prontos e um caminho claro para reproduzir ou ampliar o trabalho. Os autores convidam usuários a experimentar os modelos e considerar fluxos de trabalho de classificação, recuperação e geração com encoders ou decoders fonte.

Por que isso importa (impacto para desenvolvedores/empresas)

A contribuição central de Ettin é permitir comparações justas entre arquiteturas de encoder e decoder sob as mesmas condições de dados e receitas. Isso facilita a escolha da base certa para uma aplicação, seja um modelo discriminativo rápido para dispositivos ou um sistema generativo mais capaz para tarefas de contexto longo. O caráter aberto dos dados facilita a reprodução e adaptação por equipes que desejam treinar modelos de ponta com dados próprios. Em termos práticos, equipes podem avaliar qual arquitetura melhor atende a tarefas de classificação e recuperação versus geração, entender como a escala afeta o desempenho sob uma semântica de dados comum e examinar se a mudança de objetivo influencia o comportamento do modelo de forma mensurável em cenários de produção fonte.

Detalhes técnicos ou Implementação

A suíte Ettin reúne seis escalas de modelo para cada arquitetura (encoder e decoder), variando de 17M a 1B de parâmetros. Em ambas as famílias, a mesma base de dados, formatos de modelo e receita de treinamento é aplicada, para assegurar comparações justas entre padrões de atenção. A rotina de treinamento em três fases é um recurso central: 1) pré-treinamento em 1,7T tokens com contextos curtos (1024) para consolidar fundamentos; 2) extensão de contexto para 8K tokens usando dados filtrados de alta qualidade; 3) fase de decaimento com 100B tokens de fontes premium, com redução gradual da taxa de aprendizado. Um experimento chave envolveu continuar o treinamento por mais 50B tokens com o objetivo oposto (MLM para encoders, CLM para decoders) para estudar como os objetivos moldam a aprendizagem sob a mesma arquitetura e regime de dados. A natureza aberta dos dados e dos componentes de treino permite que pesquisadores explorem vantagens de arquitetura e dynamics de viés com dados transparentes fonte.

Principais conclusões

• Ettin estabelece um framework justo para comparar arquitetura de encoder e decoder, usando dados, formatos e receitas idênticos.
• Encoders tendem a dominar tarefas de classificação e recuperação, mesmo em tamanhos menores, enquanto decoders mantêm vantagens em geração, especialmente conforme a escala cresce.
• A cobertura de seis escalas (17M–1B) para ambas as famílias oferece opções de implantação variadas, desde modelos rápidos para uso em dispositivos até sistemas maiores com alto desempenho.
• Todo o dado de treinamento de Ettin é público e reproduzível, facilitando a replicação, extensão e melhorias pela comunidade.
• Um experimento que reverteu o objetivo após o treinamento inicial mostra que a arquitetura importa além do objetivo, com impactos observáveis nas métricas e no comportamento do modelo, inclusive em métricas de viés.
• Ettin oferece boilerplates prontos para uso, promovendo um caminho claro para experimentar modelos abertos em tarefas de classificação, recuperação e geração fonte.

Referências

• https://huggingface.co/blog/ettin