FilBench: LLMs Entendem e Geram Filipino? Um Olhar Profundo sobre Tagalog e Cebuano

TL;DR

• FilBench é uma suíte de avaliação abrangente para Tagalog, Filipino e Cebuano, construída sobre o Lighteval, testando 20+ LLMs de ponta em quatro categorias: Conhecimento Cultural, NLP Clássico, Compreensão de Leitura e Geração.
• Modelos SEA específicos com peso aberto (ex.: SEA-LION, SeaLLM) costumam obter as pontuações mais altas no FilBench nessas línguas, mas o GPT-4o continua sendo uma referência sólida entre modelos fechados.
• Modelos com peso aberto costumam ser mais baratos de operar do que modelos comerciais, tornando tarefas em filipino mais acessíveis; ajuste fino com dados específicos da SEA rende ganhos de 2–3% no FilBench.
• Tarefas de geração ainda são as mais desafiadoras para os modelos, com problemas como falhas em seguir instruções de tradução, verbosidade excessiva e alucinações de outra língua.
• FilBench está disponível como tarefas comunitárias no repositório oficial do Lighteval e no leaderboard FilBench hospedado pela HuggingFace, com o Llama 4 Maverick sugerido como alternativa prática ao GPT-4o para tarefas em filipino.

Contexto e antecedentes

Filipinos estão entre os usuários mais ativos do ChatGPT globalmente, ocupando a quarta posição em tráfego, mas faltam avaliações sistemáticas voltadas a línguas filipinas. Evidências anedóticas — como capturas de tela de respostas em filipino — não substituem uma avaliação rigorosa da capacidade de Tagalog e Cebuano. Para preencher essa lacuna, nasceu o FilBench, uma suíte de avaliação para mensurar fluência, desempenho linguístico, precisão de tradução e conhecimento cultural para Tagalog, Filipino (forma padronizada de Tagalog) e Cebuano. O FilBench avalia 20+ LLMs de ponta em quatro categorias principais: Conhecimento Cultural, NLP Clássico, Compreensão de Leitura e Geração, com 12 tarefas no total. Cada tarefa fornece uma métrica agregada. A pontuação FilBench é calculada como uma média ponderada entre as categorias, permitindo comparação entre modelos sem perder nuances. A avaliação é construída sobre o framework Lighteval e utiliza pares de tradução (Inglês → Tagalog ou Cebuano) para termos comuns (por exemplo, yes = oo, no = hindi, true = totoo) para ancorar os templates. O FilBench é publicado como um conjunto de tarefas comunitárias no repositório oficial do Lighteval e os resultados estão disponíveis no leaderboard FilBench da HuggingFace. O trabalho também reconhece apoio da Cohere Labs (créditos para a série de modelos Aya) e Together AI para créditos computacionais, além de contribuições da equipe Hugging Face e da comunidade OpenEvals.

O que há de novo

O FilBench apresenta uma estrutura de avaliação voltada para línguas filipinas com quatro categorias e 12 tarefas, incluindo um conjunto de tarefas para cada área. As tarefas são projetadas para refletir as prioridades históricas e atuais da pesquisa em NLP para línguas filipinas entre 2006 e o início de 2024. Observa-se que a maior parte das categorias foca conteúdo não traduzido para manter a fidelidade ao uso natural do idioma. Detalhes de implementação:

• Quatro categorias com 12 tarefas no total, cada uma entregando uma métrica agregada.
• Um FilBench Score único, calculado como média ponderada das categorias.
• Avaliação específica de idioma usando pares de tradução (Inglês → Tagalog ou Cebuano) para termos comuns.
• FilBench disponível como tarefas comunitárias no repositório oficial do Lighteval e via o leaderboard FilBench na HuggingFace.
• O estudo destaca a eficiência de modelos abertos em termos de custo, observando que modelos que você pode baixar gratuitamente da HuggingFace costumam ter desempenho competitivo para o seu tamanho. Na prática, LLMs específicos da SEA, como SEA-LION e SeaLLM, costumam alcançar as maiores pontuações no FilBench para Tagalog, Filipino e Cebuano entre modelos de tamanho semelhante. Contudo, o GPT-4o permanece como uma referência forte, e em alguns casos supera esses modelos abertos da SEA. Os resultados também apontam para o valor de continuar coletando dados de instrução filipinos/SEA para ajuste fino, o que pode render ganhos adicionais de cerca de 2–3% no FilBench. Uma percepção importante é que a geração é a área mais desafiadora: modelos costumam ter dificuldade em seguir instruções de tradução, produzir saídas excessivamente longas ou alucinar outra língua em vez de Tagalog ou Cebuano. Esses achados ressaltam a necessidade de melhorias específicas em geração, alinhamento de instruções e consistência entre línguas. FilBench também destaca a necessidade prática de soluções acessíveis na Filipinas: com infraestrutura de internet limitada e renda mais baixa, é fundamental usar LLMs acessíveis e eficientes em termos de custo e computação. O estudo identifica modelos de código aberto que oferecem desempenho competitivo para deployment local. Para desenvolvedores, o FilBench oferece um caminho claro para avaliar modelos antes da integração e orientar decisões de aquisição. O leaderboard da HuggingFace e o espaço FilBench facilitam a comparação entre modelos e o acompanhamento do progresso.

Por que isso importa (impacto para desenvolvedores/empresas)

FilBench traduz capacidades gerais de LLM em insights acionáveis para as línguas filipinas, o que é crucial em regiões com conectividade limitada e orçamentos restritos. Modelos abertos com boa eficiência permitem alcance maior a serviços de educação, governo, negócios e usuários finais. Algumas conclusões relevantes para equipes que planejam implantar soluções em filipino:

• Modelos SEA específicos com peso aberto costumam oferecer o melhor equilíbrio entre desempenho e eficiência para Tagalog, Filipino e Cebuano, o que os torna pontos de partida atrativos para implantação com orçamento limitado.
• Modelos fechados como o GPT-4o continuam como referência de alto desempenho, justificando a adoção em tarefas críticas onde a precisão máxima é essencial.
• Ajustar com dados específicos da SEA para instrução pode gerar ganhos de 2–3%, justificando esforços de curadoria de dados regionais.
• A geração continua sendo o aspecto mais desafiador, o que recomenda investir em alinhamento de instruções, outputs mais sucintos e consistência entre línguas para melhorar a experiência do usuário.
• O FilBench oferece uma forma prática de medir progressos, com modelos abertos que muitas vezes chegam a equilíbrio custo/desempenho adequado, promovendo maior acesso e inovação local. Do ponto de vista estratégico, FilBench apoia decisões de investimento em NLP regional, mostrando que é viável combinar desempenho com acessibilidade. Ele também reforça a importância de coletar dados filipinos para treinar modelos voltados a geração e tradução. A disponibilidade de tarefas comunitárias e um leaderboard aberto facilita reproduções, comparações e melhorias contínuas.

Detalhes técnicos ou Implementação

FilBench usa o Lighteval para estruturar a avaliação de LLMs, definindo avaliação específica por idioma por meio de pares de tradução (Inglês → Tagalog ou Cebuano) para termos comuns. As quatro categorias e as 12 tarefas foram selecionadas para refletir prioridades históricas e atuais da pesquisa de NLP para línguas filipinas entre 2006 e início de 2024. Vale notar que a maioria das categorias apresenta conteúdo não traduzido para manter a fidelidade ao uso natural dessas línguas. A FilBench Score é uma métrica única representativa obtida pela média ponderada das categorias, permitindo comparação entre modelos sem perder as nuances de cada área. O conjunto de tarefas é acessível como tarefas comunitárias no repositório oficial do Lighteval, com resultados visíveis no leaderboard FilBench na HuggingFace. Detalhes adicionais de implementação:

• Quatro categorias: Conhecimento Cultural, NLP Clássico, Compreensão de Leitura e Geração.
• Cada categoria contém várias tarefas, com a métrica global derivada de uma média ponderada.
• Par de traduções para avaliação de linguagem específico (Inglês → Tagalog ou Cebuano) para termos comuns.
• FilBench está disponível como tarefas comunitárias no repositório oficial do Lighteval e no leaderboard FilBench da HuggingFace.
• O estudo destaca a eficiência de modelos abertos em termos de custo, apontando que modelos disponíveis para download costumam oferecer desempenho competitivo em relação ao seu tamanho. O estudo também reconhece suporte externo, incluindo créditos da Cohere Labs para rodar a série Aya e credits computacionais da Together AI para modelos abertos; há colaboração com a equipe OpenEvals e apoio da Hugging Face na publicação do trabalho.

Tabela: categorias e foco do FilBench

| Categoria | Foco

Observações

• A maioria das categorias utiliza conteúdo não traduzido para refletir o uso natural das línguas filipinas.
• FilBench foi desenhado para ser acessível a pesquisadores e desenvolvedores, com um caminho claro para replicação via o repositório Lighteval.

Principais conclusões

• FilBench oferece um método estruturado e reprodutível para avaliar Tagalog, Filipino e Cebuano em quatro dimensões de NLP.
• Modelos SEA específicos com peso aberto costumam oferecer o melhor equilíbrio entre desempenho e eficiência para essas línguas, embora GPT-4o permaneça como uma linha de base forte.
• Dados de instrução da SEA para ajuste fino resultam em ganhos de 2–3% no FilBench.
• Geração continua sendo a área mais desafiadora, exigindo melhorias em seguimento de instruções e consistência entre línguas.
• Modelos abertos costumam oferecer vantagens de custo, apoiando maior acesso em contextos locais.
• O FilBench está disponível como tarefas comunitárias no Lighteval e no leaderboard da HuggingFace, promovendo benchmarking contínuo e melhoria.

Referências

• https://huggingface.co/blog/filbench