FilBench : Les LLMs comprennent et génèrent le filipino (Tagalog, Cebuano) ?

TL;DR

• FilBench est une suite d’évaluation complète pour Tagalog, Filipino et Cebuano, construite sur Lighteval, testant 20+ LLMs d’état de l’art sur quatre catégories : connaissance culturelle, NLP classique, compréhension en lecture et génération.
• Les LLMs SEA spécifiques à poids libre (par exemple SEA-LION, SeaLLM) obtiennent souvent les scores les plus élevés sur FilBench pour ces langues, mais GPT-4o reste une référence solide parmi les modèles propriétaires.
• Les modèles à poids libre sont généralement moins coûteux à déployer que les modèles commerciaux, ce qui rend les tâches en filipino plus accessibles; l’affinage avec des données SEA spécifiques peut apporter des gains de 2–3 % sur FilBench.
• Les tâches de génération restent le point le plus complexe pour la plupart des modèles, avec des échecs tels que mauvaise exécution des instructions de traduction, verbosité excessive ou hallucination d’une autre langue.
• FilBench est disponible en tant que tâches communautaires dans le dépôt officiel de Lighteval et sur le leaderboard FilBench de HuggingFace, avec Llama 4 Maverick proposé comme alternative pratique au GPT-4o pour les tâches en filipino.

Contexte et arrière-plan

Les Philippines comptent parmi les utilisateurs les plus actifs de ChatGPT au niveau mondial, se classant quatrième en termes de trafic, mais il manquait une évaluation systématique des performances des LLMs pour les langues philippines. Les preuves anecdotiques, telles que des captures d’écran montrant des réponses en filipino, ne permettent pas d’évaluer rigoureusement Tagalog et Cebuano. Pour combler ce vide, FilBench a été développé : une suite d’évaluation complète visant à mesurer la fluidité, les capacités linguistiques, la traduction et la connaissance culturelle pour Tagalog, Filipino (forme standardisée du Tagalog) et Cebuano. FilBench évalue 20+ LLMs d’état de l’art selon quatre catégories majeures, chacune comprenant des tâches. Les catégories sont connaissance culturelle, NLP classique, compréhension en lecture et génération, et les tâches associées forment 12 activités au total. Pour obtenir une seule note representative, on calcule une moyenne pondérée selon le nombre d’exemples par catégorie. FilBench est construit au sommet de Lighteval, et la définition de traductions Anglais → Tagalog ou Cebuano permet d’étalonner des tâches spécifiques au langage. FilBench est publié comme un ensemble de tâches communautaires dans le dépôt officiel de Lighteval, et les résultats sont publiés sur le leaderboard FilBench chez HuggingFace. Le travail bénéficie du soutien de Cohere Labs (crédits pour la série Aya) et Together AI pour des crédits informatiques, avec des contributions d’HuggingFace et de la communauté OpenEvals.

Ce qu’il y a de nouveau

FilBench introduit une suite d’évaluation structurée pour les langues philippines, avec quatre catégories et 12 tâches, couvrant l’ensemble des domaines. Les tâches visent à refléter les priorités historiques et actuelles de la recherche en NLP pour les langues philippines, de 2006 au début de 2024. La plupart des catégories privilégient le contenu non traduit afin de respecter l’usage réel de ces langues. Points clés de l’implémentation :

• Quatre catégories et 12 tâches au total, chaque catégorie fournissant une métrique agrégée.
• Un FilBench Score unique dérivé d’une moyenne pondérée entre les catégories.
• Utilisation de paires de traduction (Anglais → Tagalog ou Cebuano) pour évaluer les termes courants.
• FilBench disponible en tant que tâches communautaires dans le dépôt Lighteval officiel et sur le leaderboard FilBench HuggingFace.
• Les résultats démontrent l’efficacité des modèles à poids libre et leur coût réduit par rapport aux grands modèles commerciaux. Dans les résultats, les modèles SEA spécifiques, tels que SEA-LION et SeaLLM, obtiennent souvent les meilleurs scores FilBench dans Tagalog, Filipino et Cebuano pour des modèles de taille comparable. Cependant, GPT-4o demeure une référence robuste et peut dépasser ces modèles ouverts dans certains cas. Les résultats soulignent aussi l’intérêt de continuer à curer des données d’instruction filipines/SEA pour un affinage, ce qui peut apporter des gains supplémentaires de 2–3 % sur FilBench. Une génération efficace reste un défi : les modèles peuvent avoir des difficultés à suivre les instructions de traduction, produire des sorties trop verbeuses ou halluciner une autre langue au lieu du Tagalog ou du Cebuano. Ces observations suggèrent la nécessité d’améliorations ciblées en génération. FilBench met aussi en évidence l’importance d’options accessibles dans les Philippines : les infrastructures et les revenus limités nécessitent des LLMs accessibles en coût et en calcul. L’étude identifie des modèles à poids libre offrant une performance compétitive et des coûts réduits, facilitant le déploiement local. Pour ceux qui recherchent une alternative au GPT-4o pour des tâches en filipino, Llama 4 Maverick est proposé comme option.

Pourquoi cela compte (impact pour les développeurs/entreprises)

FilBench transforme les capacités générales des LLMs en insights pratiques pour les langues philippines, cruciales dans des régions à connectivité limitée et à budget restreint. Plusieurs conclusions sont pertinentes pour les équipes qui prévoient de déployer des solutions en filipino :

• Les modèles SEA spécifiques à poids libre offrent souvent le meilleur équilibre entre performance et efficacité pour Tagalog, Filipino et Cebuano, ce qui en fait un point de départ attractif avec des budgets limités.
• Les modèles propriétaires comme GPT-4o restent une référence de haut niveau, utiles pour les tâches critiques nécessitant une précision maximale.
• L’affinage avec des données d’instruction SEA peut apporter des gains mesurables (2–3 %), justifiant des efforts de collecte et d’annotation de données régionales.
• La génération demeure l’aspect le plus difficile, ce qui appelle à des efforts d’alignement des instructions et de cohérence multilingue pour améliorer l’expérience utilisateur.
• FilBench offre un cadre pratique pour évaluer les modèles avant intégration et soutenir des décisions d’investissement éclairées, tout en favorisant l’accès et l’innovation locaux grâce à des tâches communautaires ouvertes. De manière stratégique, FilBench renforce l’argument en faveur d’investissements en NLP régional en démontrant que l’efficacité et l’accessibilité peuvent coexister. Il incite aussi à la collecte continue de données philippines pour former des systèmes mieux adaptés à la génération et à la traduction.

Détails techniques ou Mise en œuvre

FilBench repose sur Lighteval pour structurer l’évaluation, en définissant une évaluation linguistique via des paires de traduction (Anglais → Tagalog ou Cebuano) pour des termes courants. Les quatre catégories et les 12 tâches ont été conçues pour refléter les priorités de la recherche NLP pour les langues philippines de 2006 au début de 2024. La majorité des catégories privilégie du contenu non traduit afin de préserver l’usage naturel. Le FilBench Score est une métrique unique qui agrège les résultats des catégories par une moyenne pondérée, permettant des comparaisons claires entre modèles tout en conservant les détails de chaque domaine. Le cadre est destiné à être reproductible et accessible pour les chercheurs et les développeurs qui veulent évaluer des modèles pour des tâches filipines similaires. Détails d’implémentation :

• Quatre catégories : connaissance culturelle, NLP classique, compréhension en lecture et génération.
• Douze tâches au total, avec une métrique agrégée globale dérivée d’une moyenne pondérée.
• Paires de traduction utilisées pour l’évaluation linguistique (Anglais → Tagalog ou Cebuano).
• FilBench est disponible en tant que tâches communautaires dans le dépôt Lighteval et via le leaderboard FilBench sur HuggingFace.
• Le travail souligne l’efficacité des modèles à poids libre en termes de coût et de performance relative à leur taille. Le travail reconnaît aussi le soutien externe, notamment les crédits de Cohere Labs pour la série Aya et les crédits informatiques de Together AI pour plusieurs modèles ouverts, avec la collaboration des équipes OpenEvals et Hugging Face dans la publication.

Tableau : catégories et objectifs de FilBench

| Catégorie | Objectif

Remarques

• La plupart des catégories utilisent du contenu non traduit pour refléter l’usage naturel des langues philippines.
• FilBench est conçu pour être accessible aux chercheurs et développeurs, avec un chemin clair pour la reproductibilité via le dépôt Lighteval.

Points clé

• FilBench fournit une méthode structurée et reproductible pour évaluer Tagalog, Filipino et Cebuano sur quatre dimensions NLP.
• Les modèles SEA spécifiques avec poids libre offrent souvent le meilleur équilibre performance/efficacité pour ces langues, GPT-4o restant une référence robuste.
• L’affinage avec des données SEA peut apporter des gains de 2–3 %.
• La génération demeure le volet le plus difficile et nécessite des améliorations en instruction et cohérence linguistique.
• Les LLMs à poids libre présentent des avantages de coût importants, facilitant l’accès local.
• Le FilBench est accessible via le dépôt Lighteval et le leaderboard HuggingFace, permettant un benchmarking continu et des améliorations.

Références

• https://huggingface.co/blog/filbench