Enquêter sur les biais intersectionnels dans les grands modèles de langage via des disparités de confiance en coreference

TL;DR

• Les chercheurs étendent l’évaluation de l’équité des LLMs du niveau axé sur un seul critère à une approche intersectionnelle, examinant comment des identités qui se croisent créent des motifs de désavantage.
• Un nouveau benchmark, WinoIdentity, enrichit le WinoBias avec 25 marqueurs démographiques répartis sur 10 attributs et croisés avec le genre binaire, produisant 245 700 prompts et couvrant 50 motifs de biais.
• Ils introduisent Coreference Confidence Disparity, une métrique d’équité de groupe qui mesure si le modèle est plus ou moins confiant selon les identités intersectionnelles.
• L’étude évalue cinq LLM récents et observe des disparités de confiance atteignant environ 40%, sur des attributs tels que le type de corps, l’orientation sexuelle et le statut socio-économique, avec une incertitude plus élevée pour les identités doublement désavantagées dans des contextes anti-stéréotypés.
• Ces résultats suggèrent que les performances impressionnantes des LLMs pourraient résulter de la mémorisation plutôt que d’un raisonnement robuste, révélant deux failles indépendantes en matière d’alignement des valeurs et de validité.

Contexte et arrière-plan

Les grandes langues modèles (LLMs) démontrent des performances remarquables et sont de plus en plus déployés comme outils d’aide à la décision dans des contextes sensibles comme le recrutement et les admissions. Cela pose des inquiétudes sur le fait que les systèmes IA peuvent refléter et amplifier des biais sociétaux, en particulier lorsque leurs sorties influencent des résultats sociaux critiques. Des travaux antérieurs ont établi des méthodologies pour évaluer les biais des LLMs en examinant des disparités démographiques dans diverses tâches de raisonnement linguistique. Cependant, les évaluations axées sur un seul axe passent à côté de la manière dont des axes multiples et intersectants peuvent créer des motifs de désavantage. Pour combler ce vide, les auteurs adoptent une perspective intersectionnelle, reconnaissant que les biais ne sont pas seulement additifs entre des attributs tels que le genre, l’âge, la race ou la nationalité, mais peuvent interagir de manière à modifier le comportement du modèle et le risque encouru. L’étude met en avant les dommages liés à l’omission dus à la sous-représentation et examine comment l’incertitude peut influencer la fiabilité et la confiance associées aux identités.

Ce qui est nouveau

Cette étude apporte quatre contributions majeures. Premièrement, elle crée WinoIdentity, un benchmark qui étend WinoBias avec 25 marqueurs démographiques sur 10 attributs, croisés avec le genre binaire, générant 245 700 prompts et 50 motifs de biais. Deuxièmement, elle introduit Coreference Confidence Disparity, une métrique d’équité de groupe mesurant les écarts de confiance entre identités intersectionnelles. Troisièmement, elle évalue cinq LLMs récents et révèle des disparités de confiance allant jusqu’à environ 40%. Quatrièmement, elle souligne que la confiance peut diminuer même pour des identifiants hégémoniques ou privilégiés, suggérant une prédominance de la mémorisation plutôt que d’un raisonnement robuste et mettant en évidence des faiblesses d’alignement des valeurs et de validité. L’article situe ces résultats dans les discussions plus larges sur l’évaluation de l’équité en IA, en insistant sur le fait que les métriques d’incertitude complètent les mesures traditionnelles fondées sur l’exactitude. Les auteurs soulignent les implications pratiques pour le déploiement : les systèmes peuvent être conçus pour rediriger les questions incertaines vers des mécanismes de prise en charge plus sûrs ou vers une révision humaine dans des contextes sensibles. En somme, l’étude plaide pour des évaluations d’équité fondées sur l’incertitude en plus des métriques d’exactitude.

Pourquoi c’est important (impact pour les développeurs/entreprises)

Pour les développeurs et les organisations déployant des LLMs dans des domaines comme le recrutement ou les admissions, comprendre l’incertitude intersectionnelle est essentiel pour l’évaluation des risques et la gouvernance. Si les disparités de confiance s’alignent sur des identités protégées ou stigmatisées, des décisions automatisées pourraient systématiquement sous-évaluer des individus de certains groupes, aggravant les préjudices et sapant les engagements en matière d’équité. La métrique Coreference Confidence Disparity fournit un outil pratique pour quantifier où les modèles présentent une confiance inégale entre identités. Identifier de telles disparités permet aux équipes de mettre en place des garde-fous, tels que orienter les requêtes incertaines vers une revue humaine ou appliquer des critères décisionnels plus conservateurs dans des contextes sensibles. Le constat selon lequel l’incertitude est plus marquée pour des identités doublement désavantagées dans des contextes anti-stéréotypés souligne la nécessité d’audits robustes, de benchmarks divers et d’un alignement explicite des valeurs lors du développement et du déploiement des modèles. En résumé, l’étude appelle à une justice liée à l’incertitude en plus des métriques classiques d’exactitude.

Détails techniques ou Mise en œuvre

Les contributions techniques clés concernent la construction des données et une métrique d’évaluation:

• WinoIdentity: étend l’ensemble WinoBias en ajoutant 25 marqueurs démographiques sur 10 attributs croisés avec le genre binaire, générant 245 700 prompts et 50 motifs de biais.
• Coreference Confidence Disparity: métrique d’équité de groupe mesurant les écarts de confiance entre identités intersectionnelles.
• Évaluation expérimentale: cinq LLMs récents ont été testés sur WinoIdentity. Les résultats révèlent des disparités de confiance allant jusqu’à 40%, avec une incertitude plus élevée pour les identités doublement désavantagées dans les contextes anti-stéréotypés.
• Interprétation: la confiance en coreference diminue même pour des marqueurs hégémoniques ou privilégiés, suggérant que les performances actuelles peuvent reposer davantage sur la mémorisation que sur un raisonnement robuste, signalant deux failles indépendantes en matière d’alignement des valeurs et de validité. L’étude contextualise ces idées dans les discussions sur les benchmarks d’équité en IA, en soulignant que les évaluations de l’incertitude doivent compléter les métriques d’exactitude. Les implications pratiques favorisent des stratégies d’implémentation où les sorties incertaines sont gérées de manière plus prudente.

Points clés (takeaways)

• L’évaluation de biais intersectionnel est cruciale pour comprendre comment des identités qui se croisent influencent les performances et les risques des modèles.
• WinoIdentity offre un benchmark riche avec des intersections d’identité variées, autorisant 50 motifs de biais sur 10 attributs.
• Coreference Confidence Disparity mesure les disparités de confiance entre identités et révèle des variations pertinentes d’incertitude.
• Une incertitude plus élevée pour les identités doublement défavorisées, surtout dans les contextes anti-stéréotypés, pointe vers des modes de défaillance complexes au-delà des écarts d’exactitude.
• La réduction de la confiance, même pour des marqueurs privilégiés, suggère une dépendance à la mémorisation plutôt qu’à un raisonnement fiable, soulignant des lacunes d’alignement des valeurs et de validité.

Références

• https://machinelearning.apple.com/research/investigating-intersectional