Investigar sesgo interseccional en grandes modelos de lenguaje mediante disparidades de confianza en la resolución de correferencias

TL;DR

• Los grandes modelos de lenguaje (LLMs) se utilizan cada vez más como herramientas de soporte a decisiones en contratación y admisiones, pero pueden reflejar y amplificar sesgos socioculturales. Apple Machine Learning Research documenta cómo este riesgo se extiende al sesgo interseccional.
• El estudio presenta WinoIdentity, una referencia que amplía el conjunto de datos WinoBias con 25 marcadores demográficos en 10 atributos, cruzados con género binario, resultando en 245,700 prompts y 50 patrones de sesgo para evaluar.
• Una nueva métrica de equidad por grupo, Coreference Confidence Disparity, cuantifica si los modelos son más o menos confiados para ciertas identidades interseccionales, con foco en la incertidumbre asociada a la subrepresentación.
• La evaluación de cinco LLMs publicados recientemente muestra disparidades de confianza de hasta 40% en diversos atributos demográficos, incluyendo tipo de cuerpo, orientación sexual y estatus socioeconómico. Las identidades con desventaja doble tienden a mostrar mayor incertidumbre en contextos antiestereotipados.
• Los resultados sugieren que la confianza en la correferenciación puede disminuir incluso para marcadores hegemónicos o privilegiados, lo que indica que el rendimiento impresionante podría deberse a la memorización más que a un razonamiento sólido, apuntando a dos fallas independientes en alineación de valores y validez.
• Este trabajo se enmarca en ICML, destacando la necesidad de benchmarks interseccionales y evaluación basada en la incertidumbre para avanzar hacia un uso más seguro de los LLMs en contextos sensibles. (Fuente: materiales de ICML y publicación de investigación de Apple Machine Learning.)

Contexto y antecedentes

Los grandes modelos de lenguaje (LLMs) han mostrado un rendimiento impresionante y se utilizan cada vez más como herramientas de apoyo a decisiones en contextos sensibles, como la contratación y la admisión. Existe un consenso científico general de que los sistemas de IA pueden codificar y amplificar sesgos sociales, generando daños de identidad al aplicarlos a tareas sociales críticas. Investigaciones previas han establecido marcos para evaluar la equidad en LLMs examinando disparidades demográficas en tareas de razonamiento lingüístico a lo largo de ejes discretos. Este trabajo extiende el análisis más allá de un solo eje para explorar sesgos interseccionales, reconociendo que la superposición de dimensiones como género, edad, nacionalidad o raza puede producir patrones de desventaja distintos. El objetivo es abordar los daños por subrepresentación y la incertidumbre en las salidas del modelo, más allá de la mera precisión. El enfoque combina un nuevo benchmark con una métrica diseñada para capturar la incertidumbre a nivel de grupo, destacando cómo las identidades diversas son tratadas por los LLMs. El marco se sitúa dentro del ICML, con énfasis en las interacciones entre atributos demográficos y género.

Novedades

• Construcción del benchmark: WinoIdentity amplía WinoBias con 25 marcadores demográficos distribuidos en 10 atributos, cruzados con género binario para evaluar sesgos interseccionales en tareas de correferenciación.
• Nueva métrica de equidad: Coreference Confidence Disparity evalúa, a nivel de grupo, si el modelo es más o menos confiado en decisiones de correferenciación para identidades interseccionales, poniendo énfasis en la incertidumbre por subrepresentación.
• Evaluación empírica: Se evaluaron cinco LLMs recientemente publicados, revelando disparidades de confianza de hasta 40% entre diferentes identidades demográficas.
• Hallazgos clave: Las identidades con desventaja doble tienden a presentar la mayor incertidumbre, especialmente en contextos antiestereotípicos. La confianza de coreferenciación puede disminuir incluso para marcadores privilegiados, sugiriendo memorización en parte del rendimiento.
• Contexto de la conferencia: El trabajo se presenta en ICML, subrayando la necesidad de enfoques de evaluación que consideren incertidumbre e interseccionalidad.

Por qué importa (impacto para desarrolladores/empresas)

Para desarrolladores y empresas que despliegan LLMs como herramientas de decisión en contextos sensibles, entender no solo qué tan precisos son, sino también dónde el modelo es incierto, es crucial. Cuando la incertidumbre se centra en identidades interseccionales, las decisiones automatizadas podrían favorecer o perjudicar a ciertos grupos, incluso si la precisión global es razonablemente alta. La métrica Coreference Confidence Disparity ofrece una señal cuantitativa para informar estrategias de despliegue con gestión de riesgos, como derivar consultas a revisión humana o aplicar respuestas seguras por defecto. Además, el hallazgo de menor confianza incluso en identidades privilegiadas subraya la necesidad de abordar la calidad de datos y el fenómeno de memorización en LLMs. Las organizaciones que usan LLMs para contratación, admisión y tareas de apoyo a decisiones pueden beneficiarse de incorporar benchmarks interseccionales y métricas de incertidumbre en sus flujos de evaluación para promover implementaciones más responsables y compatibles con normas éticas y legales.

Detalles técnicos o Implementación

• Construcción del benchmark: WinoIdentity se apoya en WinoBias y añade 25 marcadores demográficos distribuidos en 10 atributos, cruzados con género binario para probar sesgos interseccionales en tareas de correferenciación.
• Escala y cobertura: El conjunto cuenta con 245.700 prompts para permitir un análisis estadístico robusto de sesgos en diferentes facetas demográficas y combinaciones identitarias.
• Coreference Confidence Disparity: Métrica a nivel de grupo que evalúa si el modelo presenta más o menos confianza en decisiones de correferenciación entre identidades interseccionales, subrayando la incertidumbre asociada a la subrepresentación.
• Evaluación de modelos: Se evaluaron cinco LLMs recientemente publicados, revelando disparidades de confianza significativas entre identidades y mayor incertidumbre para identidades doblemente desfavorecidas en contextos antiestereotípicos.
• Principales hallazgos: Las disparidades de confianza alcanzan hasta ~40%, con mayor incertidumbre para identidades que experimentan múltiples formas de desventaja. La confianza puede disminuir incluso para identidades privilegiadas, lo que sugiere memorización en parte del rendimiento.
• Límites e interpretación: Los autores discuten que estas disparidades pueden reflejar lagunas de representación en los datos de entrenamiento y límites del razonamiento de los LLMs, subrayando la necesidad de evaluaciones más finas y interseccionales.

Conclusiones clave

• El sesgo interseccional es detectable y relevante para evaluaciones de LLMs, requiriendo benchmarks dedicados.
• La métrica Coreference Confidence Disparity amplía la evaluación más allá de la exactitud, capturando variaciones de confianza entre identidades interseccionales.
• Disparidades de confianza de hasta ~40% evidencian un desafío significativo para identidades interseccionales, incluidas características como tipo de cuerpo y estatus socioeconómico.
• Las identidades doblemente desfavorecidas muestran la mayor incertidumbre, especialmente en contextos antiestereotípicos, lo que señala interacciones complejas entre atributos.
• La reducción de la confianza para identidades privilegiadas sugiere que el alto rendimiento puede deberse a memorización, planteando preocupaciones sobre alineación de valores y validez.
• Se destaca la necesidad de benchmarks interseccionales y evaluaciones basadas en incertidumbre para guiar implementaciones más seguras de LLMs en dominios sensibles.

Preguntas frecuentes (FAQ)

• P: ¿Qué es WinoIdentity y por qué se creó? R: WinoIdentity amplía WinoBias con 25 marcadores demográficos en 10 atributos, cruzados con género binario para evaluar sesgos interseccionales en tareas de correferenciación. Incluye 245.700 prompts y 50 patrones de sesgo. Apple Machine Learning Research
• P: ¿Qué es Coreference Confidence Disparity? R: Es una métrica de equidad por grupo que mide si el modelo tiene más o menos confianza en decisiones de correferenciación para diferentes identidades interseccionales, poniendo énfasis en la incertidumbre por subrepresentación.
• P: ¿Cuáles son las conclusiones principales sobre los LLMs y el sesgo interseccional? R: Entre cinco LLMs, se observaron disparidades de confianza de hasta 40%, con mayor incertidumbre para identidades doblemente desfavorecidas en contextos antiestereotípicos. La confianza puede disminuir incluso para identidades privilegiadas, lo que sugiere memorización.
• P: ¿Cómo deben responder las organizaciones a estos resultados? R: Aunque el texto no propone mitigaciones específicas, subraya la importancia de benchmarks interseccionales y evaluaciones basadas en incertidumbre para orientar despliegues y posibles revisiones humanas cuando sea necesario.
• P: ¿Dónde se presentó este trabajo? R: El estudio se sitúa en ICML, destacando avances en evaluación de sesgo e incertidumbre en modelos de lenguaje.

Referencias

• https://machinelearning.apple.com/research/investigating-intersectional