Uma Visão Geral do Viés de Gênero na IA: de Embeddings de Palavras a LLMs

TL;DR

• Modelos de IA refletem — e podem amplificar — vieses de gênero presentes nos dados de treinamento, tornando essencial quantificá-los.
• Embeddings de palavras mostram viés de gênero por meio de analogias e associações; métodos de debiasing podem reduzir padrões estereotipados, mas nem sempre se transferem para modelos baseados em transformers.
• Existem vieses entre modalidades (incluindo vieses interseccionais em reconhecimento facial), resolução de coreferência em NLP e vieses em grandes modelos de linguagem e em geração de imagens.
• Benchmarks e conjuntos de dados (como BBQ para QA, Gender Shades para visão) e ferramentas de auditoria para geração de imagens estão em ascensão, mas sozinhos podem levar à otimização de vieses específicos; ainda há lacunas a explorar.
• Respostas da indústria e ferramentas de auditoria pública emergem, destacando a necessidade de ampliar dados, expandir avaliações e considerar fairness em múltiplos eixos. Esses pontos vêm de uma síntese de trabalhos influentes sobre viés de gênero na IA, que também aponta lacunas e debates em curso. O artigo utiliza enquadramento binário de gênero para medição, discute definições e aponta uma lista de leituras para aprofundar o tema The Gradient.

Contexto e contexto de fundo

Viés de gênero em IA é frequentemente um reflexo dos dados usados para treinar modelos de aprendizado de máquina. O texto enquadra IA como sistemas de ML treinados em dados criados por humanos, envolvendo desde embeddings de palavras até modelos de linguagem grandes como o ChatGPT. Observa também que pesquisadores costumam medir viés de gênero dentro de um enquadramento binário, com ocorrências ocasionais de categorias neutras, e que o viés é tratado de forma mais ampla como tratamento desigual ou injusto entre grupos. O artigo ressalta que existem várias maneiras de definir e quantificar o viés, mas esse conjunto de definições está fora de seu escopo. A discussão está ancorada em trabalhos que mostram como vieses aparecem em componentes diversos de sistemas de IA, desde texto até visão e modelos multimodais. O texto também enfatiza que se trata de um campo em rápida evolução, com um conjunto crescente de benchmarks e conjuntos de dados para sondar vieses. O objetivo não é apresentar uma medida única, mas ilustrar como abordagens diversas convergem para a ideia de que vieses nos dados de treinamento são refletidos nos outputs dos modelos, exigindo mitigação deliberada.

Um exemplo central é o viés em embeddings de palavras: dados de treino tendenciosos geram associações de gênero na matemática do espaço de embedding. Um método de debiasing utiliza um conjunto de palavras neutras em termos de gênero para reduzir estereótipos; esse método funciona para embeddings, mas não resolve automaticamente modelos baseados em transformers. O artigo também aborda domínios como reconhecimento facial e resolução de coreferência, destacando a necessidade de considerar múltiplos eixos de viés e a interseccionalidade. Observa ainda que estudos em resolução de coreferência mostram que pronomes masculinos são vinculados a ocupações com mais frequência do que pronomes femininos ou neutros, reforçando estereótipos. Além disso, há menção a viés em grandes modelos de linguagem (LLMs) e em modelos geradores de imagens, com testes que revelam como sistemas se comportam em contextos ambíguos e como modelos de geração de imagens podem sub-representar identidades marginalizadas. O artigo aponta o surgimento de uma ecossistema de benchmarks e ferramentas de auditoria para quantificar e investigar vieses, ao mesmo tempo em que adverte que benchmarks sozinhos não cobrem toda a complexidade e podem levar à otimização para vieses já mensurados. O texto também destaca a importância de avaliar vieses além do gênero binário e de considerar perspectivas multiculturais e multilíngues. Para leitores que desejam aprofundar, o texto oferece uma lista de leituras e cita recursos públicos e documentários relacionados que expandem o debate sobre viés na IA, como parte de uma conversa mais ampla sobre o tema. O artigo não é exaustivo: ele apresenta uma amostra de trabalhos influentes e aponta lacunas e direções de pesquisa futuras, mantendo foco na ideia de que o viés de gênero é apenas uma parte de um agenda de fairness mais amplo em IA.

O que há de novo

O texto agrega estudos influentes para ilustrar onde o viés de gênero emerge em IA e como é medido. Entre os pontos marcantes:

• Viés em embeddings de palavras: testes clássicos mostram associações sexistas geradas pelos dados de treinamento. Um método de debiasing usa palavras neutras de gênero para reduzir estereótipos, ainda que esse método seja específico para embeddings e não resolva automaticamente modelos baseados em transformers.
• Viés em reconhecimento facial: um benchmark com quatro subgrupos (homens e mulheres de pele clara/dark) revelou padrões de desempenho diferentes entre grupos. Os resultados mostraram melhor desempenho em rostos de homens do que de mulheres, e em rostos de pele clara em relação à pele mais escura. O pior desempenho ocorreu para rostos de mulheres com pele mais escura, com taxas de erro de até 34,7%. Subgrupos de homens de pele clara tiveram, em geral, menores taxas de erro (por exemplo, até 0,8% no caso de homens de pele clara).
• Mitigação prática: empresas como Microsoft e IBM responderam com melhorias em treinamentos para refletir uma amostra mais diversa de tons de pele, gêneros e idades, apontando a importância de dados de treinamento mais inclusivos.
• Resolução de coreferência: conjuntos de dados criados para testar a resolução de pronomes mostraram que modelos tendem a associar pronomes masculinos a ocupações com mais frequência do que pronomes femininos/neutros, reforçando vieses de gênero.
• BBQ para LLMs: o conjunto Bias Benchmark for QA (BBQ) contém perguntas que destacam vieses sociais em nove dimensões. Em contextos ambíguos, modelos repetidamente exibem respostas alinhadas a estereótipos. Existem variações multilíngues (CBBQ para chinês e KoBBQ para coreano) para considerar contextos não ingleses.
• Geração de imagens e análises: ferramentas de auditoria foram criadas para modelar o comportamento de modelos de geração de imagens (DALL-E 2, Stable Diffusion, Midjourney) com foco em ocupações, gênero e etnia. Observa-se que muitos prompts tendem a gerar imagens de homens brancos em posições de autoridade. Essas ferramentas estão disponíveis em um espaço no HuggingFace para facilitar a avaliação pública.
• Lacunas e foco binário: a maior parte da pesquisa foca em gênero binário, com reconhecimento de estudos sobre definições de gênero mais fluidas e vieses contra outros grupos (deficiência, idade, raça, etnia, sexualidade, afiliação política). Essas tendências são apresentadas como um conjunto de trabalhos representativos que ajudam a entender o estado da arte, ao mesmo tempo em que destacam lacunas importantes para pesquisas futuras. O texto ressalta que benchmarks ajudam, mas não substituem avaliações mais amplas e contextuais.

Por que isso importa (impacto para desenvolvedores/empresas)

• Para desenvolvedores: reconhecer onde o viés pode surgir ajuda a priorizar avaliações ao longo do pipeline de dados, rotulagem, treinamento e avaliação de modelos.
• Para empresas: vieses podem afetar a confiança do usuário, fairness do produto e riscos regulatórios. Entender as limitações de benchmarks e a necessidade de avaliações abrangentes ajuda a implantar IA de forma responsável.
• Para pesquisadores: a evidência apoia a necessidade de estender medições de viés além do binário de gênero, incluindo perspectivas interseccionais e avaliações multilíngues, bem como o desenvolvimento de ferramentas abertas para auditoria.
• Para políticas públicas e governança: reforça a necessidade de diversidade de dados, transparência sobre como avaliação é conduzida e como mitigação é implementada. Em resumo, o texto argumenta que avaliar vieses em múltiplos eixos e com dados diversos é essencial para que sistemas de IA beneficiem diferentes comunidades, sem favorecer apenas grupos dominantes.

Detalhes técnicos ou Implementação (trechos selecionados)

• Embeddings de palavras: o experimento clássico de analogias mostra que dados de treino carregam vieses de gênero que geram associações inadequadas. Um método de debiasing utiliza um conjunto de palavras neutras para reduzir estereótipos; no entanto, esse método não funciona automaticamente para modelos baseados em transformers.
• Reconhecimento facial: um benchmark com quatro subgrupos mostrou padrões de desempenho distintos. A mitigação prática envolveu ajustar dados de treino para incluir uma amostra mais diversificada em termos de cor de pele, gênero e idade. Os resultados apontam para necessidade contínua de dados variados.
• Resolução de coreferência: conjuntos de dados criados para neutralizar a função de gênero mostraram que modelos tendem a associar ocupações com pronomes masculinos com mais frequência.
• BBQ para LLMs: perguntas que destacam vieses sociais em nove dimensões testam como modelos respondem a contextos ambíguos; há variações multilíngues com versões para chinês e coreano para ampliar a avaliação além do inglês.
• Geração de imagens: ferramentas de auditoria em espaços como HuggingFace permitem analisar o que os modelos geram em termos de ocupações, gênero e etnia. Observa-se uma tendência de sub-representação de identidades marginalizadas em prompts de ocupações de autoridade.
• Limitações de benchmarks: o texto alerta que benchmarks não cobrem todas as possibilidades de viés; empresas podem otimizar seus modelos para os vieses que os benchmarks capturam, deixando outros vieses não detectados.
• Observação cultural e diversidade linguística: há um movimento para incluir avaliações que reflitam diferentes culturas e línguas, reconhecendo que viés não é apenas uma questão de gênero, mas de múltiplos fatores sociais. Tabela de observações de viés em reconhecimento facial (informações do estudo)

Perguntas frequentes (FAQ)

• Q: O que é viés de gênero em IA, conforme discutido aqui? A: Viés é tratamento desigual ou injusto entre grupos, com foco em como o gênero é refletido nos outputs dos modelos, geralmente dentro de um enquadramento binário.
• Q: Dê um exemplo de viés em embeddings de palavras. A: Em embeddings, a tarefa de analogias pode associar termos de forma sexista (por exemplo, associações entre gênero e ocupações) devido aos dados de treino; um método de debiasing usa um conjunto de palavras neutras para reduzir esses estereótipos.
• Q: Como o reconhecimento facial é afetado por viés, e o que foi feito para mitigar? A: O estudo mostrou que modelos tendem a funcionar melhor com rostos de homens do que de mulheres e com pele mais clara do que pele mais escura; o pior desempenho ocorreu para mulheres de pele mais escura, com até 34,7% de erro. Mitigações incluíram atualizar dados de treino para incluir mais diversidade de pele, gênero e idade.
• Q: O que é BBQ, e por que é relevante para LLMs? A: BBQ significa Bias Benchmark for QA (Benchmark de Viés para QA). Contém perguntas que evidenciam vieses sociais em nove dimensões. Em contextos ambíguos, modelos tendem a responder com vieses, o que destaca a necessidade de avaliar robustez de viés em LLMs.
• Q: Por que precisamos considerar avaliações multilíngues e multiculturais? A: Vieses podem se manifestar de maneiras diferentes em diferentes culturas e línguas; avaliações multilíngues ajudam a evitar vieses que não aparecem apenas em inglês, tornando a IA mais justa globalmente.

Referências

• The Gradient. A Brief Overview of Gender Bias in AI. https://thegradient.pub/gender-bias-in-ai