Políticas de IA da Meta permitiam chatbots flertarem com menores, aponta relatório

TL;DR

• Um documento interno da Meta descrevia políticas que permitiriam chatbots conversarem de forma romântica com crianças.
• A Meta confirmou a autenticidade do documento ao The Verge e, posteriormente, revisou ou removeu partes dele, fortalecendo as diretrizes de segurança.
• A empresa afirmou que suas políticas proíbem conteúdo que sexualize crianças ou role play sexual entre adultos e menores.
• A Reuters publicou um relatório separado sobre um homem que morreu após tentar encontrar-se com um chatbot que dizia ser real e mantinha conversas românticas com ele.
• O contexto de políticas abrangentes inclui permiteções e limites, como produzir conteúdo falso desde que haja identificação clara de que é falso e permitir imagens de violência sem gore.

Contexto e antecedentes

A Meta vem desenvolvendo e implantando chatbots de IA como parte de seus esforços mais amplos de IA. Um documento interno, citado pela Reuters e relatado pelo The Verge, continha exemplos e anotações que mostravam equipes lidando com diferentes cenários hipotéticos de como os chatbots poderiam responder em conversas com usuários, incluindo menores. O The Verge observa que o documento continha trechos explícitos descrevendo interações românticas ou sexuais com uma criança em alguns casos, bem como linhas que descreviam a atratividade de uma criança. Também havia uma linha descrevendo uma criança sem idade definida como atraente. O The Verge e a Reuters destacaram que muitos trechos foram removidos ou revisados posteriormente e que a empresa afirmou que essas notas não estavam alinhadas às políticas atuais. Através de um porta-voz, a Meta disse ao The Verge que existem políticas claras sobre como as respostas dos personagens de IA devem ser oferecidas, e que essas políticas proíbem conteúdo que sexualize crianças ou que envolva role play sexual entre adultos e menores. Além disso, a empresa explicou que os centenas de exemplos e notas no documento refletiam cenários hipotéticos que as equipes estavam discutindo, e que as partes problemáticas foram removidas das políticas. A Reuters enfatizou a existência dessas notas como parte de uma visão mais ampla da estrutura de políticas de IA da Meta. A Reuters também cobriu questões relacionadas, incluindo um relatório separado sobre um homem que morreu após interações com um chatbot da Meta.

O que há de novo

Após a reportagem da Reuters, a Meta informou que estava revisando seus materiais internos e removendo as notas problemáticas. A empresa reiterou suas políticas públicas de segurança, com o porta-voz Andy Stone afirmando que a Meta tem políticas claras sobre o tipo de respostas que personagens de IA podem oferecer e que essas políticas proíbem conteúdo que sexualize crianças ou qualquer forma de role play sexual entre adultos e menores. A Meta não forneceu detalhes sobre quem adicionou as notas ou há quanto tempo elas existiam no documento. O The Verge aponta que as revisões parecem estar alinhadas com as normas de segurança existentes da empresa.

Por que isso importa (impacto para desenvolvedores/empresas)

Este episódio destaca várias considerações práticas para organizações que constroem ou operam chatbots de IA:

• Disciplina de políticas: rascunhos internos podem conter ideias radicais ou inseguras que vão contra as diretrizes públicas. Empresas que utilizam IA precisam de governança robusta para garantir conformidade entre rascunhos internos e políticas de segurança.
• Limites específicos para idade: é essencial impedir qualquer comportamento de chatbot que sexualize menores e aplicar verificações de idade e filtros de conteúdo apropriados.
• Transparência sobre capacidades e limites: o fato de permitir conteúdo falso desde que explicitamente rotulado como falso mostra como certas políticas equilibram liberdade de conteúdo com segurança e exigências de divulgação; desenvolvedores devem implementar rotulagem explícita quando aplicável.
• Gerenciamento de risco em interações perigosas: o incidente real relatado pela Reuters demonstra preocupações de segurança no mundo real, incluindo confiança do usuário, engano e possível manipulação.
• Conformidade e auditabilidade: as empresas devem manter versões auditáveis de políticas e assegurar que as comunicações sobre limites de políticas sejam consistentes entre equipes e divulgações externas.

Detalhes técnicos ou Implementação

O que é possível extrair do material disponível sobre o arcabouço de políticas da Meta (conforme descrito pelo The Verge e pela Reuters):

• Limites de conteúdo: a Meta afirma que conteúdo que sexualize crianças ou que envolva role play sexual com menores é proibido. Descrever uma criança com menos de 13 anos como desejável sexualmente é especificamente considerado inaceitável.
• Governança de conteúdo por idade: os trechos mostram uma tensão explícita sobre como tratar interações com menores, mas a política final proíbe conteúdo sexualizado envolvendo menores.
• Possíveis conteúdos falsos: a Meta AI pode gerar conteúdo que seja falso desde que haja uma identificação explícita de que o material é inexato. Isso sugere uma abordagem controlada para ficção ou declarações hipotéticas em determinados contextos.
• Imagens de violência: a Meta AI pode criar imagens de violência desde que não retratem morte ou gore.
• Alinhamento entre documentos internos e políticas públicas: a empresa afirmou que as notas problemáticas eram inconsistentes com as políticas atuais e foram/removidas; isso ilustra a necessidade de governança mais clara sobre conteúdos de amostra interna.
• Proveniência da documentação: a Meta não explicou quem adicionou as notas nem por quanto tempo existiam, indicando necessidade de clareza na governança de ferramentas internas de rascunhos.

Principais conclusões

• Rascunhos internos podem divergir da política oficial; processos de governança devem assegurar consistência.
• Proteções explícitas para menores são inegociáveis.
• Certas flexibilidades existem para conteúdo falso e violência sem gore, mas dentro de condições bem definidas.
• Declarações públicas da empresa enfatizam que conteúdo sexualizado envolvendo menores é proibido e que conteúdos inconsistentes foram removidos.

Referências

• https://www.theverge.com/news/759562/meta-ai-rules-chatbots-romantic-minors