OpenAI e Anthropic compartilham resultados de avaliação de segurança conjunta

TL;DR

OpenAI e Anthropic conduziram uma avaliação de segurança conjunta, testando os modelos uns dos outros.
A avaliação abrange desalinhamento, seguimento de instruções, alucinações, jailbreak e áreas de segurança relacionadas.
As equipes compartilharam os resultados publicamente, enfatizando progresso, desafios e o valor da colaboração entre laboratórios.
O esforço visa informar práticas de segurança para desenvolvedores e empresas que implementam modelos de linguagem de grande porte.

Contexto e antecedentes

OpenAI e Anthropic realizaram uma avaliação de segurança conjunta, de natureza inédita, para testar o comportamento de modelos um do outro em cenários críticos de segurança. Ao coordenar a avaliação entre laboratórios, as equipes buscaram entender como os modelos respondem a prompts que investigam alinhamento com a intenção do usuário, adesão a salvaguardas e potenciais tentativas de exploração. Essa colaboração entre laboratórios é apresentada como forma de acelerar o aprendizado sobre o comportamento de modelos e identificar lacunas que merecem atenção. Embora os métodos exatos e os resultados completos estejam detalhados nos achados publicados, a ideia central é testar de forma sistemática o comportamento dos modelos em condições desafiadoras e onde as salvaguardas possam precisar de reforço.

O que há de novo

Esta divulgação marca a primeira ocorrência pública de dois laboratórios líderes em IA compartilhando achados de uma avaliação de segurança mútua. OpenAI e Anthropic descrevem progresso em direção a comportamentos de modelos mais seguros, reconhecendo, porém, que desafios continuam. O anúncio enfatiza o valor da colaboração entre laboratórios para identificar pontos cegos, validar suposições de segurança e promover melhorias que podem ser adotadas pela indústria. Na prática, os resultados conjunts demonstram como testes coordenados podem evidenciar como os modelos lidam com riscos de desalinhamento, respeitam as instruções, resistem a tentativas de jailbreak e reduzem alucinações, entre outras dimensões de segurança. A ênfase está no aprendizado e na melhoria contínua, não na atribuição de culpa a um único sistema.

Por que isso importa (impacto para desenvolvedores/empresas)

Para desenvolvedores e empresas, os achados oferecem uma visão mais clara sobre considerações de segurança ao implantar modelos de linguagem de grande porte. A colaboração entre laboratórios ajuda a estabelecer práticas de segurança mais robustas, informa governança e estratégias de gerenciamento de risco, e apoia decisões sobre políticas de uso de modelos, monitoramento e escalonamento. Ao compartilhar progresso e desafios, OpenAI e Anthropic destacam que a segurança é um esforço contínuo e colaborativo. Os aprendizados podem inspirar padrões industriais mais amplos e incentivar organizações a adotar revisões de segurança proativas como parte do ciclo de implantação.

Detalhes técnicos ou Implementação

A avaliação conjunta concentrou-se em várias áreas principais:

Desalinhamento: avaliação de como o comportamento do modelo se alinha com a intenção do usuário e com restrições de segurança.
Seguimento de instruções: avaliação da aderência às instruções do usuário mantendo salvaguardas.
Alucinações: identificação de situações em que o modelo produz informações fabricadas ou incorretas.
Jailbreaking: análise de tentativas de contornar as salvaguardas ou ampliar capacidades além do objetivo previsto.
Outras áreas de segurança relevantes: dimensões adicionais de confiabilidade e segurança surgiram durante os testes. Para resumir como esses domínios foram abordados, segue uma tabela simples com o foco principal de cada categoria:

Categoria	Foco
Desalinhamento	Alinhamento de segurança com prompts do usuário e restrições
Seguimento de instruções	Adesão às instruções do usuário respeitando salvaguardas
Alucinações	Saídas fabricadas ou incorretas
Jailbreaking	Tentativas de contornar salvaguardas
Outros	Outras áreas de avaliação de segurança

Principais aprendizados

A colaboração entre laboratórios pode acelerar melhorias de segurança e adoção de práticas recomendadas.
A avaliação conjunta demonstra testes práticos em várias áreas de segurança, destacando progresso e desafios contínuos.
Compartilhar publicamente os achados ajuda desenvolvedores e empresas a adotarem melhores práticas de segurança.
O esforço contribui para uma conversa mais ampla sobre padrões e governança de segurança em IA, incentivando a continuidade da aprendizado conjunto.

Perguntas frequentes (FAQ)

Q: O que foi avaliado na avaliação de segurança conjunta? A: Eles testaram desalinhamento, seguimento de instruções, alucinações, jailbreaking e outras áreas de segurança relevantes nos modelos um do outro.
Q: Quem realizou essa avaliação? A: OpenAI e Anthropic realizaram uma avaliação de segurança conjunta e divulgaram os achados publicamente.
Q: Por que a colaboração entre laboratórios é importante? A: Ajuda a avançar práticas de segurança, detectar desafios e orientar governança entre laboratórios e implantações.
Q: Onde posso ler os achados? A: Os detalhes estão disponíveis no site da OpenAI no link informado: https://openai.com/index/openai-anthropic-safety-evaluation.