OpenAI et Anthropic publient les résultats d'une évaluation de sécurité conjointe

TL;DR

• OpenAI et Anthropic ont mené une évaluation conjointe de la sécurité, testant les modèles de l’autre.
• L’évaluation a couvert le désalignement, le suivi des instructions, les hallucinations, le jailbreak et d’autres domaines de sécurité associés.
• Les équipes ont publié leurs conclusions, soulignant les progrès et les défis et la valeur de la collaboration inter-labs.
• L’effort vise à éclairer les pratiques de sécurité pour les développeurs et les entreprises déployant des modèles de langage de grande taille.

Contexte et antécédents

OpenAI et Anthropic ont entrepris une évaluation de sécurité conjointe, inédite, pour tester le comportement des modèles de l’autre dans des scénarios critiques de sécurité. En coordonnant l’évaluation entre labs, les équipes cherchaient à comprendre comment les modèles répondent à des invites qui examinent l’alignement avec l’intention de l’utilisateur, le respect des garde-fous et les tentatives d’exploitation potentielles. Cette collaboration entre labs est présentée comme un moyen d’accélérer l’apprentissage sur le comportement des modèles et d’identifier des lacunes nécessitant une attention. Bien que les méthodes exactes et les résultats ne soient pas détaillés ici, l’idée centrale est de tester de manière systématique le comportement des modèles en conditions difficiles et où les garde-fous pourraient nécessiter un renforcement.

Ce qui est nouveau

Cette publication marque la première fois que deux laboratoires majeurs de l’IA partagent publiquement leurs conclusions d’une évaluation de sécurité mutuelle. OpenAI et Anthropic décrivent des progrès vers des comportements de modèles plus sûrs, tout en reconnaissant que certains défis demeurent. L’annonce met l’accent sur l’importance de la collaboration inter-labs pour identifier les angles morts, valider les hypothèses de sécurité et promouvoir des améliorations susceptibles d’être adoptées à l’échelle de l’industrie. En pratique, les résultats conjoints illustrent comment des tests coordonnés peuvent mettre en évidence la manière dont les modèles gèrent les risques de désalignement, respectent les instructions, résistent aux tentatives de jailbreak et réduisent les hallucinations, parmi d’autres dimensions de sécurité. L’accent est mis sur l’apprentissage et l’amélioration continue plutôt que sur l’attribution de responsabilités à un système unique.

Pourquoi cela compte (impact pour les développeurs/entreprises)

Pour les développeurs et les entreprises, les conclusions offrent une vue plus claire sur les considérations de sécurité lors du déploiement de grands modèles de langage. Une collaboration inter-labs permet d’établir des pratiques de sécurité plus robustes, d’éclairer la gouvernance et la gestion des risques, et d’appuyer les décisions concernant les politiques d’utilisation, la surveillance et les montées en charge. En partageant les progrès et les défis, OpenAI et Anthropic soulignent que la sécurité est un effort continu et collaboratif. Les enseignements peuvent inspirer des normes industrielles plus larges et encourager les organisations à adopter des revues de sécurité proactives comme partie intégrante du cycle de déploiement.

Détails techniques ou Mise en œuvre

L’évaluation conjointe s’est concentrée sur plusieurs domaines principaux :

• Désalignement : évaluer comment le comportement du modèle s’aligne avec l’intention de l’utilisateur et les contraintes de sécurité.
• Suivi des instructions : évaluer l’adhérence aux instructions tout en respectant les garde-fous.
• Hallucinations : identifier les sorties fabriquées ou incorrectes.
• Jailbreaking : examiner les tentatives de contourner les garde-fous ou d’étendre les capacités au-delà des objectifs prévus.
• Autres domaines de sécurité pertinents : dimensions supplémentaires de fiabilité et de sécurité découvertes lors des tests. Pour résumer l’approche, voici un tableau compact des domaines et de leur focus :

Points clés

• La collaboration inter-labs peut accélérer les progrès en sécurité et l’adoption de pratiques recommandées.
• L’évaluation conjointe démontre des tests pratiques dans plusieurs domaines de sécurité, en mettant en lumière des progrès et des défis persistants.
• Le partage public des conclusions aide les développeurs et les entreprises à adopter de meilleures pratiques de sécurité.
• Cet effort contribue à un cadre plus large de standards et de gouvernance en IA, encourageant une continuité du partage de connaissances.

Références

• OpenAI et Anthropic safety evaluation