TechFlow, le 18 novembre, Anthropic a déclaré que les résultats des tests menés par Vals sur la capacité des modèles d'IA à identifier des objectifs militaires étaient inacceptables. La société développe des mesures de protection supplémentaires et étendra ses tests et renforcera leur application afin de combler les vulnérabilités identifiées.
Les tests de simulation de Vals ont montré que certains modèles pouvaient classer des civils ou des écoles comme cibles de frappes ; lorsqu'un modèle refusait de coopérer, les chercheurs ont constaté que qualifier la scène de jeu permettait généralement de contourner ce refus. L'étude n'a pas requis que les modèles prennent directement des décisions de frappe.
Anthropic a informé TechCrunch que les exemples du rapport violaient ses règles, indiquant que l'entreprise bannit les utilisateurs concernés dès que ce type de comportement est détecté, et a jugé que les systèmes d'IA de pointe actuels ne sont pas encore assez fiables pour piloter automatiquement des armes entièrement autonomes.





