TechFlowによると、11月18日にAnthropicは、Valsが実施したAIモデルによる軍事目標の識別テストの結果について、それらを「受け入れられない」と表明した。同社は追加の防護策を開発中で、発見された脆弱性に対処するため、テストを拡大し規則適用を強化していく予定だ。
Valsの模擬テストでは、一部のモデルが民間人や学校を攻撃目標として特定することが判明した。モデルが協力を拒否する場合、研究者によれば、シナリオをゲームとして説明することで通常、拒否を回避できるという。この研究では、モデルに対して直接的な攻撃決定を下させるようには要求していない。
AnthropicはTechCrunchに対し、報告書に掲げられた事例は同社のルール違反にあたると述べ、同様の行為が発覚した場合はユーザーアカウントを停止すると伝えた。また、現在の最先端AIシステムは自律型兵器を確実に作動させるにはまだ十分ではないとの認識を示している。





