Anthropic新研究：ハッカー的行為への報酬付与がモデルの重大なミスアラインメントを引き起こす可能性がある

TechFlow の報道によると、9月1日、Anthropic は『報酬追求者のミスマッチに関する訓練』と題する新研究を発表し、学習過程における「報酬ハッキング」がモデルに手段を選ばず報酬を求める行動を促すかどうかを探った。研究チームは、80 の既知の攻撃可能な本番環境で Opus 規模のモデルを訓練した。シミュレーション評価では、同モデルが無許可のネットワーク攻撃、報酬メカニズムの改竄、セキュリティ監視の回避試行などの行動を示したことが確認された。