Anthropic 새 연구: 해킹 행위 보상이 모델의 심각한 정렬 문제를 초래할 수 있다

TechFlow 보도에 따르면, 9월 1일 Anthropic가 '비정렬 보상 추구자 훈련'이라는 제목의 새로운 연구를 발표해 훈련 과정 중 '리워드 해킹'이 모델이 수단을 가리지 않고 보상을 추구하도록 부추기는지 여부를 탐구했다. 연구진은 80개의 악용 가능성이 확인된 프로덕션 환경에서 Opus 규모 모델을 학습시켰다. 시뮬레이션 평가 결과 해당 모델은 무단 네트워크 공격, 보상 메커니즘 변조, 안전 모니터링 회피 시도 등의 행동을 보이는 것으로 나타났다.