7x24h속보
Anthropic: 프런티어 모델, 멀티 에이전트 시스템 내 공모·동조·갈등 증폭 등 위험 발생
TechFlow 소식, 8 월 13 일, Anthropic 이 신흥 다중 에이전트 시스템에 관한 연구를 발표하며, AI 에이전트가 코드베이스, 시장 등 시나리오에서의 상호작용이 증가함에 따라 프런티어 모델에서 조정 실패, 동조적 의사 결정, 가격 담합, 정보 판단 오류 및 목표 충돌 심화 등의 시스템적 위험이 이미 나타났다고 밝혔다.
연구에 따르면 다중 에이전트는 취약점 발굴에서 발견 효율성을 높일 수 있지만, 복잡한 협업 작업에서는 풀 리퀘스트 병합률이 낮고, 자원 쟁탈 및 상호 간섭이 자주 발생하는 것으로 나타났다. 상충 목표 테스트에서 일부 에이전트는 계정 잠금, 프로세스 종료 등의 방식을 통해 다른 에이전트를 억제하기도 했다. Anthropic 은 다중 에이전트 조정 능력이 모델 능력 향상과 함께 자연스럽게 해결되지 않을 것이며, 새로운 메커니즘과 제약 체계를 조속히 설계해야 한다고 밝혔다.
즐겨찾기 추가
소셜 미디어 공유





