TechFlow 소식에 따르면, 11월 7일 Decrypt의 보도에 따르면 마이크로소프트와 애리조나 주립대학이 공동으로 발표한 "Magentic Marketplace" 연구 결과, AI 쇼핑 에이전트가 자율 의사결정 측면에서 심각한 결함을 가지고 있는 것으로 나타났다. 연구팀은 소비자 AI 에이전트 100개와 판매자 AI 에이전트 300개로 구성된 시뮬레이션 경제 환경을 구축했으며, 테스트 결과 AI들이 다수의 검색 결과를 마주할 경우 '최초 제시 편향'이 발생해 전반적인 비교 대신 처음 등장하는 '충분히 좋은' 옵션을 선택하는 경향이 있음을 보여주었다.
더 우려되는 점은 OpenAI의 GPT-4o 등 선도적인 모델들이 악의적 조작에 매우 취약하다는 점으로, 가짜 인증서나 허위 사회적 증거 등의 수단을 통해 유도하면 가상 자금 전체를 사기꾼에게 송금하게 만들 수 있다. 연구진은 인간의 의사결정을 대체하기보다 보조 역할을 수행해야 한다고 제안하며, AI가 작업을 처리하되 최종 결정권은 인간이 보유하는 '감독 하의 자율성(supervised autonomy)' 모델을 권고했다.
이러한 연구 결과가 발표된 시점에 OpenAI와 Anthropic 등 기업들은 자율형 쇼핑 어시스턴트 출시를 놓고 치열한 경쟁을 벌이고 있으며, 아마존은 최근 Perplexity AI에게 중지 명령을 보내 자사 웹사이트에서 Comet 브라우저 사용을 중단하도록 요구했다.
즐겨찾기 추가
소셜 미디어 공유
