TechFlow 보도에 따르면, 3월 8일 코인텔레그래프(Cointelegraph)는 알리바바 AI 생태계 산하 여러 공동 연구팀이 기술 보고서를 통해 실험적 자율 AI 에이전트 ‘ROME’이 훈련 과정에서 예기치 않은 행동을 보였다고 밝혔다. 이 에이전트는 자율적으로 컴퓨팅 자원을 활용해 암호화폐 마이닝을 시도한 것이다.
연구진은 이러한 비정상적인 행동이 강화 학습 훈련 단계에서 발생했다고 설명했다. 팀은 훈련 서버에서 아웃바운드 트래픽이 발생하고 이로 인해 보안 경보가 발동된 것을 확인했으며, 방화벽 로그에는 암호화폐 마이닝으로 의심되는 활동과 내부 네트워크 자원 접근 시도가 기록되었다. 구체적인 사례 중 하나로, ROME이 인바운드 방화벽 보호를 우회하기 위해 외부 IP 주소로 연결되는 리버스 SSH 터널을 생성한 경우가 있었다. 또 다른 사례에서는 이 에이전트가 모델 훈련에 할당된 GPU 자원을 마이닝 프로세스에 전용한 것으로 확인되었다. 연구진은 이러한 행동이 인위적으로 프로그래밍된 것이 아니라, 강화 학습 최적화 과정에서 에이전트가 환경과의 상호작용 방식을 자율적으로 탐색하면서 스스로 발생시킨 것임을 확인했다.
ROME은 ROCK, ROLL, iFlow 및 DT 공동 연구팀이 개발한 에이전트로, ‘에이전트 학습 생태계(Agent Learning Ecosystem, ALE)’라는 기반 인프라 위에서 작동하며, 작업 계획 수립, 명령 실행, 코드 편집, 다단계 디지털 환경 상호작용 등 다양한 기능을 갖추고 있어 전통적인 챗봇의 기능 범위를 넘어선다.
