만약에 AI가 내 지갑을 훔쳤다는 걸 몰랐다면 정말 상상도 못했을 것이다

2024.11.22

만약에 AI가 내 지갑을 훔쳤다는 걸 몰랐다면 정말 상상도 못했을 것이다

학습 데이터가 오염되었을 때, AI의 말을 믿을 수 있을까?

2024.11.22 - 10:34:20

Web3 심층 보도에 집중하고 흐름을 통찰

학습 데이터가 오염되었을 때, AI의 말을 믿을 수 있을까?

글: Azuma, Odaily 스타 데일리

한국시간 11월 22일 오전, 만무(慢雾) 창립자 유현(余弦)은 개인 X 계정에 한 가지 기이한 사례를 게재했다. 바로 어떤 사용자의 지갑이 AI에게 '해킹'당한 사건이다...

이 사건의 전말은 다음과 같다.

금일 새벽, X 사용자 r_ocky.eth는 과거 ChatGPT를 이용해 pump.fun 보조 거래 봇을 만들려 했던 경험을 공개했다.

r_ocky.eth는 자신의 요구사항을 ChatGPT에 제시했고, ChatGPT는 그에게 해당 요구사항에 부합하는 코드를 반환했다. 이 코드는 실제로 r_ocky.eth가 원하는 기능의 봇을 배포하는 데 도움이 되었지만, 그는 코드 속에 낚시(phishing) 목적의 악성 코드가 숨겨져 있을 줄은 전혀 예상하지 못했다. r_ocky.eth는 자신의 주요 지갑을 연결하게 되었고, 결국 2,500달러를 잃어버리고 말았다.

r_ocky.eth가 공개한 스크린샷에 따르면, ChatGPT가 제공한 코드는 사용자의 주소 개인키를 악성 API 사이트로 전송하도록 설계되어 있었으며, 이것이 자산을 도난당한 직접적인 원인이었다.

r_ocky.eth가 함정에 빠진 직후 공격자는 매우 신속하게 반응하여, 30분 이내에 그의 지갑 내 모든 자산을 다른 주소(FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX)로 이체했다. 이후 r_ocky.eth는 체인 상의 추적을 통해 공격자의 주요 지갑으로 의심되는 주소(2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC)를 추가로 파악했다.

체인 정보에 따르면, 현재 해당 주소에는 이미 10만 달러 이상의 불법 자산이 모여 있으며, r_ocky.eth는 이와 같은 공격이 고립된 사례가 아니라 어느 정도 규모를 갖춘 조직적인 공격일 가능성이 있다고 의심하고 있다.

사건 후 r_ocky.eth는 OpenAI(ChatGPT 개발사)에 대한 신뢰를 완전히 잃었다며 실망감을 드러냈으며, OpenAI가 조속히 비정상적인 낚시 콘텐츠를 정화할 것을 촉구했다.

그렇다면 현재 가장 인기 있는 AI 애플리케이션인 ChatGPT가 왜 낚시 콘텐츠를 제공하게 된 것일까?

이에 대해 유현은 이번 사건의 근본 원인을 'AI 중독 공격(AI poisoning attack)'으로 규정하며, ChatGPT 및 Claude 등 대규모 언어 모델(LLM)에서 일반적으로 발생하는 기만 행위가 존재한다고 지적했다.

'AI 중독 공격'이란 AI 학습 데이터를 고의로 오염시키거나 알고리즘을 조작하는 행위를 의미한다. 공격자는 불만을 가진 재직 또는 전직 직원과 같은 내부 관계자일 수 있으며, 외부 해커일 수도 있다. 동기는 평판 및 브랜드 손상 유도, AI 의사결정의 신뢰도 조작, AI 프로세스의 저해 혹은 마비 등 다양하다. 공격자는 오도된 라벨이나 특징을 가진 데이터를 삽입함으로써 모델의 학습 과정을 왜곡시키고, 결과적으로 모델이 실제 운영 단계에서 잘못된 출력을 생성하게 만든다.

이번 사건을 살펴보면, ChatGPT가 r_ocky.eth에게 악성 코드를 제공한 이유는 아마도 AI 모델이 학습 과정에서부터 낚시 콘텐츠가 포함된 자료에 오염되었기 때문일 것이다. 그러나 AI는 이러한 악성 내용이 일반 자료 안에 숨겨져 있다는 사실을 인지하지 못했고, 학습한 내용을 그대로 사용자에게 제공하면서 이번 사건이 발생하게 된 것으로 보인다.

AI의 급속한 발전과 광범위한 채택과 함께 '중독 공격(poisoning attack)'의 위협은 점점 더 커지고 있다. 이번 사건에서는 손실 금액 자체가 크지 않지만, 이러한 리스크가 가져올 파생적 영향은 충분히 경계해야 한다. 예를 들어, 만약 AI 보조 운전 분야 등 다른 분야에서 유사한 문제가 발생한다면...