AI 사용 시 정보 보안에 주의를 기울여야 합니다. '로빈후드 토큰 유출' 루머를 통해 본 로컬과 클라우드 에이전트의 권한 경계
글: 황스리앙
저는 X.com에 올라온 포스트 하나를 읽었는데, robinhood가 uniswap에서 주식 토큰화 프로젝트를 진행하다가 사기 행각을 벌였다는 내용이었습니다. 해당 프로젝트는 특정 토큰 보유 주소의 잔고를 완전히 삭제할 수 있다고 주장했는데, 저는 이 '잔고 삭제'가 실제로 가능한지 의심스러웠기에 chatgpt에게 조사를 부탁했습니다.
chatgpt도 비슷한 판단을 내렸습니다. 즉, 이런 식으로 잔고를 지운다는 설명은 사실상 거의 불가능하다고 말입니다.
제가 가장 놀란 것은 chatgpt의 추론 과정이었습니다. 어떻게 이런 판단을 내렸는지 알고 싶어서, 저는 chatgpt의 사고 과정(Thinking Chain)을 꼼꼼히 살펴봤습니다.
그 사고 과정을 보면, 이더리움 주소를 "입력"해서 블록 탐색기(block explorer)에 접속하고, 그 주소의 거래 기록을 확인하는 단계가 있었습니다.
제가 쌍따옴표로 강조한 "입력"이라는 동사에 특히 주목해 주세요. 이것은 chatgpt가 블록 탐색기 웹사이트에서 실제로 어떤 작업을 수행했다는 의미인데, 저로서는 매우 놀라운 일이었습니다. 왜냐하면 이건 반년 전 제가 chatgpt의 보안성에 대해 조사했을 때의 결론과 정면으로 충돌하기 때문입니다.
반년 전, 저는 chatgpt o1 pro 모델을 이용해 이더리움 초기 이득 실현자들의 분포를 조사한 적이 있습니다. 당시 저는 명확하게 chatgpt o1 pro에게 창세 블록(genesis block) 주소를 블록 탐색기로 조회해 현재까지 아직 자금을 이체하지 않은 주소가 얼마나 되는지 알아보라고 지시했습니다. 그러나 chatgpt는 이를 수행할 수 없다며, 보안 설계 상 그런 작업은 금지되어 있다고 분명히 답했습니다.
즉, chatgpt는 웹페이지를 읽을 수는 있지만, 클릭·스크롤·입력 등 사용자 인터페이스(UI) 조작은 실행할 수 없습니다. 우리가 taobao.com 같은 사이트에서 로그인하거나 특정 상품을 검색하듯이 인간이 웹사이트 UI를 조작할 수 있는 것과 달리, chatgpt는 이러한 UI 이벤트를 시뮬레이션하는 것이 엄격히 금지되어 있었던 것입니다.
이것이 제가 반년 전 조사해서 얻은 결론이었습니다.
왜 당시 저는 이런 조사를 했을까요? 바로 claude라는 회사가 사용자의 컴퓨터를 직접 제어할 수 있는 에이전트(agent)를 개발했기 때문입니다. Anthropic사는 Claude 3.5 Sonnet에 실험적 기능인 「Computer use (beta)」를 도입하며, 클로드가 실제 사람처럼 화면을 읽고 커서를 움직이며 버튼을 클릭하고 문자를 입력하는 등의 일련의 데스크톱 작업—예컨대 웹 검색, 폼 작성, 주문 및 배달 예약 등—을 수행할 수 있게 되었다고 발표한 것이었습니다.
이건 정말 무서운 일이었습니다. 만약 어느 날 클로드가 갑자기 미쳐버려서 제 노트 앱에 들어가 모든 업무와 일기 내용을 읽어내고, 편의상 평문으로 적어둔 개인 키(private key)를 찾아낸다면 어떻게 될까 하는 생각이 들었기 때문입니다.
그 조사를 마친 후 저는 결정했습니다. AI 소프트웨어 전용으로 새 컴퓨터를 한 대 더 구입하기로요. 암호화폐(crypto) 관련 업무를 처리하는 제 컴퓨터에는 더 이상 AI 소프트웨어를 설치하지 않겠다는 것이었습니다. 그렇게 해서 저는 윈도우 PC 한 대와 안드로이드 스마트폰 하나를 추가로 갖게 되었고, 결국 컴퓨터와 휴대폰이 너무 많아져 정말 귀찮아졌습니다.
하지만 지금 중국산 스마트폰에 탑재된 AI들도 이미 유사한 권한을 가지게 되었습니다. 최근 여청둥(위청둥)은 화웨이의 '샤오이(Xiao Yi)'가 휴대폰에서 사용자를 대신해 항공권이나 호텔 예약을 해줄 수 있다는 영상을 공개하기도 했습니다. 영융(Yongyong) 스마트폰은 몇 달 전부터 사용자가 명령을 내리면 AI가 메이퇀(Meituan) 앱에서 커피를 주문하는 전체 과정까지 완료할 수 있도록 했습니다.
이렇게 메이퇀 주문까지 대신해주는 AI라면, 우리의 위챗 채팅 기록도 읽을 수 있는 걸까요?
이건 좀 무섭지 않나요?
다행히도 우리의 스마트폰은 하나의 종단 장치(end device)이며, 샤오이 같은 AI는 여전히 단말 측에서 작동하는 소형 모델입니다. 우리는 여전히 AI에게 권한을 관리할 수 있고, 예를 들어 AI가 사진첩의 사진을 읽는 것을 금지할 수 있습니다. 또한 특정 앱에 대해 암호화를 설정할 수도 있는데, notes 문서에 암호를 걸어두면 접근 시 비밀번호 입력이 필요하게 만들어, 샤오이 같은 AI의 직접적인 접근을 막을 수 있습니다.
하지만 chatgpt나 claude처럼 클라우드 기반의 대규모 언어 모델(LLM)이 UI 클릭, 스크롤, 입력 등의 조작을 시뮬레이션할 수 있는 권한을 획득한다면 문제는 완전히 달라집니다. 왜냐하면 chatgpt는 항상 클라우드 서버와 통신하기 때문에, 당신의 화면 정보가 100% 클라우드로 전송된다는 뜻이기 때문입니다. 이는 샤오이처럼 정보를 로컬에서만 처리하는 단말 측 모델과는 근본적으로 다릅니다.
단말 측의 샤오이들은 마치 우리 주변의 컴퓨터 전문가에게 휴대폰을 건네주고 여러 앱들을 대신 조작해달라고 부탁하는 것과 같습니다. 하지만 이 전문가는 휴대폰의 정보를 집으로 가져가 복사할 수는 없으며, 우리는 언제든지 휴대폰을 다시 돌려받을 수 있습니다. 사실 이런 '컴퓨터 수리 맡기기'는 흔히 있는 일 아니겠습니까?
하지만 클라우드 기반의 chatgpt 같은 LLM은 원격으로 우리의 휴대폰과 컴퓨터를 조종하는 것과 같습니다. 누군가 당신의 컴퓨터와 휴대폰을 원격으로 완전히 장악하는 셈이죠. 얼마나 큰 리스크인지 한번 생각해보세요. 그들이 당신의 기기 안에서 무슨 일을 하는지 당신은 전혀 알 수 없습니다.
저는 chatgpt의 사고 과정에서 arbiscan.io 같은 블록 탐색기에 대해 "입력"이라는 시뮬레이션 동작이 존재한다는 것을 보고 크게 놀랐습니다. 그래서 바로 chatgpt에게 이 동작이 어떻게 가능한지 계속해서 물어봤습니다. 만약 chatgpt가 저를 속이지 않았다면 이번엔 제가 걱정했던 것보다 훨씬 덜한 일이었습니다. 즉, chatgpt가 UI 조작을 시뮬레이션할 수 있는 권한을 얻은 것은 아니었고, 이번에 arbiscan.io에 접속해서 주소를 "입력"하고 해당 주소의 거래 기록을 조회한 것은 단지 하나의 해킹 기술(hack trick)에 불과했습니다. chatgpt o3가 정말 대단하다는 생각이 들었습니다.
chatgpt o3는 arbiscan.io에서 주소를 입력해 거래 기록을 조회하는 페이지의 URL 생성 규칙을 발견한 것입니다. arbiscan.io에서 특정 트랜잭션 또는 계약 주소를 조회하는 URL 패턴은 다음과 같습니다. (https://arbiscan.io/tx/<hash> 또는 /address/<addr>) chatgpt o3 모델은 이 규칙을 이해한 후, 계약 주소를 받으면 바로 arbiscan.io/address에 주소를 붙여 새로운 URL을 생성하고, 그 페이지를 열어 정보를 직접 읽어오는 방식을 사용한 것입니다.
와아.
이는 우리가 블록 탐색기에서 트랜잭션 정보를 확인할 때, 브라우저 창에 txhash를 일일이 입력하고 엔터를 치는 대신, 바로 그 정보를 보고자 하는 페이지의 URL을 직접 구성해서 브라우저에 입력하여 열어보는 것과 같은 이치입니다.
굉장하지 않나요?
결국, chatgpt는 UI 조작 시뮬레이션 금지라는 보안 제한을 돌파한 것이 아니었습니다.
하지만 만약 여러분이 진정으로 컴퓨터와 휴대폰의 보안을 신경 쓴다면, 반드시 이런 LLM 대형 언어 모델들이 기기에 어떤 권한을 가지는지 철저히 주의해야 합니다.
보안이 중요한 기기에서는 각종 AI의 사용을 금지하는 것이 바람직합니다.
특히 주목할 점은, '모델이 어디서 실행되는가(단말인지 클라우드인지)'가 모델 자체의 지능 수준보다 보안 경계(security boundary)를 더 결정짓는다는 사실입니다. 이것이 바로 제가 비용을 들여 따로 격리된 기기를 추가로 구성하더라도, 개인 키를 보관한 컴퓨터에서는 절대 클라우드 기반 대형 모델을 실행시키지 않는 이유입니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
