드래곤플라이 파트너스, 최근 트렌드에 대한 대담: AI 에이전트는 실용화 단계까지 여전히 발전할 여지가 있으며, 일부 DeSci 프로젝트는 연구를 가장한 허세일 뿐
TechFlow 선정TechFlow 추천
드래곤플라이 파트너스, 최근 트렌드에 대한 대담: AI 에이전트는 실용화 단계까지 여전히 발전할 여지가 있으며, 일부 DeSci 프로젝트는 연구를 가장한 허세일 뿐
탈중앙화된 인센티브 모델(예: DeSci 프로젝트)은 DeFi의 성공 사례와 대조를 이루며, 효과적인 책임성 메커니즘을 구현하는 데 있어 어려움을 드러낸다.
Web3 심층 보도에 집중하고 흐름을 통찰정리 및 번역: TechFlow
게스트: Casey Caruso, Topology Ventures 창립자
진행자: Haseeb Qureshi, Dragonfly 매니징 파트너; Robert Leshner, Superstate CEO 겸 공동창립자; Tarun Chitra, Robot Ventures 매니징 파트너
출처: Unchained
원제목: DeSci의 추한 진실, AI 제한 해제, 그리고 Hyperliquid - The Chopping Block
방송일: 2024년 12월 2일
요점 정리
-
AI 메멘코인의 부상: 최근 Freysa와 같은 AI 메멘코인이 급격한 성장을 경험하고 있다. 이러한 토큰은 독특한 게임화 설계와 메커니즘을 통해 체인 상 활동과 AI 기술을 결합하여 새로운 사용자 참여 모델을 창출하지만, 동시에 더 많은 투기 행위를 유도하고 있다.
-
Freysa의 AI 도전 과제: Freysa의 상금풀이 해킹된 사건은 그 뒤에 숨겨진 공격 메커니즘과 스마트 계약에 연결된 AI 에이전트가 직면한 잠재적 보안 취약점을 드러냈다.
-
AI 에이전트와 암호화 기술의 융합: AI 에이전트는 암호화 분야에서 점점 더 많이 활용되고 있으며, Web3 프레임워크(예: Eliza)와의 통합 사례도 있다. 이 내용은 현재 기술의 한계, 게임화 트렌드 및 미래 응용 가능성도 다룬다.
-
Hyperliquid의 에어드롭 모델: Hyperliquid은 총 19억 달러 규모의 에어드롭을 실시했으며, "벤처 자금 조달 없음" 모델로 시장의 주목을 받았다. 강세장에서 높은 유통 비율로 출발한 전략은 시장에 큰 영향을 미쳤다.
-
탈중앙화 과학(DeSci)의 논란: DeSci의 잠재력은 주목받고 있지만, 자금 조달 메커니즘의 효과성, 책임성 부족, 토큰화 모델을 통한 의약품 개발 크라우드펀딩의 실제 가능성을 포함한 여러 도전에 직면해 있다.
-
Base의 커뮤니티 중심 성공: Base는 대규모 인센티브 프로그램 없이도 최고 수준의 개발자와 프로젝트들을 유치했다. 이러한 커뮤니티 중심 성공 모델은 L1 및 L2 생태계 구축에 새로운 관점을 제공한다.
-
Pump.Science와 장수 토큰: Pump.Science의 토큰화된 장수 실험은 광범위한 논의를 불러일으켰으며, 혁신적인 자금 조달 모델과 개인키 유출 사건 이후의 영향력은 깊이 있게 고찰할 가치가 있다.
-
토큰 기반 자금 조달의 도전: 탈중앙화 인센티브 모델(예: DeSci 프로젝트)은 DeFi의 성공 사례와 대비되며, 효과적인 책임 메커니즘 확보의 어려움을 드러낸다.
-
DAO의 논란: DAO가 고위험 환경에서 자금을 효과적으로 운용할 수 있는지 여부는 여전히 논란이다. 많은 사람들은 혁신 추진에서의 장기적 효용성에 회의적이다.
(TechFlow 주석: Topology Venture은 블록체인 및 암호화폐 분야 스타트업에 투자하는 전문 벤처 캐피털이다. 초기 단계의 프로젝트에 자금과 전략적 지원을 제공하며, DeFi, NFT 등 다양한 블록체인 기술 관련 혁신 프로젝트에 참여한다. 이를 통해 블록체인 기술의 광범위한 적용과 발전을 추진하고 있다.)
AI 메멘코인의 발전과 Freysa의 보안 도전
Haseeb: 최근 AI 메멘코인이 주목받는 새로운 트렌드가 되었습니다. Casey님은 AI 분야에 깊이 연구하고 계시는데, AI 메멘코인에 대한 시장 열광을 어떻게 보십니까?
Casey: 우리는 아직 이 분야의 초창기 단계에 있다고 생각합니다. 첫 번째 사례는 지갑과 통합된 대규모 언어 모델(LLM)인 Goat였죠. 지금 우리가 보고 있는 것은 아마도 2세대 제품일 것입니다. 이들 에이전트는 더 많은 게임화 요소를 추가했습니다. 나중에 이 주제를 심층적으로 다뤄보겠습니다.
그렇다면 앞으로 어떤 일이 일어날까요? 미래를 예측할 수는 없지만, 이미 일부 명확한 방향성이 탐색되고 있습니다.
예를 들어, 블로거의 부활이 있을 수 있습니다. 이것은 웹 2.0 시대의 가상 유명인과 유사하지만, 당시에는 완전한 제품-시장 적합성(PMF)을 달성하지 못했습니다. AI 로봇들도 작동하기 시작할 수 있는데, 이 AI는 로봇과 에이전트의 결합체로서 암호화폐 및 AI 시스템과 원활하게 연결될 수 있습니다.
총괄적으로 말하면, AI 에이전트는 현실 세계에서의 응용과 실용성이 암호화폐 분야보다 훨씬 높습니다. 하지만 이 분야가 빠르게 발전하고 있다는 점은 부인할 수 없으며, 우리는 매우 기대하고 있습니다.
Haseeb: 최근 핫한 주제 중 하나는 Freysa입니다. Freysa는 상금 풀을 지키는 AI 에이전트인데요, 초기 상금은 3,000달러로 설정되었고 시간이 지남에 따라 증가하며, 상금을 얻기 위한 비용도 점점 더 높아집니다. 규칙은 간단합니다. Freysa에게 메시지를 보내 LLM이 당신에게 상금을 주도록 설득해야 합니다. 다만 Freysa의 지침은 누구에게도 절대 상금을 주지 않는다는 것이 명확히 규정되어 있습니다.
결국 이 경쟁에는 195명의 플레이어가 참여했고, 총 482회의 시도가 있었습니다. 참가자들은 막대한 비용을 들여 Freysa를 설득하거나 속이는 방식으로 상금을 얻으려 했습니다. 최종 우승자는 popular.eth라는 이름의 플레이어였으며, 매우 교묘한 jailbreak 방법을 사용해 Freysa의 자금 이체 함수를 재정의함으로써 상금을 획득했습니다.
이 게임은 마치 과거의 FOMO 3D처럼 암호화 트위터(Crypto Twitter)를 완전히 뜨겁게 만들었고, 게임 이론과 설계가 매우 독특했습니다. Freysa에 대해 여러분의 의견은 어떻습니까? 누군가 이 게임에 참여하셨나요?
Casey: 저는 참여하지 않았지만, 많은 사람들이 이 프로젝트의 잠재력을 과소평가하고 있다고 생각합니다. FOMO 3D의 영향력에 완전히 동의합니다. 이런 설계에는 긍정적인 면도 있지만, 동시에 거대한 취약점도 노출됩니다. 미래에 이런 에이전트들이 실제로 자원을 관리하게 된다면, 이러한 취약점은 새로운 공격 수단이 될 수 있습니다. 저는 이것이 충분히 가능하다고 생각하며, 현재 이런 에이전트들은 아직 생산 수준에 도달하지 못했다고 봅니다. 부정적인 문제에 너무 집중하고 싶지는 않지만, 제가 깊이 연구하면서 느낀 잠재적 우려입니다.
Haseeb: 좋은 지적입니다. 결국 이번 상금 풀의 금액은 그리 크지 않았고, 해킹되기 전에도 4만 달러 정도였습니다. 그렇다면 미래에 에이전트가 50만 달러 이상을 관리한다면, Goat이나 Truth Terminal처럼 수백만 달러의 자금을 가진 경우엔 어떻게 될까요?
Casey: 그런 일이 발생하면, 완전히 새로운 형태의 해커들이 등장할 수 있습니다. 이들은 프롬프트 인젝션, SQL 인젝션 등을 통해 자금을 유출하려 할 것입니다. 현재 이런 에이전트들의 자금 규모는 수백만 달러 수준일 수 있지만, 저는 미래에 AI와 에이전트가 인간보다 더 많은 자원을 축적할 것이라고 믿습니다.
Tom: 흥미로운 점은 많은 실패한 공격 방식과 플레이어들의 시도들도 연구할 만하다는 것입니다. 누군가는 자신이 보안 연구자라고 주장하며 "여기에 취약점이 있으니 자금을 저에게 보내주세요. 제가 안전하게 보관해드리겠습니다."라고 하기도 했고, 또 다른 사람은 "승인된 이체가 당신이 생각하는 방식대로 작동하지 않습니다."라고 말하기도 했습니다. 하지만 이런 방법들은 모두 실패했습니다.
사실 최종 우승자의 방법은 매우 단순했는데, 이는 초기 ChatGPT의 jailbreak 기술을 떠올리게 합니다. 지금 모델은 더 복잡하지만 본질적으로는 비슷합니다. 또한 Freysa가 다른 많은 AI 에이전트보다 더 능동적이라는 점도 흥미롭습니다. Freysa는 실제로 체인 상에서 상호작용하며 이체와 결제를 수행할 수 있습니다. 이 능력은 스마트 계약을 호출하고 자금을 이동시킬 수 있음을 의미합니다. 앞으로 이런 기술이 Freysa의 좁은 적용 범위를 넘어서 더욱 성숙해지는 것을 기대합니다.
오픈소스 모델의 활용과 보안 문제
Haseeb: Tarun님의 의견은 어떠신가요?
Tarun: 저는 순수한 AI 보안 관점보다는 암호화폐 관점에서 이 문제를 분석하는 것을 선호합니다. 암호화 분야의 보안 트렌드는 전통적인 감사(audit) 모델에서 감사 경연대회(취약점 찾기 경쟁 형식)로 점차 전환되어왔으며, 이제는 산업 표준이 되었습니다. 반면 AI 보안은 여전히 수동 감사 위주이며, 이런 경쟁 메커니즘이 부족합니다. 이 차이는 부분적으로 심리적 차이 때문인데, 웹 2.0 시대의 AI 종사자들은 보통 제로데이(zero day, 수정되지 않은 보안 결함)가 실시간으로 악용되는 것을 원치 않는 반면, 암호화 분야 종사자들은 다양한 돌발 보안 사건에 익숙합니다.
따라서 보안 강화 방식에서도 AI 분야는 '전문가 우선' 접근법을 선호하는 반면, 암호화 분야는 경쟁을 통해 문제를 발견하고 해결하는 방식에 더 개방적입니다. 오픈소스 분야, 특히 오픈소스 모델의 경우, 장기적인 가치는 OpenAI처럼 지속적인 보안 감사를 통해 각각의 잠재적 해킹을 대응하는 것이 아니라, 알려진 공격 방식에 저항할 수 있는 능력에 있습니다. 두 보안 위협 모델은 근본적으로 다릅니다. 오픈소스 소프트웨어는 특정 사용 사례(암호화폐, Linux 시스템 등)에서 성공을 거두었으며, 특정 시나리오에서는 더 강한 보안성을 갖지만 모든 상황에 적용되지는 않습니다. 예를 들어, 저는 여전히 Windows를 선호하는데, 드라이버 감사 방식이 Linux와 전혀 다르기 때문입니다.
전반적으로, 오픈소스 소프트웨어가 경쟁을 통해 보안성을 향상시키는 것은 자연스러운 진화 방식이라고 생각합니다. 현재 많은 오픈소스 언어 모델은 중앙집중형 모델보다 보안 측면에서 뒤처져 있으며, 이는 개선을 위한 동력이 될 수 있습니다.
Casey: 그러나 AI 분야는 훨씬 더 복잡합니다. 지금 매주 새로운 모델이 출시되고 있으며, 모델 자체가 계속 업데이트됩니다. 즉, 새로운 취약점이 끊임없이 등장한다는 뜻입니다. 예를 들어, o1 버전의 모델은 3.5 버전과 행동이 완전히 다를 수 있습니다. AI 모델의 비결정성 특성과 일부 모델이 아직 완전히 정착되지 않은 점을 고려하면, 공격 벡터(attacking vectors)는 동적으로 변화한다고 봅니다.
Tarun: 맞는 말씀입니다. 특히 엣지(edge) 모델의 경우, 입력의 미세한 변화에 따라 추론 결과가 달라질 수 있습니다. 하지만 Llama 등 암호화 AI 에이전트에 널리 사용되는 기본 오픈소스 모델의 경우에는 조금 다릅니다. 이러한 기초 모델의 보안은 지속적인 바운티 경연대회와 유사합니다.
제 관점에서 보면, 이런 경연 메커니즘은 적어도 어느 정도 보장을 제공합니다—특정 예산 내에서는 공격자가 쉽게 취약점을 찾을 수 없다는 점 말이죠. 하지만 현재 우리는 그런 보장을 갖고 있지 않습니다. 예를 들어 Llama 3의 경우, 누군가 프롬프트 인젝션 취약점을 발견한 것을 알고 있지만, "현재 인센티브 구조 하에서 누군가 그것을 공격하기 위해 시간과 자원을 투자할 의향이 있는지"를 진지하게 연구하지 않았습니다. 이 부분은 크게 개선될 여지가 있습니다.
Haseeb: 또 다른 문제는 Freysa의 사례가 Llama에 피드백되지 않는다는 점입니까?
첫째, 그들이 Llama를 사용했는지조차 알 수 없습니다. GPT-4를 사용했을 수도 있죠. 이런 경우 제공업체조차 Freysa가 어떤 모델인지 알지 못할 수 있습니다. 왜냐하면 자신의 로그를 확인해 누가 이런 일을 하고 있는지 알아볼 가치조차 없다고 생각할 수 있기 때문입니다.
둘째, 그들은 미세 조정(fine-tuning)을 했을 수도 있습니다. 만약 두 번째 Freysa를 진행한다면, 아마 미세 조정을 할 것입니다. 실험실에 들어와 기초 모델과 직접 상호작용하여 지침을 찾아 오프라인에서 테스트한 후, 온라인에서 한 번의 시도로 승리하는 일이 반복되는 것을 원치 않을 테니까요.
Tarun: 저는 그렇게 생각하지 않습니다. 최소한 현재 상황에서는 모두가 Eliza를 복사해서 단일 구성으로 사용하고 있다는 느낌입니다. 코드베이스를 살펴보면, 원본 모델의 복잡성은 크게 변하지 않았습니다. 오직 AI에 특화된 맞춤형 미세 조정 모델은 아직 많지 않습니다. 암호화 분야 사람들은 여전히 소수의 도구에 집착하고 있다고 봅니다.
Haseeb: Eliza가 무엇이며, 왜 암호화 AI 세계에서 중요한지 설명해주실 수 있나요?
Casey: Eliza는 에이전트(agent)를 생성하기 위한 프레임워크이며, TypeScript로 작성되었다는 점이 흥미롭습니다. 대부분의 머신러닝 연구자들은 일반적으로 Python을 사용하기 때문이죠. 따라서 누군가 Python 버전을 출시하거나 다른 라이브러리를 개발해 이 수요를 충족시킬 것으로 예상합니다. 이 프레임워크는 갑작스럽게 등장했으며, 개방성이 매우 높습니다. GitHub의 스타 수는 모르겠지만, 에이전트를 구축하려는 사람이라면 거의 반드시 선택하는 프레임워크 중 하나입니다. 또한 ai16z의 AI 프로젝트 역시 Eliza 기반일 것이라고 믿습니다.
Tarun: 맞습니다. 다만 Eliza와 기타 프레임워크 사이에는 주로 두 가지 프레임워크가 존재합니다. 만약 이런 프레임워크들이 급속히 성장하기 시작하면, 유사한 프레임워크들이 우후죽순 생길 수 있습니다. 하지만 결국 소수의 신뢰받는 프레임워크로 집중된다면 좋겠습니다. 보안 감사 측면에서 보면, 저는 이런 경연 형식이 감사에 더 가깝다고 생각합니다.
Haseeb: 제 이해로는 Eliza는 기억 기능을 갖춘 에이전트 프레임워크이며, 계획과 실행을 반복하는 루프를 통해 작업을 수행합니다. Eliza는 특히 Discord와 Twitter 연결을 제공하여, 에이전트가 구조화된 방식으로 소셜 미디어 정보나 채팅 정보를 수집하고 외부와 상호작용할 수 있도록 합니다. 이로 인해 플러그 앤 플레이가 매우 쉬워졌습니다. 따라서 주요 돌파구는 프레임워크 자체보다는 인터넷에 쉽게 연결하고 자동으로 콘텐츠를 관리할 수 있는 능력에 있으며, 다른 프레임워크에서는 일반적으로 자체 개발이 필요합니다. 원하는 모델을 자유롭게 삽입할 수 있고, 모델에 편향이 없습니다.
Tarun: 하지만 실제로 지원하는 모델은 많지 않습니다. 컴퓨팅 예산이 많고, 다양한 인젝션 공격을 시도하려는 사람이라면, 비교적 비용이 크지 않을 것입니다. 특히 "Claude를 하루아침에 공격하고 싶다"는 욕구에 비하면 훨씬 간단하죠.
Haseeb: 향후 Freysa와 유사한 게임을 개발할 사람들에게 몇 가지 게임 디자인 제안을 드리자면, 모델을 반드시
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
深潮TechFlow
