The Graph는 어떻게 AI 기반 Web3 인프라로 확장할 수 있을까?
글: ChainFeeds Research
2022년 OpenAI는 GPT-3.5 모델 기반의 ChatGPT를 출시하며 AI 서사에 새로운 물결을 일으켰다. 그러나 대부분의 상황에서 효과적으로 문제를 처리할 수 있는 ChatGPT도 특정 분야의 전문 지식이나 실시간 데이터가 필요한 경우에는 여전히 한계를 드러낸다. 예를 들어, 비탈릭 부테린(Vitalik Buterin)의 지난 18개월간 토큰 거래 내역을 묻는 질문에는 신뢰할 수 있고 자세한 정보를 제공하지 못한다. 이에 The Graph 코어 개발팀인 Semiotic Labs는 The Graph 인덱싱 소프트웨어 스택과 OpenAI를 결합한 'Agentc' 프로젝트를 선보이며, 암호화폐 시장 동향 분석 및 거래 데이터 조회 서비스를 제공하고 있다.
실제로 Agentc에게 비탈릭 부테린의 지난 18개월간 토큰 거래 내역을 묻는 질문을 던졌을 때 보다 상세한 답변이 제공된다. 하지만 The Graph의 AI 전략은 여기서 그치지 않는다. 발표된 백서 「The Graph as AI Infrastructure」에서는 특정 애플리케이션 출시가 목표가 아니라, 탈중앙화 데이터 인덱싱 프로토콜로서의 장점을 최대한 활용해 개발자들이 Web3 원생 AI 애플리케이션을 구축할 수 있도록 도구를 제공하는 것이 궁극적인 목표라고 밝혔다. 이를 위해 Semiotic Labs는 Agentc의 코드베이스를 오픈소스로 공개하여, NFT 마켓 트렌드 분석 에이전트나 DeFi 거래 어시스턴트 등 Agentc와 유사한 기능의 AI dapp을 개발자가 직접 제작할 수 있도록 할 계획이다.
The Graph의 탈중앙화 AI 로드맵
The Graph는 2018년 7월 출시된 블록체인 데이터를 인덱싱하고 쿼리하는 탈중앙화 프로토콜이다. 이 프로토콜을 통해 개발자는 오픈 API를 사용해 서브그래프(Subgraph)라 불리는 데이터 인덱스를 생성하고 배포할 수 있으며, 이를 통해 애플리케이션이 체인상 데이터를 효율적으로 검색할 수 있다. 현재까지 The Graph는 50개 이상의 체인을 지원하고, 7.5만 개 이상의 프로젝트를 호스팅하며, 1.26조 회 이상의 쿼리를 처리했다.
이처럼 방대한 데이터를 처리할 수 있었던 것은 Edge & Node, Streamingfast, Semiotic, The Guild, GraphOps, Messari, Pinax 등 핵심 팀들의 협력 덕분이다. Streamingfast는 블록체인 데이터 스트림의 크로스체인 아키텍처 기술을 제공하며, Semiotic AI는 AI와 암호학을 The Graph에 적용하는 데 주력하고 있다. 또한 The Guild, GraphOps, Messari, Pinax는 각각 GraphQL 개발, 인덱싱 서비스, 서브그래프 개발, 데이터 스트림 솔루션 분야에 집중하고 있다.
The Graph의 AI 진출은 어제오늘의 일이 아니다. 작년 3월 The Graph Blog는 데이터 인덱싱 기능을 활용한 AI 애플리케이션의 가능성을 소개하는 글을 게재했으며, 같은 해 12월에는 대규모 언어 모델(Large Language Model) 기반의 AI 보조 쿼리 기능 추가를 포함한 'New Era'라는 새 로드맵을 발표했다. 최근 백서의 발표로 그들의 AI 로드맵은 더욱 명확해졌다. 백서에서는 추론(Inference)과 에이전트(Agent) 서비스라는 두 가지 AI 서비스를 소개하며, 개발자가 애플리케이션 프론트엔드에 AI 기능을 직접 통합할 수 있도록 The Graph가 전면 지원할 것임을 밝혔다.
Inference Service: 다양한 오픈소스 AI 모델 지원
기존의 추론 서비스는 중심화된 클라우드 컴퓨팅 리소스를 이용해 입력 데이터에 대한 예측을 수행한다. 예를 들어, ChatGPT에 질문을 하면 모델이 추론을 수행하고 답변을 반환하는 방식이다. 하지만 이러한 중심화된 접근은 비용 증가뿐 아니라 검열 위험도 동반한다. The Graph는 탈중앙화된 모델 호스팅 마켓플레이스를 구축함으로써 이 문제를 해결하고자 하며, 이를 통해 dApp 개발자가 AI 모델을 더 유연하게 배포하고 관리할 수 있도록 한다.
The Graph는 백서에서 Farcaster 사용자가 자신의 게시물이 많은 좋아요를 받을지 예측할 수 있도록 돕는 애플리케이션 예시를 들었다. 먼저 The Graph의 서브그래프를 활용해 Farcaster 게시물의 댓글과 좋아요 수를 인덱싱한다. 이후 신경망을 훈련시켜 새로운 Farcaster 댓글이 좋아요를 받을지 예측하도록 하고, 이 신경망을 The Graph의 추론 서비스에 배포한다. 최종적으로 개발된 dApp은 사용자가 더 많은 좋아요를 얻을 수 있는 게시물을 작성하도록 도울 수 있다.
이러한 방식을 통해 개발자는 The Graph 인프라를 쉽게 활용해 사전 훈련된 모델을 The Graph 네트워크에 호스팅하고 API를 통해 애플리케이션에 통합할 수 있다. 결과적으로 사용자는 dApp 사용 중에도 이러한 기능을 바로 경험할 수 있게 된다.
개발자에게 더 많은 선택권과 유연성을 제공하기 위해, The Graph의 Inference Service는 대부분의 주요 오픈소스 AI 모델을 지원한다. 백서에 따르면 "MVP 단계에서 The Graph의 Inference Service는 Stable Diffusion, Stable Video Diffusion, LLaMA, Mixtral, Grok, Whisper 등의 엄선된 인기 오픈소스 AI 모델들을 지원할 예정"이라고 명시되어 있다. 향후 충분한 테스트를 거친 모든 오픈 모델은 The Graph Inference Service에 배포될 수 있다. 또한 AI 모델 배포의 기술적 복잡성을 줄이기 위해 The Graph는 사용자 친화적인 인터페이스를 제공해 개발자가 인프라 유지보수 걱정 없이 간편하게 AI 모델을 업로드하고 관리할 수 있도록 한다.
특정 애플리케이션 시나리오에서 모델의 성능을 더욱 향상시키기 위해, The Graph는 특정 데이터셋을 활용한 미세 조정(fine-tuning)도 지원한다. 다만, 미세 조정은 일반적으로 The Graph 외부에서 수행되며, 개발자는 외부에서 모델을 미세 조정한 후 The Graph의 추론 서비스에 해당 모델을 배포하는 방식을 취해야 한다. 미세 조정된 모델을 공개하도록 유도하기 위해 The Graph는 모델 제작자와 모델을 제공하는 인덱서 간에 적절히 쿼리 수수료를 분배하는 인센티브 메커니즘을 개발 중이다.
추론 작업의 실행 검증 측면에서 The Graph는 신뢰 가능한 권위자(trusted authority), M-of-N 합의, 대화형 사기 증명(interactive fraud proofs), zk-SNARKs 등 여러 방법을 제공한다. 이 네 가지 방식은 각각 장단점이 있는데, 신뢰 가능한 권위자는 신뢰할 수 있는 실체에 의존하고, M-of-N 합의는 여러 인덱서가 검증함으로써 사기를 어렵게 만들지만 계산 및 조정 비용이 증가한다. 대화형 사기 증명은 보안성이 높지만 빠른 응답이 필요한 애플리케이션에는 부적합하며, zk-SNARKs는 기술 구현이 복잡해 대규모 모델에는 적합하지 않다.
The Graph는 개발자와 사용자가 필요에 따라 적절한 보안 수준을 선택할 수 있어야 한다고 판단한다. 따라서 추론 서비스에서 다양한 검증 방법을 지원해 서로 다른 보안 요구사항과 사용 사례에 맞출 계획이다. 예를 들어 금융 거래나 중요한 비즈니스 로직이 관련된 경우 zk-SNARKs 또는 M-of-N 합의와 같은 고보안 검증 방법을 사용할 수 있으며, 저위험 또는 오락 목적의 애플리케이션의 경우 신뢰 가능한 권위자 또는 대화형 사기 증명과 같이 비용이 낮고 구현이 쉬운 방법을 선택할 수 있다. 또한 The Graph는 모델과 사용자 개인정보 보호를 강화하기 위한 기술도 탐색할 예정이다.
Agent Service: 개발자에게 자율적인 AI 기반 애플리케이션 구축 지원
Inference Service가 주로 훈련된 AI 모델을 실행해 추론을 수행한다면, Agent Service는 훨씬 더 복잡하다. 에이전트가 일련의 복잡하고 자동화된 작업을 수행하려면 여러 구성 요소가 협업해야 하기 때문이다. The Graph의 Agent Service는 이러한 에이전트의 구축, 호스팅, 실행을 모두 The Graph에 통합하고 인덱서 네트워크가 이를 지원하는 것을 핵심 가치로 삼고 있다.
구체적으로, The Graph는 에이전트의 구축과 호스팅을 지원하는 탈중앙화 네트워크를 제공한다. 에이전트가 The Graph 네트워크에 배포되면, 인덱서는 데이터 인덱싱, 체인상 이벤트 응답 등 다양한 상호작용 요청에 대해 필수적인 실행 지원을 제공한다.
앞서 언급했듯이, The Graph의 코어 개발팀 Semiotic Labs는 이미 초기 에이전트 실험 제품인 Agentc를 출시했다. Agentc는 The Graph의 인덱싱 소프트웨어 스택과 OpenAI를 결합해 자연어 입력을 SQL 쿼리로 변환함으로써 사용자가 블록체인상의 실시간 데이터를 쉽게 조회할 수 있도록 돕고, 결과를 이해하기 쉬운 형태로 제공한다. 간단히 말해 Agentc는 사용자에게 편리한 암호화폐 시장 트렌드 분석 및 거래 데이터 조회 기능에 특화되어 있으며, 모든 데이터는 이더리움 기반 Uniswap V2, Uniswap V3, Uniswap X 및 그 포크에서 가져오며 가격 정보는 매시간 갱신된다.
또한 The Graph는 현재 사용 중인 LLM 모델의 정확도가 63.41%에 불과해 잘못된 응답이 발생할 수 있다고 밝히며, 이를 해결하기 위해 KGLLM(Knowledge Graph-enabled Large Language Models)이라는 새로운 대규모 언어 모델 개발을 진행 중이라고 전했다.
KGLLM은 Geo가 제공하는 구조화된 지식 그래프 데이터를 활용해 오류 정보 생성 확률을 크게 줄일 수 있다. Geo 시스템의 각 주장은 체인상 타임스탬프와 투표 검증을 기반으로 한다. 지식 그래프를 통합하면 의료 규제, 정치 동향, 시장 분석 등 다양한 시나리오에 에이전트를 적용할 수 있어 서비스의 다양성과 정확성이 향상된다. 예를 들어 KGLLM은 정치 데이터를 활용해 탈중앙화 자율조직(DAO)에 정책 변경 제안을 제공하고, 현재의 정확한 정보 기반으로 결정을 내릴 수 있도록 보장할 수 있다.
KGLLM의 장점은 다음과 같다:
-
구조화된 데이터 활용: KGLLM은 구조화된 외부 지식 베이스를 사용한다. 정보는 지식 그래프 내에서 그래프 형태로 모델링되어 데이터 간 관계가 명확해지며, 쿼리와 이해가 직관적으로 이루어진다.
-
관계 데이터 처리 능력: KGLLM은 사람 간, 사람과 사건 간의 관계를 이해하는 데 특히 적합하다. 그래프 순회 알고리즘을 사용해 지식 그래프 내 여러 노드를 점프하며(지도상 이동과 유사) 관련 정보를 찾을 수 있으며, 이를 통해 가장 관련성 높은 정보를 찾아 질문에 답할 수 있다.
-
효율적인 정보 검색 및 생성: 그래프 순회 알고리즘을 통해 추출된 관계는 자연어로 변환되어 모델이 이해할 수 있는 프롬프트로 제공된다. 이러한 명확한 지침을 통해 KGLLM은 보다 정확하고 관련성 높은 답변을 생성할 수 있다.
전망
The Graph는 'Web3의 Google'로 불리며, 기존 AI 서비스의 데이터 부족 문제를 보완하고 AI 서비스 도입을 통해 개발자의 프로젝트 개발 과정을 간소화하고 있다. 앞으로 더 많은 AI 애플리케이션이 개발되고 사용됨에 따라 사용자 경험은 더욱 향상될 전망이다. 향후 The Graph 개발팀은 인공지능과 Web3의 융합 가능성을 계속 탐색할 예정이며, 생태계 내 다른 팀들인 Playgrounds Analytics와 DappLooker 역시 에이전트 서비스와 연계된 솔루션을 설계하고 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@ChainFeedsxyz
