동질화된 AI 인프라의 돌파구는 어디에 있는가?
작성: IOSG Ventures
Zhenyang@Upshot, Fran@Giza, Ashely@Neuronets, Matt@Valence, Dylan@Pond의 피드백에 감사드립니다.
본 연구는 개발자에게 있어 어떤 인공지능 분야가 가장 중요하며, Web3 및 인공지능 분야에서 차세대 폭발적인 기회가 어디에 있을 수 있는지를 탐구하고자 합니다.
새로운 연구 결과를 공유하기 전에 먼저 저희가 RedPill의 총 500만 달러 규모 시리즈 A 펀딩 라운드에 참여하게 된 것을 기쁘게 생각합니다. 앞으로 RedPill과 함께 성장해 나갈 수 있기를 기대합니다!
TL;DR
Web3와 AI의 융합이 암호화폐 업계의 주목을 받으면서, 암호화 세계 내 AI 인프라 구축이 활발히 진행되고 있지만, 실제 AI를 활용하거나 AI를 위한 애플리케이션은 여전히 드물며, AI 인프라의 동질화 문제도 점차 나타나고 있습니다. 최근 저희가 참여한 RedPill의 투자 라운드는 이러한 현상에 대한 더 깊은 이해를 제공해주었습니다.
-
AI Dapp 개발의 주요 도구로는 탈중앙화된 OpenAI 접근, GPU 네트워크, 추론 네트워크, 에이전트 네트워크가 있습니다.
-
GPU 네트워크가 '비트코인 채굴 시대'보다 더 뜨거운 이유는 다음과 같습니다. AI 시장이 훨씬 크고 빠르게 안정적으로 성장 중이며, 매일 수백만 개의 애플리케이션을 지원하고 있으며, 다양한 GPU 모델과 서버 위치가 필요하고, 기술이 과거보다 성숙했으며, 대상 고객층 또한 훨씬 광범위하기 때문입니다.
-
추론 네트워크와 에이전트 네트워크는 유사한 인프라를 갖추고 있지만 초점은 다릅니다. 추론 네트워크는 숙련된 개발자가 자체 모델을 배포하는 데 중점을 두며, LLM 외 모델 실행에는 반드시 GPU가 필요하지 않습니다. 반면 에이전트 네트워크는 LLM에 특화되어 있으며, 개발자는 자체 모델을 보유할 필요 없이 프롬프트 엔지니어링과 여러 에이전트 연결에 집중합니다. 에이전트 네트워크는 항상 고성능 GPU를 필요로 합니다.
-
AI 인프라 프로젝트들은 큰 가능성을 제시하며 지속적으로 신기능을 출시하고 있습니다.
-
대부분의 순수 암호화 프로젝트는 아직 테스트넷 단계에 머물러 있으며, 안정성이 낮고 설정이 복잡하며 기능이 제한적이며, 보안성과 개인정보 보호 기능 입증까지는 시간이 더 필요합니다.
-
AI Dapp이 대세가 된다고 가정하면, 모니터링, RAG 관련 인프라, Web3 원생 모델, 암호화 원생 API 및 데이터가 내장된 탈중앙화 에이전트, 평가 네트워크 등 아직 개척되지 않은 영역이 많습니다.
-
수직 통합(vertical integration)이 두드러진 트렌드입니다. 인프라 프로젝트들이 AI Dapp 개발자의 작업을 간소화하기 위해 원스톱 서비스를 제공하려 하고 있습니다.
-
미래는 하이브리드 형태가 될 것입니다. 일부 추론은 프론트엔드에서 수행되고, 일부는 체인 상에서 계산되며, 이는 비용과 검증 가능성 요소를 고려한 것입니다.
출처: IOSG
서론
-
Web3와 AI의 융합은 현재 암호화 분야에서 가장 주목받는 주제 중 하나입니다. 재능 있는 개발자들이 암호화 세계에 AI 인프라를 구축하며 스마트 계약에 지능을 더하기 위해 노력하고 있습니다. AI dApp 개발은 극도로 복잡한 작업으로, 데이터, 모델, 컴퓨팅 파워, 운영, 배포 및 블록체인 통합 등 다양한 범위를 다뤄야 합니다. 이러한 요구사항에 대해 Web3 창업자들은 GPU 네트워크, 커뮤니티 기반 데이터 라벨링, 공동 학습 모델, 검증 가능한 AI 추론 및 학습, 에이전트 스토어 등 많은 초기 솔루션을 개발했습니다.
-
활발한 인프라 구축에도 불구하고, 실제로 AI를 활용하거나 AI를 위한 애플리케이션은 거의 없습니다. 개발자들이 AI dApp 개발 튜토리얼을 찾을 때, 대부분의 자료는 프론트엔드에서 OpenAI API를 호출하는 것에 국한되어 있으며, 순수 암호화 AI 인프라와 관련된 교육 자료는 매우 부족합니다.
출처: IOSG Ventures
-
현재 애플리케이션들은 블록체인의 탈중앙화 및 검증 가능 기능을 충분히 발휘하지 못하고 있으나, 이러한 상황은 곧 변화될 것입니다. 현재 대부분의 암호화 중심 AI 인프라는 테스트넷을 시작했으며, 향후 6개월 이내에 본격 운영을 목표로 하고 있습니다.
-
본 연구는 암호화 분야의 AI 인프라에서 사용 가능한 주요 도구들을 상세히 소개하겠습니다. 암호화 세계의 GPT-3.5 시대를 맞이할 준비를 하세요!
1. RedPill: OpenAI에 대한 탈중앙화 인증 제공
앞서 언급한 저희 투자 대상인 RedPill은 좋은 논의의 시작점이 됩니다.
OpenAI는 GPT-4-vision, GPT-4-turbo, GPT-4o 등 몇 가지 세계적 수준의 강력한 모델을 보유하고 있어, 고급 AI Dapp을 구축하는 데 최적의 선택입니다.
개발자는 오라클 또는 프론트엔드 인터페이스를 통해 OpenAI API를 호출하여 이를 dApp에 통합할 수 있습니다.
RedPill은 다양한 개발자의 OpenAI API를 하나의 인터페이스 아래 통합함으로써, 전 세계 사용자에게 빠르고 저렴하며 검증 가능한 인공지능 서비스를 제공합니다. 이를 통해 최고 수준의 AI 모델 자원 접근이 민주화됩니다. RedPill의 라우팅 알고리즘은 개발자의 요청을 단일 기여자에게 전달하며, 요청은 분산 네트워크를 통해 실행되어 OpenAI로부터의 잠재적 제한을 우회합니다. 이는 암호화 개발자가 직면하는 다음과 같은 일반적인 문제를 해결합니다.
-
TPM(분당 토큰 제한): 새 계정은 토큰 사용에 제한이 있어, 인기 있고 AI 의존도가 높은 dApp의 요구를 충족시키기 어렵습니다.
-
접근 제한: 일부 모델은 신규 계정이나 특정 국가에 대해 접근을 제한합니다.
같은 요청 코드를 사용하면서 호스트명만 변경하면, 개발자는 낮은 비용, 높은 확장성, 제한 없는 방식으로 OpenAI 모델에 접근할 수 있습니다.
2. GPU 네트워크
OpenAI의 API를 사용하는 것 외에도, 많은 개발자들이 직접 자신의 모델을 호스팅하는 것을 선호합니다. 그들은 io.net, Aethir, Akash 등 인기 있는 탈중앙화 GPU 네트워크를 활용하여 자체 GPU 클러스터를 구성하고, 다양한 강력한 내부 또는 오픈소스 모델을 배포하고 실행할 수 있습니다.
이러한 탈중앙화 GPU 네트워크는 개인 또는 소규모 데이터센터의 컴퓨팅 파워를 활용해 유연한 구성, 더 많은 서버 위치 선택권, 낮은 비용을 제공하여, 개발자가 제한된 예산 내에서도 쉽게 AI 관련 실험을 할 수 있게 합니다. 그러나 탈중앙화의 특성상, 이러한 GPU 네트워크는 기능성, 사용 용이성, 데이터 프라이버시 측면에서 여전히 일정한 한계를 가지고 있습니다.
지난 몇 달간 GPU 수요는 비트코인 채굴 열풍을 능가할 만큼 급증했습니다. 그 이유는 다음과 같습니다.
-
대상 고객이 증가했습니다. GPU 네트워크는 이제 AI 개발자를 대상으로 하며, 그 수가 많고 충성도가 높아 암호화폐 가격 변동에 덜 민감합니다.
-
채굴 장비보다 탈중앙화 GPU는 다양한 모델과 사양을 제공하여 다양한 요구를 충족시킬 수 있습니다. 특히 대규모 모델 처리에는 더 높은 VRAM이 필요하며, 소규모 작업에는 적합한 GPU를 선택할 수 있습니다. 또한 탈중앙화 GPU는 최종 사용자 근처에서 서비스를 제공하여 지연 시간을 줄일 수 있습니다.
-
기술이 점점 성숙해지고 있으며, Solana 같은 고속 블록체인 결제, Docker 가상화 기술, Ray 컴퓨팅 클러스터 등을 기반으로 합니다.
-
수익성 측면에서 AI 시장은 확장 중이며, 새로운 애플리케이션과 모델 개발 기회가 많습니다. H100 모델의 예상 수익률은 60~70%이며, 비트코인 채굴은 경쟁이 치열하고 산출량이 제한되어 있습니다.
-
Iris Energy, Core Scientific, Bitdeer 같은 비트코인 채굴 기업들도 GPU 네트워크를 지원하며 AI 서비스를 제공하고, H100 등 AI 전용 GPU를 적극적으로 구매하고 있습니다.
추천: SLA(Services Level Agreement)에 크게 신경 쓰지 않는 Web2 개발자라면, io.net는 간편하고 사용하기 쉬우며 비용 효율적인 선택입니다.
3. 추론 네트워크
이는 암호화 원생 AI 인프라의 핵심입니다. 미래에는 수십억 건의 AI 추론 작업을 지원하게 될 것입니다. Ritual, Valence, Fetch.ai 등 많은 AI 레이어1 또는 레이어2는 개발자가 체인 상에서 네이티브하게 AI 추론을 호출할 수 있도록 기능을 제공하고 있습니다.
이러한 네트워크는 다음 측면에서 차이를 보입니다.
-
성능 (지연 시간, 계산 시간)
-
지원하는 모델
-
검증 가능성
-
가격 (체인 상 거래 비용, 추론 비용)
-
개발자 경험
3.1 목표
이상적인 상황은 개발자가 어디서든, 어떤 형식의 증명을 통해든 쉽게 맞춤형 AI 추론 서비스에 접근할 수 있고, 통합 과정에서 거의 장애가 없어야 한다는 것입니다.
추론 네트워크는 개발자에게 필요한 모든 기본 지원을 제공합니다. 필요 시 증명 생성 및 검증, 추론 계산 수행, 추론 데이터의 리레이 및 검증, Web2 및 Web3 인터페이스 제공, 원클릭 모델 배포, 시스템 모니터링, 크로스체인 작업, 동기화 통합, 정기 실행 등의 기능을 포함합니다.
출처: IOSG Ventures
이러한 기능을 통해 개발자는 추론 서비스를 기존의 스마트 계약에 원활하게 통합할 수 있습니다. 예를 들어 DeFi 트레이딩 로봇을 구축할 때, 로봇은 머신러닝 모델을 이용해 특정 거래쌍의 매수/매도 타이밍을 찾아내고, 기반 거래 플랫폼에서 해당 거래 전략을 실행합니다.
완벽한 이상 상태에서는 모든 인프라가 클라우드에 호스팅됩니다. 개발자는 torch와 같은 일반 형식으로 거래 전략 모델을 업로드하기만 하면, 추론 네트워크가 이를 저장하고 Web2 및 Web3 조회에 모델을 제공합니다.
모든 모델 배포 단계가 완료되면, 개발자는 Web3 API 또는 스마트 계약을 통해 직접 모델 추론을 호출할 수 있습니다. 추론 네트워크는 이러한 거래 전략을 지속적으로 실행하고 결과를 기반 스마트 계약에 피드백합니다. 만약 개발자가 관리하는 커뮤니티 자금이 크다면, 추론 결과의 검증도 필요합니다. 추론 결과를 수신하면 스마트 계약은 그 결과에 따라 거래를 실행합니다.
출처: IOSG Ventures
3.1.1 비동기와 동기
이론적으로 비동기 실행은 더 나은 성능을 제공할 수 있지만, 개발자 경험 측면에서는 불편할 수 있습니다.
비동기 방식을 사용할 경우, 개발자는 먼저 작업을 추론 네트워크의 스마트 계약에 제출해야 합니다. 추론 작업이 완료되면, 추론 네트워크의 스마트 계약이 결과를 반환합니다. 이 프로그래밍 패턴에서는 로직이 추론 호출과 추론 결과 처리 두 부분으로 나뉩니다.
출처: IOSG Ventures
개발자가 중첩된 추론 호출과 많은 제어 로직을 갖고 있다면 상황은 더욱 악화됩니다.
출처: IOSG Ventures
비동기 프로그래밍 패턴은 기존 스마트 계약과의 통합이 어렵게 만들며, 개발자가 추가 코드 작성, 오류 처리, 종속성 관리를 위해 많은 노력을 해야 합니다.
반대로 동기 프로그래밍은 개발자에게 더 직관적이지만, 응답 시간과 블록체인 설계 측면에서 문제가 발생할 수 있습니다. 예를 들어 입력 데이터가 블록 타임스탬프나 가격처럼 빠르게 변하는 정보라면, 추론 완료 후 데이터가 이미 오래된 것이 되어 특정 상황에서 스마트 계약 실행이 롤백되어야 할 수 있습니다. 오래된 가격 정보로 거래를 하는 상황을 상상해보세요.
출처: IOSG Ventures
대부분의 AI 인프라는 비동기 처리를 채택하고 있지만, Valence는 이러한 문제들을 해결하려 시도하고 있습니다.
3.2 현실
실제로 많은 새로운 추론 네트워크는 아직 테스트 단계에 있습니다. Ritual 네트워크의 경우, 공개 문서에 따르면 현재 기능이 제한적이며(예: 검증, 증명 기능 미제공) 체인 상 AI 계산을 지원하는 클라우드 인프라는 제공하지 않고, 오히려 자체 호스팅 AI 계산을 위한 프레임워크를 제공하며 그 결과를 체인 상으로 전달하는 구조입니다.
이는 AIGC NFT를 실행하는 아키텍처입니다. 디퓨전 모델이 NFT를 생성하고 Arweave에 업로드합니다. 추론 네트워크는 이 Arweave 주소를 사용해 체인 상에서 해당 NFT를 민팅합니다.
출처: IOSG Ventures
이 과정은 매우 복잡하며, 개발자는 Ritual 노드(맞춤 서비스 로직 포함), Stable Diffusion 노드, NFT 스마트 계약 등 대부분의 인프라를 직접 배포하고 유지관리해야 합니다.
추천: 현재 추론 네트워크는 맞춤형 모델 통합 및 배포가 상당히 복잡하며, 대부분의 네트워크가 검증 기능을 아직 지원하지 않는 단계입니다. AI 기술을 프론트엔드에서 활용하는 것이 개발자에게 비교적 간단한 선택입니다. 검증 기능이 반드시 필요하다면 ZKML 제공업체인 Giza가 좋은 선택입니다.
4. 에이전트 네트워크
에이전트 네트워크는 사용자가 쉽게 자신만의 에이전트를 커스터마이징할 수 있게 합니다. 이러한 네트워크는 인간의 직접적인 개입 없이도 독립적으로 작업을 수행하고, 서로 상호작용하며 블록체인 네트워크와 소통하는 실체 또는 스마트 계약으로 구성됩니다. 주로 LLM 기술에 초점을 맞춥니다. 예를 들어, 이더리움에 대해 깊이 이해하는 GPT 챗봇을 제공할 수 있습니다. 그러나 현재 이러한 챗봇의 도구는 제한적이며, 개발자는 이를 기반으로 복잡한 애플리케이션을 개발할 수 없습니다.
출처: IOSG Ventures
그러나 앞으로 에이전트 네트워크는 지식뿐 아니라 외부 API 호출, 특정 작업 수행 능력 등 더 많은 도구를 에이전트에게 제공할 것입니다. 개발자는 여러 에이전트를 연결하여 워크플로우를 구축할 수 있게 될 것입니다. 예를 들어 Solidity 스마트 계약 작성은 프로토콜 설계 에이전트, Solidity 개발 에이전트, 코드 보안 검토 에이전트, Solidity 배포 에이전트 등 여러 전문 에이전트를 포함할 수 있습니다.
출처: IOSG Ventures
우리는 프롬프트와 시나리오를 사용해 이러한 에이전트들의 협업을 조정합니다.
Flock.ai, Myshell, Theoriq 등이 에이전트 네트워크의 예입니다.
추천: 현재 대부분의 에이전트 기능은 제한적입니다. 특정 용도의 경우 Web2 에이전트가 더 잘 작동하며 Langchain, Llamaindex와 같은 성숙한 오케스트레이션 도구를 제공합니다.
5. 에이전트 네트워크와 추론 네트워크의 차이점
에이전트 네트워크는 LLM에 더 중점을 두며, Langchain과 같은 도구를 제공해 여러 에이전트를 통합합니다. 일반적으로 개발자는 머신러닝 모델을 직접 개발할 필요가 없으며, 에이전트 네트워크는 모델 개발 및 배포 과정을 단순화합니다. 필요한 에이전트와 도구만 연결하면 됩니다. 대부분의 경우 최종 사용자가 직접 이러한 에이전트를 사용합니다.
반면 추론 네트워크는 에이전트 네트워크의 인프라를 제공합니다. 개발자에게 보다 낮은 수준의 접근 권한을 제공하며, 일반적으로 최종 사용자는 직접 추론 네트워크를 사용하지 않습니다. 개발자는 자체 모델(LMM에 국한되지 않음)을 배포해야 하며, 오프체인 또는 온체인 엔드포인트를 통해 이를 사용할 수 있습니다.
에이전트 네트워크와 추론 네트워크는 완전히 독립된 제품이 아닙니다. 우리는 이미 두 기능이 유사한 인프라에 의존하기 때문에 에이전트와 추론 기능을 동시에 제공하는 수직 통합 제품들을 보고 있습니다.
6. 새로운 기회 영역
모델 추론, 학습, 에이전트 네트워크 외에도 Web3 분야에는 탐구할 가치가 있는 새로운 영역이 많습니다.
-
데이터셋: 블록체인 데이터를 머신러닝에 사용할 수 있는 데이터셋으로 전환하는 방법은 무엇인가요? 머신러닝 개발자는 더 구체적이고 주제별로 특화된 데이터를 필요로 합니다. 예를 들어 Giza는 DeFi 관련 고품질 데이터셋을 제공하며 머신러닝 훈련에 특화되어 있습니다. 이상적인 데이터는 단순한 표 형식뿐만 아니라 블록체인 세계의 상호작용을 설명하는 그래프 데이터도 포함해야 합니다. 현재 이 분야는 미흡하며, Bagel과 Sahara 같은 일부 프로젝트는 개인 데이터 프라이버시를 보호하면서 새로운 데이터셋 생성을 장려하는 보상 메커니즘을 도입하고 있습니다.
-
모델 저장: 일부 모델은 크기가 매우 크므로, 이를 저장하고 배포하며 버전 관리하는 방법이 핵심입니다. 이는 체인 상 머신러닝의 성능과 비용에 직결됩니다. Filecoin, AR, 0g 등 선도적인 프로젝트들이 이 분야에서 진전을 이루고 있습니다.
-
모델 학습: 분산되고 검증 가능한 모델 학습은 어려운 문제입니다. Gensyn, Bittensor, Flock, Allora 등이 눈에 띄는 진전을 보이고 있습니다.
-
모니터링: 모델 추론이 체인 상과 체인 하에서 모두 발생하기 때문에, Web3 개발자가 모델 사용 현황을 추적하고 문제나 편향을 조기에 발견할 수 있도록 돕는 새로운 인프라가 필요합니다. 적절한 모니터링 도구를 통해 Web3 머신러닝 개발자는 즉시 조정하고 모델 정확도를 지속적으로 최적화할 수 있습니다.
-
RAG 인프라: 분산형 RAG는 저장, 임베딩 계산, 벡터 데이터베이스에 높은 요구를 하며 데이터 프라이버시 보안도 확보해야 합니다. 이는 현재 대부분의 Web3 AI 인프라가 Firstbatch, Bagel 등 제3자에게 RAG를 의존하는 것과는 전혀 다른 환경입니다.
-
Web3 맞춤형 모델: 모든 모델이 Web3 상황에 적합한 것은 아닙니다. 일반적으로 가격 예측, 추천 등의 특정 용도에 맞춰 모델을 재학습시켜야 합니다. AI 인프라의 번영에 따라 앞으로 더 많은 Web3 원생 모델이 AI 애플리케이션을 위해 등장할 것으로 기대됩니다. Pond는 블록체인 GNN을 개발 중이며, 가격 예측, 추천, 사기 탐지, 자금세탁방지 등 다양한 시나리오에 활용할 계획입니다.
-
평가 네트워크: 인간의 피드백이 없는 상황에서 에이전트를 평가하는 것은 쉽지 않습니다. 에이전트 생성 도구가 보편화됨에 따라 무수한 에이전트가 시장에 등장할 것입니다. 특정 상황에서 어떤 에이전트가 가장 잘 수행되는지를 판단할 수 있도록, 에이전트의 능력을 보여주는 시스템이 필요합니다. Neuronets는 이 분야의 참여자 중 하나입니다.
-
합의 메커니즘: AI 작업에 PoS가 최선의 선택은 아닐 수 있습니다. 계산 복잡성, 검증의 어려움, 결정성의 부재는 PoS가 직면하는 주요 도전 과제입니다. Bittensor는 머신러닝 모델과 출력에 기여하는 노드를 보상하는 새로운 지능형 합의 메커니즘을 창안했습니다.
7. 미래 전망
현재 수직 통합(vertical integration) 추세가 관찰되고 있습니다. 기본 컴퓨팅 계층을 구축함으로써, 네트워크는 학습, 추론, 에이전트 네트워크 서비스 등 다양한 머신러닝 작업을 지원할 수 있습니다. 이 모델은 Web3 머신러닝 개발자에게 포괄적인 원스톱 솔루션을 제공하려는 목적입니다.
현재
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
IOSG Ventures
