AI 대모델과 Web3는 어떻게 공생할 수 있는가?
글: 전홍비, 만물도 'AI+크립토 스튜디오' 대표
거대 모델은 인류 역사상 가장 빠르게 보급된 첨단 기술로서 모든 사람들의 주목을 받고 있으며, 한때 주목받던 웹3는 법적 측면에서 점점 더 큰 도전에 직면하고 있다. 그러나 완전히 다른 기술인 이 두 가지 사이에는 어떠한 대체 관계도 존재하지 않는다. 만물도 'AI+크립토 스튜디오'의 전홍비 대표는 거대 모델 발전 과정에서 발생하는 문제들과 웹3 분야의 기업들이 이러한 문제들을 해결하기 위해 어떻게 노력하고 있는지를 함께 논의할 예정이다.
거대 모델 산업의 문제점과 웹3를 활용한 해결 방안
众所周히 알려진 바와 같이, 2015년 이후 인터넷 산업은 과점 독점 단계에 진입했으며 전 세계 각국이 플랫폼 기업들에 대해 독점금지 조사를 실시했다. 거대 모델의 등장은 이러한 과점 기업들의 독점 지위를 더욱 강화시키고 있다. 거대 모델은 알고리즘, 컴퓨팅 파워(연산 능력), 데이터로 구성된다:
-
알고리즘 분야에서는 어느 정도의 독점이 존재하지만, 오픈소스 세력과 연구 대학들의 저항, 그리고 소수 기업들에 대한 불신이 있기 때문에 알고리즘은 상당 부분 개방 상태를 유지할 수 있다;
-
연산 능력 측면에서는 거대 모델 훈련 비용이 극도로 높기 때문에 오직 대기업만이 이를 감당할 수 있으며, 이로 인해 알고리즘 생산 자체가 대기업에 의해 완전히 통제되게 된다;
-
데이터 면에서는 거대 모델 훈련이 공개된 데이터에 의존하고 있지만, 모델 파라미터의 증가에 따라 공개 데이터는 곧 고갈될 것이며, 따라서 거대 모델의 지속적인 성장은 사설 데이터에 의존하게 된다. 다수의 중소기업이 보유한 데이터의 절대량은 엄청나지만, 개별적으로 고립되어 있어 활용하기 어렵기 때문에 대기업은 여전히 데이터에서 독점적 우위를 차지한다.
따라서 거대 모델 시대의 중심화 통제는 이전보다 더욱 강력해졌으며, 미래 세계는 소수 또는 단 하나의 컴퓨터에 의해 통제되는 상황이 될 가능성이 크다. (심지어 탈중앙화된 웹3 세계에서도, 비탈릭(Vitalik)이 제안한 이더리움의 최종 목표(End Game)는 거대한 블록 생성 장비 하나로 운영될 것이다.)
또한 ChatGPT를 개발한 OpenAI 회사의 핵심 인원은 겨우 20여 명에 불과하다. 여러 이유로 인해 ChatGPT 알고리즘은 현재까지 오픈소스화되지 않았으며, 원래 비영리 기업의 성격에서 제한적 영리 구조로 변경되었다. ChatGPT를 기반으로 하는 다양한 애플리케이션이 인간의 생활을 변화시키고 있으며, ChatGPT 모델의 일부 수정사항은 인간에게 막대한 영향을 미칠 수 있다. Google의 '악행하지 않기(Do No Evil)' 원칙과 비교하면, ChatGPT는 사람들에게 훨씬 더 깊은 영향을 준다.
따라서 모델의 계산 신뢰성은 중요한 이슈가 될 것이다. OpenAI가 비영리 기관일 수는 있겠지만, 권력이 소수에게 집중되면 많은 부정적인 결과를 초래할 수 있다. (비교하자면 비탈릭이 제안한 이더리움 End Game은 한 대의 기계가 블록을 생성하더라도, 일반 대중이 매우 쉽게 검증할 수 있도록 함으로써 투명성을 유지한다.)
동시에 현재 거대 모델 산업은 연산 자원 부족, 사용 가능한 훈련 데이터의 고갈, 모델 공유 문제 등에도 직면해 있다. 통계에 따르면 2021년 이전까지 인공지능 산업의 문제는 데이터 부족이었으며, 모든 딥러닝 기업들은 수직적 산업 분야의 데이터를 찾기에 급급했다. 그러나 거대 모델 시대 이후로는 연산 능력 부족이 새로운 장애물이 되었다.
거대 모델 개발은 데이터 수집, 데이터 전처리, 모델 훈련, 모델 파인 튜닝(fine tuning), 배포 및 질의 추론 단계로 나뉜다. 이러한 각 단계를 통해 먼저 블록체인이 거대 모델에 기여할 수 있는 부분과, 거대 모델의 과도한 집중화 위험에 대응하는 방법을 간략히 설명하겠다.
-
데이터 측면에서는 2030년 이후 공개 데이터가 고갈될 것이므로, 더 가치 있고 양이 많은 사설 데이터를 블록체인 기술로 개인정보를 보호하면서 활용해야 한다;
-
데이터 라벨링 분야에서는 토큰 인센티브를 통해 더 광범위한 규모의 데이터 라벨링과 검증을 유도할 수 있다;
-
모델 훈련 단계에서는 모델 공유와 협업 훈련을 통해 연산 자원을 공유할 수 있다;
-
모델 파인 튜닝 단계에서는 커뮤니티 참여를 위한 토큰 인센티브를 제공할 수 있다;
-
사용자 질의 및 추론 계산 단계에서는 블록체인이 사용자 데이터의 프라이버시를 보호할 수 있다.
구체적으로 살펴보면 다음과 같다:
1) 희소한 연산 자원(Compute)
연산 자원은 거대 모델의 필수 생산 요소이며, 현재 가장 비싼 생산 요소이다. 최근 투자를 유치한 스타트업조차도 자금의 80%를 곧바로 NVIDIA에 주고 GPU를 구매해야 할 정도다. 자체적으로 거대 모델을 개발하는 기업은 최소 5천만 달러를 들여 자체 데이터센터를 구축해야 하며, 소규모 스타트업은 비싼 클라우드 컴퓨팅 서비스를 구매할 수밖에 없다.
그러나 단기간 내 거대 모델에 대한 열풍과 거대 모델 자체의 거대한 연산 자원 소비량은 이미 NVIDIA의 공급 능력을 크게 초과했다. 통계에 따르면 거대 모델의 연산 수요는 몇 달마다 두 배씩 증가하며, 2012년부터 2018년 사이에 연산 수요는 30만 배 증가했고, 매년 거대 모델 계산 비용은 31배씩 증가하고 있다.
중국 인터넷 기업들은 또한 미국의 고성능 GPU 수출 금제라는 어려움에 직면해 있다.거대한 훈련 비용이 바로 거대 모델 기술이 소수에게 통제되는 핵심 원인이라고 할 수 있다.
그렇다면 블록체인 기술을 통해 어떻게 거대 모델의 연산 자원 문제를 해결할 수 있을까?
거대 모델 생산은 주로 거대 모델 훈련, 파인 튜닝(fine tuning), 사용자 질의 추론 계산으로 나뉜다. 거대 모델 훈련 비용이 비싸기로 유명하지만, 버전 하나당 한 번만 생성하면 된다. 대부분의 시간 동안 거대 모델 서비스 이용자들에게는 추론 계산만 필요하다. AWS의 통계 역시 이를 뒷받침하며, 실제 연산 자원의 80%가 추론 계산에 소비되고 있음을 보여준다.
거대 모델 훈련은 GPU 간 고속 통신이 필요하여 네트워크 상에서 수행하기 어렵다. (비용 절감을 위해 시간을 희생하는 방식 선택을 제외하면). 하지만 추론 계산은 단일 GPU에서 수행할 수 있다. 파인 튜닝(fine tuning)은 이미 생성된 거대 모델을 기반으로 전문 데이터를 부여하는 것이므로, 필요한 연산 자원도 거대 모델 훈련보다 훨씬 적다.
그래픽 렌더링 분야에서는 소비자용 GPU의 성능이 기업용 GPU보다 우수하며, 대부분의 시간 동안 유휴 상태에 있다. 1999년 캘리포니아 버클리 대학교에서 외계 생명체를 찾는 SETI 프로젝트를 시작한 이래, 2000년대 초 인기를 끌었던 그리드 컴퓨팅(Grid Computing)까지, 유휴 계산 자원을 활용해 거대한 계산 작업을 공동 수행하는 기술 아키텍처가 존재해왔다. 블록체인 이전에는 이러한 협업이 주로 과학적 과제에 국한되었으며, 참여자의 열정과 공익 참여에 의존해왔기 때문에 그 영향 범위가 제한적이었다. 이제 블록체인 기술을 활용하면 토큰 인센티브를 통해 이를 대규모로 확장할 수 있다.
탈중앙화 클라우드 컴퓨팅 프로젝트 Akash처럼, 사용자가 머신러닝 모델을 배포해 추론 계산 및 이미지 렌더링을 수행할 수 있는 일반적인 컴퓨팅 네트워크를 구축할 수 있다. 또한 Bittensor, Modulus Lab, Giza, ChainML 등 블록체인과 AI를 결합한 프로젝트들도 모두 질의 추론 계산에 초점을 맞추고 있다.
블록체인 AI 컴퓨팅 프로토콜 Gensyn과 오픈소스 생성형 AI 플랫폼 Together는 거대 모델 훈련을 위한 탈중앙화 컴퓨팅 네트워크 구축을 목표로 하고 있다.
도전 과제: 탈중앙화 컴퓨팅 네트워크의 난제는 느리고 신뢰할 수 없는 통신 네트워크뿐 아니라, 계산 상태 동기화 불가, 다양한 유형의 GPU 환경 처리, 경제적 인센티브 설계, 참여자들의 부정행위 방지, 작업 증명, 보안, 프라이버시 보호, 스팸 공격 대응 등의 문제를 해결해야 한다는 점이다.
2) 희소한 데이터 및 데이터 정제
거대 모델의 핵심 알고리즘인 인간 피드백을 통한 강화 학습(RLHF)은 사람의 참여를 통해 파인 튜닝을 하고, 오류를 교정하며, 편향성과 해로운 정보를 제거해야 한다. OpenAI는 RLHF를 이용해 GPT-3를 튜닝하여 ChatGPT를 만들었는데, 이 과정에서 Facebook 그룹에서 전문가를 찾고, 케냐 노동자들에게 시간당 2달러를 지불했다. 전문 분야의 데이터를 기반으로 한 최적화 훈련은 일반적으로 인간 전문가의 참여가 필요하며, 이를 토큰 인센티브를 통해 커뮤니티 참여 방식과 결합할 수 있다.
탈중앙화 물리 인프라 네트워크(DePINs) 산업은 토큰 인센티브를 통해 사람들이 센서를 설치하고, 현실 세계에서 실시간으로 수집된 진짜 데이터를 공유하도록 유도하며, 다양한 모델 훈련에 활용한다. 예를 들어 React는 에너지 사용 데이터를 수집하고, DIMO는 차량 운행 데이터를, WeatherXM은 기상 데이터를, Hivemapper는 토큰 인센티브로 지도 데이터를 수집하며, 교통 표지판을 라벨링하도록 유도해 RLHF 머신러닝 알고리즘의 정확도를 높인다.
동시에 거대 모델의 파라미터가 증가함에 따라 기존의 공개 데이터는 2030년에 고갈될 것으로 예상되며, 거대 모델의 지속적인 발전은 사설 데이터에 의존할 수밖에 없다. 사설 데이터의 양은 공개 데이터의 10배에 달하지만, 기업과 개인들 사이에 분산되어 있으며, 프라이버시와 보안 문제로 인해 활용이 어렵다. 즉, 거대 모델은 데이터를 필요로 하지만, 데이터를 가진 측은 거대 모델을 필요로 하면서도 데이터를 제공하기를 꺼리는 이중난제가 발생한다. 이 문제 역시 블록체인 기술로 해결할 수 있다.
오픈소스 추론 모델의 경우 필요한 계산 자원이 적어 데이터 쪽으로 모델을 다운로드해 실행할 수 있다. 반면 공개되지 않은 모델이나 거대 모델의 경우, 데이터를 익명화 처리한 후 모델 쪽으로 업로드해야 한다. 익명화 방법으로는 합성 데이터(synthetic data)와 제로노울리지 프루프(zero-knowledge proof)가 있다.
모델을 데이터 쪽으로 다운로드하든 데이터를 모델 쪽으로 업로드하든, 모델 또는 데이터의 부정행위를 방지하기 위한 권위성 문제를 해결해야 한다.
도전 과제: 웹3의 토큰 인센티브가 이 문제 해결에 도움을 줄 수 있지만, 여전히 부정행위 방지 문제가 해결되어야 한다.
3) 모델 협업
세계 최대의 AI 드로잉 모델 공유 플랫폼 Civitai 커뮤니티에서는 사람들이 모델을 공유하며, 쉽게 모델을 복사해 자신이 원하는 요구사항에 맞게 수정한 뒤 새로운 모델을 생성할 수 있다.
오픈소스 AI 신예이자 듀얼 컨센서스 블록체인 프로젝트인 Bittensor는 토큰 인센티브 기반의 탈중앙화 모델을 설계했으며, 전문가들의 조합(mixture of experts) 협업 메커니즘을 기반으로 문제 해결을 위한 하나의 모델을 공동 생성한다. 또한 knowledge distillation을 지원해 모델 간 정보 공유와 훈련 가속화를 가능하게 하며, 다수의 스타트업이 거대 모델에 참여할 수 있는 기회를 제공한다.
자동화, 오라클, 공용 AI 등 오프체인 서비스를 위한 통합 네트워크인 Autonolas는 Tendermint를 통해 에이전트 간 합의를 도출하는 협업 프레임워크를 설계했다.
도전 과제: 많은 모델 훈련은 여전히 대량의 통신을 필요로 하며, 분산 훈련의 신뢰성과 시간 효율성은 여전히 큰 장벽이다;
거대 모델과 웹3의 혁신적 융합
앞서 거대 모델 산업의 문제를 해결하기 위해 웹3를 어떻게 활용할 수 있는지 논의했다. 두 가지 중요한 힘의 결합은 몇 가지 혁신적 애플리케이션을 만들어낼 것이다.
1) ChatGPT를 활용한 스마트 계약 작성
최근 한 NFT 아티스트가 프로그래밍 지식 없이도 ChatGPT의 프롬프트를 활용해 자신의 스마트 계약을 배포하고 Turboner 토큰을 발행했다. 이 아티스트는 유튜브에 일주일간의 창작 과정을 기록해 올렸으며, ChatGPT를 이용한 스마트 계약 창작에 대한 관심을 불러일으켰다.
2) 암호화 결제로 지능형 관리 역량 강화
거대 모델의 발전은 스마트 어시스턴트의 지능을 크게 향상시켰으며, 암호화 결제와 결합하면 스마트 어시스턴트는 스마트 어시스턴트 시장에서 더 많은 자원을 조율하고, 더 많은 작업을 협업해 수행할 수 있게 된다. AutoGPT는 사용자가 제공한 신용카드를 기반으로 클라우드 컴퓨팅 자원 구매 및 항공권 예약 등을 자동으로 도와줄 수 있음을 보여줬지만, 자동 로그인이나 기타 보안 인증의 제약으로 인해 그 능력이 크게 제한됐다. 계약 네트워크 프로토콜(Contract Net Protocol)을 포함한 다중 에이전트 시스템(MAS)은 개방 시장에서 여러 스마트 어시스턴트가 협업하도록 설계했으며, 토큰 지원 하에서 이러한 협업은 신뢰 기반의 제한된 협업을 넘어, 마치 인류 사회가 원시 사회에서 화폐 사회로 진입했듯이, 시장경제 기반의 대규모 협업이 가능해진다.
3) zkML(제로노울리지 머신러닝)
zkp(제로노울리지 프루프) 기술은 블록체인에서 두 가지 용도로 사용된다. 하나는 블록체인 성능 문제 해결을 위해 계산 수요를 오프체인으로 이전한 후 zkp로 체인 상에서 인증하는 것이며, 다른 하나는 거래 프라이버시 보호이다. zkp는 거대 모델 분야에서도 모델 신뢰 계산(모델 계산의 일관성과 진실성 증명)과 훈련 데이터의 프라이버시 계산에 활용된다. 탈중앙화 환경에서 모델 제공자는 고객에게 판매한 모델이 약속한 모델임을 증명하고, 품질 저하 없음을 보여줘야 한다. 훈련 데이터 협력사는 자신의 프라이버시를 보호하면서도 모델 훈련이나 사용에 참여해야 한다. zkp는 일부 가능성을 제공하지만, 여전히 많은 도전 과제가 있으며, 동형 암호 계산(homomorphic computation)과 연합 프라이버시 계산(federated privacy computation) 등의 솔루션은 아직 성숙하지 못했다.
BEC(Blockchain Edge Client) 아키텍처 기반의 해결책
위에서 언급한 흐름 외에도, 토큰 인센티브가 없고 블록체인 적용을 극도로 단순화한 또 다른 접근법이 있는데, 이는 널리 주목받지 못하고 있다.
BEC 기반 아키텍처는 잭 도시(Jack Dorsey)가 언급한 Web5 개념과 팀 버너스 리(Tim Berners-Lee)의 Solid와 많은 유사점을 지닌다.
이들은 모두 다음을 믿는다:
-
각 개인은 자신이 통제하는 엣지 노드를 하나씩 갖는다;
-
대부분의 애플리케이션 시나리오에서의 계산과 저장은 엣지 노드에서 처리되어야 한다;
-
개인 노드 간 협업은 블록체인을 통해 이루어진다;
-
노드 간 통신은 P2P 방식으로 수행된다;
-
개인은 자신의 노드를 완전히 통제하거나, 신뢰할 수 있는 타인에게 위탁 관리(일부 시나리오에서는 relay server라고 함)를 맡길 수 있다;
-
가능한 최대한의 탈중앙화를 실현한다;
개인에 대응하는, 개인이 통제하는 이 노드가 개인 데이터를 저장하고 거대 모델을 로드하면, 완전히 개인화되고 100% 프라이버시가 보장된 개인 스마트 에이전트(Agent)를 훈련시킬 수 있다. SIG의 중국 창립 파트너인 공팅 박사는 미래의 개인 노드를 영화 '겨울왕국'에서 눈보가 항상 따라다니는 개인 구름에 비유했다.
이렇게 되면 지금의 메타버스 속 아바타는 더 이상 키보드로 조종되는 이미지가 아니라 영혼을 가진 에이전트가 된다. 이 에이전트는 24시간 내내 인터넷 뉴스를 학습하고, 이메일을 처리하며, 심지어 소셜 채팅 메시지에 자동으로 답장을 할 수도 있다. (말이 많은 여자친구는 주의하세요. 앞으로 남자친구가 당신을 상대하기 귀찮아서 에이전트를 이용해 대충 응답하는지 확인할 방법이 필요할지도 모릅니다.) 당신의 에이전트가 새로운 기술이 필요할 때는 마치 스마트폰에 앱을 설치하듯, 자신의 노드 안에 새 앱을 설치하면 된다.
결론
역사적으로 인터넷 발전과 함께 플랫폼화가 진행됨에 따라 유니콘 기업이 등장하는 시간은 점점 짧아지고 있지만, 본질적으로 스타트업의 발전에는 점점 더 불리해지고 있다.
Google과 Facebook이 제공하는 효율적인 콘텐츠 배포 플랫폼과 함께, 2005년에 설립된 YouTube는 단 1년 만에 Google에 16억 달러에 인수됐다.
애플 앱스토어의 효율적인 애플리케이션 배포 플랫폼과 함께, 2012년에 설립된 Instagram은 고작 10여 명의 인원으로 구성되어 있었으며, 2012년에 Facebook에 10억 달러에 인수됐다.
ChatGPT 거대 모델의 지원을 받은 Midjourney는 고작 11명의 인원으로 1년 만에 1억 달러의 수익을 올렸다. 100명도 안 되는 인원의 OpenAI는 평가액이 200억 달러를 넘는다.
인터넷 플랫폼 기업은 점점 더 강력해지고 있으며, 거대 모델의 등장은 대기업이 인터넷을 독점하는 현 상황을 바꾸지 못했다. 거대 모델의 세 가지 요소—알고리즘, 데이터, 연산 능력—은 여전히 대기업에 의해 독점되고 있으며, 스타트업은 거대 모델을 혁신하거나 훈련시킬 능력과 자금이 없어, 거대 모델을 기반으로 한 특정 분야의 애플리케이션에만 집중할 수밖에 없다. 거대 모델이 지식 보급을 촉진하는 것처럼 보이지만, 진정한 권력은 전 세계에서 모델을 생산할 수 있는 100명도 안 되는 소수에게 집중되어 있다.
미래에 거대 모델이 인간 생활의 모든 측면에 침투한다면, 당신이 ChatGPT에게 일상 식단, 건강 상태, 업무 메일, 변호사 서신 등을 질문할 것이다. 이론적으로 거대 모델을 장악한 사람들이 일부 파라미터만 조정해도 무수한 사람들의 삶에 막대한 영향을 미칠 수 있다. 거대 모델로 인한 일부 실업 문제는 UBI 또는 Worldcoin으로 해결될 수 있지만, 소수에게 권력이 집중된 거대 모델이 악용될 가능성은 훨씬 더 심각한 결과를 초래할 수 있다. 이것이 바로 OpenAI가 설립된 초기 목적이다. OpenAI는 비영리 구조를 통해 수익 추구 문제는 해결했지만, 권력 추구 문제는 어떻게 해결할 것인가? 명백히, 거대 모델은 수십 년간 인터넷에 무료로 공유된 인류의 지식을 빠르게 훈련해 지식 모델을 만들었지만, 이 모델은 극소수의 손에 통제되고 있다.
따라서 거대 모델과 블록체인은 가치관 측면에서 극심한 충돌을 겪고 있다. 블록체인 종사자들은 거대 모델 스타트업에 적극 참여해 블록체인 기술로 거대 모델의 문제를 해결해야 한다.인터넷에서 무료로 이용 가능한 방대한 데이터가 인류 공동의 지식이라면, 이러한 데이터로부터 생성된 거대 모델 역시 전 인류의 것이어야 한다. 최근 OpenAI가 문헌 데이터베이스에 요금을 지불하기 시작한 것처럼, OpenAI는 우리 각자가 기여한 개인 블로그에도 요금을 지불해야 한다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
