IOSG 리서치｜GPU 공급 위기: 스타트업 AI 기업의 돌파구
저자: Mohit Pandit, IOSG Ventures
요약
-
GPU 부족은 현실이며 수요와 공급이 긴박하지만, 활용되지 않는 GPU의 수량은 현재 공급 부족을 충족할 수 있다.
-
클라우드 컴퓨팅 참여를 촉진하고 궁극적으로 추론 또는 훈련용 계산 작업을 조정하기 위해 인센티브 레이어가 필요하다. DePIN 모델이 이 목적에 정확히 적합하다.
-
공급자에게는 인센티브가 제공되고, 계산 비용이 낮기 때문에 수요자는 이를 매력적으로 느낀다.
-
모든 것이 완벽한 것은 아니며, Web3 클라우드를 선택할 때 지연 시간('지연')과 같은 특정 타협을 해야 한다. 전통적인 GPU 클라우드에 비해 보험, 서비스 수준 계약(SLA) 등의 문제도 고려해야 한다.
-
DePIN 모델은 GPU 가용성 문제를 해결할 잠재력을 가지고 있지만, 분절화된 모델은 상황을 더 좋게 만들지 못한다. 수요가 기하급수적으로 증가하는 상황에서 분절화된 공급은 공급이 없는 것과 같다.
-
새로운 시장 참여자의 수를 고려하면 시장 집적이 불가피하다.
서론
우리는 머신러닝과 인공지능(AI)의 새로운 시대 직전에 서 있다. AI는 다양한 형태로 오랫동안 존재해 왔지만(예: 인간이 할 수 있는 일을 수행하도록 지시받는 컴퓨터 장치인 세탁기), 우리는 이제 복잡한 인지 모델의 출현을 목격하고 있으며, 이러한 모델은 지능적인 인간 행동이 필요한 작업을 수행할 수 있다. 대표적인 예로 OpenAI의 GPT-4 및 DALL-E 2, 그리고 구글의 Gemini가 있다.
급속도로 성장하는 인공지능(AI) 분야에서 우리는 발전의 두 가지 측면—모델 훈련과 추론—을 인식해야 한다. 추론은 AI 모델의 기능과 출력을 포함하며, 훈련은 머신러닝 알고리즘, 데이터셋, 컴퓨팅 파워 등 지능형 모델 구축에 필요한 복잡한 과정을 포함한다.
GPT-4를 예로 들면 최종 사용자는 단순히 입력된 텍스트로부터 모델 출력을 얻는 추론에만 관심이 있다. 그러나 이 추론의 질은 모델 훈련에 달려 있다. 효과적인 AI 모델을 훈련시키기 위해 개발자들은 포괄적인 기초 데이터셋과 막대한 컴퓨팅 파워에 접근해야 한다. 이러한 자원은 OpenAI, 구글, 마이크로소프트, AWS와 같은 업계 거물들 손에 집중되어 있다.
공식은 간단하다: 더 나은 모델 훈련 >> 향상된 AI 모델 추론 능력 >> 더 많은 사용자 유치 >> 추가 훈련을 위한 자원으로 이어지는 더 많은 수익.
주요 기업들은 대규모 기초 데이터셋에 접근할 수 있으며 무엇보다도 막대한 컴퓨팅 파워를 통제함으로써 신생 개발자들에게 진입 장벽을 만든다. 따라서 신규 진입자들은 경제적으로 실현 가능한 규모와 비용으로 충분한 데이터를 확보하거나 필요한 컴퓨팅 파워를 활용하기 어려운 경우가 많다. 이러한 상황을 고려할 때, 네트워크가 특히 대규모 컴퓨팅 리소스 접근과 비용 절감과 관련하여 자원 접근의 민주화에 큰 가치가 있음을 알 수 있다.
GPU 공급 문제
엔비디아 CEO 제니슨 황(Jensen Huang)은 2019년 CES에서 "무어의 법칙은 끝났다"고 말했다. 오늘날의 GPU는 극도로 비효율적으로 사용되고 있다. 딥러닝/훈련 주기 중에도 GPU는 충분히 활용되지 않는다.
다음은 다양한 워크로드에서 일반적인 GPU 이용률 수치이다:
-
유휴 상태(윈도우 운영체제 진입 직후): 0-2%
-
일반 생산 작업(문서 작성, 간단한 웹 서핑): 0-15%
-
동영상 재생: 15 - 35%
-
PC 게임: 25 - 95%
-
그래픽 디자인/사진 편집 활동 워크로드(Photoshop, Illustrator): 15 - 55%
-
동영상 편집(활동 중): 15 - 55%
-
동영상 편집(렌더링): 33 - 100%
-
3D 렌더링(CUDA / OptiX): 33 - 100%(윈도우 작업 관리자가 잘못 보고하는 경우가 많음 - GPU-Z 사용)
대부분의 GPU가 장착된 소비자 기기는 위 세 가지 범주에 속한다.
GPU 런타임 이용률%. 출처: Weights and Biases
위 사항은 하나의 문제를 지적한다: 연산 자원의 저조한 활용.
소비자용 GPU의 용량을 더 잘 활용할 필요가 있으며, GPU 이용률이 높을 때조차도 그 활용은 비최적이다. 이는 앞으로 해야 할 두 가지 일을 명확히 한다:
-
자원(GPU) 집합
-
훈련 작업의 병렬화
사용 가능한 하드웨어 유형 면에서 현재 공급을 위해 4가지 유형이 있다:
· 데이터센터 GPU(예: Nvidia A100s)
· 소비자용 GPU(예: Nvidia RTX3060)
· 맞춤형 ASIC(예: Coreweave IPU)
· 소비자 SoC(예: 애플 M2)
특정 목적을 위해 설계된 ASIC을 제외하면, 다른 하드웨어들은 가장 효율적으로 활용될 수 있도록 모일 수 있다. 이러한 칩들이 소비자들과 데이터센터에 널리 퍼져 있는 것을 감안할 때, 공급자를 집계하는 DePIN 모델이 실행 가능한 방향일 수 있다.
GPU 생산은 피라미드 구조를 이루고 있다. 소비자용 GPU의 생산량이 가장 많고, NVIDIA A100s 및 H100s와 같은 고급 GPU의 생산량은 가장 적지만(성능은 더 높음) 고급 칩 생산 비용은 소비자용 GPU보다 15배 비싸지만, 성능이 항상 15배 좋은 것은 아니다.
오늘날 전 세계 클라우드 컴퓨팅 시장은 약 4830억 달러의 가치를 지니며, 향후 몇 년간 연평균 약 27%의 성장률을 기록할 것으로 예상된다. 2023년에는 약 130억 시간의 ML 컴퓨팅 수요가 발생할 것이며, 현재 요금 기준으로 이는 2023년 ML 컴퓨팅 지출액 약 560억 달러에 해당한다. 이 전체 시장 역시 빠르게 성장하고 있으며, 3개월마다 2배씩 증가하고 있다.
GPU 수요
계산 수요는 주로 AI 개발자(연구원 및 엔지니어)로부터 발생한다. 그들의 주요 요구사항은 다음과 같다: 가격(저비용 컴퓨팅), 규모(대량의 GPU 컴퓨팅), 사용자 경험(접근성과 사용 용이성). 지난 2년 동안 AI 기반 애플리케이션에 대한 수요 증가와 ML 모델의 발전으로 인해 GPU 수요는 매우 컸다. ML 모델 개발 및 운용에는 다음이 필요하다:
-
대규모 컴퓨팅(여러 GPU 또는 데이터센터 접근)
-
모델 훈련, 파인튜닝(fine tuning), 추론을 수행할 수 있어야 하며, 각 작업은 다수의 GPU에서 병렬로 배포된다.
계산 관련 하드웨어 지출은 2021년 170억 달러에서 2025년 2850억 달러로 성장할 것으로 예상되며(연평균 약 102% 성장률), ARK는 2030년까지 계산 관련 하드웨어 지출이 1.7조 달러에 달할 것으로 예측한다(연평균 43% 성장률).
ARK Research
많은 대규모 언어 모델(LLM)이 혁신 단계에 있으며, 경쟁은 더 많은 파라미터에 대한 계산 수요와 재훈련을 유도하므로, 향후 몇 년간 고품질 컴퓨팅에 대한 지속적인 수요를 예상할 수 있다.
새로운 GPU 공급 부족 상황에서 블록체인이 어떤 역할을 하는가?
자원이 부족하게 사용될 때, DePIN 모델이 도움을 줄 수 있다:
-
공급자 시작, 대규모 공급 생성
-
작업 조정 및 완료
-
작업이 올바르게 완료되었는지 확인
-
완료된 작업에 대해 공급자에게 올바른 보상 제공
모든 유형의 GPU(소비자용, 기업용, 고성능 등)를 집계하는 것은 활용 측면에서 문제가 생길 수 있다. 계산 작업이 분할될 때 A100 칩은 간단한 계산을 수행해서는 안 된다. GPU 네트워크는 시장 진입 전략에 따라 네트워크에 포함할 GPU 유형을 결정해야 한다.
계산 자원 자체가 분산되어 있을 때(때때로 전 세계적으로), 사용자나 프로토콜 자체가 어떤 유형의 컴퓨팅 프레임워크를 사용할지 결정해야 한다. io.net과 같은 제공자는 사용자가 Ray, Mega-Ray 또는 컨테이너 내에서 Kubernetes 클러스터를 배포하여 컴퓨팅 작업을 수행할 수 있는 세 가지 컴퓨팅 프레임워크 중 선택할 수 있게 한다. Apache Spark와 같은 더 많은 분산 컴퓨팅 프레임워크가 있지만, Ray가 가장 널리 사용된다. 선택된 GPU가 계산 작업을 완료하면 출력이 재구성되어 훈련된 모델을 제공한다.
잘 설계된 토큰 모델은 GPU 제공자의 계산 비용을 보조할 것이며, 많은 개발자(수요자)는 이러한 방안을 더욱 매력적으로 여길 것이다. 분산 컴퓨팅 시스템은 본질적으로 지연을 갖는다. 계산 분할과 출력 재구성이 존재하므로 개발자는 모델 훈련의 비용 효율성과 소요 시간 사이에서 타협해야 한다.
분산 컴퓨팅 시스템은 자체 체인이 필요할까?
네트워크는 두 가지 방식으로 작동한다:
-
작업(또는 계산 주기)당 요금 또는 시간당 요금
-
시간 단위당 요금
첫 번째 방법은 Gensyn이 시도한 것과 유사한 작업 증명 체인을 구축할 수 있다. 여기서 서로 다른 GPU들이 '작업'을 분담하고 보상을 받는다. 더 무신뢰적인 모델을 위해서는 검증자와 고발자의 개념이 있는데, 이들은 시스템의 무결성을 유지함으로써 보상을 받으며, 이는 계산자가 생성한 증명에 기반한다.
또 다른 작업 증명 시스템은 Exabits인데, 이는 작업을 분할하지 않고 전체 GPU 네트워크를 단일 슈퍼컴퓨터처럼 간주한다. 이 모델은 대규모 LLM에 더 적합해 보인다.
Akash Network는 GPU 지원을 추가하고 이 분야에 GPU를 집계하기 시작했다. 이들은 GPU 제공자가 수행한 작업을 표시하는 상태에 대해 합의하는 기본 L1과, 시장층, Kubernetes 또는 Docker Swarm과 같은 컨테이너 오케스트레이션 시스템을 통해 사용자 애플리케이션의 배포 및 확장을 관리한다.
시스템이 무신뢰적이어야 한다면, 작업 증명 체인 모델이 가장 효과적일 것이다. 이는 프로토콜의 조정과 무결성을 보장한다.
반면에 io.net과 같은 시스템은 자신을 체인으로 구성하지 않았다. 그들은 GPU 가용성이라는 핵심 문제를 해결하고 시간 단위(시간당)로 고객에게 요금을 부과하는 방식을 선택했다. 그들은 본질적으로 특정 임대 기간 동안 자유롭게 사용할 수 있도록 GPU를 '임대'하기 때문에 검증 가능 레이어를 필요로 하지 않는다. 프로토콜 자체는 작업 분할을 하지 않으며, 대신 개발자가 Ray, Mega-Ray 또는 Kubernetes와 같은 오픈소스 프레임워크를 사용한다.
Web2 vs Web3 GPU 클라우드
GPU 클라우드 또는 GPU as a Service 분야에는 Web2에서 많은 참가자들이 있다. 이 분야의 주요 플레이어로는 AWS, CoreWeave, PaperSpace, Jarvis Labs, Lambda Labs, 구글 클라우드, 마이크로소프트 Azure, OVH 클라우드 등이 있다.
이는 전통적인 클라우드 비즈니스 모델로, 고객은 컴퓨팅이 필요할 때 시간 단위(보통 한 시간)로 GPU(또는 여러 GPU)를 임대할 수 있다. 다양한 용도에 맞는 다양한 솔루션이 존재한다.
Web2와 Web3 GPU 클라우드의 주요 차이점은 다음과 같은 파라미터에 있다:
1. 클라우드 설정 비용
토큰 인센티브 덕분에 GPU 클라우드 구축 비용이 크게 줄어든다. OpenAI는 계산 칩 생산을 위해 1조 달러를 조달하고 있다. 토큰 인센티브 없이 시장 선두주자를 이기려면 최소 1조 달러가 필요해 보인다.
2. 계산 시간
임대된 GPU 클러스터가 지리적으로 위치해 있기 때문에 비-Web3 GPU 클라우드가 더 빠를 것이다. 반면 Web3 모델은 더 광범위하게 분산된 시스템을 가질 수 있으며, 지연은 비효율적인 작업 분할, 로드 밸런싱, 무엇보다도 대역폭에서 기인할 수 있다.
3. 계산 비용
토큰 인센티브 덕분에 Web3 컴퓨팅 비용은 기존 Web2 모델보다 현저히 낮을 것이다.
계산 비용 비교:
더 많은 공급과 클러스터 활용이 이루어질수록 이러한 수치는 변할 수 있다. Gensyn은 A100(및 동등 제품)을 시간당 최저 0.55달러에 제공한다고 주장하며, Exabits는 유사한 비용 절감 구조를 약속한다.
4. 규정 준수
무허가 시스템에서는 규정 준수가 쉽지 않다. 그러나 io.net, Gensyn 등의 Web3 시스템은 자신을 무허가 시스템으로 자리매김하지 않는다. GPU 등록, 데이터 로딩, 데이터 공유, 결과 공유 단계에서 GDPR 및 HIPAA 등의 규정 준수 문제를 처리한다.
생태계
Gensyn, io.net, Exabits, Akash
위험 요소
1. 수요 위험
내 생각에 최상위 LLM 플레이어들은 계속해서 GPU를 축적하거나 NVIDIA의 Selene 슈퍼컴퓨터와 같은 GPU 클러스터를 사용할 것이다. 후자의 경우 최고 성능은 2.8 exaFLOP/s이다. 그들은 소비자 또는 롱테일(Long-tail) 클라우드 제공업체가 모은 GPU에 의존하지 않을 것이다. 현재 최고의 AI 조직들은 비용보다 품질에서 경쟁하고 있다.
비거중 ML 모델의 경우, 더 저렴한 컴퓨팅 자원을 찾을 것이며, 블록체인 기반 토큰 인센티브 GPU 클러스터는 기존 GPU를 최적화하면서 서비스를 제공할 수 있다(위 가정은: 해당 조직들이 LLM을 사용하는 것보다 자신의 모델을 훈련시키는 것을 선호한다는 전제 하에).
2. 공급 위험
ASIC 연구에 막대한 자본이 투입되고 텐서 처리 유닛(TPU)과 같은 발명이 나오면서 이 GPU 공급 문제는 스스로 사라질 수도 있다. 이러한 ASIC들이 우수한 성능 대 비용 비율을 제공한다면, 대형 AI 조직이 비축한 기존 GPU들이 다시 시장에 돌아올 수 있다.
블록체인 기반 GPU 클러스터는 장기적인 문제를 해결하는가? 블록체인은 GPU 외의 모든 칩을 지원할 수 있지만, 수요 측의 행동이 이 분야 내 프로젝트의 방향을 결정할 것이다.
결론
소규모 GPU 클러스터를 가진 분절화된 네트워크는 문제를 해결하지 못한다. '롱테일' GPU 클러스터의 자리가 없다. GPU 제공자(소매업체 또는 소규모 클라우드 플레이어)는 더 나은 인센티브를 제공하는 더 큰 네트워크를 선호할 것이다. 이것은 좋은 토큰 모델의 기능이자, 공급자가 다양한 유형의 컴퓨팅을 지원할 수 있는 능력이다.
GPU 클러스터는 CDN과 유사한 집적 운명을 겪을 가능성이 있다. 대형 플레이어가 AWS 등의 기존 리더들과 경쟁하려면, 네트워크 지연을 줄이고 노드의 지리적 근접성을 확보하기 위해 자원 공유를 시작할 수 있다.
수요 측이 더 커지고(더 많은 모델을 훈련시키고, 더 많은 파라미터를 훈련시켜야 하며), Web3 플레이어는 공급자 측의 비즈니스 개발에서 매우 적극적이어야 한다. 동일한 고객군을 놓고 너무 많은 클러스터가 경쟁한다면 공급이 분절화되며(이로 인해 전체 개념이 무효화됨), 수요(TFLOPs 기준)는 기하급수적으로 증가할 것이다.
io.net은 이미 많은 경쟁자들 사이에서 두각을 나타내며 집계자 모델로 시작했다. Render Network 및 Filecoin 채굴자의 GPU를 집계하여 용량을 제공하면서 동시에 자체 플랫폼에서 공급을 유도하고 있다. 이것이 DePIN GPU 클러스터의 승자 방향일 수 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
IOSG Ventures
