대규모 모델 기업들이 칩 경쟁에 뛰어들며 엔비디아가 위험에 처할까?
글: 목목
인공지능 산업 경쟁은 단순히 OpenAI와 구글 등 주요 인터넷 거대 기업 간의 대규모 모델 경쟁을 넘어, 컴퓨팅을 뒷받침하는 칩 분야에서도 숨겨진 흐름이 일어나고 있으며, 대규모 모델 '생산기'들도 이 레이스에 가세하고 있다.
OpenAI는 CEO 샘 알트먼(Sam Altman)이 투자한 스타트업 Rain AI로부터 보다 효율적인 NPU 칩을 도입할 계획이며, 마이크로소프트도 자체 개발한 두 가지 칩 Azure Maia 100과 Azure Cobalt 100을 출시했다. 최근 구글이 발표한 신형 모델 Gemini 1.0 역시 자사가 설계한 TPUs v4 및 v5e 칩을 사용하고 있다.
그 이전까지는 엔비디아(NVIDIA)가 구축한 AI 칩 제국이 이러한 대규모 모델 기업들의 강력한 공급원이었지만, 지금은 대규모 모델 기업들이 스스로 일부를 자급하려 하고 있다. 그러나 진정으로 엔비디아에게 도전장을 내민 것은 여전히 칩 분야의 오랜 참가자들이다.
미국 AMD(Advanced Micro Devices)는 최신 세대 AI 칩 MI300X를 출시했으며, 메타(Meta), 마이크로소프트, OpenAI 등 엔비디아의 주요 고객 세 곳을 뺏어왔다.
AI 칩 시장이 치열해지고 있지만, 여전히 '왕좌'에 앉아 있는 엔비디아를 넘어서기는 결코 쉽지 않다.
대규모 모델 기업들의 칩 자급화
올해 들어 다양한 AI 대규모 모델과 애플리케이션이 난립하며, AI 대규모 모델 학습을 지원하는 엔비디아 A100, A800, H100, H800 등의 칩은 폭발적인 수요를 받고 있다. 이들의 '소비자'는 단순히 기술 기업뿐만 아니라 각국 정부와 벤처 캐피탈도 포함된다.
'물'을 파는 엔비디아는 일시적으로 전례 없는 인기를 누렸으며, 그들의 AI 칩은 공급 부족 상태이고, AI 시장에서는 다시 한 번 GPU 부족 현상이 나타났다.
마이크로소프트는 2023 회계연도 보고서에서 클라우드 운영을 위한 GPU 확보 가능성에 대해 우려를 여러 차례 표명했다. OpenAI의 CEO 샘 알트먼 또한 반복적으로 칩 부족과 막대한 비용 문제를 공개적으로 지적했으며, 올해 5월에는 OpenAI가 심각한 컴퓨팅 능력 부족을 겪고 있다고 밝혔다. 이는 사용자 경험에도 영향을 미쳐 ChatGPT가 자주 멈추거나 응답 지연이 발생하고 있다.
보고서에 따르면, OpenAI가 ChatGPT를 운영하는 데 드는 하루 비용은 약 70만 달러에 달한다. 로이터 통신은 각 ChatGPT 질의당 비용이 약 4센트이며, 만약 이런 질의량이 구글 검색의 1/10 수준까지 증가한다면, 약 480억 달러 상당의 GPU를 사전에 투자해야 하며, 매년 운영 유지에만 160억 달러의 칩 비용이 소요된다고 지적했다.
컴퓨팅 능력 부족과 높은 비용 문제로 인해, 델(Dell) 아태 및 일본 지역 사장 피터 마르스(Peter Marrs)는 구매자들이 엔비디아 GPU의 긴 납기일을 더 이상 용납하지 않을 것이며, 이는 다수의 경쟁업체들에게 기회를 제공할 것이라고 예측했다.
엔비디아 칩 의존도를 줄이기 위해 OpenAI는 자체 AI 칩 개발을 고려하고 있으며, 글로벌 GPU 부족 상황을 해결하고 GPT 학습 비용을 절감하려 한다.
최근 OpenAI의 계약 의향서가 유출됐는데, 알트먼이 CEO로 재직 중인 동안 이 회사는 알트먼이 투자한 스타트업 Rain AI로부터 칩을 도입하기로 약속했으며, 금액은 무려 5100만 달러에 달한다.
특히 주목할 점은, 이 칩이 뉴로모픽(neuromorphic) 기술 기반의 '뇌 유사' AI 칩인 NPU라는 점이다. 인간 뇌의 구조와 기능을 모방한다고 알려져 있으며, 정보를 병렬 및 분산 처리하는 데 적합해 AI 애플리케이션의 '계산 집약적 작업'에 매우 효과적이며, 저전력·고효율 정보 처리가 가능하다고 한다. 다만 현재 이 칩은 여전히 개발 단계에 있다.
OpenAI뿐만 아니라 마이크로소프트와 구글 같은 대형 기술 기업들도 계속해서 더 효율적인 칩 개발에 나서고 있다.
11월 16일, 마이크로소프트는 연례 IT 전문가 및 개발자 컨퍼런스 '아이나이트(Ignite)'에서 자체 개발한 두 가지 칩—클라우드 AI 칩 마이크로소프트 Azure Maia 100과 서버 CPU 마이크로소프트 Azure Cobalt 100을 발표했다.
Maia 100은 AI 워크로드를 위한 클라우드 기반 학습 및 추론 실행을 목적으로 하며, Cobalt 100은 일반 워크로드용이다. 마이크로소프트 데이터센터는 2024년 초부터 Arm CPU와 전용 AI 가속기를 동시에 도입할 예정이다. 마이크로소프트는 Bing과 Office AI 제품에서 이 칩을 테스트 중이며, OpenAI도 현재 이 칩을 테스트하고 있다고 밝혔다.
마이크로소프트, Maia 100 자체 사용 및 협력사 OpenAI에 공급
구글도 움직였다. 최근 'GPT-4를 능가한다'고 주장하며 발표한 대규모 모델 Gemini 1.0은 구글이 자체 개발한 TPUs v4와 v5e 칩을 사용한다.
구글은 TPUs를 통해 Gemini가 초기의 규모가 작고 성능이 낮았던 모델보다 훨씬 빠른 속도로 작동한다고 밝혔다. 또한 구글은 최첨단 AI 모델 학습을 지원하기 위한 TPU 시스템 Cloud TPU v5p도 발표하며, Gemini 개발을 더욱 가속화하겠다고 선언했다.
애플, 화웨이 등 하드웨어 제조사들을 포함해, 점점 더 많은 기술 거대 기업들이 자체 사업 수요와 차별화된 경쟁력을 위해 자체 설계 및 개발 칩에 나서고 있다.
엔비디아의 방어와 확장
대규모 모델 기업들이 칩 시장에 뛰어들었지만, 정말로 엔비디아 의존도를 완전히 벗어날 수 있을까?
시장에서 엔비디아 H100 GPU는 원가의 두 배까지 가격이 치솟았음에도 불구하고 여전히 수요가 공급을 초과하고 있다. 자체 개발 칩을 이미 도입한 구글조차도 여전히 엔비디아 칩을 대량 구매하고 있다.
엔비디아는 자신만의 방어벽을 가지고 있다.
영국 <파이낸셜 타임스> 보도에 따르면, 올해 들어 엔비디아는 수십억 달러 규모의 대형 신규 AI 플랫폼부터 AI를 의료나 에너지 분야에 적용하는 소규모 스타트업까지, 20여 개 이상의 기업에 투자했다.
엔비디아는 투자 시 특별 조건을 요구하지 않으며, 투자 대상 기업이 반드시 엔비디아 칩을 사용할 것을 요구하지 않는다고 밝혔다. 그러나 어느 정도로 보면, 이는 보다 긴밀한 관계를 의미한다.
엔비디아 벤처 투자 부문 NVentures 책임자 모하메드 시데크(Mohamed Siddeek)는 "엔비디아로서는 스타트업 투자의 우선 기준은 관련성"이라며, "우리 기술을 사용하고, 우리 기술에 의존하며, 우리 기술 위에서 사업을 구축하는 기업들에 투자한다. 우리가 투자한 기업 중 엔비디아 제품을 사용하지 않는 곳을 생각해 본 적 없다"고 강조했다.
벤처 캐피탈 트래킹 기관 Dealroom의 추산에 따르면, 엔비디아는 2023년 35건의 거래에 참여했으며, 이는 작년의 거의 6배에 달한다. Dealroom은 이를 엔비디아가 AI 분야에서 가장 활발하게 활동한 해라고 지적하며, 실리콘밸리의 대형 벤처캐피털인 앤드리슨 호로위츠(Andreessen Horowitz)와 세쿼이아(Sequoia) 등을 앞질렀다고 분석했다.
또한 엔비디아의 CUDA 컴퓨팅 플랫폼 및 소프트웨어·하드웨어 생태계는 엔비디아의 방어벽을 더욱 견고하게 만든다.
CUDA는 엔비디아가 개발한 병렬 컴퓨팅 아키텍처로, 동일 작업 수행 시 CUDA 지원 시스템을 갖춘 엔비디아 GPU는 CPU보다 10~100배 빠른 속도를 낸다. 바로 CUDA 시스템 덕분에 GPU는 CPU를 제치고 오늘날 대규모 데이터 컴퓨팅의 기반이 되었다.
대규모 모델 기업들이 자체 칩을 개발하더라도 직면하는 어려움은 적지 않으며, 근본 원인은 원자재의 공급 부족이다.
The Enderle Group 수석 애널리스트 롭 엔들러(Rob Enderle)는 "칩 제조는 쉬운 일이 아니며, 위탁 생산 공장과 웨이퍼 공장은 이미 포화 상태다. 이 때문에 OpenAI의 이 작업은 실패할 가능성이 크다"고 말했다. 그는 "오히려 AMD, 퀄컴, 엔비디아, 인텔 등 자체 제조 시설을 보유한 기업들과 협력하는 것이 낫다"고 덧붙였다.
비용 문제도 있다.
Futurum Group의 선임 애널리스트 토드 R. 와이스(Todd R. Weiss)는 "자체 칩 개발로 의존도를 줄이는 것은 처음 보기엔 멋진 아이디어처럼 보이지만, 자체 칩 설계, 자체 생산 시설 구축, 끊임없이 업데이트되고 개선되는 칩 로드맵 개발, 그리고 자체 공급망 관리까지 고려하면, '다른 사람에게서 칩을 구매하는 것보다 결코 더 간단하지 않다'"고 말했다.
결국 칩 전쟁은 여전히 칩 제조업체들 사이에서 벌어지고 있다.
12월 6일, 엔비디아의 최대 경쟁자인 미국 AMD는 'Advancing AI' 발표회를 개최하고 마이크로소프트, 메타 등 기술 기업 임원들을 초빙하여 행사를 후원받았다. 이 자리에서 AMD는 차세대 AI 칩 MI300X를 공개했다.
엔비디아의 H100 HGX와 비교하면, MI300X 가속기는 대규모 언어 모델 추론 시 처리량과 지연 시간 모두 눈에 띄게 우수하며, 가격도 더 저렴하다. 이후 메타, 마이크로소프트, OpenAI는 AMD 투자자 행사에서 미래에 AMD의 최신 AI 칩을 사용할 것이라고 밝혔다.
비용을 진정으로 낮출 수 있는 방법은 결국 칩 제조업체들 간의 '경쟁'에 달려 있다. AMD와 엔비디아 같은 대형 칩 기업들이 생산 능력 경쟁에 돌입해야만 가격이 낮아질 수 있다. 대규모 모델 거대 기업들의 자체 칩 개발은 결국 '군비 경쟁'에 달릴 수 있는 또 하나의 다리일 뿐이다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
