GTC 대화에서 황인순이 말하는 GPU: 내 눈에 비친 GPU는 다른 사람들과 크게 다르다
글: 원천
편집: 정우
출처: GeekPark
분위기가 갑자기 진지해졌다.
"언론에서는 당신을 AI 시대의 다빈치이자 동시에 AI 시대의 오펜하이머라고 말합니다. 어떻게 생각하시나요?"
"오펜하이머는 폭탄을 만든 사람이고, 우리는(엔비디아) 그런 짓은 하지 않습니다." 유쾌한 질문에 대해 엔비디아 설립자 겸 CEO 젠슨 황은 잠시 망설인 끝에 매우 진지하게 대답했다.
현지 시간으로 3월 19일, 마치 인기 팝 스타처럼 GTC 2024 기조연설을 마친 다음 날, 젠슨 황은 전 세계 언론과 인터뷰를 진행했다.
황 회장이 현장 언론에 다시 설명한 '콘서트' 핵심 포인트｜사진 출처: GeekPark
AGI가 언제 도래할 것인지, 엔비디아가 중국 시장을 어떻게 바라보는지 같은 거시적인 질문부터 새롭게 출시된 NIM 소프트웨어의 구체적인 활용 방안까지, 이 글로벌 시가총액 3위 기업의 수장은 어떤 복잡한 문제도 보다 이해하기 쉬운 수준으로 분해하고, 간단한 비유로 설명해낸다. 그 과정에서 '태극권'을 쓰는 듯한 면모도 없지 않지만, 적어도 답변자의 성실함에는 의심의 여지가 없다.
두 조 달러라는 새로운 시가총액 고지에서 황 회장은 GPU 칩 시장 자체가 엔비디아의 궁극적 목표가 아니라고 말한다. "엔비디아는 칩을 만들지 않는다. 엔비디아는 데이터센터를 만든다"는 것이다. 이를 위해 엔비디아는 하드웨어, 소프트웨어, 서비스 전부를 구축하며, 고객이 자신만의 데이터센터를 어떻게 구매할지를 결정하도록 한다.
GTC 2024 기조연설에서 황 회장이 제시한 5가지 핵심: 새로운 산업혁명(가속 컴퓨팅 및 생성형 AI) 아래 엔비디아의 신규 인프라는 블랙웰 플랫폼, NIMS, 네모(NEMO) 및 NVIDIA AI 파운드리, 오믹스버스(Omniverse), 아이작 로봇(ISAAC Robotics)이다.｜사진 출처: Nvidia
01. GTC 신제품의 중국 시장 계획
질문: 새로운 네트워크 및 기술을 중국에 얼마나 공급할 계획입니까? 중국 시장 전용 SKU에 대한 정보를 공개할 수 있습니까? 해당 시장을 위한 고려사항이나 변경점이 있습니까?
젠슨 황: 아직 말씀드릴 수 없습니다. 너무 성급하시네요(웃음). 이게 전부입니다. 현재 중국 시장의 경우 L20과 H20 칩이 수출 요건을 충족하며, 우리는 중국 시장을 위해 최선을 다해 자원을 조달하고 있습니다.
02. AI 파운드리(AI Foundry)의 목표
질문: 기조연설에서 AI 파운드리가 많은 기업에 적용되고 있다고 언급하셨습니다. 이 프로그램의 전체 전략과 장기 목표는 무엇입니까?
젠슨 황: AI 파운드리의 목표는 소프트웨어를 구축하는 것입니다. 도구로서의 소프트웨어가 아니라, 누구나 가질 수 있는 그런 소프트웨어가 아닙니다. 아주 오래 전에 두 가지 중요한 소프트웨어가 만들어졌는데, 하나는 오피스(Office)였고, 이는 소프트웨어를 실시간 소프트웨어(RTS)로 만들었습니다.
또 다른 중요한 소프트웨어는 cuDNN(CUDA Deep Neural Network Library)이었습니다. 우리는 AI를 위한 다양한 라이브러리를 갖고 있는데, 미래의 라이브러리는 마이크로서비스 형태가 될 것입니다. 왜냐하면 미래의 라이브러리는 단순히 수학으로만 설명되지 않고, AI로 설명되기 때문입니다. 앞으로 모든 라이브러리는 NIMs(마이크로서비스)가 될 것입니다.
이러한 NIMs는 극도로 복잡한 소프트웨어이지만, 사용자는 단지 우리의 웹사이트에 접속하면 됩니다. 사용자가 선택하거나 다운로드하여 다른 클라우드에서 실행하거나, 로컬 컴퓨터에 다운로드해 실행할 수 있습니다. 작업장이나 데이터센터에서 실행할 때 이 서비스는 효율성을 극대화할 것이며, 이는 새로운 사용 방식입니다. 기업이 이러한 라이브러리를 운영할 때, 우리는 라이선스 기반의 운영 체계를 제공하며, 사용자는 4,500달러/GPU/년의 가격으로 이 서비스를 이용할 수 있습니다.
03. 블랙웰 가격 책정
질문: 최근 세대 AI 칩 블랙웰의 가격이 3만~4만 달러라고 말씀하셨는데, 더 정확한 정보가 있습니까?
젠슨 황: 구체적인 가격을 말하기는 어렵습니다. 제품 가격에 대한 감을 주기 위해 예시로 들었을 뿐, 정확한 견적을 제시하려는 것은 아닙니다.
블랙웰 시스템의 가격은 매우 다양합니다. 각각의 구성이 다르기 때문입니다. 블랙웰뿐만 아니라, 블랙웰 시스템에는 일반적으로 NV-Link도 포함되어 있어, 서로 다른 시스템마다 가격이 다릅니다. 예전처럼 가격 범위는 일반적으로 TCO(총소유비용)에 따라 결정됩니다.
엔비디아는 칩을 만들지 않고 데이터센터를 만듭니다. 그래서 우리는 모든 작업을 수행하고 모든 소프트웨어를 도입하며, 이를 조정해 데이터센터 시스템이 최대한 잘 작동하도록 합니다. 여기서 가장 흥미로운 부분은, 데이터센터를 더 작은 단위로 나누어 고객이 자신의 특정 요구에 맞게 수정할 수 있도록 하는 것입니다. 네트워크, 저장장치, 컨트롤 플레인, 보안, 관리 모듈 등을 포함해 데이터센터를 고객 시스템에 통합하는 방법을 찾아냅니다. 결국 고객이 어떻게 구매할지를 결정하는 것이죠. 따라서 과거처럼 칩을 파는 것과는 다릅니다. 블랙웰의 가격 책정은 칩 문제가 아니라 비즈니스 모델 자체가 반영된 것입니다.
엔비디아의 기회는 GPU 칩이 아니라 데이터센터에 있습니다. 데이터센터는 빠르게 가속화되고 있으며, 이 시장은 연간 2500억 달러 규모이며 매년 20~25%씩 성장하고 있습니다. 이는 주로 AI 수요 덕분입니다. 이 중 엔비디아는 중요한 점유율을 차지할 것이며, 시가총액이 1조 달러에서 2조 달러로 성장하는 것도 합리적이라고 생각합니다.
젠슨 황: 당신이 말하는 GPU와 제가 말하는 GPU는 머릿속 이미지가 크게 다릅니다｜사진 출처: GeekPark
04. 샘 알트먼, 칩 산업 확장 계획
질문: 샘 알트먼은 계속해서 AI 칩 규모 확장을 위해 반도체 업계 사람들과 이야기하고 있습니다. 그가 이 문제에 대해 당신에게 상의했습니까?
젠슨 황: 그의 의도는 잘 모릅니다. 다만 생성형 AI가 매우 커질 것이라 생각하며, 이 점에는 전적으로 동의합니다.
현재 컴퓨터가 픽셀을 생성하는 방식은 데이터셋에서 데이터를 검색하고 처리한 후 전달하는 것입니다. 이 과정에서 사람들이 필요하다고 생각하는 에너지 소비량은 매우 적다고 보지만, 사실은 정반대입니다. 이유는 스마트폰을 터치할 때마다, 혹은 매번 프롬프트를 입력할 때마다 데이터셋과 경쟁하듯 검색하고 결과를 반환해야 하기 때문입니다. 데이터셋에서 데이터를 검색하고 CPU로 필요한 모든 부분을 수집한 후 추천 시스템의 관점에서 의미 있는 방식으로 정보를 조합하고, 그 결과를 사용자에게 다시 보내야 하는데, 이 과정은 막대한 계산을 필요로 합니다.
이는 내가 질문을 받을 때마다 사무실로 돌아가 정보를 찾는 것과 같습니다. 엄청난 에너지가 소모되죠. 앞으로 점점 더 많은 계산이 검색 기반이 아닌 생성 기반으로 이루어질 것입니다. 물론 이 생성 과정은 지능적이어야 하고 맥락에 부합해야 합니다. 저는 앞으로 사람들의 컴퓨터 화면에 나타나는 거의 모든 픽셀과 상호작용이 생성 과정을 통해 이루어질 것이라 믿으며, 샘 알트먼도 그렇게 생각한다고 봅니다. 블랙웰의 차세대 아키텍처를 통해 생성형 AI 분야에 큰 기여를 하고 싶습니다. 지금 대부분의 경험은 여전히 검색 기반인데, 만약 미래에 모든 사람의 인간-컴퓨터 상호작용이 생성 기반의 경험으로 바뀐다면 전혀 놀라지 않을 것입니다. 이것은 거대한 기회입니다.
05. 개인용 대규모 모델은 어떤 모습일까?
질문: 미래 소프트웨어에 대한 당신의 정의에 전적으로 동의합니다. 우리의 삶도 LLM을 통해 크게 변화하고 있습니다. 기본 모델 측면에서 미래는 어떻게 될 것이라 생각하십니까?
젠슨 황: 핵심은 어떻게 개인용 대규모 모델을 가질 수 있을까 하는 것입니다. 이를 위한 방법들이 있습니다. 초기에는 파인튜닝(fine tuning)을 통해 가능할 것으로 보았고, 지속적인 사용 과정에서 계속 파인튜닝을 할 것으로 봤습니다.
하지만 아시다시피 파인튜닝은 상당히 시간이 많이 걸립니다. 이후 프롬프트 엔지니어링(prompt engineering), 컨텍스트 러닝(context learning), 작업환경(working environment) 등의 방법을 발견했습니다.
저는 답이 이것들의 조합이 될 것이라 생각합니다. 미래에는 LoRA라는 한 계층의 가중치(weights)만 파인튜닝하고 나머지는 고정함으로써 저렴한 비용으로 파인튜닝을 할 수 있으며, 프롬프트 공동 창작, 컨텍스트 러닝, 모델 메모리 확장 등을 통해 독특한 대규모 모델을 만들 수 있습니다. 이 모델은 클라우드에서도, 로컬 컴퓨터에서도 실행될 수 있습니다.
06. AI 칩 스타트업에 대한 견해
질문: 어제 기조연설 후 칩 기업 Groq가 트위터를 통해 자사 칩이 여전히 더 빠르다고 주장했습니다. AI 칩 스타트업들의 논평에 대해 어떻게 생각하십니까?
젠슨 황: 아직 그 정도까지는 잘 모르겠습니다(웃음). 댓글은 달지 않겠습니다.
토큰 방식으로 생성하는 모든 모델은 각각 고유한 방식이 필요합니다. 왜냐하면 Transformer는 어느 한 모델의 이름이 아니기 때문입니다.
이러한 모델들은 전반적으로 Transformer 기술을 기반으로 하며, 모두 Transformer 어텐션 메커니즘을 활용하지만, 모델 간에는 큰 차이가 있습니다. 일부 모델은 혼합 전문가 모델(Mixture of Experts)을 사용하며, 혼합 모델 내에서도 두 개 또는 네 개의 전문가 모델이 존재합니다. 이들 모델은 메시지를 기다리고 라우팅을 분배하며, 내부의 모든 단계가 다릅니다. 각 모델은 특별한 최적화가 필요합니다.
이때 계산 유닛이 특정한 방식으로만 특정 일을 하도록 설계되었다면, 이는 구성 가능한 컴퓨터가 아니라 프로그래밍 가능한 컴퓨터가 되지 못하며, 소프트웨어 혁신의 속도와 잠재력을 누릴 수 없습니다.
CPU의 기적을 과소평가해서는 안 됩니다. 수년 동안 CPU가 CPU로 남아온 이유는 PC 마더보드 위에 설정된 구성 가능한 하드웨어를 극복했기 때문이며, 소프트웨어 엔지니어들의 재능이 CPU를 통해 구현될 수 있었기 때문입니다. 반대로 그것을 칩에 고정시키면, 소프트웨어 엔지니어가 칩에 가져올 수 있는 영리함을 끊어버리는 것입니다.
그래서 엔비디아 칩이 AlexNet에서부터 Transformer에 이르기까지 다양한 AI 모델 아키텍처에서도 뛰어난 성능을 보이는 이유입니다. 엔비디아는 매우 전문화된 계산 형태로부터 이익을 얻는 방법을 찾아냈습니다. 칩은 소프트웨어를 촉진하기 위해 사용되며, 엔비디아의 역할은 발명을 촉진하는 것이고, ChatGPT와 같은 발명을 촉진하는 것입니다.
07. 로봇 공간 시뮬레이션이 언어 모델을 어떻게 활용하는가?
질문: 생성형 AI와 시뮬레이션(simulation)을 활용해 대규모로 로봇을 훈련시키는 것을 설명하셨습니다. 하지만 구조적 환경과 관련해 우리가 아직 잘 시뮬레이션하지 못하는 일들이 많습니다. 이런 한계를 극복하고 로봇 훈련을 계속하는 방법은 무엇입니까?
젠슨 황: 이를 위한 여러 가지 방법이 있습니다. 우선 언어 모델의 컨텍스트 안에서 문제나 관점을 구성할 수 있습니다.
대규모 언어 모델은 제약 없이 비구조화된 방식으로 작동하며, 이것이 바로 그 잠재력 중 하나입니다. 텍스트에서 많은 것을 배웠지만, 일반화에는 적합하지 않을 수 있습니다. 공간에서의 일반화 능력은 일종의 '마법'이며, 로봇의 ChatGPT 순간이 눈앞에 다가왔을 수 있습니다.
이 문제를 해결하기 위해 컨텍스트와 문제를 명시할 수 있습니다. 예를 들어 특정 조건의 주방에 있다고 알려주는 것입니다. ChatGPT의 마법을 적용하면 로봇은 효과적으로 일반화하여 소프트웨어에 의미 있는 토큰을 생성할 수 있습니다. 컴퓨터의 센서가 이러한 토큰을 인식하면, 로봇은 이 사례들을 기반으로 유추할 수 있습니다.
08. 다음 ChatGPT 순간 예측하기
질문: 일부 산업이 먼저 ChatGPT 순간을 맞이한다고 말씀하셨습니다. 어떤 산업이 가장 먼저 변화할까요? 특히 흥미롭게 본 돌파구나 사례가 있다면 공유해주실 수 있습니까?
젠슨 황: 많은 사례가 있습니다. 저는 Sora에 매우 흥분합니다. 작년 Wayve에서도 같은 능력을 봤었는데, 텍스트에서 비디오를 생성하는 예입니다.
이러한 비디오를 생성하기 위해 모델은 물리 법칙에 대한 감각을 가져야 합니다. 예를 들어 물체를 테이블 위에 놓아야지 공중에 떠 있게 해서는 안 되며, 걷는 사람은 바닥에 있어야 합니다. 물리 법칙을 위반해서는 안 됩니다.
다른 예로 Earth-2를 활용해 극한 기상 현상의 영향을 예측하는 것입니다. 이는 지역 사회에 파괴적인 영향을 미칠 수 있는 극한 기상 사건을 연구하는 중요한 분야입니다. Earth-2를 사용하면 3km 단위로 극한 기상 사건의 영향을 예측할 수 있습니다. 기존 방법보다 획기적인 개선이며, 기존 방법은 2.5만 배 더 큰 슈퍼컴퓨터를 필요로 합니다.
새로운 약물과 단백질을 생성하는 것도 매우 인상적인 잠재적 활용 사례입니다. 이는 알파고와 같은 강화 학습 순환을 통해 이루어지며, 실제 물질을 소모하지 않고도 대분자 공간을 탐색할 수 있어 신약 개발을 완전히 바꿔놓을 가능성이 있습니다.
이것들은 매우 영향력 있는 사례이며, 로봇 기술도 마찬가지입니다.
3월 18일 GTC 기조연설에서 젠슨 황이 최신 블랙웰 아키텍처 제품을 응시하고 있다｜사진 출처: GeekPark
09. 칩 수출 통제가 엔비디아에 미치는 영향
질문: 칩 수출 통제와 지정학적 요인이 엔비디아에 어떤 영향을 미칩니까?
젠슨 황: 당장 해야 할 일이 두 가지 있습니다. 첫째, 모든 정책을 이해해 규정을 준수해야 하며, 둘째, 공급망 회복력을 높여야 합니다.
후자에 대해 예를 들어보겠습니다. 블랙웰 칩을 DGX 프로세서로 구성할 때, 전 세계에서 온 60만 개의 부품이 필요하며, 그중 많은 부분이 중국에서 옵니다. 글로벌 자동차 공급망의 복잡성처럼, 공급망의 글로벌화는 쉽게 깨지지 않습니다.
10. TSMC와의 관계
질문: TSMC와의 관계에 대해 말씀해주실 수 있습니까? 지난 몇 년간 칩 패키징의 복잡성이 증가하면서 TSMC가 엔비디아의 목표 달성에 어떻게 도움을 주었습니까?
젠슨 황: TSMC와의 협력은 우리와 가장 긴밀한 협력 중 하나입니다. 우리가 하는 일이 매우 어렵고, 그들은 그것을 매우 잘 해내기 때문입니다.
TSMC로부터 CPU, GPU 다이(die) 형태의 컴퓨팅 유닛을 받으며, 수율도 좋습니다. 메모리는 마이크론, SK하이닉스, 삼성에서 나오며, 조립은 반드시 대만에서 이루어져야 합니다. 따라서 공급망은 결코 쉽지 않으며, 기업 간 조율이 필요합니다. 이러한 대기업들이 우리와 함께 협력하면서 점점 더 긴밀한 협력이 필수적임을 인식하고 있습니다.
우리는 각 회사로부터 부품을 받아 조립하고, 제3사는 테스트를 하며, 제4사는 시스템을 구성합니다. 물론 이 대규모 시스템은 결국 슈퍼컴퓨터를 만들기 위한 것이며, 테스트 후 데이터센터를 구축합니다. 모든 제조 과정은 거대한 데이터센터를 형성하기 위한 것입니다. 칩 자체가 기적이기도 하지만, 엄청나고 복잡한 시스템을 만들어내기 때문에 공급망의 복잡성은 매우 높습니다.
그래서 사람들이 저에게 GPU에 대해 어떻게 생각하느냐고 묻는다면, 일부는 그냥 SoC(시스템온칩) 정도로 생각할지 모르지만, 저는 랙(rack), 케이블, 스위치 등을 떠올립니다. 그것이 제가 생각하는 GPU와 소프트웨어의 모델입니다. TSMC는 정말 중요합니다.
11. 클라우드 사업 전략
질문: 엔비디아는 클라우드 사업으로 전환하고 있지만, 다른 클라우드 업체들은 자체 칩을 만들고 있습니다. 이들이 당신의 가격 전략에 영향을 미칠까요? 엔비디아 클라우드 사업의 전략은 무엇입니까? 중국 고객에게 DGX 클라우드 서비스를 판매할 계획이 있습니까?
젠슨 황: 엔비디아는 클라우드 서비스 제공업체(CSP)와 협력해 하드웨어와 소프트웨어를 그들의 클라우드에 제공하며, 이는 고객을 그들의 클라우드로 유치하는 데 목적이 있습니다.
엔비디아는 컴퓨팅 플랫폼 기업으로, 소프트웨어를 개발하며 엔비디아를 따르는 개발자 집단을 보유하고 있습니다. 따라서 엔비디아 DGX를 사용하는 클라우드 서비스 제공업체(CSP)를 위해 수요를 창출하고 고객을 유치합니다.
12. '현대의 다빈치', 혹은 '오펜하이머'?
질문: 과거 AGI가 5년 안에 도래할 것이라고 말하셨습니다. 이 예측은 변했습니까? AGI의 가속화가 두렵습니까? 당신을 현대의 다빈치(다재다능하고 큰 기여를 함)라고 말하는 사람도 있고, 현대의 오펜하이머라고 말하는 사람도 있습니다. 어떻게 생각하십니까?
젠슨 황: 오펜하이머는 폭탄을 만든 사람이고, 우리는(엔비디아) 그런 짓은 하지 않습니다.
먼저 AGI를 구체적으로 정의해야 합니다. 그래야 어느 정도에서 AGI에 도달했는지, 언제 도달했는지 알 수 있습니다. 만약 AGI란 수많은 테스트 세트에서 수학, 독해, 논리, 의학, 법률, GMAT, SAT 등에서 소프트웨어 프로그램이 대부분의 인간보다 더 잘하거나, 심지어 모든 인간보다 더 잘한다면, 컴퓨터는 5년 안에 AGI를 실현할 수 있습니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
极客公园
