황런쉰 심층 인터뷰: “토큰 경제” 폭발, 엔비디아의 10조 달러 시가총액은 필연적
글쓴이: 롱 위에
출처: 월스트리트 인사이더
최근 영伟达 CEO 젠슨 황(Jensen Huang)이 유명 기술 팟캐스트인 렉스 프리드먼(Lex Fridman) 팟캐스트에 출연해 AI 확장 법칙(Scaling Laws), 컴퓨팅 파워와 전력 병목 현상, AI 공장, 회사의 미래 전망, 그리고 AI가 인류 사회에 미칠 영향 등 핵심 의제를 중심으로 두 시간 이상에 걸친 심층 대담을 진행했다.
토큰은 이미 새로운 상품이 되었고, 전 세계 GDP에서 컴퓨팅이 차지하는 비중은 100배로 증가할 것
황의 핵심 견해 중 하나는 계산의 본질이 근본적으로 진화했다는 것이다. 즉 과거 인간이 미리 녹음하고 컴퓨터가 검색하는 ‘저장 시스템’에서, 맥락을 인식하는 ‘생성 시스템’으로 전환된 것이다.
더 중요한 것은 컴퓨터가 현실 경제에서 수행하는 역할이 바뀌었다는 점이다. 과거의 컴퓨터는 주로 파일 저장 기능을 담당하는 검색 시스템이었고, 황은 이를 ‘창고’에 비유했다. 그런데 창고 자체는 높은 이윤을 직접 창출하지 않는다.
반면 오늘날의 AI 컴퓨터는 ‘공장’이 되어 기업의 수익 창출과 직결되고 있다. 그는 AI 위탁 생산 공장이 ‘토큰(Token)’이라는 새로운 상품을 생산하고 있으며, 이 토큰은 이미 세분화되어 가격 책정까지 완료되었다고 말한다.
“우리는 이 위탁 생산 공장이 사람들이 소비하기 원하는 상품을 생산하고 있음을 확인했습니다. 더 나아가 이 공장에서 생산되는 토큰은 다양한 수요층에게 매우 큰 가치를 지니며, 아이폰처럼 계층화되기 시작했습니다. 무료 토큰도 있고, 프리미엄 토큰도 있으며, 중간 단계의 토큰도 존재합니다.” 황은 이렇게 설명하며, “누군가는 백만 개의 토큰에 대해 1,000달러를 지불하려 한다는 생각이 머지않아 현실이 될 것입니다. 이건 ‘일어날까 아닐까’의 문제가 아니라 ‘언제 일어날까’의 문제입니다.”라고 덧붙였다.
이러한 ‘토큰 공장’ 모델을 바탕으로 컴퓨팅 장치는 비용 중심에서 이윤 중심으로 완전히 전환되었다.
황은 이 거시적 추세를 확신하며 다음과 같이 전망했다. “생산성이 크게 향상된다면 전 세계 GDP는 가속 성장을 이룰 것입니다. 저는 확신합니다. 향후 전 세계 GDP에서 컴퓨팅이 차지하는 비중은 과거보다 100배 증가할 것입니다.”
10조 달러 시가총액 도달 가능할까? 황: 성장은 필연적이다
‘토큰’ 경제 이론을 바탕으로, 황은 영伟达가 10조 달러라는 새로운 시가총액 정점에 도달할 수 있을지에 대한 논의에 답변했다.
그는 “이 숫자(10조 달러)는 단지 하나의 숫자일 뿐”이라고 말하면서도, “영伟达의 성장은 거의 확실하며, 제 관점에서는 필연적입니다.”라고 단언했다. 향후 3조 달러 규모의 매출 달성 역시 불가능한 일이 아니라고 강조했다.
전력 병목 해법: ‘유휴 전력 활용’, ‘우아한 성능 저하(Gracefully Degrade)’ 데이터센터 구축
AI 확장의 병목 요인에 대해 황은 “전력은 우려 사항이지만 유일한 우려 사항은 아니다.”라고 직설적으로 언급했다. 그는 이를 해결하기 위한 두 가지 병행 전략을 제시했다. 첫째는 에너지 효율을 계속 높이는 것이고, 둘째는 더 많은 전력을 확보하는 방법을 모색하는 것이다.
에너지 효율 측면에서는 ‘와트당 초당 토큰 수’를 핵심 지표로 삼고, ‘극한의 공동 설계(Extreme Co-Design)’를 통해 효율을 향상시키겠다고 밝혔다. “컴퓨터 가격은 오르고 있지만, 토큰 생성 효율은 훨씬 빠르게 증가하고 있어 토큰 비용은 하락하고 있습니다… 매년 한 자릿수씩 감소하고 있습니다.”
‘전력 확보 방안’에 대해서는 보다 구체적인 접근법을 제시했다. 현재 전력망은 극단 기상 조건 하의 최대 피크 부하(안전 여유분 포함)를 기준으로 설계되어 있으나, “99%의 시간 동안 전력망은 최악의 상황에 도달하지 않습니다.” 대부분의 경우 피크 부하의 약 60% 수준에서 운영되고 있다는 것이다.
이 유휴 에너지를 활용하기 위해, 그는 클라우드 사업자와 전력회사 간의 엄격한 전력 공급 계약을 개선해야 한다고 주장했다. ‘여섯 개의 아홉(99.9999%)’이라는 절대적인 가용성 추구를 포기해야 한다는 것이다.
“우리는 ‘우아한 성능 저하(Gracefully Degrade)’가 가능한 데이터센터를 구축해야 합니다.” 황은 이 개념을 설명하며, “전력망이 ‘당신의 전력을 80%로 낮춰야 한다’고 요청할 때, 데이터센터는 핵심 작업 부하를 이동시키거나 계산 속도를 낮출 수 있습니다. 서비스 품질은 약간 저하되겠지만, 소비하는 에너지는 줄어듭니다.”라고 설명했다.
공급망 및 메모리: 200개 협력사 집결, HBM에 3년 전부터 투자
ASML의 극자외선(EUV) 리소그래피 장비, TSMC의 CoWoS 고급 패키징 등 AI 생산 능력을 제약할 수 있는 요소들에 대한 시장의 우려에 대해 황은 불안감을 느끼지 않는다고 답했다. “저는 그들에게 제가 무엇을 필요로 하는지 말해주고, 그들은 자신들이 어떻게 할 것인지 알려줍니다. 저는 그들을 믿습니다.”
시스템 엔지니어링 측면에서 영伟达는 인프라 제조 방식을 근본적으로 변화시키고 있다. 황은 베라 루빈(Vera Rubin) 랙 하나에만 130만~150만 개의 구성 요소가 포함되어 있으며, 이는 200개의 협력사 기술이 결집된 결과라고 밝혔다.
NVLink-72과 같은 극도의 고밀도 연결을 충족시키기 위해, 과거 데이터센터 현장에서 구성 요소를 조립하던 전통적인 방식은 완전히 무효화되었다. 영伟达는 데이터센터의 ‘슈퍼컴퓨터 조립’을 공급망의 ‘슈퍼컴퓨터 제조’ 단계로 전진시켰다. 현재 랙은 공급망 내에서 완전히 조립되어, 한 번에 2~3톤 규모로 전체 기기 형태로 출하된다. 이는 공급망이 완제품 출하 전 테스트 단계에서 자체적으로 기가와트(GW) 규모의 막대한 전력 예비량을 확보해야 함을 의미한다.
가장 취약한 메모리 분야에서는, 약 3년 전만 해도 HBM(고대역폭 메모리) 사용률이 극히 낮았고, 거의 소수의 슈퍼컴퓨터에서만 사용되었을 뿐이었다고 밝혔다. 그러나 당시 그는 여러 주요 메모리 제조사 CEO들을 설득해, HBM가 향후 데이터센터의 주류 메모리가 될 것임을 확신시켰고, 산업 전체가 투자를 결정하도록 이끌었다.
또한 그는 관례를 깨고, 스마트폰용 저전력 메모리(LPDDR)를 슈퍼컴퓨터 분야로 개조·도입하도록 협력사들을 설득했다.
‘추론은 사고다’: 훈련·테스트 시 확장에서 ‘에이전트 기반 확장’으로
AI 확장 법칙(Scaling Laws)에 대해 황은 AI 확장을 네 가지 ‘확장 규칙’으로 나누었다: 사전 훈련(Pre-training), 사후 훈련(Post-training), 테스트 타임 확장(Test-time Scaling), 에이전트 기반 확장(Agentic Scaling).
‘데이터 고갈’ 우려를 회상하며 그는 “훈련 데이터 양은 계속해서 확대될 것입니다… 그중 상당수는 합성 데이터(Synthetic Data)가 될 것입니다.”라고 말했으며, “훈련은 더 이상 데이터에 의해 제약받지 않으며, 이제 데이터는 컴퓨팅 파워에 의해 제약받을 것입니다.”라고 판단했다.
추론(Inference) 측면의 연산 강도에 대해서는 더욱 직설적으로 말했다. “추론은 바로 사고입니다. 저는 사고가 어렵다고 생각합니다… 어떻게 연산 부담이 가볍게 될 수 있겠습니까?” 그는 테스트 타임 확장에는 ‘추론, 계획, 탐색’ 등이 포함되며, 이로 인해 추론 연산 수요가 증가할 것이라고 전망했다.
가장 강력한 경쟁 우위, 우주 컴퓨팅의 과제, 마스크 평가
영伟达의 가장 강력한 경쟁 우위가 무엇이냐는 질문에, 황은 CUDA의 막대한 설치 기반(Installed Base)과 신뢰 생태계를 명확히 지목했다.
“이것은 단지 3명이 만든 CUDA가 아닙니다. 4만 3천 명의 직원이 함께 만들어낸 것입니다.” 황은 이러한 경쟁 우위가 수백만 명의 개발자가 영伟达가 지속적으로 저변 기술을 최적화해 온다는 믿음 위에 서 있으며, 동시에 전 세계 주요 클라우드 사업자, OEM, 엣지 기기 등으로 확장된 광범위한 생태계에 기반하고 있다고 강조했다.
컴퓨팅 인프라의 선두 연구 분야 중 하나인 ‘우주에 데이터센터 건설’을 통한 에너지 분배 문제 해결에 대해, 황은 영伟达 GPU가 이미 우주에 진입했다고 확인했다. 다만 현재는 위성의 고해상도 이미지 처리를 위한 엣지 단계의 선별 작업에 주로 사용되고 있다.
대규모 우주 데이터센터 구축에 대해서는, 그는 핵심 물리적 과제가 존재한다고 솔직히 인정했다. “우주에서는 전도도 없고, 대류도 없으며, 오직 복사만을 통한 열 방출이 가능합니다. 극지방에서는 24시간 내내 태양광을 이용할 수 있지만, 우리는 거대한 방열판이 필요합니다.” 현재로서 가장 현실적인 접근법은 지구상의 유휴 전력을 우선적으로 최대한 활용하는 것이다.
한편, 어떤 컴퓨팅 로드맵이든 실현되기 위해서는 극도의 엔지니어링 실행력이 필요하다. 마스크가 설립한 xAI가 단 4개월 만에 10만 개 GPU를 갖춘 콜로서스(Colossus) 슈퍼컴퓨터 센터를 건설한 사례에 대해, 황은 시장 기반 인프라 측면에서 매우 높은 평가를 내렸다.
그는 마스크의 성공을 ‘제1원리 사고(First Principles Thinking)’와 ‘극단적 미니멀리즘’으로 요약했다. “그는 모든 것을 의문시합니다. ‘이게 정말 필요한가? 반드시 이렇게 해야 하는가? 이만큼의 시간이 꼭 필요한가?’”
황은 “엘론(Elon)은 다수의 서로 다른 분야에서 깊은 전문성을 갖추고 있으며, 또한 매우 뛰어난 시스템 사고자(system thinker)입니다.”라고 평가하며, “그는 모든 것을 의문시하며, 그것들을 더 이상 줄일 수 없는 최소한의 필수 요소로 축소시킬 때까지 계속합니다… 그는 직접 현장에 나섭니다. 이런 강렬한 긴박감을 가지고 직접 행동할 때, 다른 모든 사람들도 긴박감을 느끼고 행동하게 됩니다.”라고 설명했다.
미래에는 AI를 다룰 줄 아는 사람만 채용? ‘전 세계 프로그래머는 3,000만 명에서 10억 명으로 폭증’
전 세계 근로자들이 AI 기술에 대해 느끼는 불안에 대해, 황은 매우 실용적인 기준을 제시했다. 그는 “오늘 두 명의 신입 졸업생 중 한 명을 선택해야 한다면, 저는 반드시 ‘AI 전문가’를 고용할 것이며, AI에 대해 전혀 모르는 사람을 고용하지는 않을 것입니다.”라고 단언했다.
황은 이 원칙이 기술 직무에 국한되지 않고, 회계사, 변호사, 영업사원, 공급망 관리자, 약사, 심지어 전기공과 목수에 이르기까지 모든 직업군과 모든 직책에 적용된다고 강조했다. 그는 “모든 직업, 모든 수준에서 예외 없이, AI를 잘 활용하는 사람이 더 높은 가치를 창출할 것”이라고 말했다.
그는 ‘대체’의 경계를 명확히 구분했다. 만약 누군가의 업무가 단순히 일련의 ‘작업(Task)’으로 구성되어 있으며, 그 작업 자체가 전부인 가치 기여라면, AI에 의한 대체는 거의 필연적이다. 그러나 만약 업무가 더 깊은 ‘목적(Purpose)’을 지닌다면, AI를 활용해 반복적이고 사소한 작업을 자동화함으로써 단순한 ‘실행자’에서 해당 분야의 ‘혁신자’로 도약할 수 있다고 설명했다.
아직 시작조차 하지 못한 사람들에게, 황은 가장 ‘위로가 되는(disarming)’ 조언을 제시했다. “AI를 어떻게 사용해야 할지 모른다면, 그냥 AI에게 ‘나는 너를 어떻게 사용해야 하나?’라고 물어보면 됩니다. 그러면 AI가 처음부터 끝까지 단계별로 안내해 줄 것입니다.” 그는 지금 시작하는 문턱이 이미 제로가 되었고, 유일한 장벽은 ‘시작하겠다는 결정’뿐이라고 강조했다. 왜냐하면 이 시대에는 AI의 진화 속도에 따라 ‘기다리는 비용’이 날이 갈수록 커지고 있기 때문이다.
프로그래머에 대해서는 충격적인 전망을 내놓았다. “영伟达의 소프트웨어 엔지니어 수는 오히려 감소하지 않고 증가할 것입니다… 만약 프로그래밍의 정의가 ‘컴퓨터가 구축하도록 명세를 기술하는 것’이라면, 이를 수행할 수 있는 사람의 수는 3,000만 명에서 10억 명에 달할 수도 있습니다. 미래의 모든 목수는 프로그래머가 될 것이며, 모든 배관공은 이로 인해 완전히 흥분할 것입니다.”
AGI(일반 인공지능)의 도래 시기에 대해, AGI를 ‘자율적으로 애플리케이션을 개발하고 수익을 창출할 수 있는 시스템’으로 정의한다면, 황은 “저는 바로 지금이라고 생각합니다. 우리는 이미 AGI를 실현했습니다.”라고 말했다. 그는 AI가 자율적으로 생성한 웹 서비스나 디지털 영향력 애플리케이션이 수십억 명의 사용자를 유치하고 수익을 창출하는 시나리오를 상상했는데, 이는 현재 기술적으로 이미 가능하다고 강조했다.
인터뷰 전문은 다음과 같습니다:
황 젠슨 인터뷰 전문: 영伟达 — 4조 달러 기업과 AI 혁명 | 렉스 프리드먼(Lex Fridman) 팟캐스트 #494
소개
렉스 프리드먼
(00:00:00) 다음은 영伟达 최고경영자(CEO) 젠슨 황과의 대담입니다. 영伟达는 인류 문명사에서 가장 중요하고 영향력 있는 기업 중 하나이며, AI 혁명을 이끄는 엔진입니다. 영伟达의 거대한 성공은 젠슨 황의 순수한 의지력과, 그가 리더, 엔지니어, 혁신가로서 내린 수많은 탁월한 베팅과 결정에 크게 기인합니다. 여기는 렉스 프리드먼 팟캐스트입니다. 친애하는 친구 여러분, 이제 젠슨 황을 모시겠습니다.
극한 공동 설계 및 랙 수준 엔지니어링
렉스 프리드먼
(00:00:33) 당신은 영伟达를 AI의 새 시대로 이끌었고, 초점을 칩 수준 설계에서 랙 수준 설계로 옮겼습니다.
렉스 프리드먼
(00:00:42) 공정하게 말하자면, 오랫동안 영伟达의 승리 전략은 가능한 한 완벽한 GPU를 구축하는 데 있었습니다. 지금도 여전히 그렇게 하고 있지만, 이제는 GPU, CPU, 메모리, 네트워크, 스토리지, 전력 공급, 냉각, 소프트웨어, 랙 자체, 발표된 컴퓨팅 캡(Pod), 심지어 전체 데이터센터에 이르기까지 극한의 공동 설계를 확장했습니다. 그럼 극한 공동 설계에 대해 이야기해 봅시다. 이렇게 복잡한 구성 요소와 설계 변수를 가진 시스템을 공동 설계하는 데 있어 가장 어려운 부분은 무엇입니까?
젠슨 황
(00:01:11) 질문해 주셔서 감사합니다. 극한 공동 설계가 필요한 이유는, 현재 우리가 해결하려는 문제를 단일 컴퓨터 또는 단일 GPU로만 가속화할 수 없기 때문입니다. 우리는 컴퓨터 수를 늘리는 것보다 더 빠른 계산 속도 향상을 원합니다. 예를 들어, 컴퓨터를 1만 대 늘리더라도 속도는 100만 배 향상시키고 싶습니다. 갑자기 우리는 알고리즘을 추출하고, 이를 분해·재구성하며, 파이프라인과 데이터, 모델을 모두 분할해야 합니다. 이런 방식으로 문제를 분산 처리할 때, 단순히 규모를 확대하는 것이 아니라 문제 자체를 분산시키기 때문에 모든 요소가 병목이 될 수 있습니다.
젠슨 황
(00:02:03) 이것이 암달의 법칙(Amdahl’s law)의 문제입니다. 어떤 작업의 가속 정도는 전체 작업량에서 차지하는 비율에 따라 결정됩니다. 계산이 문제의 50%를 차지한다면, 계산 속도를 무한히 빠르게 하더라도(예: 100만 배) 전체 작업 속도는 2배밖에 향상되지 않습니다. 이제 갑자기 계산 작업을 분배하고, 파이프라인을 어느 방식으로 분할하는 것뿐만 아니라, 모든 컴퓨터가 연결되어 있기 때문에 네트워크 문제도 해결해야 합니다. 우리 규모에서 분산 컴퓨팅을 수행할 때, CPU는 문제이고, GPU는 문제이며, 네트워크는 문제이고, 스위치도 문제입니다. 모든 컴퓨터에 작업 부하를 분산시키는 것도 문제입니다.
젠슨 황
(00:02:57) 이것은 극도로 복잡한 컴퓨터 과학 문제입니다. 우리는 다양한 기술의 힘을 모두 발휘해야 합니다. 그렇지 않으면 선형 확장만 가능하거나, 덴너드 축척 법칙(Dennard scaling)의 둔화로 인해 실질적으로 정체된 모어 법칙(Moore’s law)에만 의존해야 합니다.
젠슨 황이 영伟达를 어떻게 경영하는가
렉스 프리드먼
(00:03:16) 이 과정에는 분명히 여러 가지 균형이 존재합니다. 그리고 여러분은 완전히 다른 학문 분야에 걸쳐 전문가들을 보유하고 있습니다. 저는 확신합니다. 고대역폭 메모리(HBM), 네트워크 및 NVLink, 네트워크 카드, 광학 및 구리 케이블 연결, 전력 공급, 냉각 등 분야에서 세계 최고 수준의 전문가들이 계실 겁니다. 이 모든 전문가들과 일반 전문가들이 어떻게 한 자리에 모여—
젠슨 황
(00:03:34) 그래서 제 경영팀이 이렇게 크죠.
렉스 프리드먼
(00:03:37) 전문가와 일반 전문가가 협업하는 과정은 어떻게 이루어지나요? 특정 요소를 랙에 반드시 집어넣어야 한다고 확실히 알게 되었을 때, 랙을 실제로 어떻게 조립합니까? 이 모든 것을 함께 설계하는 과정은 어떻게 이루어지나요?
젠슨 황
(00:03:51) 먼저 ‘극한 공동 설계’란 무엇인가를 물어야 합니다. 우리는 아키텍처에서 칩, 시스템, 시스템 소프트웨어, 알고리즘 및 애플리케이션에 이르기까지 전체 소프트웨어 스택을 최적화하고 있습니다. 이것이 첫 번째 측면입니다. 우리가 방금 이야기한 두 번째 측면은 CPU, GPU, 네트워크 칩, 상향 확장(scale-up) 스위치 및 외향 확장(scale-out) 스위치를 넘어서는 것입니다. 물론 전력 공급과 냉각 등도 포함되어야 합니다. 왜냐하면 이 모든 컴퓨터는 엄청난 전력을 소비하기 때문입니다. 이들은 많은 작업을 수행하고 에너지 효율이 매우 높지만, 전반적으로 보면 여전히 막대한 전력을 소비합니다. 따라서 첫 번째 질문은 ‘무엇인가?’입니다.
젠슨 황
(00:04:34) 두 번째 질문은 ‘왜 필요한가?’입니다. 우리는 방금 그 이유를 논의했습니다. 우리는 단순히 컴퓨터 수를 늘리는 것보다 더 큰 이득을 얻기 위해 작업 부하를 분산시키고 싶습니다. 세 번째 질문은 ‘어떻게 실현하는가?’입니다.
젠슨 황
(00:04:51) 이건 거의 이 회사의 기적이라고 할 수 있습니다. 컴퓨터를 설계할 때는 컴퓨터 운영체제가 필요합니다. 회사를 설계할 때는, 먼저 그 회사가 무엇을 산출하길 원하는지를 고민해야 합니다. 저는 많은 회사의 조직도를 봤는데, 모두 똑같이 생겼습니다. 햄버거형 조직도, 평탄형 조직도, 자동차 회사의 조직도가 모두 비슷해 보입니다. 이건 저에게는 아무런 의미가 없습니다. 회사의 목적은 산출물을 만들기 위한 기계, 메커니즘, 시스템입니다. 이 산출물이 우리가 만들고자 하는 제품입니다. 회사의 조직도는 그것이 존재하는 환경을 반영해야 합니다.
젠슨 황
(00:05:36) 이는 거의 직접적으로 조직도를 어떻게 설정해야 할지를 결정합니다. 저에게 직접 보고하는 경영팀은 60명입니다. 저는 그들과 일대일 미팅을 하지 않습니다. 왜냐하면 그것은 불가능하기 때문입니다. 일을 완수하려면 팀에 60명을 두고 일대일로 대화하는 것은 불가능합니다—
렉스 프리드먼
(00:05:51) 하지만 여전히 60명의 직접 보고자들이 있고, 또—
젠슨 황
(00:05:53) 더 많습니다.
렉스 프리드먼
(00:05:54) 더 많습니다. 그리고 대부분의 스타 직원들은 적어도 엔지니어링 분야에 진출해 있습니다.
젠슨 황
(00:05:59) 거의 모두 그렇습니다. 메모리 전문가, CPU 전문가, 광학 전문가가 있습니다.
렉스 프리드먼
(00:06:06) 믿기지 않네요.
젠슨 황
(00:06:06) GPU, 아키텍처, 알고리즘, 설계 분야 전문가도 있습니다.
렉스 프리드먼
(00:06:11) 따라서 당신은 항상 전체 기술 스택을 주시하고, 전체 기술 스택의 설계에 대해 치열한 토론을 해야 합니까?
젠슨 황
(00:06:18) 단독으로 진행되는 대화는 한 번도 없습니다. 그래서 저는 일대일 미팅을 하지 않습니다. 우리는 문제를 제기하고, 모두가 함께 그것을 해결합니다. 왜냐하면 우리는 극한 공동 설계를 하고 있기 때문입니다. 과장 없이 말하자면, 회사는 항상 극한 공동 설계를 진행하고 있습니다.
렉스 프리드먼
(00:06:33) 특정 구성 요소, 예를 들어 냉각이나 네트워크에 대해 논의할 때도, 모두가 옆에서 듣고 있습니까?
젠슨 황
(00:06:40) 맞습니다.
렉스 프리드먼
(00:06:41) 그리고 그들은 의견을 제시할 수 있습니다. “이건 전력 배분에 적합하지 않습니다. 이건—”
젠슨 황
(00:06:45) 그렇습니다.
렉스 프리드먼
(00:06:45) “—이건 메모리에 적합하지 않습니다. 이건 저기에 적합하지 않습니다.”
젠슨 황
(00:06:49) 그렇습니다. 듣고 싶지 않은 사람은 듣지 않아도 됩니다. 이유는 팀원들이 언제 집중해야 할지를 알고 있기 때문입니다. 만약 그들이 기여할 수 있었는데도 하지 않았다면, 저는 그들을 직접 지적할 것입니다. 그래서 저는 “이봐, 와서 토론에 참여해!”라고 말합니다.
렉스 프리드먼
(00:07:07) 당신이 말씀하신 것처럼, 영伟达는 환경에 적응하는 회사입니다. 어느 시점에서 환경이 바뀌었고, 회사가 조용히 적응하기 시작했습니까? 초기 게임용 GPU에서 딥러닝 혁명의 초기 단계, 그리고 지금 우리가 AI 공장으로 인식하기 시작한 시점까지 말입니다. 영伟达는 무엇을 하나요? AI를 생산하고, AI를 생산하는 공장을 만들자고요.
젠슨 황
(00:07:32) 저는 이 과정을 체계적으로 추론할 수 있습니다. 우리는 처음에 가속기 회사였습니다. 그러나 가속기의 문제는 응용 분야가 너무 좁다는 점입니다. 그 장점은 특정 작업에 대해 극도로 최적화되어 있다는 점입니다. 어떤 전문가라도 이런 장점을 가집니다. 극도로 전문화된 문제는 시장 규모가 더 작다는 점입니다. 그러나 이는 문제가 되지 않습니다. 진짜 문제는 시장 규모가 결국 당신의 연구개발 능력을 결정한다는 점입니다. 그리고 당신의 연구개발 능력은 결국 당신이 컴퓨팅 분야에서 얼마나 영향력을 미칠 수 있는지를 결정합니다. 우리가 아주 구체적인 가속기로 처음 시작했을 때, 우리는 항상 이것이 우리의 첫걸음이라는 것을 알고 있었습니다.
젠슨 황
(00:08:23) 우리는 가속 컴퓨팅 회사가 되는 방법을 찾아야 했습니다. 문제는, 당신이 컴퓨팅 회사가 되면 목표가 너무 일반적이 되어 전문성을 약화시킨다는 점입니다. 저는 이 두 가지 근본적으로 충돌하는 단어를 의도적으로 함께 사용했습니다. 우리가 컴퓨팅 회사로서 더 잘할수록 전문가로서의 모습은 더 약해집니다. 우리가 전문가로서 더 전문화될수록 전체 컴퓨팅 능력은 더 약해집니다. 저는 이 두 단어를 의도적으로 함께 사용했는데, 이는 회사가 계산 범위를 확대하면서도 가장 중요한 전문 능력을 포기하지 않는, 극도로 좁은 길을 하나씩 찾아야 한다는 것을 의미합니다. 우리가 가속기를 넘어선 첫 번째 단계는 프로그래머블 픽셀 셰이더(Programmable Pixel Shader)를 발명한 것이었습니다.
젠슨 황
(00:09:13) 이것은 프로그래머블성으로 향하는 첫걸음이었습니다. 이것이 우리가 컴퓨팅 세계로 진입한 첫 번째 여정이었습니다. 우리가 한 두 번째 일은 셰이더에 단정도 부동소수점(FP32)을 도입하는 것이었습니다. IEEE 표준을 지원하는 FP32는 컴퓨팅으로 나아가는 큰 한 걸음이었습니다. 이것이 바로 스트림 프로세서 및 기타 유형의 데이터 스트림 프로세서를 개발하는 사람들이 우리를 발견한 이유입니다. 그들은 “갑자기, 우리는 이 계산 집약적이면서도 IEEE 표준을 지원하는 GPU를 사용할 수 있게 되었습니다.”라고 말했습니다.
젠슨 황
(00:09:55) 나는 이전에 CPU에서 작성했던 소프트웨어를 가져와서 GPU에서 실행할 수 있는지 확인할 수 있었습니다. 이는 우리가 FP32 위에 C 언어 기능을 추가하도록 이끌었고, 이를 Cg라고 불렀습니다. Cg의 발전 경로는 결국 우리를 CUDA로 이끌었습니다. 한 걸음씩, 우리는 CUDA를 GeForce에 도입했습니다. 이는 회사의 이익을 크게 희생시키는, 극도로 도전적인 전략적 결정이었습니다. 당시 우리는 그것을 감당할 수 없었습니다. 하지만 우리는 그것을 실행했습니다. 왜냐하면 우리는 컴퓨팅 회사가 되고 싶었기 때문입니다. 컴퓨팅 회사는 반드시 컴퓨팅 아키텍처를 가져야 합니다. 컴퓨팅 아키텍처는 우리가 만든 모든 칩과 호환되어야 합니다.
렉스 프리드먼
(00:10:42) 그 결정에 대해 좀 더 자세히 설명해 주실 수 있나요? GeForce에 CUDA를 도입하기로 결정했지만, 감당할 수 없었음에도 불구하고 그렇게 했던 이유는 무엇입니까? 그 결정을 설명해 주실 수 있나요? 왜 그런 용기를 내셨습니까?
젠슨 황
(00:10:53) 그것은 거의 생사가 걸린 첫 번째 전략적 결정이었습니다.
렉스 프리드먼
(00:11:06) 이 역사적 사실을 모르는 분들을 위해 미리 말씀드리면, 이 결정은 후에 회사 역사상 가장 빛나고 현명한 결정 중 하나로 입증되었습니다. CUDA는 이 AI 인프라 세계에서 놀라운 계산 기반이 되었습니다. 따라서 배경을 설명드리면, 이 결정은 결국 훌륭한 결정이었음을 알 수 있습니다.
젠슨 황
(00:11:27) 네, 후에 훌륭한 결정임이 입증되었습니다. 사실은 이렇습니다. 우리는 CUDA라는 것을 발명했고, 이는 우리의 가속기가 가속화할 수 있는 애플리케이션 범위를 확대했습니다. 문제는 개발자들이 CUDA를 사용하도록 어떻게 유도할 것인가였습니다. 왜냐하면 컴퓨팅 플랫폼의 핵심은 개발자이기 때문입니다. 개발자들은 단지 흥미로운 작업을 수행할 수 있는 플랫폼이라고 해서 달려오지 않습니다. 그들은 설치 기반이 크기 때문에 컴퓨팅 플랫폼으로 옵니다. 왜냐하면 개발자들도 모두 그렇듯, 많은 사용자에게 닿을 수 있는 소프트웨어를 개발하고 싶기 때문입니다. 설치 기반은 아키텍처에서 가장 중요한 부분입니다. 아키텍처 자체는 많은 비판을 받을 수 있습니다.
젠슨 황
(00:12:18) 예를 들어, x86보다 더 많은 비판을 받은 아키텍처는 없습니다. x86은 우아하지 못한 아키텍처라고 여겨졌지만, 오늘날의 정의적 아키텍처입니다. 이것이 한 가지 예입니다. 사실, 세상에서 가장 영리한 컴퓨터 과학자들이 설계한 매우 우아한 RISC 아키텍처 중 상당수가 대부분 실패했습니다. 저는 이 두 가지 예를 들었는데, 하나는 우아하고, 다른 하나는 겨우 작동할 뿐인데, x86은 살아남았습니다. 그 이유는—
렉스 프리드먼
(00:12:58) 설치 기반이 전부입니다.
젠슨 황
(00:12:59) 설치 기반이 아키텍처를 정의합니다. 나머지는 모두 부차적입니다. 이해하셨나요? 당시에는 다른 아키텍처도 있었고, CUDA도 있었고, OpenCL도 있었습니다. 몇 가지 경쟁 아키텍처가 있었습니다. 그러나 우리가 내린 올바른 결정은, “결국 이것은 설치 기반의 문제이며, 새 계산 아키텍처를 세상에 전파하는 가장 좋은 방법은 무엇인가?”라고 말한 것이었습니다. 그때 이미 GeForce는 성공을 거두고 있었습니다.
젠슨 황
(00:13:29) 우리는 이미 매년 수백만 개의 GeForce GPU를 판매하고 있었습니다. 그래서 우리는 “CUDA를 GeForce에 넣고, 모든 PC에 집어넣어야 합니다. 고객이 사용하든 안 하든 상관없이, 설치 기반을 키우는 출발점으로 삼아야 합니다.”라고 말했습니다. 동시에 우리는 개발자들을 유치하기 위해 대학에 가서 책을 쓰고, 강의를 하고, CUDA를 모든 곳에 배치했습니다. 점차 사람들은 그것을 알아차렸습니다. 당시 PC는 주요 컴퓨팅 도구였고, 클라우드는 없었기 때문에, 우리는 슈퍼컴퓨터를 각 대학의 연구자, 과학자, 공과대학, 학생들에게 직접 전달할 수 있었습니다. 결국 기적은 반드시 일어납니다.
젠슨 황
(00:14:15) 문제는 CUDA가 이 소비자용 제품의 비용을 크게 증가시켜, 회사의 모든 매출총이익을 완전히 잡아먹었다는 점입니다. 당시 회사 시가총액은 약 80억 달러였나요? 아니면 60~70억 달러였나요? CUDA를 출시한 후, 저는 그것이 많은 비용을 증가시킬 것임을 깨달았지만, 우리가 믿는 바였습니다. 우리의 시가총액은 한때 약 15억 달러로 떨어졌습니다. 우리는 바닥에서 한동안 머물렀다가 천천히 회복했지만, 우리는 GeForce에 CUDA를 탑재하는 것을 고수했습니다. 저는 항상 영伟达가 GeForce로 세워진 성전이라고 말합니다. 왜냐하면 GeForce이 CUDA를 모두에게 가져다주었기 때문입니다.
젠슨 황
(00:15:10) 연구자, 과학자들이 GeForce에서 CUDA를 발견한 이유는, 그들 중 많은 사람이 게이머이기도 했기 때문입니다. 많은 사람들은 어차피 스스로 PC를 조립합니다. 대학 실험실에서는 많은 사람들이 PC 부품을 사용하여 클러스터를 직접 구축합니다. 우리가 그렇게 시작한 것입니다.
렉스 프리드먼
(00:15:31) 그리고 이것이 딥러닝 혁명의 플랫폼과 기반이 되었습니다.
젠슨 황
(00:15:35) 그 또한 매우 훌륭한 관찰입니다.
렉스 프리드먼
(00:15:38) 그 생사가 걸린 순간, 당신은 그 회의가 어땠는지 기억하시나요? 회사가 모든 것을 걸고 내린 결정, 토론 상황은 어땠습니까?
젠슨 황
(00:15:48) 저는 이사회에 우리가 무엇을 하려는지 분명히 알려야 했고, 경영팀도 우리의 매출총이익이 붕괴될 것임을 알고 있었습니다. 여러분은 이런 상상을 해보실 수 있습니다. GeForce이 CUDA 비용을 짊어지고 있지만, 게이머들은 그것을 알아채지도 못하고, 그 값을 지불하려 하지도 않습니다. 그들은 특정 가격만 지불하려 하며, 당신의 비용이 얼마인지는 전혀 관심이 없습니다. 우리는 비용을 50% 증가시켰고, 우리는 원래 매출총이익률이 35%인 회사였습니다. 따라서 이 결정은 매우 어려웠습니다. 그러나 당신은 어느 날 이 기술이 워크스테이션과 슈퍼컴퓨터로 진입할 것이고, 이 분야에서는 더 높은 이윤을 얻을 수 있을 것이라고 합리적으로 추론할 수 있습니다.
젠슨 황
(00:16:36) 따라서 당신은 이 비용을 감당할 수 있다고 스스로 납득할 수 있지만, 이는 여전히 10년이 걸렸습니다.
렉스 프리드먼
(00:16:45) 따라서 이사회와의 소통과 설득이 더 중요했겠지만, 심리적으로는 영伟达가 미래를 예측하는 대담한 베팅을 계속 내리고, 특히 지금은 미래를 정의하고 있습니다. 저는 당신이 이러한 결정을 내리고 회사를 이끌어 나가는 데 어떤 지혜를 갖고 계신지 여쭤보고 싶습니다.
젠슨 황
(00:17:14) 첫째, 저는 매우 강한 호기심을 가지고 있습니다. 어느 순간, 어떤 추론 시스템이 매우 명확하게 제게 이 결과가 반드시 일어날 것임을 알려줍니다. 이것은 반드시 일어날 것입니다. 따라서 제 마음속에서는 제가 확신하고 있으며, 제가 내면에서 확신할 때, 여러분도 그 느낌을 아실 겁니다. 저는 미래를 내면화하고, 그 미래가 너무나 설득력 있어서 일어나지 않을 수 없다고 생각합니다. 그 사이에는 많은 시련이 있겠지만, 저는 제 믿음을 굳게 지켜야 합니다.
렉스 프리드먼
(00:17:52) 따라서 당신은 미래를 상상하고, 본질적으로 공학적 관점에서 그것을 현실로 만들었습니다?
젠슨 황
(00:17:59) 네. 어떻게 거기에 도달할지를 추론해야 합니다. 왜 그것이 반드시 존재해야 하는지를 추론해야 합니다. 여기서我们一起 추론하고 있습니다. 경영팀도 추론합니다. 저는 많은 시간을 추론에 씁니다. 다음 부분은 아마도 경영 기술일 수 있습니다. 일반적으로 리더십에서는 리더가 침묵하거나, 어떤 것을 알게 된 후 선언을 내립니다. “새해가 되었고, 내년 말까지 새로운 계획을 세울 것입니다.” 여기서는 대규모 해고가 있고, 거기서는 대규모 조직 재편이 있으며, 새로운 사명 선언이 나오고, 새 로고가 설계됩니다.
젠슨 황
(00:18:43) 저는 그런 일을 절대 하지 않습니다. 제가 어떤 것을 알게 되고, 그것이 제 사고에 영향을 미치기 시작하면, 저는 주변 모든 사람에게 분명히 말합니다. “이것은 흥미롭습니다. 이것은 변화를 가져올 것입니다. 이것은 저것에 영향을 미칠 것입니다.” 저는 단계적으로 추론합니다. 많은 경우 저는 이미 결정을 내렸지만, 외부 정보, 새로운 통찰, 새로운 발견, 공학적 새로운 계시, 새롭게 설정된 이정표 등 가능한 모든 기회를 잡아 다른 사람들의 믿음 체계를 형성합니다. 저는 거의 매일 그렇게 합니다. 이사회와도 그렇게 하고, 경영팀과도 그렇게 하고, 직원들과도 그렇게 합니다.
젠슨 황
(00:19:33) 저는 그들의 믿음 체계를 형성하려고 노력합니다. 그래서 어느 날 제가 “이봐, 멜라녹스(Mellanox)를 인수합시다.”라고 말할 때, 모두가 당연히 그렇게 해야 한다고 느낍니다. 제가 “이봐, 딥러닝에 전력 투입합시다.”라고 말하고 그 이유를 설명할 때, 저는 이미 회사 내부의 각 조직에 기반을 마련해 두었습니다. 각 조직, 각 개인은 아마도 일부 내용을 들었을 것이고, 대부분은 그 조각들 중 일부를 들었을 것입니다. 제가 발표하는 그날, 모두는 이미 그 많은 부분을 받아들였습니다.
젠슨 황
(00:20:19) 많은 면에서, 제가 이런 것들을 발표할 때, 직원들이 “젠슨 황, 왜 이렇게 오래 기다렸어?”라고 말하는 것을 상상할 수 있습니다. 사실 저는 계속해서 그들의 믿음 체계를 형성해 왔습니다. 따라서 리더십은 때때로 당신이 뒤에서 이끄는 것처럼 보이지만, 저는 발표하는 그날까지 그들을 계속 형성해 왔습니다. 그래서 발표하는 그날, 모두가 100% 동의하게 됩니다. 이것이 바로 당신이 원하는 결과입니다. 당신은 모두를 함께 이끌고 싶습니다. 그렇지 않으면, 우리가 갑자기 딥러닝 계획을 발표하면, 모두가 “무슨 소리야?”라고 말할 것입니다. 당신이 어떤 일에 전력 투입한다고 발표할 때, 당신의 경영팀, 이사회, 직원, 고객은 “이게 어디서 튀어나온 거야?”라고 느낄 것입니다.
젠슨 황
(00:21:02) “이건 미친 짓이야.” 만약 당신이 지난 GTC 컨퍼런스의 기조연설을 돌이켜 보면, 저는 실제로 산업 내 파트너들의 믿음 체계를 형성하기 위해 그것을 사용했습니다. 저는 이를 통해 제 직원들의 믿음 체계를 형성했습니다. 따라서 제가 그로크(Groq)를 발표했을 때, 사실 저는 지난 2년 반 동안 관련 기반을 계속 이야기해 왔습니다. 돌아보면 “세상에, 그들은 이미 2년 반 동안 이것을 이야기해 왔네.”라고 말할 것입니다. 저는 단계적으로 기반을 다졌기 때문에, 발표할 때 모두가 “왜 이렇게 오래 걸렸어?”라고 말합니다.
렉스 프리드먼
(00:21:44) 그러나 이것은 단지 회사 내부에만 국한되지 않습니다. 당신은 산업 전체와 더 넓은 글로벌 혁신 구조를 형성하고 있습니다. 이런 아이디어를 제시함으로써, 당신은 현실을 실제화하고 있습니다.
젠슨 황
(00:21:53) 우리는 컴퓨터를 만들지 않습니다. 실제로 우리는 클라우드도 만들지 않습니다. 우리는 원래 컴퓨팅 플랫폼 회사였습니다. 따라서 아무도 우리로부터 완제품을 직접 구매할 수 없습니다. 이것은 놀랍습니다. 우리는 설계 및 최적화를 위해 수직적 통합을 하지만, 각 계층에서 전체 플랫폼을 완전히 개방하여 다른 회사의 제품, 서비스, 클라우드, 슈퍼컴퓨터 및 OEM 컴퓨터에 통합되도록 합니다. 따라서 놀라운 점은, 제가 그들을 설득하지 않고서는 지금 제가 하고 있는 일을 할 수 없다는 것입니다. GTC의 대부분의 역할은 미래를 보여주는 것입니다. 그래서 우리의 제품이 준비되었을 때, 그들은 “왜 이렇게 늦게 내놓았어?”라고 말합니다.
AI 확장 법칙
렉스 프리드먼
(00:22:39) 네. 오랜 기간 동안, 당신은 일반적인 확장 법칙(Scaling Laws)의 신봉자였습니다. 지금도 여전히 확장 법칙을 믿습니까?
젠슨 황
(00:22:49) 네. 이제 우리는 더 많은 확장 법칙을 가지고 있습니다.
렉스 프리드먼
(00:22:51) 저는 당신이 네 가지 단계의 확장 법칙을 요약했다고 생각합니다: 사전 훈련(Pre-training), 사후 훈련(Post-training), 테스트 타임(추론) 확장, 에이전트(Agentic) 확장. 당신이 미래를 생각할 때, 먼 미래와 가까운 미래를 모두 고려할 때, 당신이 가장 걱정하고, 밤잠을 설치게 하며, 계속 확장하기 위해 극복해야 할 장애물은 무엇입니까?
젠슨 황
(00:23:12) 우리는 사람들이 과거에 장애물이라고 여겼던 것들을 되돌아볼 수 있습니다. 사전 훈련 확장 법칙 단계에서, 사람들은 고품질 데이터의 양이 우리가 도달할 수 있는 지능 수준을 제한할 것이라고 당연히 여겼습니다. 이 확장 법칙은 매우 중요합니다. 모델이 클수록, 더 많은 데이터는 더 똑똑한 AI를 가져옵니다. 이것이 사전 훈련입니다. 일리야 수츠케버(Ilya Sutskever)는 당시 “우리의 데이터가 떨어졌다” 또는 비슷한 말을 했습니다. “사전 훈련은 끝났다.” 전 산업계는 AI의 종말이라고 공포에 휩싸였습니다. 그러나 이것은 분명히 사실이 아닙니다.
젠슨 황
(00:23:57) 우리는 훈련에 사용되는 데이터 양을 계속 늘릴 것입니다. 그중 상당수는 합성 데이터(Synthetic Data)가 될 것이며, 이로 인해 사람들이 혼란스러워합니다. 사람들은 우리가 서로를 가르치고, 서로에게 정보를 전달하는 데 사용하는 대부분의 데이터가 사실상 ‘합성’이라는 점을 인식하지 못하거나 잊어버립니다. 그것은 합성입니다. 왜냐하면 그것이 자연에서 직접 자라나는 것이 아니기 때문입니다. 당신이 그것을 창조하고, 내가 그것을 소비합니다. 나는 그것을 수정하고, 강화하고, 다시 생성하며, 다른 사람이 그것을 소비합니다. 우리는 이미 AI가 기초 사실(Ground Truth)을 획득하고, 이를 강화하여… 방대한 양의 데이터를 합성 생성할 수 있는 수준에 도달했습니다.
젠슨 황
(00:24:47) 사후 훈련은 계속 확장되므로, 인간이 생성한 데이터를 사용하는 양은 점점 줄어들 것입니다. 우리가 모델을 훈련하는 데 사용하는 데이터 양은 계속 증가할 것이며, 우리는 더 이상 데이터에 의해 제약받지 않게 될 것입니다… 훈련은 이제 컴퓨팅 파워에 의해 제약받습니다. 이유는 대부분의 데이터가 합성되기 때문입니다. 다음 단계는 테스트 타임(추론)입니다. 저는 사람들이 저에게 “추론? 오, 그건 간단하죠. 사전 훈련이 어려운데, 그건 거대한 시스템이에요. 추론은 분명 간단할 거예요. 그래서 추론 칩은 작은 칩들일 거예요—”라고 말했던 것을 기억합니다.
젠슨 황
(00:25:32) “그것들은 영伟达의 칩처럼 복잡하고 비쌀 리 없습니다. 미래에는 추론이 가장 큰 시장이 될 것이고, 간단해질 것이며, 우리는 그것을 상품화할 것입니다. 누구나 자신의 칩을 만들 수 있습니다.” 이것은 제게는 항상 비논리적이었습니다. 왜냐하면 추론은 사고이며, 저는 사고가 어렵다고 생각하기 때문입니다. 사고는 읽는 것보다 훨씬 어렵습니다.
젠슨 황
(00:25:59) 사전 훈련은 단지 기억과 일반화이며, 관계에서 패턴을 찾는 것입니다. 당신은 계속해서 읽을 뿐입니다. 반면 테스트 타임 확장(추론)은 사고, 추론, 문제 해결을 포함합니다. 탐색되지 않은 경험, 새로운 경험을 해결 가능한 조각으로 분해하고, 제1원리 추론을 통해, 혹은 이전의 예와 경험을 통해 해결합니다. 또는 단순히 탐색하고, 검색하고, 다양한 방법을 시도합니다. 추론 단계의 전체 테스트 타임 확장 과정은 사실상 사고에 관한 것입니다. 그것은 추론, 계획, 검색에 관한 것입니다.
젠슨 황
(00:26:50) 이것이 어떻게 연산 부담이 가벼울 수 있겠습니까? 우리는 이 점에서 완전히 옳았습니다. 테스트 타임 확장은 극도로 연산 집약적입니다. 이제 우리가 추론과 테스트 타임 확장 단계에 있고, 그 다음은 무엇입니까? 분명히, 우리는 지금 대규모 언어 모델(LLM)을 개발한 ‘인간’ 형태의 에이전트를 창조하고 있습니다. 그러나 테스트 중에 이 에이전트 시스템은 데이터베이스를 탐색하고, 다양한 도구를 사용하며, 가장 중요한 일은 수많은 하위 에이전트(Sub-agents)를 파생시키고 생성하는 것입니다. 이는 우리가 거대한 팀을 구성하고 있다는 것을 의미합니다. 영伟达를 더 많은 직원을 고용하여 확장하는 것보다, 제 자신을 확장하는 것이 훨씬 쉽습니다.
젠슨 황
(00:27:44) 따라서 다음 확장 법칙은 에이전트 확장 법칙(Agentic Scaling Law)입니다. 이것은 AI를 복제하는 것과 같습니다. 우리는 원하는 만큼 빠르게 에이전트를 파생시킬 수 있습니다. 그래서 저는 네 가지 차원의 확장 법칙을 요약했습니다. 우리가 에이전트 시스템을 사용할 때, 그들은 더 많은 데이터를 창조하고, 방대한 경험을 창조합니다. 그중 일부에
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
