SemiAnalysis 창립자 Dylan Patel 과의 대담: 메모리 부족은 지속될 것, CPO 는 시장 예상보다 2 년 지연될 것
저자: The Next Big Thing (WisdomTree 제작)
요약
SemiAnalysis 창립자 Dylan Patel 이 WisdomTree 산하 The Next Big Thing 팟캐스트에 출연하여 진행자 및 Klay Hyman 과 함께 AI 인프라 공급망의 최신 상황을 정리했습니다. 주제는 SemiAnalysis 가 모텔에서 시작하여 90 명 팀으로 성장한 창업 과정부터, GTC 에서 젠슨 황이 '샌드백' 사건을 언급한 배후 이야기, AI 투자 수익률, AI 비용 최적화 전략 (최신 모델로 교체하는 것이 오히려 더 저렴함), 메모리 슈퍼사이클 (KV cache 폭증, 생산 병목, 스마트폰 시장 퇴출), CPU 수요 전환점, 네트워크 및 CPO 타임라인 (2028-2029 년으로 지연, 구리 여전히 주도), 전력 및 에너지 인프라, 그리고 변환 공급망까지 다뤘습니다.
핵심 발언
- "젠슨, 제가 틀렸습니다. 당신은 실력을 숨기고 있었군요, 실제로는 30 배입니다." (Dylan 이 젠슨 황에게 Blackwell 성능이 예상을 초과했다고 인정하는 이메일)
- "우리는 AI 지출이 직원薪酬의 3 분의 1 을 넘으며, 연말에는 절반에 달할 수 있습니다." (Dylan 이 말하는 SemiAnalysis 의 AI ROI)
- "메모리 생산 능력은 향후 3 년간 매년 20-30% 만 증가하지만, 수요는 두 배, 두 배로 증가합니다." (Dylan 이 말하는 메모리 슈퍼사이클)
- "디젤 트럭 엔진을 천연가스로 개조하고, 모터를 역결합하여 데이터센터 뒤에 배치한 다음, 자동차 수리점에서 기술자들을 고용하여 유지보수하게 합니다." (Dylan 이 말하는 미터 뒤 발전 혁신)
- "트럭 엔진을 개조하고 기계공을 고용하여 현장을 운영할 수 있습니다. '우주에 쏘아 올릴 때까지'요. 데이터센터 문제에는 해결책이 있습니다. 완전히 더러운 경로를 가든 우주 경로를 가든 말이죠." (Dylan 이 말하는 전력 솔루션의 광범위한 스펙트럼)
- "비용 최적화는 실제로 최신 모델로 교체하는 것입니다. 최신 모델은 동일한 작업을 완료하는 데 토큰의 4 분의 1 만 필요할 수 있기 때문입니다." (Dylan 이 말하는 AI 비용 역설)
제 1 장: 오프닝 소개
진행자: 네,大家好，The Next Big Thing 팟캐스트 다음 에피소드에 오신 것을 환영합니다. 오늘 저의 동료 Klay Hyman 과 함께, 우리의 새로운 파트너이자 SemiAnalysis 연구 그룹의 창립자 Dylan Patel 이 함께합니다. 오늘 Dylan 과 함께 AI 인프라 분야의 최신 상황을 정리하게 되어 매우 기쁩니다. 여러분은 아마 많은 다른 팟캐스트에서 Dylan 의 공유를 듣셨을 것이고, 저는 항상 그의 콘텐츠와 SemiAnalysis 웹사이트의 뉴스레터를 주목해 왔습니다. 최근에 본 기사 중 하나는 우주 데이터센터에 관한 것이었는데, 이 주제에 관심 있는 분들이 있다면 매우 상세한 긴 글이 있습니다. 하지만 Dylan, SemiAnalysis 라는 아이디어가 처음 어떻게 시작되었는지 듣고 싶습니다. Substack 커뮤니티에서 최근 여러분 회사의 수익과 성공에 대해 논의하고 있는 것을 알고 있지만,很多时候人们只看到当前的成功，忘了这段旅程和起点，忘了其中投入了多少心血。
제 2 장: SemiAnalysis 창업 스토리
Dylan: 네. 제 생각에 SemiAnalysis 의 기원은 실제로'온라인에 포스팅하기'에서 비롯되었습니다. 별로 진지하지 않은 방식으로 온라인에 포스팅하는 것이죠. 제가 반도체에 대해 처음 포스팅한 것을 떠올려 보면, 제가 10 대 초반일 때였습니다. 당시 저는 온라인에 칩, 스마트폰, 휴대폰 화면, 휴대폰 SoC, 그리고 이런 것들에 대해 포스팅했습니다. 제가 스마트폰을 소유하기 전부터 그것들에 매료되어 있었습니다. 게임 하드也一样, PC 하드웨어, 콘솔 하드웨어, 저는 다양한 포럼에서 이런 것들에 대해 포스팅하고 논의했습니다. 12 살이 되었을 때, 저는 Android, Apple, Google, Intel, Nvidia, AMD 와 같은 하드웨어 주제와 Reddit 의 다양한 관련 포럼을 포함하여 많은 포럼을 관리하고 생성하고 있었습니다.
Dylan: 이것이 모든 것의 기원입니다. 저는 항상 포스팅하는 사람이었고, 항상 제 의견을 포스팅하고, 항상 답변하고, 항상 생각하고, 항상 댓글을 받아들였습니다. 이제 우리는 90 명 조직이 되었습니다. 제 팀의 마케팅 담당자가 저에게 말합니다."Dylan, 더 이상 온라인의 지루한 사람들에게 답변하지 마세요, 그렇게 하면 우리가 보기 흉합니다."하지만 저에게는 그런 충동이 있습니다. 누가 온라인에서 저를 비판하면 답변하고 싶어집니다. 아마도 이는 나쁜 일일 수 있지만, 기본적으로 제 청소년 시기 내내 이러한 포럼을 관리했습니다.
Dylan: 저는 10 대 후반에 돈을 벌기 시작한 후 투자를 시작했습니다. 2 년 동안 양적 거래를 했고, 그 후 자신의 회사를 설립했습니다. 하지만 전체 과정 내내 저는 포스팅 포스팅 포스팅 포스팅을 계속했습니다. 익명 블로그도 있었고 익명 포스팅도 있었습니다. 2020 년이 되자 저는 일에 대해 약간 지쳐 있었습니다. 양적 거래에 대한 환멸이었죠, 아시다시피, 보이는 것만큼 화려하지 않습니다. 네, 돈을 벌 수 있지만 그렇게 대단하지는 않습니다. 저는 거의 사직하고 창업을 시작했습니다. 당시 어떻게 될지 확실하지 않았지만, WordPress 웹사이트에서 실명으로 포스팅했고, 기술, 비즈니스, 금융, 공급망이 혼합된 콘텐츠를 포스팅했습니다. 이들은 제가 가장 관심 있는 분야였습니다.
Dylan: 저는 작은 비즈니스 환경에서 자랐습니다. 모텔에서 자랐습니다. 제 부모님은 조지아주 시골에 모텔을 소유하고 있었고, 우리는 그곳에 살았습니다. 저는 어릴 적부터 비즈니스를 이해했습니다.後來我們還開了加油站，所以一直在生意裡泡著長大。저는 항상 비즈니스를 좋아했습니다. 공급망은 투자 관점과 제품 제조 관점 모두에서 항상 흥미로웠습니다. 저는 물건이 어떻게 만들어지는지에 대한 직관이 항상 있었습니다. 기술 측면은 물론 매우 흥미롭고, 금융 측면도 매우 흥미롭습니다.
Dylan: 이들을 결합하여, 제 초기 포스팅은 당시 미국이 화웨이에게 TSMC 의 파운드리 서비스 접근을 금지하고 있을 때였습니다. 제 첫 포스팅은 실제로 MediaTek 이 어떻게 최대 승자가 될지에 관한 것이었습니다. 화웨이는 당시 중국 스마트폰 칩과 스마트폰 시장 점유율 1 위였습니다. 분명히 이는 크게 하락할 것이었습니다. 더 이상 TSMC 를 사용할 수 없기 때문입니다. 미국 시장은 Qualcomm 이 이길 것이라고 생각했습니다. 하지만 대만 회사인 MediaTek 이 더 많은 점유율을 얻을 것이라고 생각했습니다. 지정학적 관점에서 중국은 미국 회사보다 대만 회사에서 구매하기를 선호할 것이기 때문입니다.毕竟我们刚禁了华为。두 회사 모두 혜택을 받았지만 MediaTek 이 더 많은 혜택을 받았습니다. 이것이 기술, 공급망, 금융, 지정학적 요소가 혼합된 사례입니다.
Dylan: 다음 몇 년 동안, 저는 WordPress 를 Substack 으로 전환했고, 어느 시점부터 유료로 전환했으며, 반도체 및 AI 공급망 전체를 아우르는 주제를 작성했습니다. 4 년 동안 양적 거래를 하는 동안에도 AI 를 따라갔고, 열정을 가지고 반도체를 따라갔습니다. 그리고 계속해서 성장, 성장, 성장을 했습니다.
Dylan: 4 년 동안 저는 전 세계를 돌아다니며 세계의 모든 컨퍼런스에 참석했습니다. 1 년에 40 개의 컨퍼런스였습니다. 고정된 거주지 없이, 갈 수 있는 모든 컨퍼런스에 갔습니다. AI 컨퍼런스인 NeurIPS, ICML, ICLR 과 같은 주로 연구자들의 컨퍼런스부터, 반도체 공급망 화학 원료와 같은 하류의 매우 세부적인 분야의 컨퍼런스까지요. 저는 기술 스택 전체를 위에서 아래까지跑, 서버, 네트워크, 웨이퍼 제조, AI, 모든 것을 보았습니다. 1 년에 40 개의 컨퍼런스입니다. 어떤 컨퍼런스는 매우 세부적이어서 300 명만 참석하며, 약 5 명을 제외하고 모두 일본어를 speaking, 저는"글쎄,就这样吧"라고 생각했습니다. 또한 1 만에서 2 만 명이 참석하는 거대한 규모의 컨퍼런스도 있습니다. 전체 스펙트럼과 연속체가 있습니다.
Dylan: 이렇게 하여 저는 전체 생태계를カバー할 수 있었습니다. 컨퍼런스에 세 번 가면 해당 분야의 언어를 정말로 이해하게 됩니다. 그곳 사람들을 알게 되고, 질문을 할 수 있으며, 이러한 인맥 네트워크를 구축합니다. 저는 각環節의 전환점을カバー하는 전체 생태계와 인지 체계를 발전시켰습니다. 저는 기술적으로 매우 호기심이 많지만,一旦某个技术或供应链方面的东西从会议中脱颖而出，我知道它会在供应链或金融层面导致什么后果。때로는 보고서가 기술 중심이라 금융圈没人关心。하지만 때로는 사람들이 갑자기 이것이 병목 현상이거나 전환점임을 인식하거나, 이 회사가 차세대 기술로 인해 많은 시장 점유율을 얻을 것임을 깨닫습니다. 저는 월스트리트의 누구보다, 어떤 헤지펀드보다, 누구보다 먼저 이를 지적할 것입니다.
Dylan: 이것이 시작점입니다. 그리고 Substack 이 커짐에 따라, 2022 년 저는 사람을 채용하기 시작했습니다. 초기 두 직원은 제가 Discord 에서 몇 년 동안 알고 지낸 사람들이었습니다. 세 번째 직원은 Myin 이었는데, 그는 이전에는 헤지펀드에서 일했으며, 일본으로 아내와 함께 이사할 준비를 하고 있었으므로 사실상 자유 신분이었습니다. 저는 당시 흥미로운 포스팅을 하나 했습니다. 2023 년 초쯤에, 메모리가 AI 의 최대 패자라고 말했습니다. 이유는 AI 칩과 AI 서버에 사용되는 메모리 비율이 일반 서버보다 훨씬 적기 때문입니다. 일반 서버는 BOM 의 약 절반이 메모리이지만, AI 서버에서는 메모리占比가 훨씬 적습니다. 부분적으로 Nvidia 의 마진율이 훨씬 높기 때문이며, 다른 몇 가지 요인도 있습니다. 물론 Nvidia 의 차세대 칩은 메모리 용량을 크게 증가시켰으며, 현재는 훨씬 더 많습니다. 하지만 당시 저는 메모리가 최대 패자라고 말했습니다.
Dylan: 유료 부분에서"저는 사람을 채용하고 있습니다"라고 말했습니다. Myin 이 저에게 연락했습니다. 그는 헤지펀드 배경을 가진 첫 번째 사람이었고,另外两个是技术背景。그가 회사에 가입하자마자, 우리는 다양한 모델을 구축하기 시작했고, 실제로 비즈니스를 뉴스레터 모델에서 정보 서비스 판매, 보고서 및 데이터셋 판매 모델로 전환했습니다. 이러한 일이 발생하기 시작하자, 눈덩이가 언덕을 굴러 내려가기 시작했습니다. 2023 년에서 2024 년 사이, 2 명에서 7 명으로 성장했습니다. 2024 년 말에서 2025 년 초, 7 명에서 20 명으로 성장했습니다. 2025 년에서 2026 년, 20 명에서 60 명으로 성장했습니다. 이제 올해 우리는 90 명입니다.今年已经加了 30 个人。그냥 눈덩이가 언덕을 굴러 내려가는 리듬입니다.
Dylan: 우리는 단순히 새로운 분야를 계속 추가했습니다. 저는 항상 모든 것에 관심이 있었지만, 이제 저는 실제 전문가를 채용할 수 있습니다. 제가 생각하기에 SemiAnalysis 에서 가장 흥미로운 점은, 저와 같은 전문성과 집중도를 가진 회사가 있는지 모르겠다는 것입니다. 저는 ASML, Applied Materials, Lam Research 에서 일했던 사람들이 있습니다. 이들은 웨이퍼를 제조하는 장비 회사들입니다. 상류에는 Intel, TSMC, Nvidia, Microsoft, Amazon 에서 일했던 사람들이 있습니다. 또한 OpenAI 에서 모델을 만든 사람, Tesla 에서 FSD 를 만든 사람, Coherent 에서 일했던 사람도 있습니다. 모델 레이어를 하는 사람도 있고 데이터센터를 하는 사람도 있습니다. 제 회사에는 실제로 카자흐스탄에 발전소를 지은 사람도 있습니다. 우리는 이런 미친 인재 밀도를 가지고 있습니다.
Dylan: 회사의 절반은 공학 배경 출신이며,另一半要么是前对冲基金的，要么就是我在 Twitter 或 Discord 上发现的超级有热情的网友。저는 당신이 똑똑하다고 생각해서, 저에게 와서 일하세요라고 합니다. 이것이 정말로 효과가 있습니다. 이제 SemiAnalysis 에는 많은 비즈니스 라인이 있습니다. 데이터 서비스, 컨설팅, 정보 서비스, 뉴스레터, 우리는 다양한 미디어 콘텐츠도 제작하고 있으며, 곧 대규모 컨퍼런스도 개최할 예정입니다. 다양한 비즈니스입니다. 이 여정은 너무 흥미진진합니다.
제 3 장: GTC 샌드백 모먼트
진행자: 이 여정에 대해 말하자면, Dylan, WisdomTree 와 SemiAnalysis 는 이미 몇 달 동안 협력해 왔습니다. Nvidia GTC 는 3 월에举行，매년 개최됩니다. 당시 저는 노스캐롤라이나주 샬롯에서 라이브를 보고 있었습니다. 약 55,000 명이 동시에 라이브를 보고 있었습니다.
Dylan: 경기장에는 20,000 명도 있었습니다. 경기장에 2 만 명이 있었습니다, 친구.
진행자: 그리고 그가 직접 당신을 언급했습니다. 당신이 어떤 숫자를"샌드백"한 것처럼 말했고, 그가 실력을 숨기고 있다고 말했으며, 당신의 차트가 무대 대형 스크린에 직접 나타났습니다. 솔직히 말해 당시 저에게는 순간이 있었습니다. 세계 최대 회사의 CEO 가 기본적으로 당신의 연구를 인용하고, 당신이 그를 비판한 일부 숫자를 말하는 것을看着。듣고 싶습니다. 당시 당신이 경기장에 있었던 것처럼 들립니다.
Dylan: 네, 그 순간은 매우 초현실적이었습니다. SemiAnalysis 가 하는 일 중 하나는 우리에게 엔지니어 팀이 있으며, 모든 오픈소스 AI 모델과 모든 하드웨어에 대해 오픈소스 벤치마크를 수행한다는 것입니다. 이것은 훌륭한 프로젝트입니다. 우리这边有一批工程师，也跟业界大量合作。우리는 OpenAI, Microsoft, Amazon, Google, CoreWeave, Nebius, Crusoe, Oracle 등 생각할 수 있는 모든 주요 클라우드 업체로부터 5000 만 달러 이상의 하드웨어 기증을 받았습니다. 우리는 이 하드웨어에서 벤치마크를 실행합니다.
Dylan: 우리는 8 가지 다른 GPU, H100, H200, Blackwell, AMD 의 다양한 GPU 를 가지고 있습니다. 또한 Google 의 TPU 와 Amazon 의 Trainium 도 있습니다. 우리가 하는 일은 매일 최신 버전의 소프트웨어에서 벤치마크를 실행하는 것입니다. 왜 매일 실행할까요? porque每天晚上可能发布新的 CUDA 版本、PyTorch 版本、驱动更新、推理引擎 vLLM 或 SGLang 版本等等。우리는 매일 밤 전체 곡선에서 이러한 벤치마크를 실행합니다. 원하는 토큰 생성 속도 대 원하는 비용 효율성, 그리고 최적의 시나리오를 테스트합니다. 모두 자동화되어 실행됩니다.
Dylan: Jensen 이 처음 Blackwell 을 발표했을 때 25 배의 향상이 있을 것이라고 주장했습니다. 당시 아무도 그를 믿지 않았죠, 그렇죠? 이것이 Jensen 입니다. 그는 마케팅을 하고 있습니다. 우리조차도 당시에는, 글쎄라고 생각했습니다. 우리는 다른 사람들보다 약간 더 낙관적이었습니다. 시뮬레이션에 따르면 15 에서 20 배의 향상이 있을 것이라고 생각했습니다.因为我们拥有性能模拟器。하지만 우리가 Inference-X 라는 추론 벤치마크 플랫폼을 구축한 후, 실제 결과를 얻었습니다. DeepSeek V3 에서 Blackwell 은 어떤 시점에서 Hopper 보다 30 배 더 빨랐습니다.
Dylan: 그리고 저는 이 결과를 가지고 그에게 이메일을 보냈습니다. 이러한 결과는 오픈소스 GitHub 에 자동 게시되며, 이는 오픈소스 협업 프로젝트이며, Nvidia 사람들도 참여했고 그들은 알고 있습니다. 하지만 저는 특별히 Jensen 에게 말했습니다. 그에게 이메일을 보내 말했습니다."이봐 Jensen, 2024 년에 당신이 Blackwell 을 발표했을 때 25 배라고 말했습니다. 모두가 당신을 비난했습니다. 저조차도 당신을 비난했습니다. 25 배는 불가능하다고 말했습니다. 최대 15 에서 20 배라고요. 많은 사람들이 아니요 아니요 아니요, 겨우 3 배라고 말했습니다. 우리는 꽤 낙관적이었습니다. 하지만 Jensen, 제가 틀렸습니다. 당신은 실력을 숨기고 있었습니다. 실제로는 30 배입니다."
Dylan: 그는 이를 가지고 기사를 만들었습니다. 그가 이를 가지고 무엇을 할지 저는 몰랐습니다. 몇몇 고객에게 들었습니다. Meta 에 있는 사람이 저에게 회의가 있었다고 말했습니다. Jensen 이 이를 증거로 사용하여 자신이 숫자를 숨기지 않는다고 말했습니다. 그는 차세대 칩에 대해 이야기할 때 이를 사용했습니다. 그리고 이 모든 일이 발생했습니다. 저는 무대에서 발생할 줄은 몰랐습니다.
Dylan: 또한 Inference-X 프로젝트에서, 우리는 벨트를 만들었습니다. WWE 챔피언 벨트처럼 보이며, 위에"Inference King"이라고 적혀 있습니다. 우리는 이를 모든 협력자에게 보냈습니다. Nvidia, AMD 에게 보냈고, 또한 SG Lang, vLLM 과 같이 벤치마크를 수행하는 데 도움을 준 사람들에게 보냈습니다. 하드웨어를 기증한那些人에게요. porque这是一个开源项目，我每年花几百万美元在工程师薪水上，其他人花几百万在硬件上捐赠，或者花几百万在工程师薪水上捐赠。
Dylan: 저는 이 벨트를 그들에게 보냈고, 이 벨트가 그의 슬라이드에 나타났습니다. 그는 들어 올려展示，然后我们的图表也在上面，他在 slide 上花了五分钟讲"Dylan 说我藏拙了，但我没有"，讲我们的性能是最好的。那真是一个超现实的时刻。
진행자: 그는 전체 프레젠테이션에서 우리에 대해 다른 누구보다 더 오래 이야기했습니다. 거의 같은 시간 동안 언급된 유일한 곳은 OpenClaw 였는데,那是显然正在席卷整个世界。
진행자: 이것은 믿을 수 없는 순간이었습니다.
제 4 장: AI ROI 및 기업 지출
Klay: Dylan, 당신은 몇 가지 사항을 언급했습니다. 오픈소스를 언급했고, 이제 최근进展和市场话题으로 전환할 수 있을 것 같습니다. 오픈소스 모델과 클로즈드 소스 모델의 실제 추론 효율성에 대한 논의가 항상 있었습니다. 그리고 오늘까지도 많은 투자자들이 AI 의 투자 수익률을 의심하고 있습니다. 바로 최근 1-2 주 내에, Bloomberg 의 경제학자들이 많은 AI 프로젝트가 일부 회사에서 실패하고 있을 수 있다고 논의했습니다. 당신이 언급했듯이贵公司大量使用 AI，给员工大量 token 访问权限。你还在招人。所以我很好奇你对终端需求的看法，以及终端需求是否真的在驱动我们看到的大规模建设。这些建设充满了各种约束，至少在过去一个月里，除了最近几天的市场波动之外，一直在推高跟这些主题相关的各种股票。
Dylan: 네, 몇 가지 말하겠습니다.当你看这个大的问题，关于 ROI，关于公司是否从 AI 中赚够了钱，这是否会持续，使用 AI 的人是否真的从中获得了价值，这是很多人都在问的一个大问题。
Dylan: 제가 이 문제를 볼 때, 몇 가지 방식으로 분해할 수 있습니다. 먼저, Anthropic 은 이미 자유 현금 흐름이 플러스이며, Q2 에는 수익을 냈습니다. 4 월에도, 4 월 장부는 이미 마감되었으며, 그들은 수익을 냈고 자유 현금 흐름이 플러스였습니다. 5 월에도 자유 현금 흐름이 플러스였고 수익을 냈습니다. 6 월도同様일 것으로 보이며, 아직 완전히 마감되지는 않았지만, 적어도 3 개월 중 2 개월은 자유 현금 흐름이 플러스였고 수익을 냈습니다. 그들의 순환 수입은 이미 500 억 달러 ARR 을 초과하여 급증했습니다. 그들은 매우 잘하고 있습니다.
Dylan: 이것이 한 면입니다. Anthropic 은 돈을 찍어내고 있습니다. 물론 많은 회사가 아직 돈을 찍어내고 있지는 않지만, 그 방향으로 가고 있습니다. OpenAI 의 수입도 Codex 의 채택 증가와 함께 전환점을 맞이하기 시작했습니다. 이러한 회사들은 더욱 수익성을 높여가고 있습니다. Anthropic 의 매출 총이익률은 매우 높으며, 70% 를 초과합니다.
Dylan: 다른 면은 회사의 AI 지출입니다. 적어도 SemiAnalysis 에서, 우리는 연간 순환 지출로 보며, 저는 이를 ARS, Annual Recurring Spend 라고 부르는 것을 좋아합니다. ARR 이 아닙니다. 작년 11 월, 12 월, Claude Code 가 정말로 이륙하기 전에, 우리의 연간 순환 지출은 10 만 달러 미만이었습니다. 당시 우리는 모든 직원에게 ChatGPT 200 달러套餐를 구독해 주었습니다. 누군가 xAI 나 Claude 를 원하면 그것도 제공했습니다. 하지만 표준은 모든 사람에게 OpenAI 200 달러 구독을 제공하는 것이었습니다. 11 월은 이 상태였습니다. 당시 저는 우리가 이미 최전선에 있다고 생각했습니다.
Dylan: 하지만 Claude Code 는 Claude Opus 4.5 및 4.6 등 버전과 함께 전환점에 도달하기 시작했습니다. 1 월 말까지, 우리의 ARS 는 400 만 달러에 도달했습니다. porque大家在用 Claude Code。이제 약 1100 만 달러입니다. 최고치的时候，如果我们拿一周的支出乘以 52，到了 1100 万，最高曾经到过 1400 万。它会根据大家在做什么工作而大幅波动。但目前的平均水平看起来大约是每年 100 万美元的支出，对于一家 90 人的公司来说。这太疯狂了。
Dylan: 우리는 AI 에 대한 지출이 직원薪酬의 3 분의 1 을 초과하며, 연말에는 절반에 달할 수 있습니다. Methos 및 기타 모델이 점점 더 좋아지는지에 따라 달라집니다. 이것은巨大的支出입니다. 문제는 ROI 가 얼마인가입니다. 제 생각에 ROI 는 매우 큽니다. porque我们能开发产品、能卖更多、能提高每个人的效率。저는 ROI 를 보지만, 많은 회사가 의심합니다. 만약 제가 연봉 30 만 달러 또는 그 이상의 좋은 개발자를 가지고 있다면, 그들의 AI 지출이 1 대 1 에 가까워지기 시작합니다. 좋은 개발자의 경우 그렇습니다. 비개발자의 경우 지출 범위는 더 낮겠지만, 적어도 SemiAnalysis 에서, 우리의 최대 AI 지출자 중 많은 사람은 코드를 작성하지 않는 사람입니다. 그들은 그냥 모델에게 원하는 것을 말하고, 원하는 결과를 얻을 때까지 반복적으로 반복합니다.
Dylan: 당신은 직원당 AI 지출이 급증하는 것을 봅니다. 많은 회사가 이제 당연히 묻습니다. 우리의 연간 AI 예산을 Q1, Q2 에 모두 소진했습니다. 이제 어떻게 할까요? 지출을 축소할까요 아니면 다른 곳에서 축소할까요? 많은 회사가 아마 AI 지출을 늦춰야 할 것이라고 말합니다. 하지만 저는 많은 회사가 다른 곳에서 축소를 시작하는 것을 봅니다. 그들은 이전에 사용하던 SaaS 제품을 잘라냅니다. 그들은"우리는 더 빠르게 성장할 수 있으므로就这样吧"라고 말합니다. 그들은"AI 에 돈을 쓰는 것은 괜찮습니다. 우리는暂时承受这个代价。AI 는 점점 더 저렴해질 것입니다"라고 말합니다. 채택률이 상승함에 따라, 제가 6 개월 전에 AI 로 했던 일은 오늘 AI 가 훨씬 저렴하게 수행합니다. 물론, 제가 오늘 AI 로 하는 일은 6 개월 전보다 훨씬 광범위합니다.
Dylan: 어떤 사람들은 AI 를 축소하지 않고 직원을 축소하기도 합니다. 어떤 사람들은 AI 지출을 tightening 하지만, 이러한 회사는 생산성 향상 및 제품 개발 능력에서 뒤처질 것입니다.
제 5 장: AI 비용 최적화 전략
Klay: 그리고 증분 비용을 낮추는 한 가지 방법은 더 저렴하고 아마도 덜 지능적인 모델을 선택하는 것입니다. 항상 최전선에 있는 것은 아닙니다. 이제 저는 아직 초기 단계라고 생각합니다. 이러한 논의에 대해요. 하지만 저는 DeepSeek V4 와 같은 모델이 특정 사용 사례에 더 적합하고, 더 많은 지능이 필요한 작업에는 더 비싼 모델을 사용하는 지점이 있는지 궁금합니다. 이것이 계산의 일부입니까?
Dylan: 제 생각에 어떤 사람들에게는 이것이 절대적으로 계산의 일부입니다. AI 워크로드를 두 가지 범주로 나누어야 합니다. 첫 번째는 AI 가 프로세스에 통합되는 경우입니다. 예를 들어 고객이 저에게 문서를 보내면, 저는 XYZ 를 확인하고, 문서를 모델에 넣고, 모델이 확인하고, 완료합니다. 이 경우 저는 특정 품질 수준에 도달한 후 모델 개선을 중단하고, 더 최신 모델, 더 저렴한 모델 또는 더 높은 비용 효율성 솔루션을 기다림으로써 비용을 절감할 수 있습니다. 우리는 AI 모델이 비용 측면에서 연간 약 60 배의 속도로 개선되는 것을 봅니다. 품질 수준을 하나取，1 년 후 그것은 60 배 저렴해집니다.
Dylan: 사람들이当时对 DeepSeek 大惊小怪，因为它比 GPT-4 便宜 600 倍。实际上那是 GPT-4 发布两年后，所以 60 倍乘以 60 倍是 360 倍，实际结果是 600 倍。所以曲线上的某个点，不管是每年便宜 60 倍还是 90 倍，大概就在这个范围。如果你有一个工作流，把 AI 集成进去，达到质量水平后就去用更便宜的。
Dylan: 두 번째 범주는 AI 어시스턴트입니다. 여기에는 실제로 오해가 있습니다. 만약 일상 작업에서 모델에게 이것을 도와달라고, 저것을 찾아달라고, 이것을弄清楚달라고 한다면, 비용 최적화는 실제로 더 저렴한 모델로 교체하는 것이 아닙니다. 비용 최적화는 종종 최신 모델로 교체하는 것입니다. porque 최신 모델, 예를 들어 Claude 4.6 Opus 는 작업을 완료하는 데 10 만 개의 토큰이 필요할 수 있으며, 몇 차례의 대화 왕복이 필요할 수 있습니다. 10 만 토큰, 10 분의 시간. 반면 Claude 4.8 Opus 는 4 분의 1 의 토큰, 25,000 개의 토큰으로 완료할 수 있으며, 아마도 한 차례의 왕복만 필요할 것입니다. 비용은 실제로 더 낮습니다. 생성된 토큰 수가 더 적고, 소요 시간도 더 적기 때문입니다.
Dylan: 그래서 제가 개발자나 지능 작업을 하는 사람을 볼 때, 어떻게 비용을 낮출까요? 실제로는 더 새로운 모델을 사용해야 합니다. 이전에는 모델과来回纠缠해야 완료할 수 있었던 작업을, 점점 더 새로운 모델을 사용하여, 이제 한 번의 반복으로 완료하거나 전체 워크플로우를 한 번에 처리할 수 있습니다. 토큰이 더 적습니다.
Dylan: 우리는 4.6 Opus 에서 4.7 Opus 로 업그레이드할 때, 제 비용이 실제로 일주일 동안 하락했다가 다시 급증하는 것을 보았습니다. 왜 다시 올라갔을까요? porque大家在调整到了新的工作流：我之前做的工作完成了，让我做更多。同样从 4.7 到 4.8 也是，成本先降了一周到一周半，然后又飙升，因为大家发现"哦，我现在可以做更多工作了"。
Dylan: 당신은 생산성과 비용을 함께 측정해야 합니다. AI 어시스턴트일 때, 토큰 효율성은 매우 중요합니다. 이것이 Anthropic 이 OpenAI 를 계속 이기는 이유입니다. porque 그들의 모델은 토큰 효율성에서 OpenAI 보다 높기 때문입니다. 실제로 OpenAI 의 모델은 극단적인 경우, 최전선 과학, 최전선 수학, 최전선 코드方面，때로는 Anthropic 모델이 할 수 없는 작업을 완료할 수 있습니다. 하지만 그들은 3 배의 시간과 4 배의 토큰이 필요하므로 비용이 더 높고, 사람과 AI 의 피드백 루프가 그렇게 빠르지 않습니다.
Dylan: 결국 고객 인식 측면에서 오히려 더 나쁩니다. 한 가지 경우는"이봐 모델 이 작업을 해줘"라고 말한 다음 돌아와 작업이 완료되었는지 확인하는 것입니다. 다른 경우는"이 작업을 하는 데 4 시간이 있습니다"라고 말하는 것입니다. 모델이 4 시간 동안 작동하도록 한 번 호출하든, 4 번 호출하여 상호작용하든 상관없습니다.事实证明 Anthropic 이人在环的反馈循环中要快得多、好得多，因为 토큰 효율성이 더 높기 때문입니다. 이것이 우리가 여전히 주로 Anthropic 을 사용하는 팀인 이유입니다. 어떤 작업은 사람들이 OpenAI 를 사용합니다.通常是那些让它跑一夜的任务，交给 OpenAI 的 Codex。但大多数任务还是用 Claude Code。
Dylan: 이것이 모델과 토큰 효율성에 관한 흥미로운 요소입니다. 비용은 완전히 분리하여 보기 어렵습니다. 어떤 작업은 모델 품질을 고정하고 모델이 저렴해지기를 기다려야 하고, 어떤 작업은 가장 지능적인 모델이 필요하기 때문에 오히려 더 저렴합니다.
제 6 장: 메모리 슈퍼사이클
Klay: Dylan, 하드웨어方面에 대한 의견을 듣고 싶습니다. 올해 초 뉴스레터에 메모리에 관한 기사가 있었습니다. 메모리는 일반적으로 주기적 제품입니다. 아마 18 에서 24 개월 상승, 18 에서 24 개월 하락. 이제 거의 모든 것이 부족하다고 느껴집니다.如果你 is 데이터센터 구성 요소의 공급업체라면, 문제는"물건을 구할 수 있는가"에서"얼마나 기다려야 하는가"로 변한 것 같습니다. porque 오늘 세계에서 당신은 거의 어떤 구성 요소도 구할 수 없습니다. 하드웨어에 대한 당신의 경험을 바탕으로, 메모리와 같이过去 40 年一直是商品化的产品，会怎样变化？以前就是骑上行周期，扛下行周期，循环往复。
Dylan: 네. 저는 이후에 주기가 없다고 말하지 않습니다. 주기는 여전히 발생할 것입니다. 분명히 우리는 슈퍼사이클에 있으며, 상승은 매우 미쳤고, 하락도 있을 것이며, 하락은 매우 잔인할 것입니다. 하지만 저점에서 저점까지, 여전히 큰 성장이 있습니다. 메모리 및 기타 구성 요소에 대해, 중요한 것은 발생하고 있는 단계적 변화입니다.
Dylan: 역사적으로, 상승 주기 동안终端市场可能涨 50%，对于内存这种商品市场，定价弹性较大，股票可能涨 2 到 3 倍。但现在涨的已经不是 50% 了，过去几年总支出已经翻倍，而且还会再翻倍。总支出翻倍了，当你看不同终端市场的弹性时，内存的定价已经涨了 4 倍，还会再涨 2 到 3 倍，加上产能增长。所以股票疯狂飙升然后才会回落。
Dylan: 메모리가 정말 흥미로운 점은, 단지终端市场在暴涨，也不只是定价弹性。真正有趣的是我们在 2024 年写的一篇文章，当时 o1 出来。OpenAI 가 o1 을 발표했습니다. 이는 첫 번째 추론 모델이었으며, 추론 모델의 붐을 일으켰습니다. OpenAI, Anthropic, DeepSeek 등 많은 회사가 이 방향을 활용하여 모델이 장기간의 agent 작업을 수행하도록 했습니다.
Dylan: o1 이 나왔을 때 우리가 즉시 주목한 것은 워크로드가巨大变化했다는 것입니다. 채팅을 할 때, 당신은 프롬프트를 보내며, 50 단어일 수도 있고 500 단어일 수도 있습니다. 모델이 답변을 주며, 컨텍스트 길이는 아마 몇 천 정도일 것입니다. 예를 들어 2000 의 컨텍스트 길이. 추론을 할 때, 토큰을 생성할 때마다 모든 가중치를 칩으로 읽고, 모든 컨텍스트를 칩으로 읽으며, 토큰 하나를 처리한 다음 반복합니다. 컨텍스트는 KV cache 입니다. 이는 모든 토큰 간의 관계를 생성합니다.
Dylan: 흥미로운 점은, 가중치方面，不管上下文长度是 1000 还是 100,000，你都要读所有权重。所以推理的内存强度在权重这边是一样的。但在 KV cache 这边，你读 1000 个 token 和读 100,000 个 token，内存差异巨大，虽然计算量大致相同。计算量因为 KV cache 缓存等原因可以控制，但内存成本飙升。
Dylan: 우리는 o1 기사에서, 2024 년 12 월에 scaling laws 에 대해 논의했습니다. pre-training scaling laws 가 어떻게 inference scaling laws 에게 자리를 양보하는지, o1 은 계단식 변화였습니다. 우리는 KV cache 가 추론으로 인해 어떻게 폭발하는지, 따라서 메모리가 최대 승자가 될 것인지에 대해 이야기했습니다. 2025 년에 메모리를 매우 낙관적으로 여러 번 언급했습니다. 하지만 실제로 2026 년 1 월에 우리가 쓴 그 note 에서, 당시 사람들은 메모리가 이미 50% 올랐는데 정점인가라고 말했습니다. 우리가 쓴 것은 기본적으로: 아니요 아니요 아니요, 제 생각에 여러분은 이해하지 못했습니다. 메모리 생산 능력은 향후 3 년간 매년 20-30% 만 증가하지만, 수요는 두 배, 두 배로 증가합니다.
Dylan: 그래서 무슨 일이 발생할까요? 메모리 가격은 계속 급등할 것입니다. 가격 탄력성에 덜 민감하고 가격 변동에 덜 적응할 수 있는 메모리 사용자는 시장에서 퇴출될 것입니다. 스마트폰, 노트북은 비용이 너무 많이 급등하여 시장에서 퇴출되고 AI 에게 자리를 양보할 것입니다. 가격은 생산 능력 성장이 충분히 빠르지 않기 때문에 균형에 도달할 때까지 계속 급등해야 합니다.
Dylan: 우리의 논점은: 메모리 부족은 수년 동안 지속될 것이며, 단기 현상이 아닙니다.过去 Q1 剩余时间和 Q2，内存确实一直在暴涨。有几天因为某些随机原因跌了 7-8%，但总体趋势一直是向右上方走。我们看未来，价格会继续涨，因为我们还没看到高端市场受影响。一些中国中低端手机厂商比如小米说出货量降了 40%，但高端市场还没受影响。明年 iPhone 价格必须涨。明年 MacBook 价格必须涨。
Dylan: 현재 MacBook 이나 iPhone 이 100 달러 오른다면, 시장은 크게 조정되지 않을 것입니다. 하지만 메모리는 AI 가 배부를 때까지 점점 더 비싸질 것입니다. 이는 스마트폰 가격이 100 달러만 오르는 것이 아니라, 수백 달러 올라야 함을 의미합니다. 어떤 시점에 균형에 도달할 것이며, AI 는 필요한 메모리를 얻고, 모바일 및 소비 하드웨어는 충분히 압박받을 것입니다. 하지만 사람들은 여전히 새로운手机와 새로운 노트북이 필요하므로 여전히 구매할 것입니다. 메모리 생산 능력 성장이 충분히 빠르지 않기 때문에 새로운 균형점에 도달해야 합니다.
Dylan: 우리가 시야를 전체 생태계로 확장할 때, 정말 중요한 것은 많은 다른 구성 요소가 부족하다는 것입니다.谁的定价有弹性，谁没有？예를 들어 TSMC 는定价没有弹性，他们是一家很靠谱的公司，对客户很公平，长期合作。他们涨价就 5-10%。메모리 회사는 상품 시장입니다. 그들은 현물 시장과 계약 시장의 수요와 공급이 가격을 결정하도록 합니다. 그래서 당신은 이 두 세 차원의 가격 차이를 보게 될 것입니다.
Dylan: 어느 날 당신은 가격이 반으로 떨어지는 것을 보게 될 것입니다. porque 메모리는 85% 의 매출 총이익률을 가져서는 안 되기 때문입니다.虽然现在正朝那个方向走，我们还没到 85-90% 的内存毛利率，但会到的。然后某个点也会回落到 70甚至更低。TSMC 는 이러한 변동이 크지 않습니다. ASML 도 가격에 변동이 크지 않습니다. 그들은 장비를 만듭니다. 하지만 공급망의 다른环节会根据 AI 终端需求流向他们的程度而不同地波动。每花 1 美元在 AI 上，这个产品可能只占 1 美分，那个产品可能占 5 美分。
Dylan: 그래서 다른终端市场会不同程度地受益。加上市场结构的差异：是垄断还是寡头？是竞争激烈的大市场？定价是否稳定且有长期协议？还是商品市场靠供需定价？이러한 요소들이共同决定了某个终端市场，不管是内存还是现在人们谈论的 MLCC 短缺、PCB 钻头短缺、铜箔短缺，各种随机组件，你会在网上看到"这是下一个短缺"的说法。重要的是实际有多少需求流向这里。终端市场是翻倍？涨 50%？还是四倍？定价会涨多少？이것이 인프라 공급망에서 실제로 결정적인 요소입니다.
제 7 장: CPU 수요 전환점
Klay: 만약 당신이刚才那个框架来看，因为每年市场都会觉醒到你说的某个新的所谓"短缺"。今年早些时候 OpenClaw 在各种网站上病毒式传播，让人们觉醒到 AI agent 的世界和所有可能性。用你刚才描述的框架，我很好奇你对 CPU 市场的看法。AI 의 첫 3 년 동안 저는"CPU"라는 단어를 듣지 못했습니다. 올해는到处都在说 CPU。
Dylan: 네네. CPU 에 대해, 흥미로운 점은 기관 고객을 위한 우리의 연구에서, 작년 11 월에 우리는 이에 대해 많이 논의하기 시작했습니다. porque OpenAI 와 Anthropic 이 Amazon, Google, Microsoft 등 회사와 계약을 시작하여, 그들의 함대에 있는 모든 CPU 를 임대하기 위해 구매하기 시작했기 때문입니다. 작년 말부터 올해까지, CPU 수요는 지속적으로 전환점을 맞이하고 있습니다.
Dylan: 먼저 이유를 말하겠습니다. AI 는 초기에 훈련과 추론 단계에서, 추론은 주로 짧은 컨텍스트였으며, 주로 계산과 네트워크에 의존했습니다. 하지만 pre-training 이 강화 학습으로 전환됨에 따라, 채팅식 추론이 agentic 워크플로우로 변함에 따라, CPU 수요가 크게 증가했습니다.
Dylan: 왜일까요? Pre-training 은 전체 인터넷 데이터셋을 모델에 훈련시키는 것입니다. 강화 학습은 모델이 일부 합성 데이터나 추론 궤적을 생성한 다음, 환경에서 검증하는 것입니다. 이 환경은 코드를 실행하는 단위 테스트일 수 있으며, 웹사이트를 시뮬레이션하는 샌드박스일 수 있으며, 공학 시스템이나 다른 플랫폼을 시뮬레이션할 수 있습니다. 웹사이트, 쇼핑 웹사이트가든 코드를 컴파일하든, 이러한 환경에는 많은 CPU 가 필요합니다. 반면 이전 pre-training 때는, 토큰 처리 자체는 많은 CPU 가 필요하지 않았으며, 환경 확인이 필요했습니다.
Dylan: 저는 이러한 토큰을 생성했습니다. 이제 이들이 Python 이나 C 컴파일러에서 유효한가요? 전자상거래 웹사이트에서 무언가를 구매하려는 경우, agentic 워크플로우로서, 저는 이러한 것들을 지속적으로 테스트합니다. 이는 많은 CPU 가 필요합니다. 다른 면은 실시간 추론입니다. 이전에는 채팅을 할 때, 제가 그에게 한 가지를 말하면, 그가 저에게 답변을 주고, 완료됩니다. 저는 몇 가지 질문을 더 할 수 있으며,就这样。하지만 이제 agentic 워크플로우에서는, 모델이 도구 호출을 수행합니다. 저는これを 검색하고, 저는 데이터베이스에서 저것을 조회하고, 저는 Python 인터프리터에게 실행하게 하고, 저는 작업을 확인하기 위해 작은 코드 조각을 작성하고, 저는 코드를 작성한 다음 컴파일하여 배포합니다. 이러한 agentic 프로세스는 실제 세계와 상호작용해야 하므로 점점 더 많은 CPU 가 필요합니다.
Dylan: 이전에는 사람과 모델이 상호작용했습니다. 제가 모델에게 무엇을 말하면, 모델이 저에게 답변을 주고, 저는 보고, 필요한 곳에 복사하여 붙여넣습니다. 이제는 모델이 인터넷 세계와 상호작용합니다. 루프에는 더 많은 계산, 더 많은 AI, 더 많은 CPU 가 답변을 주고받습니다. 그래서 강화 학습이든 agentic 워크플로우이든, 많은 CPU 가 필요합니다.
Dylan: 이제 무슨 일이 발생했나요? 우리는 많은 CPU 가 필요합니다. 하지만刚才的框架来评估。시장 구조는 어떻습니까? 시장에는 Intel 과 AMD 가 있으며, ARM 도 이제 CPU 를 발표했습니다. ARM 주식이因此暴涨，porque他们是看起来有竞争力的新进入者。Amazon 이 리더이며, Microsoft 와 Google 도 자체 CPU 를 발표하고 있습니다. Nvidia 도 자체 CPU 를 발표하고 있습니다. 그래서 많은 경쟁자가 있지만, 2 년 전까지 모든 시장 점유율은 Intel 과 AMD 의 것이었습니다. 이제 Amazon 이 많은 점유율을 차지했으며, Nvidia 와 ARM 이 더 많은 점유율을 차지하기 시작했습니다.
Dylan: 终端市场的情况是：Intel实际上能提高价格，AMD 也能提高价格。两家都提价了，需求当然也涨了很多。Amazon 은 만들어서 임대하는 것이므로, 만들어서 파는 것이 아닙니다. CPU 에서惊人的利润을 얻을 수 있습니다. 그들의 Graviton CPU租赁非常火爆，订单大幅增加。Nvidia 는 이전에는 GPU 와 함께 CPU 만 판매했지만, 이제는 Vera 를 통해 CPU 를单独판매합니다. 그들은 200 억 달러 CPU 수입 가이던스를 제공했습니다. Nvidia 에게 이것은 아무것도 아닙니다. 몇 퍼센트의 성장일 뿐입니다. 농담입니다. 하지만 Intel, AMD, ARM, Amazon 과 같은 회사를 볼 때, 누가销售收入뿐만 아니라 수입을 얻는지,那里有很大的事情在发生。
Klay: Dylan, CPU 주제에 기반하여, 제가 들은 일부 논의는, agent 를 위한 CPU 가 역사적인 CPU 와某些方面不同。核心更优化于 agentic 活动，我记得 Jensen 在 Vera CPU 附近暗示过。还有关于 GPU 与 CPU 比例的讨论，这显然突出了 CPU 的需求和方向。你能多给一些颜色吗？因为高层概念大家能理解，但有一些技术细节可能被忽略了。我不确定这是营销还是有实际意义。
Dylan: Agentic 워크플로우에 대해, CPU 사용 방식은 매우 다릅니다. 어떤 agentic 워크플로우는: 모델이 실행된 다음, 모든 토큰을某个 CPU 워크플로우에 보내고, CPU 가 무언가를 완료할 때까지 기다린 다음 모델에 다시 보내며, 모델이 작업을 계속합니다. 문제는: 모델 실행의 계산이 CPU 를 기다리는 동안 중지되었나요? 어떤 경우에는 중지되었고, 어떤 경우에는 아니었습니다. 중지된 경우, 모델 실행의 계산은 CPU 응답을 기다리고 있습니다. 이때 CPU 아키텍처는 매우 달라야 합니다.
Dylan: 기본 개념은: 저는 더 많은 코어가 필요할까요 아니면 더 빠른 코어가 필요할까요? CPU 아키텍처에는 규칙이 있습니다. 만약 CPU 코어를 두 배로 크게 만든다면, 칩上の코어 수는 절반만意味着，각 코어의 성능은 2 배 향상되지 않으며, 아마 50% 만 향상될 것입니다. 물론 공학적으로 많은 복잡성이 있으며, 이权衡没那么简单，但简化来说就是这样。
Dylan: Nvidia 의 Vera CPU 를 보면, 100 개 미만의 코어이지만, 각 코어는 AMD 보다 빠릅니다. AMD 의 플래그십 CPU 는 256 개의 코어를 가지고 있습니다. 코어 수 차이는巨大하지만, Nvidia 의 코어가 더 빠릅니다. 하지만 2 배 빠르지는 않습니다. 그래서 사람들은 이 설계 공간에서权衡을 합니다.
Dylan: AI 계산이 CPU 를 기다리기 위해 중지해야 하는 워크로드의 경우, 당신은 가장 빠른 코어가 필요합니다. 비록 다중 코어 성능을 희생하더라도. 저는超级并行的 워크로드가 필요하지 않습니다. 저는 이 하나의 워크로드가 지금 완료되기를 필요합니다. 이 경우 저는 총 코어 수는 적지만 단일 코어 성능이 높은 것을 받아들일 의향이 있습니다. 이것이某些类型的 agentic 워크플로우입니다.
Dylan: 다른类型的 agentic 워크플로우, 예를 들어 제가 일상적으로 Claude 를 어떻게 사용하는지, 또는 팀이 어떻게 연간 1100 만 달러를 Claude 에 사용하는지. 저는 Claude 를 호출하고, Claude 는一堆 토큰을 처리하지만, 그들은 저만 서비스하는 것이 아닙니다. 그들은成千上万의 사용자를 batch在一起합니다.如果我得到回复，现在等我去执行，不管是等我还是等某个 CPU 核心去执行，这没关系，因为计算机还在运行，只是不是为我运行，是在为其他人运行。所以如果 CPU 慢一点但我有更多核心，这是不同类型的任务。
Dylan:还有一种区别是：是 AI 的主动使用，还是使用 AI 生成的东西然后部署？흥미로운 점은, 만약 우리가 전 세계 GitHub commits 를 본다면, 작년보다 여러 배 증가했습니다. 증가폭은 10% 나 50% 가 아닙니다. 몇 배입니다. 이는 많은 코드가 세상에 생성되고, 사람들이 많은 코드를 배포하고 있음을 의미합니다. 많은 코드는 쓰레기이지만, 많은 코드가 배포되고 있습니다. 배포 후 CPU 에서 실행되면, 표준 코드입니다. 웹 크롤러일 수 있으며, 분석 엔진일 수 있으며, 일부 비즈니스 프로세스 자동화일 수 있습니다. 이는超快的 CPU 코어가 필요하지 않을 수 있으며, 비용 효율적인 CPU 코어를 사용할 수 있습니다.
Dylan: 이 연속체를 보면: Nvidia 는 성능이 가장 높은 CPU 코어를 만들었지만, 반드시 칩 수준의 총 성능 (코어 수 곱하기 단일 코어 성능) 이 가장 좋은 것은 아닙니다. AMD 와 Amazon 은 더 많은 코어를 가지고 있으며, 수백 개이지만, 단일 코어 성능은 약간 낮습니다. ARM 도 이 끝에 있습니다. 당신이 연속체의 어느 위치에 있는지는 워크로드에 따라 달라집니다. 어떤 워크로드는 실제로 Vera 를 원하며, 어떤 워크로드는 Graviton 이나 AMD 의 CPU 를 원합니다. 저는 이것이简单하다고 말하지 않겠습니다.
Dylan: 당신이 언급한 다른 문제, 비율에 관해서는. CPU 수요가 상승하고 있다는 점은 이의의 여지가 없습니다. 우리는 작년 말 기관 연구에서 이를 처음 지적했으며, 올해 1 월 뉴스레터에서도 작성했습니다. 우리가 발표한 후, 일부 CPU 주식이暴涨했습니다. ARM 은 몇 배 올랐고, Intel 은 몇 배 올랐으며, AMD 도 올랐습니다.但现在卖方分析师根本不懂技术，开始编东西了。他们把 CPU 与 GPU 的比例说得偏向 CPU 比 AI 计算还多了。这是错的。
Dylan: 다시 말하지만, 만약 당신이 Blackwell 을 본다면, 풀 구성은 약 개당 5 만 달러 이상입니다. CPU 는 약 5000 달러입니다. 만약 1:1 비율이라면, 3000 억 또는 5000 억 달러의 Blackwell 판매에 대해, 당신은 300 억 또는 500 억 달러의 CPU 판매만 얻을 것입니다. 그래서 사람들이 무시하는 또 다른 점은: 네, 이终端市场在暴涨，但大部分资金仍然流向 AI 计算和内存。这个市场以前被低估了，现在更合理了。
Dylan: 인식해야 할 점은, CPU 의 수요가 AI 가속기를 초과할 때까지 계속 성장하지는 않을 것이라는 것입니다. 이는更像是一个重新校准。2023, 2024 년에 수백만 개의 AI 칩을 판매했지만 CPU 는 거의 없었습니다. 이제 CPU 수요가 갑자기 전환점을 맞이했으며, 비율은 원래 위치에서 새로운 위치로 조정되어야 합니다. 사람들은追赶模式입니다. 저는 이전에 구매한 AI 칩의 양에 맞춰一堆 CPU 를 구매해야 하며, 지금 구매 중인 것도 포함됩니다. 일단历史上购买的 AI 칩에积压된 CPU 수요를 따라잡으면, 그 수요는 사라지며, 증분만 남습니다.
Dylan: 만약 당신이 비율을 상상한다면, 예를 들어 1 개의 CPU 대 2 개의 GPU, 각 GPU 는 5 만 달러, 각 CPU 는 5000 달러입니다.那么每花 10 万美元在 GPU 上，只花 5000 美元在 CPU 上。这对 CPU 增长来说其实不是那么好的市场动态。比以前好很多，但如果你反过来看，如果我在过去三年里有 1000 万个 GPU 没怎么配 CPU，那这 5000 美元就有巨大的追赶空间。这就是我们现在正在经历的：巨大的追赶，加上比率本身也在上移，巨大的积压在被追上。所以你看到需求疯狂，但它会平息下来，然后到达稳态。我们现在处于一个 CPU 的迷你周期中。
제 8 장: 네트워크 및 CPO 타임라인
Klay: 매우 유용한 배경입니다. 다음으로 네트워크로 전환하겠습니다.这也是很多投资者关注的领域，特别是他们深入光学供应链和一些约束之后。우리는 일부 추정치가 공장封装光学 (CPO) 이 2028 년경에야 대규모로 배포될 것이라고 말합니다. 당신은 광학의 아키텍처 진화를 어떻게 보십니까?"구리를 사용할 수 있으면 구리를 사용하고, 광학이 필요할 때만 광학을 사용한다"는 개념. Jensen 은 Computex 에서도 이에 대해 많이 이야기했습니다. Marvell 등 회사도 많은 관심을 받고 있습니다. 당신은 향후 2 년 동안 광학 및 데이터센터 네트워크 아키텍처의 진화에 대해 어떤 추가 생각이 있습니까?
Dylan: 분명한 것은, 모델이 커짐에 따라, 우리가 모델을跨越运行하는 방법입니다. 어떻게 모델을 훈련할까요? 광학 스택에는 많은 다른 분야가 있습니다. 통신 광학, Sienna 와 같은 회사는 계속暴涨했습니다。데이터 통신, 칩 간 통신, 구리 분야도 있고 광학 분야도 있으며, 이들은 모두上涨합니다。porque 네트워크 콘텐츠의 성장 속도가 다른 어떤 콘텐츠의 성장 속도보다 빠르기 때문입니다. 네트워크는 AI 칩 관련 지출의 비율이 10% 미만에서 10% 이상으로 상승했습니다. CPO 시대에 네트워크 비율은 20-30% 로 더 상승할 것입니다. 그래서 네트워크 콘텐츠는巨大的提升이 있습니다.
Dylan: 하지만 다른 한편으로, CPO 는 산업의巨大的阶梯式变化，모든 사람이 인식하고 있습니다. 하지만 제 생각에 이제 사람들은 약간 너무 흥분했습니다. 현재 CPO 에 대해 약간过度乐观입니다。저는 2027 년에 올 것이라고 생각하지 않습니다. 실제로 2028 년 말이지만, 2029 년이规模上量 (scale-up co-packaged optics) 의真正的爬坡期입니다。많은 문제가 있습니다. 이것은 제조 문제입니다. 만약 좋은 비용으로 오늘 배포할 수 있다면, 그것은 훌륭할 것이며, 모든 사람이 할 것입니다. 하지만 정말 어렵습니다. 제조량이 충분하지 않으며, 수율이 충분하지 않으며, 칩이 아직真正设计到位。이것은 매우 복잡하고, 어려운 것을爬坡하는 것입니다.
Dylan: 그래서 사람들은 가능한 한 오랫동안 구리에 머물 것입니다. 이는 Rubin 이 모두 구리를 사용한다는 것을 의미합니다. Feynman 의 GPU 도 여전히 구리를 사용합니다. Feynman 은 Rubin 이후의 차세대 Nvidia GPU 입니다. Rubin, Rubin Ultra, 그리고 Feynman. 우리는 아직 Rubin出货에 도달하지도 않았습니다. Rubin 은 막出货하기 시작했습니다. 그래서 GPU 에 CPO 를 사용하기까지는 몇 세대의 칩이 더 남았습니다. 스위치의 CPO 는 GPU 나 AI 가속기보다 일찍 올 것입니다.
Dylan: 하지만 CPO 가 없더라도, 클러스터가 커짐에 따라, 각 GPU 에 필요한 광학器件或有源电缆도 더 많습니다. 우리는 이巨大的动态和转变을 봅니다. 이번 주 월요일에 우리는 SemiAnalysis 에서 기관 연구 구독자에게 note 를 보냈습니다. 지역 타임라인에 관한 것입니다. 终端市场이 아닙니다. 우리의 합의는 CPO 는 결국 올 것이며, 우리는 계속 이 방향을 밀어왔습니다. 우리의 합의는 구리는 결국 대체될 것이라는 것입니다. 하지만 중기적으로 우리는 구리를 매우 낙관적으로 보며, CPO 가 아닌 광학器件도 매우 낙관적으로 봅니다. 반면 CPO 자체에는 비교적 신중합니다. porque 우리는下游芯片的一些延迟를 보기 때문입니다. Feynman 은 CPO 를 전면 채택하지 않을 것이며, 다른 일부 상황도 있습니다. 구리 관련주인 Amphenol 과 같은 회사는 모든 백플레인 커넥터와 케이블을 만듭니다. 향후 몇 년 동안 이전 예상보다 훨씬 좋을 것입니다. porque 우리는 이전에 CPO 가 더 일찍爬坡할 것이라고 생각했지만, 이제 지연되었기 때문입니다.
Dylan: 광학은 만약 당신이 오늘 눈을 감고, 5 년 후 떠보면, 훨씬 더 큰 분야라는 것을 발견할 것입니다. 많은 것이 이미 주식에 가격 책정되었으며, 많은 것이 아직 아닙니다. 제 생각에는 일부 지역적错位가 있습니다. 이것이 우리가 하는 연구이며, 여러분과 협력하는 작업 중 하나입니다. 어떻게权衡할까요? 얼마나 CPO 광학이며, 얼마나 CPO 가 아닌 광학이며, 얼마나 전통적인 광학 트랜시버이며, 얼마나 구리입니까? porque 구리는 실제로 갈 길이 masih 많습니다. 구리 산업에는 CPO 의 타임라인을 밀어내는 많은 혁신이 있습니다. 왜 CPO 를 할까요? porque 통합 광학이 전기 전송보다 훨씬 비싸기 때문입니다.除非电传输传不了那么远，需要加中继器或光学器件。有这个权衡和连续体。CPO 는 올 것이지만, 약간 지연되는 것처럼 보입니다.
제 9 장: 전력 및 에너지 인프라
Klay: Dylan, 우리는 아마 마지막 큰 주제를 이야기할 시간이 있을 것입니다. 우리는 모델, GPU, CPU, 메모리, 네트워크에 대해 이야기했습니다. 데이터센터의 코끼리를 언급하지 않는 것은 너무 부적절합니다.那就是电力。你怎么把电搞来，怎么把电变成芯片需要的形式。你在 newsletter 里写过直流电 vs. 交流电，还有一些元素，理论上当超大规模厂商花这么多钱建数据中心，甚至把发电厂放在现场表后端的时候。我们该怎么看电力需求和电网 vs. 非电网？
Dylan: 네. 데이터센터 성장은巨大합니다. 올해 우리는 20 기가와트의 데이터센터를 배포합니다. 내년 이 숫자는 30 기와트로 상승하며, 50%上涨합니다。그 다음 해는 50 기와트입니다. 데이터센터 생산 능력의 성장은巨大합니다。많은 지역적错位가 처리되어야 합니다. 에너지는最大的约束之一，另一个是政治方面的，第三是建设。데이터센터를 건설하고 허가 및 승인을 받는 것은 정치적으로 약간 어렵습니다. 누군가阻止하려고 합니다. 하지만 결국最大的制约因素还是能源。
Dylan: 에너지는 몇 가지方面으로 나눌 수 있습니다. 첫째는 발전입니다. 전자는 어디에서 옵니까? 둘째는 송전입니다. 전자를 발전한 곳에서 데이터센터로 어떻게 전송합니까? 셋째는 변환입니다. porque 송전의 전압 형태는 칩이 소비할 수 있는 형태와 다르기 때문입니다. 칩은 다른 형태가 필요합니다. 변환 파이프라인은 무엇입니까? 이 세 가지方面都有非常看好的方面。
Dylan: 송전方面最难看好，porque建更多输电容量的监管和政治困难，地方电力垄断的运作方式，如果建一条电力线要分摊给所有用户而不只是个别用户。有各种输电的奇怪错位。所以建更多电网容量在输电层面比较困难。
Dylan: 하지만 발전과 변환方面有两个有趣的事情。발전方面，显然电网上的发电在增加。还有一个向为数据中心发电的大转变。우리는 몇 년 내에 데이터센터新增电力의 절반이 현장에서 생성될 것이라고 예측합니다. 오프사이트가 아닙니다. 미터 뒤 발전 (behind-the-meter) 이 급증하고 있습니다. 우리는 데이터센터 및 에너지 모델에서 미터 뒤 발전의 추적기를 가지고 있습니다.
Dylan: 제가 언급했듯이 우리 팀에는 사람이 있습니다. 그녀는 카자흐스탄에 발전소를 지었습니다. 그녀의 이름은 Ellie 이며, 우리의 에너지 모델을 리더합니다. 우리는 이 모델을 계속 구축하고 있습니다. 전체 그리드, 모든 발전 자산, 모든 송전 자산, 모든 부하 자산, 그리고 모든 미터 뒤 발전 작업을カバー합니다. 흥미로운 점은 우리가 미터 뒤 발전의巨大的繁荣을 본다는 것입니다.
Dylan: 허가 및 규제方面有很多斗争。有人不想给空气许可，有人不允许建天然气管道到现场。Oracle 데이터센터도 이러한 상황을 겪었습니다. 많은 다른方面이 발생하고 있습니다. 하지만 결국 상태는 미터 뒤 발전이 급증하고 있습니다.
Dylan: 그중 많은 것은 천연가스입니다. 많은 것은 GE Vernova, Mitsubishi 또는 Siemens 의联合循环燃气轮机입니다。하지만 그 외에도 많은 다른类型的能源：왕복 엔진, 산업용 가스 터빈, 다양한 디젤 엔진, 기차 엔진. 사람들은 기차 엔진, 선박 엔진, 트럭 엔진을 가져와 데이터센터의 발전 장비로 개조합니다. 우리는 혁신의 바다를 봅니다. 산업 생산 능력이 없는 것은 아닙니다. 미국은 매년 수백만 개의 왕복 엔진을 제조할 수 있습니다. 바로 연료를 태워 회전하는 엔진입니다. 이것들을 디젤에서 천연가스로 변경하는 것은 매우简单합니다。
Dylan: 당신은 위에 전동기를 연결하고, 역구동하면, 발전합니다. 당신은 이를 대규모로 수행하여 발전할 수 있습니다. 우리는 10 기와트 이상의 데이터센터가 이러한 기술을 사용하여 건설될 것입니다. 디젤 트럭 엔진을 천연가스로 개조하고, 생산 시 매우简单하게 수행할 수 있으며, 전동기를 역결합하여, 데이터센터 현장에 배치합니다. 한 데이터센터 뒤에 수백 대가 있으며,然后你从汽车修理店雇一批人来维护。이러한 엔진은 유지보수가 필요합니다. 그들은 하루 종일 돌아다니며 이러한 디젤 엔진을 유지보수합니다. 당신은 일부 버퍼가 필요합니다. 이렇게 하면 어떤 엔진이 정지할 때 유지보수할 수 있으며, 최대 출력으로 실행을 유지할 수 있습니다. 당신은 중간에 일부 배터리를 배치해야 합니다. porque 데이터센터의上下波动不会把发动机搞坏。
Dylan: 당신은 이 전체 미터 뒤 발전 공급망을 가지고 있습니다. 매우 흥미진진합니다. 약 2 년 내에, 태양광 plus 배터리는 천연가스보다 더 저렴해질 것입니다. 태양광 plus 배터리의 공급망은 어렵습니다. 당신이 원하는 신뢰성 수준에 따라 달라집니다. 만약 밤에만 사용하기에 충분한 배터리라면, 더 저렴합니다. 하지만 만약 3 일 동안 충분한 배터리가 필요다면요? porque 아마 2 일 동안 비가 올 수 있습니다. 당신은 몇 개의 9 신뢰성이 필요합니까? 태양광 plus 배터리는 중국의 제조 능력으로 인해 점점 더 저렴해지고 있으며, 속도는惊人합니다。일부 보조금도 있습니다. 어떤 시점에 태양광 plus 배터리는 매우 저렴해질 것입니다.
Dylan: 그리고 당신은 우주 데이터센터도 있습니다. 배터리가 필요 없습니다. 직접 우주에 배치하면, 태양광 패널 하나면 충분합니다. 당신은"디젤 엔진을 천연가스 엔진으로 개조"에서"칩을 우주로 발사"까지의 전체 연속체를 가지고 있습니다. 벌 수 있는 많은 돈이 있습니다. 많은 흥미로운动态事情을 할 수 있습니다.
Dylan: 이것이 SemiAnalysis 의 가장 큰 데이터셋 및 연구垂直领域인 이유입니다. 당신은 반도체일 것이라고 생각했지만, 실제로는 데이터센터 및 에너지입니다. 우리는 내부적으로 DEI 팀이라고 부릅니다. Data Center Energy Industrial. 이것은 내부적인 말장난입니다. Jeremy 가 이 팀을 리더하며, 그가 이 이름을 생각해 냈습니다. 데이터센터, 에너지 및 산업은 우리의 가장 큰 연구垂直领域입니다. porque 우리는 모든 데이터센터와 모든 발전소를 추적하고 있기 때문입니다.
Dylan: 우리가 지연을 식별하거나 어떤 일이 발생하고 있거나, 어떤 분기에 얼마나 많은 데이터센터가 온라인될 때, 이는 산업 내에서 아무도 할 수 없는 일입니다. 이것이 그것이 우리의 가장 큰垂直领域중 하나인 이유입니다. 모든 사람이 관심 있습니다. Google 은 Meta 가 얼마나 배포할 수 있는지关心하며, Meta 는 OpenAI 가 얼마나 배포할 수 있는지关心합니다。하지만 이러한 모든 회사는 또한 공급망에 누가 생산 능력을 가지고 있는지 보고 있습니다. 투자자도 보고 있습니다.
Dylan: 이것은 매우 분산된 시장입니다. 메모리는 세 회사만 있으며,简单합니다。가속기는 몇 회사뿐입니다. 반도체 웨이퍼 제조 장비도 몇 회사뿐입니다. 하지만 이 분야에는 수백 개의 공급망 회사가 있으며, 다양한 무작위 작은 부품을 만듭니다. 데이터센터를 건설하는 회사가 수십 개 있습니다. 수십 개의 회사가 다양한 일을 하고 있습니다. 독립 발전 사업자로서든 미터 뒤 발전을 하든, 또는某种电池服务를 제공하든. 이것은 매우 복잡한 공급망입니다. 하지만 많은 활력과 혁신이 있습니다.
Dylan: 그래서 데이터센터는 어떤 의미에서 계속约束일 것이지만,约束이 아닐 수도 있습니다. porque 당신이 얼마나 미치기를愿意하는지에 따라 달라집니다. 제가 말했듯이, 당신은 트럭 엔진을 개조하고, 기계공을 고용하여 현장을 운영할 수 있습니다. 가장 좋은 것은 아닙니다. 많은 사람이"이것은 너무 더럽습니다. 신뢰성은 어떻습니까?""너무 번거롭습니다"라고 말합니다. 하지만 사람들이 이를 수행하고 있으며, 이는 작동합니다. 비록 고통스럽지만, 작동합니다."우주로 발사할 것입니다"까지. 또한 고통스럽고, 하기 어렵지만, 작동합니다. 그래서 데이터센터 문제에는 해결책이 있습니다. 당신이 완전히 더러운 경로를 가든 우주 경로를 가든.而供应链其他环节不一定有。이것이 이 시장이如此动态인 이유입니다. 당신은 사람들이 많은 길을 위아래로 오가는 것을 보게 될 것입니다.
제 10 장: 변환 체인 및 마무리
Dylan: 그리고 다른 부분, 발전과 송전은说完，변환方面是另一个事情。你怎么把电力从发电或输电的形态变成芯片需要的形态？여기에는 전체 공급망이 있습니다. IGBT, 실리콘 카바이드, 다양한 MOSFET, 질화갈륨 MOSFET 든. 우리가 12 볼트에서 54 볼트에서 800 볼트 직류로 갈 때 무슨 일이 발생합니까? 변환 공급망에서 무슨 일이 발생합니까? 고체 변압기는 혁신에서 어떻게 될까요? 이러한 일이 발생하고 있습니다. UPS, 무정전 전원 장치, 배터리 백업 및超级电容등 전력을平滑하는 다양한 방식, 왼쪽에서 생성된 더럽고, 불안정한 전력을 오른쪽의超干净的电力로 변환하는 방법, 동시에 오른쪽 칩의 전력 사용도 변동합니다.你怎么匹配？이 전체 변환 파이프라인은超级超级흥미진진합니다.
Dylan: 우리는 지난주에 800 볼트에 관한 블로그를 막 발표했습니다. 최근에도 기관 구독자와 일부 지연에 대해 논의했습니다. Nvidia 那边把 800 볼트从 Kyber 推迟了。Rubin Ultra 의 Kyber 버전에는 더 이상 800 볼트가 없습니다. 이것이 공급망에 무엇을 의미합니까? 약간 지연되었습니다.
진행자: Dylan, 매우感謝드립니다。이것이 장으로 생각한다면, 이것은 첫 번째 에피소드입니다. 우리는 Dylan 을 팟캐스트에 처음 초대했지만, 분명히 마지막은 아닙니다. porque 많은 많은 정보가 있으며, 그가 직접 말했듯이, 전체 기술 스택의 모든环节이 변화하고 있습니다. 따라가는 것은 정말 피곤합니다. 하지만 많은 사람이 아는 바와 같습니다.
Dylan: 저는 한 가지 더 말하고 싶습니다. 이 공급망은 너무 미쳤습니다.很多时候我们谈论大的那些：메모리, CPU, 데이터센터. 하지만 당신이 공급망을 깊이 파고들면, 지역적 변동은 작지만 많습니다. 몇 달 동안 우리는 PCB 드릴에 대해 이야기했습니다. 바로 PCB 보드에 구멍을 뚫는 드릴입니다. 또한 PCB 의 구리 호일과 같은 무작위한 것들도 있습니다. 공급망의 모든 이러한 작은 것들도 이러한错位가 있습니다. 이러한 회사는 전 세계에 퍼져 있습니다. 대만에 상장될 수 있으며, 일본에 상장될 수 있으며, 한국에 상장될 수 있으며, 전 세계 어디에나 있을 수 있습니다.不只对投资者来说容易接触到。
Dylan: 제 생각에 이것이 우리의 협력과 함께 일하는 것이 정말 흥미로운 곳입니다. 우리는 발생하고 있는 일에 영향을 미칠 수 있으며, 이러한 공급망 중단에 대해 많이 논의할 수 있으며, 또한 제가 이전에 제안한 프레임워크와 우리가 커버하려고 시도하는 전체 구도에 대해 논의할 수 있습니다. 향후 더 많이 프로그램에 출연하고, 우리의 다른 협력도 기대합니다.
진행자: 물론입니다. 마지막으로 저는 준법 팀에 성명을 발표해야 합니다. 이번 팟캐스트에서 표현된观点和意见는 WisdomTree 에 속하며,随时改变할 수 있습니다. 이번 팟캐스트에서 제시된 어떤 콘텐츠도 예측 연구 또는 투자税务建议로意图되지 않았습니다. 어떤 증권도 구매하거나 판매하는 것에 대한建议、要约或招揽을 구성하지 않습니다. 청취자는 이러한 정보에 의존할지 여부를自行决定합니다. 과거의 성능은 미래 결과를 대표하지 않음을 기억하십시오. 오늘 시간을 내어 주신 모든 분께感謝드립니다。미래에 다시 돌아오기를 기대합니다. 안녕히 계십시오.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
