반도체 주가 40% 폭락 후, 컴퓨팅 파워 수요 펀더멘털 재검토

저자: Kerman Kohli

번역: TechFlow

TechFlow 편집자 주: 반도체 주식이 30-40% 폭락한 후, 많은 사람들이 AI 버블이 붕괴했다고 선언합니다. 하지만 이 판단은 치명적인 가정, 즉 컴퓨팅 파워에 대한 수요는 제한적이라는 가정 위에 성립합니다. 정부의 군사用途부터 과학 연구, 기업 제품 및 개인 애플리케이션에 이르기까지 모든 집단이 컴퓨팅 파워를 쟁탈하고 있으며, 각 집단이 지불하려는 가격 상한선은 다릅니다. 더 중요한 것은 AI 에는 다른 인프라에는 없는 특성이 있다는 점입니다. 바로 재귀적 수요입니다. 컴퓨팅 파워 자체가 더 많은 컴퓨팅 파워 수요를 창출합니다. 하이퍼스케일러의 컴퓨팅 파워 주문 백로그가 5,000 억 달러에서 2 조 달러로 증가했을 때, 이것이 버블이라고 주장하려면 더 강력한 증거가 필요합니다.

핵심 문제: 무한한 수요인가 제한된 수요인가

이 게시물이 게재된 시점에 따르면, 반도체 및 기타 AI/모멘텀 관련 주식은 역사적 고점으로부터 30-40% 하락했습니다.

많은 사람들은 이를 반도체/AI/메모리의顶部라고 부르며, 참여하지 않은 것을 축하합니다.

그들은 아마도 너무 일찍 축하하고 있을 것입니다.

저에게 반도체/AI 투자 논거는 결국 이 질문 하나로 귀결됩니다:

「컴퓨팅 파워에 대한 수요가 제한적이라고 생각하십니까, 무한하다고 생각하십니까?」

대화에서 너무 많은 사람들이 기업의 사용/도입에 대한 국소적인 경험에 갇혀 이를 더 넓은 시장으로 일반화하는 것을 봅니다. 기업 도입에는 더 오랜 시간이 필요하다는 논쟁은 사실일 수 있습니다.

그러나 이는 또한 더 작고 AI 네이티브인 기업들이 더 적은 직원으로 그들을 이길 수 있는 역인센티브를 창출합니다. AI 는 올바르게 사용된다면 인력 확장보다 훨씬 저렴할 수 있기 때문입니다.

어쨌든 시야를 넓혀 AI 자본 지출을 기업 수요만으로 보지 않도록 합시다. 높은 수준에서 AI 구축은 컴퓨팅 파워를 온라인 상태로 만드는 것입니다.

컴퓨팅 파워는 차례로 다음 집단들에 의해 사용될 것입니다:

• 정부는 군사 및 국방 목적으로
• 과학자는 의학 및 기타 최첨단 연구를 위해
• 기업은 새로운 제품을 구축하고 인력 제한 없이 확장하기 위해
• 개인은 더 많은 일을 하기 위해 (프로그래밍, 디자인, 창작, 질문)

이러한 사용 사례와 구매자들은 각각 컴퓨팅 파워에 대해 다른 가격을 지불할 의향이 있습니다. 일부는 컴퓨팅 파워 가격 때문에 이탈할 수 있지만, 더 높은 예산을 가진 다른 사람들이 없을 것이라고 생각하는 것은 현명하지 않습니다. 어떤 이들에게 컴퓨팅 파워 지출은 협상의 여지가 없습니다. 이는 잔인한 경쟁이기 때문입니다. 예로는 주권 정부와 하이퍼스케일러가 있습니다. 다른 이들에게 컴퓨팅 파워는 인력 비용의 대체제이며 여전히 훨씬 저렴합니다 (법적 오버헤드, 관리 시간 등 없음).

우리가「과잉 구축」했거나「용량 이상으로 구축」했다는 믿음은上記 어떤 집단도 최종 상태에 도달하여现状에 만족한다는 것을 의미합니다. 간단히 말해, 이는 믿는 것입니다:

• 정부는 더 스마트한 무기와 방어 능력이 필요하지 않다고 생각함
• 과학자는 완료된 연구량에 만족함
• 기업은 제품 라인에서 이미 충분한 작업을 했으며 더 이상 성장하고 싶지 않음
• 개인은 호기심의 최종 상태에 도달하여 더 이상 하고 싶지 않음

정말로上記 중 어느 하나라도 믿는다면, AI 가 버블이며 과잉 투자가 있을 것이라고 말하는 것은 맞습니다.

각 집단이 컴퓨팅 파워에 지불할 의향/능력이 있는 가격은 다르지만, 시장은 수요를围绕하여 품질/가격이 충족되도록 조직될 것입니다. 모든 집단에게 지능이 너무 비싸다고 생각하는 것은 오해입니다. 지능을 수익성 있게 오케스트레이션할 수 있는 사람들은 계속해서 그에 대한 수요를 추진할 것이기 때문입니다.

하지만 인간과上記 집단이 결코 만족하지 않을 것이라고 믿는다면, 컴퓨팅 파워에 대한 수요는 무한하다고 믿어야 합니다. 우리는 지금 컴퓨팅 파워를围绕한 큰 경쟁 중에 있으며, 이를 인지하는 사람은 거의 없습니다.

추궁: 투자 수익률 (ROI) 은 무엇인가

시장에서 더 많은 시간을 보낸 후, 이는 투자자들이 컴퓨팅 파워 구축에 대해 지속적으로 가지는 가장 큰 우려입니다. 하이퍼스케일러가 모든 자유 현금류를 소진하는 추세가 과도한지, 그들이 자신의 미래를 걸고 있는지 여부입니다.

하이퍼스케일러의 자본 지출 외에도, 사람들은 대형 랩이 어떤 수익과 이익을 얻었는지에 매우 주목합니다. 새로운 오픈소스 모델이 랩이 최첨단 모델에서 추출할 수 있는 가치를 위협한다는 점은 상황을 더욱 복잡하게 만듭니다.

하나씩 논의하겠지만, 하이퍼스케일러의 자본 지출부터 시작하겠습니다.

하이퍼스케일러가 계산을 잘못했다고 생각하는 분들께 말씀드리고 싶은 것은, 이는 사실과 далеко 다르다는 점입니다. 퍼블릭 클라우드 서비스는 터무니없이 비싸며, 그들은 여러분으로부터每一分钱을 짜내는 방법을 알고 있습니다. 그들은整整 한 세대의 기업들에게 그들 없이는 확장할 수 없다고 믿도록 설득했습니다.

그에 대한 보상으로, 그들은 일반 비 CPU 컴퓨팅 파워 비용을 10-20 배 높게 책정합니다. 또한 기본 작업을 완료하기 위해 로그, 데이터 전송 (아웃바운드) 및 기타 5 가지 서비스에 대해 비용을 지불해야 합니다.

이 게임이 작동하는 이유는 그들이 여러분을 그들의 시스템 안에 가두기 때문입니다. GCP/AWS 왕국 내의 대역폭은 저렴하지만, 외부로 이동하면 크게 상승합니다. 많은 하이퍼스케일러에게 고객은 생태계 내에 머물러야 합니다. 그렇지 않으면 비즈니스를 잃을 위험이 있습니다. 컴퓨팅 파워가 충분하지 않으면 생존에 치명적입니다. 고객 데이터와 컴퓨팅 파워가 모두 여기에 있을 때 GPU 가 다 떨어졌다고 말하는 것은 완전히 용납될 수 없으며, 고객을 천천히 경쟁사로 이동하게 할 것입니다. 하이퍼스케일러는 흥미로운 역학을 창출했습니다. 그들은 고객에게 원하는 어떤 가격도 지불하도록 강요할 수 있으며, 고객은 이에 대해 할 수 있는 일이 없습니다. 그들의 테넌트는 베어 메탈과 너무 동떨어져 있어巨大的 잠금 효과가 있으며, 이전은 수년이 걸리는 노력입니다 (가능하다면).

이这方面에서 그들이 얼마나 미쳤는지 보여주는 간단한 예를 들겠습니다. 저는 몇 달 전 이 15,000 달러의 머신을 어떻게 구축했는지 썼습니다:

AI 추론 머신 구축

그림: 저자가 직접 구축한 AI 추론 머신 출처: Kerman Kohli / Substack

GCP 에서 동일한 GPU, 구성이 더 낮은 머신을 찾을 수 있습니다:

https://cloud.google.com/products/compute/pricing/accelerator-optimized

온디맨드 비용은 월 3,248 달러이며, 3 년 예약은 월 1,444 달러입니다.

그림: Google Cloud GPU 인스턴스 가격 책정 예시. 출처: Google Cloud

제 머신은 128GB DDR5 뿐이지만, Google Cloud 는 180GB 의某种 메모리입니다 (그들은 DDR4 인지 DDR5 인지 알려주지 않습니다 하하).

빠른 계산:

• 온디맨드 가격으로 제 머신은 4.6 개월 이내에 회수됩니다
• 3 년 약정 회수 기간은 10 개월입니다

다른 머신의 수학도 비슷합니다. H200 클러스터 (2024 년 말 출시된 GPU) 는 2 년 이내에 회수됩니다. 어디를 보든 매우 비슷한 수학을 볼 수 있습니다. 물론 이는 토지 비용, 지속적 전기세, 금융 비용 및 현장 직원을 고려하지 않았지만, 하이퍼스케일러가 어떻게巨额 프리미엄으로 가격을 책정하는지 보여주는 설명적인 예시여야 합니다. 물론 현물 가격과 약정 가격은 다시 차이가 발생합니다.

이 수학을 더 미치게 만드는 것은 5 년 전 GPU 가 다음과 같다는 점입니다: a) 가치 유지 b) 임대 비용 상승!

하드웨어는 감가상각되지 않을 가능성이 높으며, 오히려 이때부터 가치가 상승할 것입니다. 계산 효율성이 더 높은 새로운 칩이 출시되었지만, 그들이 부족한 효율성은 메모리 비용 상승으로 상쇄될 것입니다.

저는 하드웨어를 두 구성 요소 게임으로 개념화합니다.其中一个 구성 요소 (계산) 는 기술적으로 가치가 떨어지지만, 다른 구성 요소 (메모리) 에 의해 상쇄되며, 후자는 시간이 지남에 따라 더 가치가 높아집니다.

그렇다면 그들의 자본 지출에 대한 ROI 는 누구도 원격으로 예상했던 것보다 높습니다. 하이퍼스케일러의 신용 위험에 대해 Gavin Baker 의 이 트윗이 잘 요약하고 있습니다:

그림: Gavin Baker 트윗 첨부 이미지. 출처: X / @GavinSBaker

이제 여러분은 말할 수 있습니다, 어떻게 이 수요가 충분한지 알 수 있습니까? 제 말은 모든 고객에 대해 모든 시나리오를 모델링할 수는 없지만, 어떤 시점에서는 겸손하게 말해야 합니다. 사람들이 돈을 지불하기 위해 줄을 서 있는 것이 가장 강력한 신호이며, 여러분은 그들이 양수 ROI 노력에 합리적으로 지출하는 행위자라고 믿습니다.

이 관점에서 본다면, 백로그는 2025 년 초 5,000 억 달러에서短短 1.5 년 만에 2 조 달러를 훨씬 초과하여 증가했습니다. 이것이 고객에 의해 주도될 때, 이 모든 것이 거짓/양수 ROI 가 아니라고 말하는 것은 억지입니다. 이제 반론은 랩이 그중 상당 부분을 차지한다는 것이지만, 이 관점은 잘못되었습니다. EpochAI 에 따르면 프론티어 랩은 일부만 차지하며 글로벌 컴퓨팅 파워 수요의 전부는 아닙니다.

그림: 컴퓨팅 파워 주문 백로그가 5,000 억 달러에서 2 조 달러로 증가. 출처: EpochAI

그림: 글로벌 컴퓨팅 파워 수요 구성. 출처: EpochAI

여러분이 무엇을 믿든, 2 조 달러의 백로그라는 사실은 무엇을 나타내야 합니다. 수조 달러의 지출이 구조적 전환이 아닌 과도한 버블을 반영하지 않는다고 생각하는 것은 흥미로운 관점입니다.

많은 투자자들은 유추를 통해 추론하는 것을 좋아하며, 이를 인터넷 구축, 철도 또는 과거의 인프라 프로젝트와 비교합니다. 저는 여기의 논리를 이해하지만, 이는 AI 의 중요한 특징 하나를 무시합니다. 바로 재귀적 수요입니다.

철도나 인터넷의 경우, 더 많은 사람들이 기술을 채택한 다음 모든 사람이该技术의 상한선을 사용하도록 하여 경제 내에 충분한 확산이 있는지 확인해야 합니다. AI 에는 이러한 역학이 없습니다. 이 경쟁에서 컴퓨팅 파워는 자체 컴퓨팅 파워 수요를 생성할 수 있으며, 개인이나 조직의 컴퓨팅 파워 제한은 실제로 무한합니다. 유용하고 양수 ROI 인 사용 사례를 찾으면 컴퓨팅 파워에 계속 투자할 수 있으며, 이는 돈을 버는 기계가 됩니다.

이것이 매우 까다로워지는 점은 사람들이 AI 를 사용하는 방식이 매우 다르다는 것입니다. 세계의 대부분의 사람들은 이를 단일 프롬프트 질문 - 답변 머신으로 사용합니다. 저와 같은 사람들에게는 에이전트 엔지니어링이 더 유능해짐에 따라它们는 필수 불가결해지고 있으며, 제가 더 많은 일을 하도록 해줍니다.

저의 컴퓨팅 파워 지출은 계속 상승하며, 계속 상승할 것입니다. 제가 더 많은 양수 ROI 사용 사례를 발견했기 때문입니다. AI 가 얼마나 많은 수익을 창출하든, 그것이 창출하는 비용 절감은 부인할 수 없으며, 이는 대부분의 최종 고객 사례를 추진합니다.

불확실성 요소: OpenAI / Anthropic

이전 점을 이어가면, 수요 백로그가 미친 듯이 증가했음을 알 수 있습니다. 하지만 랩으로부터의 수요 (컴퓨팅 파워 수요의 상당 부분) 가 얼마나真实的인지요. 이제 이것이 제가 답이 덜 명확하지만 여전히 추론 가능한 곳이라고 생각하는 부분입니다. 저는 이 답을 추론과 학습으로 나누고 싶습니다.

새로운 SOTA(최첨단) 모델 비용이 수억 달러에 달한다고 생각한다면, 우리는 이를 투자 자산이라고 말할 수 있습니다. 시간에 따라 추론을 통해 일부 유용한 수명 주기 가치를 생성합니다 (급격한 감가상각 곡선이 있지만).

반작용력으로, 오픈소스 모델이 시장에 확산되어 더 저렴한 비용으로 프론티어 랩과 컴퓨팅 파워를 경쟁하게 됩니다. 이러한 오픈소스 모델은 증류되었거나 그렇지 않을 수 있으며, 역학을 이해하는 데 중요하지 않습니다.

따라서 우리가 질문해야 할 역학은 SOTA 모델이 나올 때 무슨 일이 일어나는가입니다. 현실은 모든 사람이 항상它们로 모든 문제를 해결하는 것은 아닙니다. 그러나它们가 SOTA 능력을 가지고 있으므로 현재 모델 클래스가 해결할 수 없는 문제를 해결할 수 있으며, 여러분은 이에 대해 프리미엄을 지불할 의향이 있습니다.

Kimi K3 와 같은 모델이 이 역학을 바꾸었다고 말할 수 있습니다. 왜냐하면它们는 오픈소스이기 때문입니다. 하지만 사람들은 중요한 사실을 잊었습니다. SOTA 모델은 매우 크며, 이를 실행하는 데 필요한 하드웨어는 어떤 가정용 모델도 할 수 있는 것을 훨씬 초과합니다. Kimi K3 자체는接近 1.5TB - 2TB 의 메모리가 필요합니다. 찾는 데 행운을 빕니다.

모델을 더 흥미롭게 만드는 것은 Kimi 가 K3 에 게이트를 연 후 용량이 고갈되었다는 점입니다. 물론 밖에 모델이 존재하지만, 여전히 누군가가 이를 서비스해야 합니다. 그것은 여전히 유능한 하드웨어에서 실행되어야 합니다. 랩은 시간이 지남에 따라 더 경쟁력이 있도록 강요받을 것이지만, 이것이 그들의 비즈니스를 위협하지는 않습니다. 결국 특정 워크로드에 대한 프리미엄은 계속 유지될 것이기 때문입니다. 또한 워크로드에对该 모델의 용량을 제공할 수 있는 것도同样 중요합니다. 프론티어 모델이 어떤 프리미엄도 가치가 없다고 생각하는 것은 정직하지 않습니다. 이 프리미엄이 얼마나 큰지는 여전히 지켜봐야 합니다.

오픈소스 모델이 금지되거나 불법이 된다면, 랩은 혁신을 대가로 대승할 것입니다.

추론은 수익성이 있는 것으로 입증되었으며, 서비스 제공업체 기반의 마진은 50% - 70% 사이입니다. 사람들이 호스팅 제공업체를 떠나더라도, 이 수요는 그들이 자신의 하드웨어를 구매하는 곳으로 흘러가야 합니다. 추론이 지배적인 워크로드이므로 수요는 공급을 훨씬 초과합니다.

지금 대형 랩에 관해 말하면, 그들은 이 세계에서 어떻게 수행됩니까? 저는 답이 괜찮을 수 있지만 마진이 그렇게 높지는 않을 것이라고 생각합니다.

그들이 실패하고 떨어질 것이라고 생각하는 것은 잘못입니다. 더 많은 데이터로 뒷받침되는 관점을 제시하고 싶지만, 우리는 그들의 구체적인 마진에 대한 명확한 데이터가 없습니다. 그러나 합리적으로 추측컨대, 그들의 추론 서비스 최적화 능력은 업계 표준에 도달했습니다. 또한 수천만乃至수억 명의 월간 활성 사용자를 보유한 회사들은 적나라한 폰지 사기나 사기 프로젝트가 아니며, 수익은 빠르게 성장하고 있습니다.

그림: 대형 랩과 오픈소스 모델 간 경쟁 구도

랩 모델의 투자 수익률

랩은 SOTA 모델에서 여전히 상당한 수익을 창출하지 못할 수 있지만, 이는 시장이 더 강력한 능력을 가진 새로운 모델에 보상을 하지 않으며, 이 프리미엄에 대해 지불할 의향이 없다는 것을 의미하지는 않습니다. 프론티어 모델이 AI 가 해결할 수 있는 다음 클래스의 문제를 대표한다는 점을 고려할 때, 프론티어에 반대하는 내기를 하는 것은 좋은 생각이 아닌 것 같습니다. 이 경쟁에서 이탈하는 대가는 나중에 따라잡기가 더 어려워진다는 것입니다 (증류를 통해 제외하고).

SOTA 경쟁과 관계없이, 추론에는 여전히 하드웨어가 필요하며, 추론에 대한 무한한 수요는 여전히 누군가의 하드웨어에 의해 충족되어야 합니다.

AI 거래의 복잡성

AI 거래는 현재 시장에서 가장 흥미로운 거래일 수 있습니다. 왜냐하면 동시에 세 가지 특징을 가지고 있기 때문입니다:

• 무시됨
• 과도하게 혼잡함
• 심각하게 오해됨

많은 시장 참여자 (대형 기관 투자자 포함) 는 기술의 복잡성과 대차대조표 하단에 미치는 영향을 이해하지 못합니다. Kimi K3 와 같은 단순화된 헤드라인은 메모리 주식의 대규모 매도를 초래했습니다. K3 는 실행할 수 있는 가장 큰 메모리 집약적 모델 중 하나임에도 불구하고.

이 주식 가격은 이미 상승했지만, 그들은 한 자릿수의 선행 PER 로 거래됩니다. 시장은 그들의 이익과 수요가 2028/2029 년에 급락할 것으로 예상합니다.

무한한 수요의 새로운 경제

합리주의 관점에서 볼 때, 이러한 수요가 무한한 새로운 경제 상품이 존재한다고 말하는 것은 미친 듯이 들립니다. 전통 경제학은 수요가 급증하면 공급이 따라와 수요를 충족시킨다고 봅니다. 하지만 동질적인 투입 (전기, 칩, 토지) 이 불확실한 결과 (지능) 를 산출한다는 점을 고려할 때, 우리는 기존 컴퓨팅 파워에 결코 만족하지 않을 것입니다.

컴퓨팅 파워 수요가 무한한 세계는 우리가 완전히 새로운 세계로 진입하고 있음을 의미합니다.

많은 컴퓨팅 파워 예측도 향후 5 년 내 로봇의 부상을 고려하지 않았습니다. 컴퓨팅 파워를 공매도하는 것은 로봇을 공매도하는 것입니다. 글로벌 인구가 감소함에 따라, 더 많은 사람들이 더 생산적으로 변한다는 현재의 경제 모델은 더 이상 성립하지 않습니다 (특히 많은 사람들의 주의 지속 시간이越来越 짧아지고 있기 때문에). 인공지능과 로봇이 없다면, 경제에는 성장과 더 많은 경제적 가치를 창출할 경로가 없습니다.

AI 가 없다면, 우리는 결국 인간 진보를 늦출 것입니다. 문명으로서 이 단계에 도달하려면 더 많은 컴퓨팅 파워를 온라인 상태로 만들어야 합니다. 북미의 컴퓨팅 파워 온라인 능력은 기본적으로 상한선에 도달했습니다. 캐나다와 호주 가 다음입니다. 우리는 공간이 다할 때까지 전 세계에 데이터센터를 구축할 것이며, 그 후 우주로转向하여 더 많은 데이터센터를 구축할 것입니다.

수요와 공급의 비대칭적 가격 책정

더 매혹적인 것은 공급량이 정확히 측정된다는 점입니다. 왜냐하면 이는财报电话会议中的 파운드리 일정을 통해 알려지며, 가격 책정이 완벽하기 때문입니다 (모든 공급은 지연 없이 정확한 일정에 따라 도착할 것입니다). 반면 수요 측은 실시간으로 측정되며 과소평가됩니다. 이는 시장이 공급의 상한선을 믿는 동시에 수요 상황을 과소평가하는 (과소평가 정도가 크며 오늘真實可信한 데이터가 있음) 상황을 창출합니다.

AI 거래를 추론할 때마다 스스로에게 컴퓨팅 파워 수요가 제한적인지 무한한지 믿는지 물어봐야 합니다. 이 질문에 대한 답이 후속 결정을 안내할 것입니다.

컴퓨팅 파워는 일반 상품이 아닙니다. 이는 인력의 대체제이자 국가 안보의 필수품이며, 재귀적으로自我增殖하는 생산 수단입니다. 수요가 제한적이라고 믿는 것은 인간이 이미 만족했다고 믿는 것과 같으며, 수요가 무한하다고 믿는 것은 우리가 경제 패러다임 전환의 시작점에 서 있음을 의미합니다.