对话 SemiAnalysis 创始人 Dylan Patel：内存短缺仍将继续，CPO 比市场预期晚两年

整理 & 编译：深潮 TechFlow

节目： The Next Big Thing（WisdomTree 出品）

嘉宾： Dylan Patel，SemiAnalysis 创始人

主持人： WisdomTree 主持人 + Klay Hyman

发布日期： 2026 年 7 月 9 日

摘要

SemiAnalysis 创始人 Dylan Patel 做客 WisdomTree 旗下 The Next Big Thing 播客，与主持人及 Klay Hyman 一起梳理 AI 基础设施供应链的最新状况。话题覆盖 SemiAnalysis 从汽车旅馆起步到 90 人团队的创业历程，GTC 上黄仁勋点名"沙袋"事件的台前幕后，AI 投资回报率，AI 成本优化策略（换最新模型反而更便宜），内存超级周期（KV cache 爆炸、产能瓶颈、智能手机会被挤出），CPU 需求拐点，网络与 CPO 时间线（推迟到 2028-2029、铜仍主导），电力与能源基础设施，以及转换供应链。

金句

1. "Jensen，我错了，你在藏拙，实际是 30 倍。"（Dylan 给黄仁勋发邮件承认 Blackwell 性能超出预期）
2. "我们在 AI 上的支出超过员工薪酬的三分之一，到年底可能会到一半。"（Dylan 谈 SemiAnalysis 的 AI ROI）
3. "内存产能未来三年每年只增长 20-30%，但需求在翻倍，翻倍。"（Dylan 谈内存超级周期）
4. "拿柴油卡车发动机改成天然气，反接电动机，放在数据中心后面，然后你从汽车修理店雇一批人来维护。"（Dylan 谈表后发电创新）
5. "你可以拿卡车发动机改造，雇一批机修工，这样运营一个场地。一直到'我要把它发射到太空'。数据中心问题有解决方案，不管你是走全脏路线还是走太空路线。"（Dylan 谈电力解决方案的疯狂光谱）
6. "成本优化实际上是换最新的模型。因为最新模型可能只需要四分之一的 token 就能完成同样的任务。"（Dylan 谈 AI 成本悖论）

第一章：开场介绍

主持人： 好的，大家好，欢迎回来收听 The Next Big Thing 播客的下一期。今天和我同事 Klay Hyman 一起，还有 Dylan Patel，他是我们的新合作伙伴，SemiAnalysis 研究集团的创始人。今天很兴奋能跟 Dylan 一起梳理 AI 基础设施领域的最新状况。你们可能在很多不同的播客上听过 Dylan 的分享，我一直关注他的内容，还有 SemiAnalysis 网站上的 newsletter。最近我看到的一篇是关于太空数据中心的，如果有人对这个话题感兴趣，他们有一篇非常详细的长文。不过 Dylan，我很想听听 SemiAnalysis 这个想法最初是怎么来的。我知道在 Substack 社区里，大家最近都在讨论你们公司的营收和取得的成功，但很多时候人们只看到当前的成功，忘了这段旅程和起点，忘了其中投入了多少心血。

第二章：SemiAnalysis 创业故事

Dylan： 好的。我觉得 SemiAnalysis 的起源其实来自"在网上发帖"。以一种不太严肃的方式在网上发帖。我回想我最早关于半导体的帖子，是在我十岁出头的时候发的。当时我就在网上发帖聊芯片、聊智能手机、聊手机屏幕、手机 SoC，还有这些东西。在我自己拥有智能手机之前，我就对它们着迷了。游戏硬件也一样，PC 硬件、主机硬件，我一直在各种论坛上发帖讨论这些东西。到我 12 岁的时候，我已经在管理和创建很多论坛了，涉及的领域包括 Android、Apple、Google、Intel、Nvidia、AMD 这些硬件话题，还有 Reddit 上各种相关论坛。

Dylan： 这就是一切的起源。我一直是个发帖的人，一直发我的观点，一直回复，一直思考，一直接受评论。现在我们是一个 90 人的组织，我团队里做市场的人会跟我说："Dylan，别再回复网上那些无聊的人了，你这样让我们很难看。"但我就是有这种冲动，谁在网上批评我，我就想回应。也许这是坏事，但基本上在我整个青少年时期，我都在管理这些论坛。

Dylan： 我在十几岁后期开始赚钱后就开始投资了。我做了两年量化交易，然后创办了自己的公司。但整个过程我一直在发帖发帖发帖发帖。我有匿名博客，有匿名帖子。到 2020 年，我对工作有点厌倦了。做量化的幻灭感嘛，你知道，没有看起来那么光鲜。是的，你能赚钱，但没有那么了不起。我差不多辞职了，开始创业。当时不太确定会怎样，但我在一个 WordPress 网站上用真名发帖，发的内容是技术、商业、金融、供应链的混合，这些都是我最感兴趣的领域。

Dylan： 我在一个小生意环境中长大。我在一个汽车旅馆里长大，我父母在乔治亚州农村有一个汽车旅馆，我们就住在里面。我从小就懂生意。后来我们还开了加油站，所以一直在生意里泡着长大。我一直喜欢商业。供应链从投资角度和从产品制造角度来说都一直很有意思。我一直有一种直觉，就是东西是怎么做出来的。技术方面当然超级令人兴奋，金融方面也超级令人兴奋。

Dylan： 把这些结合起来，我最早的帖子，当时美国正在禁止华为获取 TSMC 的代工服务。我的第一篇帖子其实是关于联发科怎样成为最大赢家的。华为当时是中国智能手机芯片和智能手机市场份额第一。显然这会大幅下滑，因为他们不再能使用 TSMC。美国市场觉得高通会赢。但联发科这家台湾公司，我认为他们会赢得更多份额，因为从地缘政治角度看，中国宁愿从台湾公司买也不愿从美国公司买，毕竟我们刚禁了华为。两家公司都受益了，但联发科受益更多。这就是技术、供应链、金融、地缘政治这些元素混合在一起的一个例子。

Dylan： 接下来几年，我把 WordPress 转成了 Substack，某一刻开始收费，写的话题覆盖整个半导体和 AI 供应链。我做了四年量化期间也跟进了 AI，出于热情跟进半导体。然后就不断增长、增长、增长。

Dylan： 四年里我满世界跑，参加了世界上每一个会议。一年去 40 场会议。我没有固定住所，就是去每一个能去的会议，不管是 AI 会议比如 NeurIPS、ICML、ICLR 这些主要是研究者的会议，还是下游一些很细分领域的会议，比如半导体供应链化学原料的会议。我从上到下整个技术栈都跑，服务器、网络、晶圆制造、AI，什么都看。一年 40 场会议。有些会议非常细分，只有 300 人参加，除了大概 5 个人之外全说日语，我就想"好吧，就这样吧"。还有一些会议有 1 万到 2 万人参加，规模巨大。整个光谱和连续体都有。

Dylan： 这样我就能覆盖整个生态系统。你去一个会议三次，你就真正懂这个领域的语言了。你认识那里的人，可以问他们问题，建立起这些人脉网络。我发展出了整个生态系统和认知体系，覆盖每个环节的拐点。我在技术上非常好奇，但一旦某个技术或供应链方面的东西从会议中脱颖而出，我知道它会在供应链或金融层面导致什么后果。有时候报告以技术为中心，金融圈没人关心。但有时候大家突然意识到这是瓶颈，或者这是拐点，或者这家公司会因为下一代技术获得大量市场份额。我会在华尔街任何人之前、在任何对冲基金之前、在任何人之前就指出来。

Dylan： 这就是起点。然后随着 Substack 越来越大，2022 年我开始招人。最早两个员工是我在 Discord 上认识了好几年的人。第三个员工是 Myin，他之前在对冲基金工作，准备搬去日本跟妻子住，所以算是自由身。我当时发了一篇帖子，很有意思的一篇帖子，2023 年初的时候，说内存是 AI 的最大输家。原因是 AI 芯片和 AI 服务器使用的内存比例比普通服务器少很多。普通服务器大约一半的 BOM 是内存，但 AI 服务器里内存占比少得多。部分原因是 Nvidia 的利润率高得多，还有其他几个因素。当然 Nvidia 下一代芯片大幅增加了内存容量，现在多很多了。但在当时我说内存是最大输家。

Dylan： 在付费部分我说"我在招人"。Myin 联系了我，他是第一个来自对冲基金背景的人，另外两个是技术背景。他一加入公司，我们就开始建各种模型，真正把业务从 newsletter 模式转型为出售信息服务、出售报告和数据集的模式。随着这些开始发生，雪球就开始滚下山了。2023 到 2024 年，从 2 个人增长到 7 个人。2024 年底到 2025 年初，从 7 个增长到 20 个。2025 到 2026 年，从 20 个增长到 60 个。现在今年我们到了 90 人。今年已经加了 30 个人。就是一个雪球滚下山的节奏。

Dylan： 我们只是不断增加新的领域。我一直对什么都感兴趣，但现在我能招到真正的专家。我觉得 SemiAnalysis 最令人兴奋的是，我不知道还有哪家公司有我们这样的专业水平和集中度。我有在 ASML、Applied Materials、Lam Research 工作过的人，这些都是制造晶圆的设备公司。上游有在 Intel、TSMC、Nvidia、Microsoft、Amazon 工作过的人。还有在 OpenAI 做过模型的人，在 Tesla 做过 FSD 的人，在 Coherent 工作过的人。我们有做模型层的人，也有做数据中心的人。我公司里有人真的在哈萨克斯坦建过一座发电厂。我们就是有这种疯狂的人才密度。

Dylan： 公司一半是工程背景出身的人，另一半要么是前对冲基金的，要么就是我在 Twitter 或 Discord 上发现的超级有热情的网友。我觉得你很聪明，来给我工作吧。这真的管用。现在 SemiAnalysis 有很多业务线：数据服务、咨询、信息服务、newsletter，我们还在做各种媒体内容，马上要办一场大型会议。各种不同的业务。这段旅程太刺激了。

第三章：GTC 沙袋时刻

主持人： 说到这段旅程，Dylan，WisdomTree 和 SemiAnalysis 已经合作了好几个月了。Nvidia GTC 在三月举行，每年都办。我当时在北卡罗来纳州夏洛特看直播。大概有 55,000 人同时在看直播。

Dylan： 体育场里还有 20,000 人。体育场里有 2 万人，老兄。

主持人： 然后他直接提到了你，说你像是"沙袋"了某个数字，说他在藏拙，你的图表就直接出现在舞台大屏幕上。说实话我当时有一个时刻，看着世界上最大公司的 CEO 基本上在引用你的研究，说你批评他的一些数字。我很想听听，听起来你当时就在体育场里。

Dylan： 对，那个时刻非常超现实。SemiAnalysis 做的一件事是我们有一批工程师，我们对所有开源 AI 模型和所有硬件做开源基准测试。这是一个很棒的项目。我们这边有一批工程师，也跟业界大量合作。我们获得了价值超过 5000 万美元的硬件捐赠，来自 OpenAI、Microsoft、Amazon、Google、CoreWeave、Nebius、Crusoe、Oracle 等所有你能想到的主要云厂商。我们在这些硬件上跑基准测试。

Dylan： 我们有 8 种不同的 GPU，H100、H200、Blackwell，AMD 的各种 GPU。还有 Google 的 TPU 和 Amazon 的 Trainium。我们做的是每天在最新版本的软件上跑基准测试。为什么要每天跑？因为每天晚上可能发布新的 CUDA 版本、PyTorch 版本、驱动更新、推理引擎 vLLM 或 SGLang 版本等等。我们每天晚上在整个曲线上跑这些基准测试，测试你想要多快的 token 生成速度 versus 你想要多高的成本效率，以及最优场景。全部自动化运行。

Dylan： Jensen 最初发布 Blackwell 时声称会有 25 倍的提升。当时没人信他，对吧？这是 Jensen 嘛，他在做营销。连我们当时都觉得，好吧。我们比其他人更看好一些，我们觉得根据模拟可能是 15 到 20 倍的提升，因为我们有性能模拟器。但随着我们搭建了这个叫 Inference-X 的推理基准测试平台，我们得到了实际结果：在 DeepSeek V3 上，Blackwell 在某个点上比 Hopper 快 30 倍。

Dylan： 然后我有了这个结果就给他发了邮件。这些结果自动发布到开源 GitHub 上，这是一个开源协作项目，Nvidia 的人也参与了，他们知道。但我特别跟 Jensen 说，我给他发邮件说："嘿 Jensen，2024 年你发布 Blackwell 的时候你说 25 倍，所有人都喷你。连我都喷你。我说不可能 25 倍，最多 15 到 20 倍。很多人说不对不对不对，也就 3 倍。我们算是很看好的了。但 Jensen，我错了，你在藏拙，实际是 30 倍。"

Dylan： 他拿这个做了文章。我不知道他会拿这个做什么。我听几个客户说了，Meta 有人告诉我他们开了个会，Jensen 用这个作为证据说他不藏拙数字。他在讲下一代芯片的时候用了这个。然后这一切就发生了，我没想到会在台上发生。

Dylan： 另外在 Inference-X 项目里，我们做了一条腰带。看起来像 WWE 冠军腰带，上面写着"Inference King"。我们寄给了所有合作方，寄给了 Nvidia、AMD，还有 SG Lang、vLLM 这些帮助我们做基准测试的人，那些捐赠硬件的人。因为这是一个开源项目，我每年花几百万美元在工程师薪水上，其他人花几百万在硬件上捐赠，或者花几百万在工程师薪水上捐赠。

Dylan： 我把这条腰带寄给他们，然后这条腰带出现在他的 slide 上。他举起来展示，然后我们的图表也在上面，他在 slide 上花了五分钟讲"Dylan 说我藏拙了，但我没有"，讲我们的性能是最好的。那真是一个超现实的时刻。

主持人： 他在整场演讲中谈到我们的时间比其他任何人都长。唯一被谈到差不多时间的是 OpenClaw，那个显然正在席卷整个世界。

主持人： 这是一个令人难以置信的时刻。

第四章：AI ROI 与企业支出

Klay： Dylan，你提到了几件事。你提到开源，现在可能可以转向一些最近的进展和市场话题。一直有关于开源模型与闭源模型实际推理效率的讨论。而且直到今天还有很多投资者在质疑 AI 的投资回报率。就在最近一两周，有 Bloomberg 的经济学家讨论很多 AI 项目在一些公司可能正在失败。我知道你提到过你们公司在大量使用 AI，给员工大量 token 访问权限。你还在招人。所以我很好奇你对终端需求的看法，以及终端需求是否真的在驱动我们看到的大规模建设。这些建设充满了各种约束，至少在过去一个月里，除了最近几天的市场波动之外，一直在推高跟这些主题相关的各种股票。

Dylan： 好的，我说几点。当你看这个大的问题，关于 ROI，关于公司是否从 AI 中赚够了钱，这是否会持续，使用 AI 的人是否真的从中获得了价值，这是很多人都在问的一个大问题。

Dylan： 我看这个问题的时候，有几种方式来拆解。首先，Anthropic 已经自由现金流为正，而且在 Q2 是盈利的。即使是在 4 月，4 月的账已经结了，他们是盈利的，自由现金流为正。5 月也是自由现金流为正，盈利。6 月看起来也会一样，虽然还没完全结账，但至少三个月中有两个月是自由现金流为正且盈利的。他们的循环收入已经飙升到超过 500 亿美元 ARR。他们做得非常好。

Dylan： 这是一面。Anthropic 在印钱。当然有很多公司还没印钱，但在往那个方向走。OpenAI 的收入随着 Codex 的采用增长也开始出现拐点。这些公司都在变得更加盈利。Anthropic 的毛利率非常高，超过 70%。

Dylan： 另一面是公司在 AI 上的支出。至少在 SemiAnalysis，我们从年度循环支出来看，我喜欢叫它 ARS，Annual Recurring Spend，不是 ARR。去年 11 月、12 月，在 Claude Code 真正开始起飞之前，我们的年度循环支出不到 10 万美元。我们当时给每个员工都订阅了 ChatGPT 200 美元套餐，如果有人想要 xAI 或 Claude，我们也给。但标准就是给每个人 OpenAI 200 美元订阅。11 月就是这个状态，当时我觉得我们已经在前沿了。

Dylan： 但 Claude Code 随着 Claude Opus 4.5 和 4.6 等版本开始到了拐点。到 1 月底，我们的 ARS 达到了 400 万美元。因为大家在用 Claude Code。现在大约是 1100 万美元。最高的时候，如果我们拿一周的支出乘以 52，到了 1100 万，最高曾经到过 1400 万。它会根据大家在做什么工作而大幅波动。但目前的平均水平看起来大约是每年 100 万美元的支出，对于一家 90 人的公司来说。这太疯狂了。

Dylan： 我们在 AI 上的支出超过员工薪酬的三分之一，到年底可能会到一半，取决于 Methos 和其他模型变得越来越好。这是一个巨大的支出。问题是 ROI 是多少？我觉得 ROI 非常大，因为我们能开发产品、能卖更多、能提高每个人的效率。我看到了 ROI，但很多公司在质疑：如果我有一个年薪 30 万美元或更多的好开发者，他们在 AI 上的支出开始接近一比一了。对于好开发者来说是这样，对于非开发者来说支出范围会更低，但在 SemiAnalysis 至少，我们最大的 AI 支出者中有很多是不会写代码的人，他们就是告诉模型想要什么，然后反复迭代，直到得到想要的结果。

Dylan： 你看到每个员工的 AI 支出在飙升。很多公司现在理所应当在问：我们全年的 AI 预算在 Q1、Q2 就用完了，现在怎么办？是削减支出还是在其他地方削减？很多公司在说也许需要放缓 AI 支出。但我看到很多公司开始在其他地方削减了。他们在砍掉以前用的 SaaS 产品。他们在说"我们可以增长更快，所以就这样吧"。他们在说"在 AI 上花钱没关系，我们暂时承受这个代价。AI 会越来越便宜的"。随着采用率上升，我六个月前用 AI 做的事情，今天 AI 做起来便宜多了。当然，我今天用 AI 做的事情比六个月前广泛得多。

Dylan： 有些人甚至在不削减 AI 的情况下削减员工。有些人收紧了 AI 支出，但这些公司会在生产力提升和产品开发能力上被甩在后面。

第五章：AI 成本优化策略

Klay： 然后降低增量成本的一种方式是选择更便宜的、可能不那么智能的模型，不总是在最前沿。现在我觉得还很早，关于这些议论。但我很好奇，像你们这样的公司是否有一个节点，决定某些用例更适合用 DeepSeek V4 这种模型，而需要更多智能的工作则用更贵的模型。这是计算的一部分吗？

Dylan： 我觉得对某些人来说这绝对是计算的一部分。你需要把 AI 工作负载分成两类。第一类是 AI 被集成到一个流程中。比如客户发给我一个文档，我检查 XYZ，把文档放进模型，模型检查，完成。在这种情况下我只需要达到某个质量水平，然后就可以停止提升模型，开始通过等更新的模型、更便宜的模型或更高性价比的方案来降低成本。我们看到 AI 模型在成本上以每年约 60 倍的速度改善。你取一个质量水平，一年后它便宜 60 倍。

Dylan： 人们当时对 DeepSeek 大惊小怪，因为它比 GPT-4 便宜 600 倍。实际上那是 GPT-4 发布两年后，所以 60 倍乘以 60 倍是 360 倍，实际结果是 600 倍。所以曲线上的某个点，不管是每年便宜 60 倍还是 90 倍，大概就在这个范围。如果你有一个工作流，把 AI 集成进去，达到质量水平后就去用更便宜的。

Dylan： 第二类是 AI 助手。这里其实有一个误区。如果你在日常工作中让模型帮你做这个、帮你找那个、帮你弄清楚这个，成本优化实际上不是换更便宜的模型。成本优化往往是换最新的模型。因为最新模型，比如 Claude 4.6 Opus 可能需要 10 万个 token 来完成一个任务，可能需要几个来回的对话，10 万 token，10 分钟的时间。而 Claude 4.8 Opus 可以用四分之一的 token，25,000 个 token 完成，而且可能只需要一个来回。成本实际上更低，因为生成的 token 数量更少，你花的时间也更少。

Dylan： 所以当我看一个开发者或一个做智力工作的人，我怎么降低成本？实际上应该用更新的模型，把一个以前需要跟模型来回纠缠才能完成的任务，用越来越新的模型，现在要么一次迭代就完成，要么直接一次性搞定整个工作流。token 更少。

Dylan： 我们看到从 4.6 Opus 升级到 4.7 Opus 时，我的成本实际上先下降了一周，然后又飙升回去，因为大家用得越来越多。为什么升回去？因为大家调整到了新的工作流：我之前做的工作完成了，让我做更多。同样从 4.7 到 4.8 也是，成本先降了一周到一周半，然后又飙升，因为大家发现"哦，我现在可以做更多工作了"。

Dylan： 你必须把生产力和成本一起衡量。当它是 AI 助手时，token 效率非常重要。这就是为什么 Anthropic 一直在击败 OpenAI，因为他们的模型在 token 效率上比 OpenAI 更高。实际上 OpenAI 的模型在极端情况下，在前沿科学、前沿数学、前沿代码方面，有时能完成 Anthropic 模型做不到的任务。但他们需要 3 倍的时间和 4 倍的 token，因此成本更高，而且人和 AI 的反馈循环没那么快。

Dylan： 最终在客户感知上反而更差。因为有一种情况是你说"嘿模型做这个任务"，然后你回来看任务完成没有。另一种情况是你说"我有四个小时做这个任务"，不管是一次调用让模型工作四小时，还是四次调用来回交互。事实证明 Anthropic 在人在环的反馈循环中要快得多、好得多，因为 token 效率更高。这就是为什么我们仍然是主要用 Anthropic 的团队。有些任务大家用 OpenAI，通常是那些让它跑一夜的任务，交给 OpenAI 的 Codex。但大多数任务还是用 Claude Code。

Dylan： 这就是关于模型和 token 效率的一个有趣因素。成本有点难完全剥离出来看，有些任务你需要冻结模型质量然后等模型变便宜，有些任务你就是要最聪明的模型因为那样反而更便宜。

第六章：内存超级周期

Klay： Dylan，我想听听你对硬件方面的看法。今年早些时候 newsletter 里有一篇关于内存的文章。内存通常是一个周期性产品，可能 18 到 24 个月上行，18 到 24 个月下行。现在感觉几乎所有东西都在短缺。如果你是数据中心某个组件的供应商，感觉问题已经从"能不能拿到货"变成了"你要等多久"。因为今天的世界里你几乎拿不到任何组件。以你对硬件的经验，你觉得内存这种过去 40 年一直是商品化的产品，会怎样变化？以前就是骑上行周期，扛下行周期，循环往复。

Dylan： 好的。我不是说以后没有周期了。周期还会发生。显然我们处于一个超级周期中，上行非常疯狂，也会有下行，下行会很残酷。但从谷底到谷底，仍然有很大的增长。关于内存和其他组件，重要的是正在发生的阶段性变化。

Dylan： 历史上，上行周期终端市场可能涨 50%，对于内存这种商品市场，定价弹性较大，股票可能涨 2 到 3 倍。但现在涨的已经不是 50% 了，过去几年总支出已经翻倍，而且还会再翻倍。总支出翻倍了，当你看不同终端市场的弹性时，内存的定价已经涨了 4 倍，还会再涨 2 到 3 倍，加上产能增长。所以股票疯狂飙升然后才会回落。

Dylan： 内存真正令人兴奋的地方，不只是终端市场在暴涨，也不只是定价弹性。真正有趣的是我们在 2024 年写的一篇文章，当时 o1 出来。OpenAI 发布了 o1，这是第一个推理模型，创造了一波推理模型的繁荣，OpenAI、Anthropic、DeepSeek 等很多公司都在利用这个方向，让模型做长时程的 agent 任务。

Dylan： o1 出来的时候我们立刻注意到的是工作负载发生了巨大变化。做 chat 的时候，你发一个 prompt，可能是 50 个词也可能是 500 个词，模型给你一个回复，上下文长度可能就几千。比如 2000 的上下文长度。做推理时，每生成一个 token，你都要把所有权重读进芯片，把所有上下文读进芯片，处理一个 token，然后再迭代。上下文就是 KV cache，它创建了所有 token 之间的关系。

Dylan： 有趣的是，在权重这边，不管上下文长度是 1000 还是 100,000，你都要读所有权重。所以推理的内存强度在权重这边是一样的。但在 KV cache 这边，你读 1000 个 token 和读 100,000 个 token，内存差异巨大，虽然计算量大致相同。计算量因为 KV cache 缓存等原因可以控制，但内存成本飙升。

Dylan： 我们在 o1 的文章中，2024 年 12 月讨论了 scaling laws，预训练 scaling laws 如何让位于推理 scaling laws，o1 是一个阶梯式变化。我们谈了 KV cache 如何因推理而爆炸，因此内存将是最大的赢家。2025 年多次对内存非常看好。但真正在 2026 年 1 月我们写的那篇note，当时人们说内存已经涨了 50%，是不是到顶了？我们写的基本上是说：不不不，我觉得你们没搞懂。内存产能未来三年每年只增长 20-30%，但需求在翻倍，翻倍。

Dylan： 所以会发生什么？内存价格会持续飙升。对价格弹性不那么敏感、不那么能适应价格波动的内存用户会退出市场。智能手机、笔记本电脑，因为成本飙升太多，会退出市场，让位给 AI。价格必须不断飙升，直到达到平衡，因为产能增长不够快。

Dylan： 我们的论点是：内存短缺会持续数年，不是短期现象。过去 Q1 剩余时间和 Q2，内存确实一直在暴涨。有几天因为某些随机原因跌了 7-8%，但总体趋势一直是向右上方走。我们看未来，价格会继续涨，因为我们还没看到高端市场受影响。一些中国中低端手机厂商比如小米说出货量降了 40%，但高端市场还没受影响。明年 iPhone 价格必须涨。明年 MacBook 价格必须涨。

Dylan： 目前如果 MacBook 或 iPhone 涨 100 美元，市场不会太调整。但内存会越来越贵，直到 AI 吃饱。这意味着智能手机价格不会只涨 100 美元，得涨几百美元。到某个点会达到平衡，AI 拿到需要的内存，移动和消费硬件被挤压到足够程度。但人们仍然需要新手机和新笔记本，所以仍然会买。我们得达到一个新的平衡点，因为内存产能增长不够快。

Dylan： 当我们把视野扩展到整个生态系统，真正重要的是很多不同组件都在短缺。谁的定价有弹性，谁没有？比如 TSMC 定价没有弹性，他们是一家很靠谱的公司，对客户很公平，长期合作。他们涨价就 5-10%。内存公司是商品市场，他们让现货市场和合约市场的供需平衡来决定价格。所以你会看到这两个三个维度的定价差异。

Dylan： 有一天你会看到定价腰斩，因为内存不应该有 85% 的毛利率。虽然现在正朝那个方向走，我们还没到 85-90% 的内存毛利率，但会到的。然后某个点也会回落到 70 甚至更低。TSMC 不太有这种波动。ASML 在定价上也不太有波动，他们做设备。但供应链不同环节会根据 AI 终端需求流向他们的程度而不同地波动。每花 1 美元在 AI 上，这个产品可能只占 1 美分，那个产品可能占 5 美分。

Dylan： 所以不同的终端市场会不同程度地受益。加上市场结构的差异：是垄断还是寡头？是竞争激烈的大市场？定价是否稳定且有长期协议？还是商品市场靠供需定价？这些因素共同决定了某个终端市场，不管是内存还是现在人们谈论的 MLCC 短缺、PCB 钻头短缺、铜箔短缺，各种随机组件，你会在网上看到"这是下一个短缺"的说法。重要的是实际有多少需求流向这里。终端市场是翻倍？涨 50%？还是四倍？定价会涨多少？这些才是基础设施供应链中真正决定性的因素。

第七章：CPU 需求拐点

Klay： 如果用你刚才那个框架来看，因为每年市场都会觉醒到你说的某个新的所谓"短缺"。今年早些时候 OpenClaw 在各种网站上病毒式传播，让人们觉醒到 AI agent 的世界和所有可能性。用你刚才描述的框架，我很好奇你对 CPU 市场的看法。AI 的前三年我都没听到"CPU"这个词，今年到处都在说 CPU。

Dylan： 对对。关于 CPU，有意思的是在我们给机构客户的研究中，去年 11 月我们开始大量讨论这个。因为 OpenAI 和 Anthropic 开始跟 Amazon、Google、Microsoft 等公司签协议，买下他们舰队中所有的 CPU 来租用。从去年底到今年，CPU 需求一直在出现拐点。

Dylan： 先说原因。AI 最初在训练和推理阶段，推理主要是短上下文，主要依赖计算和网络。但随着预训练转向强化学习，随着聊天式推理变成 agentic 工作流，CPU 需求大幅增加。

Dylan： 为什么？预训练是把整个互联网数据集训练进模型。强化学习是模型生成一些合成数据或推理轨迹，然后在一个环境中验证。这个环境可能是跑代码的单元测试，可能是一个模拟网站的沙盒，可能是一个模拟工程系统或其他平台。不管是一个网站、购物网站还是编译代码，这些环境都需要大量 CPU。而以前预训练时，token 处理本身不需要太多 CPU，需要的是环境检查。

Dylan： 我生成了这些 token，现在它们在 Python 或 C 编译器里是否有效？在一个电商网站上如果我要买东西，作为 agentic 工作流，我不断测试这些事情，这需要大量 CPU。另一面是实时推理。以前做 chat，我告诉它一件事，它给我答案，完成。我可能再问几个问题，就这样。但现在 agentic 工作流里，模型在做工具调用：我去搜索这个，我去数据库查那个，我去让 Python 解释器跑一下，我写一小段代码来检查我的工作，我写代码然后编译部署。这些 agentic 流程需要越来越多的 CPU，因为它们必须与真实世界交互。

Dylan： 以前是人跟模型交互：我告诉模型什么，模型给我回复，我看一下，复制粘贴到需要的地方。现在是模型跟互联网世界交互，循环中有更多的计算、更多的 AI、更多的 CPU 在来回传递答案。所以不管是强化学习还是 agentic 工作流，都需要大量 CPU。

Dylan： 现在发生了什么？我们需要大量 CPU，但让我们用刚才的框架来评估。市场结构怎样？市场里有 Intel 和 AMD，ARM 现在也发布了 CPU，ARM 股票因此暴涨，因为他们是看起来有竞争力的新进入者。Amazon 是领导者，Microsoft 和 Google 也在发布自研 CPU。Nvidia 也在发布自己的 CPU。所以有很多竞争者，但直到两年前，所有市场份额都是 Intel 和 AMD 的。现在 Amazon 拿了不少份额，Nvidia 和 ARM 开始拿更多份额。

Dylan： 终端市场的情况是：Intel 实际上能提高价格，AMD 也能提高价格。两家都提价了，需求当然也涨了很多。Amazon 因为是做出来租的，不是做出来卖的，能从 CPU 中获取惊人的利润。他们的 Graviton CPU 租赁非常火爆，订单大幅增加。Nvidia 以前只卖跟 GPU 搭配的 CPU，现在通过 Vera 单独卖 CPU。他们给了 200 亿美元 CPU 收入的指引。对 Nvidia 来说这不算什么，就几个百分点的增长。开个玩笑。但当你看 Intel、AMD、ARM、Amazon 这些公司，谁拿到收入而不是只有销售收入，那里有很大的事情在发生。

Klay： Dylan，基于 CPU 的话题，我听到的一些讨论是，用于 agent 的 CPU 跟历史上的 CPU 在某些方面不同。核心更优化于 agentic 活动，我记得 Jensen 在 Vera CPU 附近暗示过。还有关于 GPU 与 CPU 比例的讨论，这显然突出了 CPU 的需求和方向。你能多给一些颜色吗？因为高层概念大家能理解，但有一些技术细节可能被忽略了。我不确定这是营销还是有实际意义。

Dylan： 关于 agentic 工作流，CPU 的使用方式差异很大。有些 agentic 工作流是：模型运行，然后把所有 token 发给某个 CPU 工作流，等 CPU 做完什么再发回给模型，模型继续工作。问题是：模型运行的计算是否在等待 CPU 的时候停顿了？有些情况下停了，有些没有。在停顿的情况下，运行模型的计算就在等 CPU 响应，这时 CPU 的架构需要非常不同。

Dylan： 基本概念是：我要更多核心还是更快核心？CPU 架构中有一个规律，如果你把 CPU 核心做大两倍，意味着芯片上只有一半的核心数量，每个核心的性能不会提升 2 倍，可能只提升 50%。当然工程上有很多复杂性，这个权衡没那么简单，但简化来说就是这样。

Dylan： 看 Nvidia 的 Vera CPU，不到 100 个核心，但每个核心比 AMD 的快。AMD 的旗舰 CPU 有 256 个核心。核心数量差异巨大，但 Nvidia 的核心更快，不过没有快两倍。所以人们在这个设计空间里做权衡。

Dylan： 对于那些 AI 计算必须停下来等 CPU 的工作负载，你需要的是最快的核心，即使牺牲多核性能。我不需要超级并行的工作负载，我需要的是这一个工作负载现在就完成。在这种情况下我愿意接受总核心数量少但单核性能高。这就是某些类型的 agentic 工作流。

Dylan： 其他类型的 agentic 工作流，比如我日常怎么用 Claude，或者团队怎么花每年 1100 万美元在 Claude 上。我调用 Claude，Claude 处理一堆 token，但他们不只是服务我一个人，他们把成千上万的用户 batch 在一起。如果我得到回复，现在等我去执行，不管是等我还是等某个 CPU 核心去执行，这没关系，因为计算机还在运行，只是不是为我运行，是在为其他人运行。所以如果 CPU 慢一点但我有更多核心，这是不同类型的任务。

Dylan： 还有一种区别是：是 AI 的主动使用，还是使用 AI 生成的东西然后部署？有趣的是，如果我们看全球 GitHub commits，比去年涨了好多倍。涨的幅度不是 10% 或 50%，是好几倍。这意味着大量代码被生成到世界上，人们在部署大量代码。很多代码是垃圾，但很多代码在被部署。部署后放在 CPU 上跑，是标准代码。可能是一个网页爬虫，可能是一个分析引擎，可能是一些业务流程自动化。这不一定需要超快的 CPU 核心，可以用性价比高的 CPU 核心。

Dylan： 看这个连续体：Nvidia 做了性能最高的 CPU 核心，但不一定给你最好的芯片级总性能（核心数乘以单核性能）。AMD 和 Amazon 有更多核心，几百个，但单核性能低一些。ARM 也在这一端。你在连续体中的哪个位置取决于工作负载。有些工作负载你确实想要 Vera，有些你想要 Graviton 或 AMD 的 CPU。我不会说这很简单。

Dylan： 至于你提到的另一个问题，比例。CPU 需求在上升这一点是无可争议的。我们是去年底在机构研究中第一个指出来的，今年 1 月在 newsletter 里也写了。我们发布之后，一些 CPU 股票暴涨。ARM 涨了好几倍，Intel 涨了好几倍，AMD 也涨了。但现在卖方分析师根本不懂技术，开始编东西了。他们把 CPU 与 GPU 的比例说得偏向 CPU 比 AI 计算还多了。这是错的。

Dylan： 重申一下，如果你看一个 Blackwell，满配大约每片 5 万多美元。CPU 大约 5000 美元。如果是 1:1 的比例，对于 3000 亿或 5000 亿美元的 Blackwell 销售，你只会得到 300 亿或 500 亿美元的 CPU 销售。所以另一个人们忽略的点是：是的，这个终端市场在暴涨，但大部分资金仍然流向 AI 计算和内存。这个市场以前被低估了，现在更合理了。

Dylan： 需要认识到的是，CPU 的需求不会一直增长到超过 AI 加速器。这更像是一个重新校准。2023、2024 年卖了几百万片 AI 芯片但很少 CPU。现在 CPU 需求突然拐点了，比率应该从原来的位置调整到新位置。人们在追赶模式。我需要买一堆 CPU 来追上之前买的 AI 芯片的量，加上现在正在买的。一旦追上了那些历史上买的 AI 芯片所积压的 CPU 需求，那个需求就不在了，只剩下增量。

Dylan： 如果你想象一个比例，比如 1 个 CPU 对 2 个 GPU，每个 GPU 5 万美元，每个 CPU 5000 美元。那么每花 10 万美元在 GPU 上，只花 5000 美元在 CPU 上。这对 CPU 增长来说其实不是那么好的市场动态。比以前好很多，但如果你反过来看，如果我在过去三年里有 1000 万个 GPU 没怎么配 CPU，那这 5000 美元就有巨大的追赶空间。这就是我们现在正在经历的：巨大的追赶，加上比率本身也在上移，巨大的积压在被追上。所以你看到需求疯狂，但它会平息下来，然后到达稳态。我们现在处于一个 CPU 的迷你周期中。

第八章：网络与 CPO 时间线

Klay： 非常有帮助的背景。接下来转到网络，这也是很多投资者关注的领域，特别是他们深入光学供应链和一些约束之后。我们看到一些估计说共封装光学（CPO）可能要到 2028 年左右才会大规模部署。你怎么看光学的架构演变？"能用铜就用铜，必须用光才用光"这个概念。Jensen 在 Computex 上也讲了很多。Marvell 等公司也受到很多关注。你对光学和数据中心网络架构在未来两年的演变有什么额外想法？

Dylan： 很清楚的是，随着模型变大，我们怎么跨模型运行？怎么训练模型？光学栈里有很多不同领域。电信光学，像 Sienna 这样的公司一直在暴涨。数据通信，芯片到芯片的通信，有铜的领域也有光学的领域，这些都在涨，因为网络内容的增长速度比其他任何内容的增长速度都快。网络占 AI 芯片相关支出的比例从不到 10% 上升到 10% 以上。到 CPO 时代网络占比会进一步上升到 20-30%。所以网络内容有巨大的提升。

Dylan： 但另一方面，CPO 是行业的一个巨大阶梯式变化，所有人都认识到了。不过我觉得现在人们有点过于兴奋了。目前对 CPO 有点过度乐观。我不认为它会在 2027 年到来。实际上在 2028 年末，但 2029 年才是规模上量（scale-up co-packaged optics）的真正爬坡期。有很多问题。这是一个制造问题。如果能以好的成本今天就部署，那太好了，所有人都会做。但真的很难。制造量不够，良率不够，芯片还没有真正设计到位。这是一个非常复杂、困难的东西来爬坡。

Dylan： 所以人们会尽可能久地留在铜上。这意味着 Rubin 全部用铜。Feynman 的 GPU 也仍然用铜，Feynman 是 Rubin 之后的下一代 Nvidia GPU。Rubin、Rubin Ultra、然后 Feynman。我们甚至还没到 Rubin 出货，Rubin 刚开始出货。所以离 GPU 上用 CPO 还有几代芯片。交换机上的 CPO 会比 GPU 或 AI 加速器上的来得早一些。

Dylan： 但即使没有 CPO，随着集群变大，每个 GPU 需要的光学器件或有源电缆也更多。我们看到这个巨大的动态和转变。本周一我们在 SemiAnalysis 给机构研究订阅者发了一篇 note，关于局部时间线。不是说终端市场，我们的共识是 CPO 终究会来，我们一直在推这个方向。我们的共识是铜最终会被取代。但在中期我们非常看好铜，也非常看好非 CPO 的光学器件，反而对 CPO 本身比较谨慎，因为我们看到下游芯片的一些延迟。Feynman 不会全面采用 CPO，还有其他一些情况。铜概念股如 Amphenol，他们做所有背板连接器和电缆，未来几年会比之前预期的好很多，因为我们之前以为 CPO 会更早爬坡，但现在推迟了。

Dylan： 光学是一个如果你今天闭上眼睛，5 年后睁开，会发现大很多的领域。很多已经定价进股票了，很多还没有。我觉得有一些局部错位。这就是我们做的研究，也是跟你们合作的工作之一：怎么权衡？多少是 CPO 光学，多少是非 CPO 光学，多少是传统光学收发器，多少是铜？因为铜其实还有很长的路要走。铜行业有很多创新在推回 CPO 的时间线。为什么要做 CPO？因为集成光学比电传输贵得多。除非电传输传不了那么远，需要加中继器或光学器件。有这个权衡和连续体。CPO 会来，但看起来在推迟一点。

第九章：电力与能源基础设施

Klay： Dylan，我们可能还有时间聊最后一个大话题。我们已经聊了模型、GPU、CPU、内存、网络。如果不提数据中心里的大象就太不应该了，那就是电力。你怎么把电搞来，怎么把电变成芯片需要的形式。你在 newsletter 里写过直流电 vs 交流电，还有一些元素，理论上当超大规模厂商花这么多钱建数据中心，甚至把发电厂放在现场表后端的时候。我们该怎么看电力需求和电网 vs 非电网？

Dylan： 好的。数据中心增长是巨大的。今年我们部署 20 吉瓦的数据中心。明年这个数字上升到 30 吉瓦，涨 50%。再下一年是 50 吉瓦。数据中心产能的增长是巨大的。有很多局部的错位需要处理。能源是最大的约束之一，另一个是政治方面的，第三是建设。建数据中心和拿许可和审批在政治上有点难，有人在试图阻止。但最终最大的制约因素还是能源。

Dylan： 能源可以拆成几个方面。一是发电，电子从哪里来？二是输电，怎么把电子从发电的地方传到数据中心？三是转换，因为输电的电压形态跟芯片能消费的形态不一样，芯片需要不同的形态。转换管线是什么样的？这三个方面都有非常看好的方面。

Dylan： 输电这边最难看好，因为建更多输电容量的监管和政治困难，地方电力垄断的运作方式，如果建一条电力线要分摊给所有用户而不只是个别用户。有各种输电的奇怪错位。所以建更多电网容量在输电层面比较困难。

Dylan： 但在发电和转换方面有两个有趣的事情。发电方面，显然电网上的发电在增加。还有一个向为数据中心发电的大转变。我们预测几年内，数据中心新增电力的有一半将在现场生成，不是离-site 的。表后发电（behind-the-meter）在飙升。我们在数据中心和能源模型中有表后发电的追踪器。

Dylan： 我提到过我们团队有人，她在哈萨克斯坦建过发电厂。她叫 Ellie，领导我们的能源模型。我们一直在建这个模型，覆盖整个电网，每一个发电资产、每一个输电资产、所有负载资产，以及所有表后发电工作。有趣的是我们看到表后发电的巨大繁荣。

Dylan： 在许可和监管方面有很多斗争。有人不想给空气许可，有人不允许建天然气管道到现场。Oracle 数据中心就遇到过这种情况。有很多不同方面在发生。但最终的状态是表后发电在飙升。

Dylan： 其中很多是天然气。很多是联合循环燃气轮机，来自 GE Vernova、Mitsubishi 或 Siemens。但除此之外还有很多不同类型的能源：往复式发动机、工业燃气轮机、各种柴油发动机、火车发动机。人们拿了火车发动机、船用发动机、卡车发动机，改造成数据中心的发电设备。我们看到一片创新的海洋。不是没有工业产能。美国每年能制造数百万台往复式发动机，就是烧燃料旋转的发动机。把这些从柴油改成天然气非常简单。

Dylan： 你在上面接一个电动机，反驱它，就发电了。你可以大规模这样做来发电。我们看到超过 10 吉瓦的数据中心将用这类技术建造。拿柴油卡车发动机改成天然气，在生产时就可以很简单地做到，反接电动机，放在数据中心现场，一个数据中心后面有几百台，然后你从汽车修理店雇一批人来维护。这些发动机需要保养，他们就整天跑来跑去保养这些柴油发动机。你需要一些缓冲，这样当某些发动机停机时你可以维护它们，保持最大功率运行。你还需要在中间放一些电池，因为数据中心的上下波动不会把发动机搞坏。

Dylan： 你有这整个表后发电的供应链，非常令人兴奋。大约 2 年内，太阳能加电池会比天然气更便宜。太阳能加电池的供应链有困难，取决于你要什么级别的可靠性。如果只够晚上用的电池，那更便宜。但如果你需要够三天的电池呢？因为可能下两天雨。你要几个 9 的可靠性？太阳能加电池因为中国的制造实力而越来越便宜，速度惊人。还有一些补贴。到某个时候太阳能加电池会变得很便宜。

Dylan： 然后你还有太空数据中心。不需要电池，直接放在太空，有一块太阳能板就够了。你有这整个从"把柴油发动机改成天然气发动机"到"把芯片发射到太空"的连续体。有很多钱可以赚。有很多有趣的动态事情可以做。

Dylan： 这就是为什么 SemiAnalysis 最大的数据集和研究垂直领域，你以为会是半导体，其实是数据中心和能源。我们内部叫 DEI 团队，Data Center Energy Industrial。这是一个内部的双关语。Jeremy 领导这个团队，他想出这个名字的。数据中心、能源和工业是我们最大的研究垂直领域，因为我们在追踪每一个数据中心和每一座发电厂。

Dylan： 当我们识别出一个延迟或者某个事情正在发生，或者某个季度有多少数据中心要上线，这是行业内没人能做的。这是为什么它是我们最大的垂直领域之一。所有人都感兴趣。Google 关心 Meta 能部署多少，Meta 关心 OpenAI 能部署多少，但所有这些公司也在看供应链有谁有产能。投资者也在看。

Dylan： 这是一个非常分散的市场。内存只有三家公司，很简单。加速器只有几家。半导体晶圆制造设备只有几家。但这个领域有数百家供应链公司，做各种随机小零件。有几十家公司在建数据中心。有几十家公司在做各种不同的事情，不管是作为独立发电商还是做表后发电，或者提供某种电池服务。这是一个非常复杂的供应链。但有很多活力和创新。

Dylan： 所以虽然数据中心在某种程度上会继续是一个约束，但也不会是约束，因为取决于你愿意多疯狂。就像我说的，你可以拿卡车发动机改造，雇一批机修工，这样运营一个场地。不是最好的，很多人说"这太恶心了，可靠性怎么样？""太麻烦了"。但人们在这么做，这能行。虽然很痛苦，但能行。一直到"我要把它发射到太空"。也很痛苦，很难做，但能行。所以数据中心问题有解决方案，不管你是走全脏路线还是走太空路线。而供应链其他环节不一定有。这就是这个市场如此动态的原因。你会看到人们上上下下走很多路。

第十章：转换链与结尾

Dylan： 然后另一部分，发电和输电说完了，转换方面是另一个事情。你怎么把电力从发电或输电的形态变成芯片需要的形态？这里有一整个供应链。不管是 IGBT、碳化硅、各种 MOSFET、氮化镓 MOSFET。当我们从 12 伏到 54 伏到 800 伏直流电时会发生什么？转换供应链里会发生什么？固态变压器在创新中会怎样？这些都在发生。UPS、不间断电源、电池备份和超级电容等各种平滑电力的方式，怎么把左边产生的脏的、不稳定的电力变成右边超干净的电力，同时右边芯片的用电也是波动的，你怎么匹配？这整个转换管线超级超级令人兴奋。

Dylan： 我们上周刚发了一篇关于 800 伏的博客。最近也跟机构订阅者讨论了一些延迟，Nvidia 那边把 800 伏从 Kyber 推迟了。Rubin Ultra 的 Kyber 版本不再有 800 伏了。这对供应链意味着什么？被推迟了一点。

主持人： Dylan，我要非常感谢你。这是如果你按章节来想的话，这是第一期。我们第一次请 Dylan 来上播客，但肯定不是最后一次，因为有很多很多信息，就像他直接说的，整个技术栈的每个环节都在变化。要跟上真的很累。但正如很多人所知道的。

Dylan： 我还想说一件事，这个供应链太疯狂了。很多时候我们谈论大的那些：内存、CPU、数据中心。但当你深入供应链，局部的波动很小但很多。有几个月我们在聊 PCB 钻头，就是钻 PCB 板上孔的钻头。还有 PCB 上的铜箔这种随机的东西。供应链里所有这些小东西也有这些错位。这些公司遍布全球，可能在台湾上市，可能在日本上市，可能在韩国上市，可能在世界各地。不只对投资者来说容易接触到。

Dylan： 我觉得这就是我们的合作和一起工作真正令人兴奋的地方。我们能影响正在发生的事情，能大量讨论这些供应链中断，还有我之前提出的框架和我们在试图覆盖的整个格局。期待以后更多来上节目，还有我们的其他合作。

主持人： 当然。最后我必须声明一下给合规团队：本次播客表达的观点和意见属于 WisdomTree，可能随时改变。本次播客中呈现的任何内容不旨在作为预测研究或投资税务建议。不构成买入或卖出任何证券的建议、要约或招揽。听众自行决定是否依赖这些信息。请记住，过去的表现不代表未来结果。感谢大家今天花时间与我们在一起，期待未来再回来。保重。