两个 24 岁辍学生要颠覆 NVIDIA： AI 推理芯片，正在成为下一个万亿美元赌注

整理 & 编译：深潮 TechFlow

嘉宾： EJ 和 Josh，Limitless Podcast 主持人

播客源： Limitless Podcast

原标题： If You Believe in AI， You Have to Bet on This

播出日期： 2026 年 7 月 7 日

要点总结

这期 Limitless Podcast 的核心论点很直接：所有人都在盯着 AI 训练，但真正的下一个不对称赌注是 AI 推理芯片。两位主持人从一家叫 Etched 的创业公司切入，这家公司由两个 24 岁的大学辍学生创立，专门做面向 Transformer 架构的 ASIC 推理芯片。他们融资超过 8 亿美元，签下超过 10 亿美元的客户合同，投资者名单里有 Peter Thiel、Jane Street、TSMC，还有长寿狂人 Brian Johnson。

但 Etched 只是入口。节目真正讨论的是整个推理赛道的结构性机会：两年多前，推理只占芯片需求的三分之一，训练占三分之二。现在这个数字已经翻转，推理占三分之二，训练占三分之一，年底可能向 80% 推理倾斜。NVIDIA 占了大概 75% 的芯片份额，但它的 GPU 并不是为推理优化的。这就是创业公司有机会切入的地方。

Etched 的做法不是做一个更好的芯片，而是重新设计整个机架系统。他们发现 NVIDIA GPU 在推理任务上真实利用率只有 30-40%，于是把整套系统优化到 80-90% 的利用率，同时通过降低电压把功耗砍掉 75%。代价是硬编码：他们押注 Transformer 架构会继续主导，如果未来模型架构变了，芯片就废了。Josh 把这叫作存亡级赌注，EJ 则认为这个赌已经赢了五年。

节目后半段讨论了公开市场怎么参与：Cerebras 已经上市，MediaTek 今年涨了 180%，Broadcom 在给 Google 设计 TPU，OpenAI 的 Jalapeno 芯片九个月就 tape out。如果 AI agent 开始自主运行数小时甚至数天，token 消耗会呈指数级增长，而推理芯片就是那条必经之路。

精彩观点摘要

关于推理 vs 训练

• "所有人还在盯着训练，觉得 NVIDIA GPU 是终极答案。但推理才是真正的利润中心。Anthropic 据传本季度就要因为推理的利润率而盈利了。"
• "两年多前，推理需求大概占三分之一，训练占三分之二。现在正好反过来，推理占三分之二，训练占三分之一，到今年年底，推理可能会向 80% 靠拢。NVIDIA 占了 75% 的份额，但他们的芯片其实没为推理优化。这说明市场没别的东西可用。"
• "中国公司没有 NVIDIA GPU，他们靠推理优化把模型做到美国前沿模型 90% 的水平。推理没有护城河，NVIDIA 在推理上没有护城河。"

关于 Etched 的技术突破

• "他们不是在做一个更好的芯片。他们在做整个机架系统，让推理利用率从 30-40% 提升到 80-90%。你花 5 万到 15 万美元买一台机器，它只用了 30-40% 的真实能力，你会很恼火。"
• "功率等于电压的平方。他们把电压砍了一半，意味着功耗降低 75%。你需要更少的电来达到同样的智能输出。"
• "他们拿比特币矿机 ASIC 做类比。ASIC 就是针对特定数学问题的专用计算机，效率可以高出几个量级。"

关于团队与执行

• "他们在班加罗尔和美国两班倒，每天 12 小时轮班，真的 24 小时运转。他们在 TSMC 工厂里，半夜打电话测试芯片，看晶圆亮起绿灯还是红灯。"
• "Google 也有 TPU，Amazon 也有 Trainium，但这些人不会睡在工厂里。Etched 的生死全押在这款芯片上，Google 的 TPU 输了，Google 还是 Google。"

关于 Transformer 架构的赌注

• "他们把整个计算图硬编码到硅片里。如果明年 Andrej Karpathy 搞出一个不是 Transformer 的新架构，Etched 的芯片就废了。"
• "从 GPT-2 到今天，Transformer 已经统治了五年。OpenAI、Anthropic、Google、Meta 都在用。短期内看不到替代架构。"

关于 OpenAI 的 Jalapeno 芯片

• "OpenAI 和 Broadcom 一起，九个月就把 Jalapeno tape out 了。生个孩子要九个月，他们也生了个辣椒。"
• "OpenAI 的做法和 Etched 不同。他们没有硬编码 Transformer，但把芯片和机架系统对 GPT 做了深度优化。他们自有模型，知道用户会发什么 prompt，所以能优化整个推理路径。"
• "OpenAI 之前和 Cerebras 也有交易。Cerebras 刚上市，股价跌了 35.5%，但这不是赛道问题，是定价问题。"

关于投资逻辑

• "Brian Johnson 的原话：几年前两个大学辍学生告诉我，他们可以通过造一个更快的 AI 芯片来加速长寿研究。这就是他们的全部论点。如果你芯片吐 token 更快，你就能更快解决科研问题。"
• "Jane Street、Peter Thiel、TSMC 自己的创投基金都投了。TSMC 投你不只是给你钱，他们是在说，我们想制造你的芯片。"
• "这是一个摆在所有人面前的不对称赌注。大家都在看内存瓶颈、电力短缺，但忘了 AI lab 上市后利润率的真正来源是推理。"

关于 Nvidia 和垂直整合

• "不要排除 NVIDIA。他们收购了 Groq，花了 200 亿美元。Jensen 很清楚发生了什么。大公司难掉头，但他们在动。"
• "苹果 M 系列芯片就是垂直整合的范本。如果你能把芯片、软件和模型全部打通，产品线的效率会完全改变。"

什么是推理：从 prefill 到 decode

EJ： 在 Limitless，我们一直在找 alpha，找拐角处的机会。这周末大家在放烟花，我们在读一家叫 Etched 的公司。这家公司想永远改变我们看待推理的方式。

先讲基础。你用 Claude 或者 ChatGPT，写个 prompt，按回车，答案就出来了。但后端发生了什么？你的 prompt 被发到服务器，服务器机架上有一堆 AI 芯片，通常就是 NVIDIA 的 GPU。这个 GPU 先做一件事：读取你的整个 prompt 并处理它。这叫 prefill。然后它从记忆里调取整个对话上下文，包括你之前所有的 prompt 和你告诉它的信息，接着开始一个 token 一个 token 地生成回复。这叫 decode。这就是推理的全过程。

大部分人还在盯着训练，觉得 NVIDIA GPU 是终极答案。但我们看到一个趋势正在冒头：Google 在造自己的加速器，Amazon 在造自己的，Cerebras 刚上市，Groq 被 NVIDIA 收购。Etched 是这里面最激进的一家。

Josh： 训练和推理有一个关键区别。训练是一次性事件，通常要花几个月。当你听说某公司在训练新的 GPT 或 Claude 模型，说的就是训练。推理完全是另一回事。而且有一个数字很有意思：两年多前，推理需求大概占三分之一，训练占三分之二。现在正好反过来，推理占三分之二，训练占三分之一，到今年年底，推理可能会向 80% 靠拢。

这很能说明问题，因为 NVIDIA 大概占了 75% 的芯片份额，但它们的 GPU 并不是为推理优化的。NVIDIA 的份额在上升，同时推理需求也在上升，但 NVIDIA 的芯片并不擅长这个。这只能证明一件事：市场上没有别的可用选项。没有人真正搞懂了怎么大规模造定制推理芯片。所以整个市场只能买 NVIDIA。但像 Etched 这样的公司正在冒出来，试图解决这个缺口。

EJ： 你甚至可以说，中国公司已经证明了这条路走得通。他们没有 NVIDIA GPU，却能训练出达到美国前沿模型 90% 能力的模型。他们靠的就是在推理上极度创新。所以推理是下一个真正的战场，而且这个战场上 NVIDIA 没有护城河。

Etched 的两个 24 岁创始人

EJ： Etched 是两个 24 岁的年轻人创立的。他们三年前开始做这件事，赌注是不做通用 GPU，而是做一个完全针对 Transformer 架构的 ASIC 芯片。现在他们拿到了超过 8 亿美元融资，客户合同超过 10 亿美元。早期测试里，他们的服务器机架在延迟、功耗和推理 workload 上都已经达到最先进的水平。

你可能会想：这是私有公司，我怎么投？确实不能直接投。但公开市场有路径可以蹭到这个赛道的曝光。我们后面会讲。先讲为什么这家公司能在还没正式发布产品的情况下拿到这么高的估值。

答案很简单：他们不是在做一个芯片。他们是在做整个机架系统。这是他们的核心论点。他们观察了推理的实际工作方式，看了 NVIDIA GPU 的表现，发现 GPU 在推理上真实利用率只有 30-40%。你花 5 万到 15 万美元买一台机器，它只用了三成真本事。你会很恼火。于是他们不只是设计一个更好的芯片，而是设计了可以放进数据中心的整套系统，把推理利用率拉到 80-90%。

他们主要做了两件事。第一件事，他们想办法用更低的电压达到同样的智能输出。围绕 Transformer 架构，他们重新设计了整个芯片。功率等于电压的平方，他们把电压砍了一半，意味着功耗降低 75%。在数据中心层面，这意味着你可以省下几千万美元的电费和冷却成本。

第二件事，因为整个系统是为推理而不是训练设计的，他们优化了 prefill 和 decode 的全流程。NVIDIA GPU 是通用计算设备，训练、推理、图形渲染都能干。Etched 只干一件事，但干到极致。

Josh： 这里有一个特别狠的类比。他们直接拿比特币挖矿 ASIC 做灵感。比特币矿机就是针对特定数学问题设计的专用计算机，效率可以高出几个量级。Etched 做的本质上就是这个逻辑：针对 Transformer 推理的特定数学问题，把专用芯片做到极致。

睡在 TSMC 工厂里的团队

EJ： 这家公司让人印象深刻的不只是技术，还有执行方式。他们已经在和 TSMC 合作。他们说服了 TSMC 他们的技术足够好，值得做流片。团队一半在班加罗尔，一半在美国，两班倒，每天各 12 小时，真的是 24 小时连轴转。他们拿到了在 TSMC 测试芯片的机会。他们半夜打电话给工厂，看晶圆上的芯片亮起绿灯还是红灯。这活难到让人辞职。

这一点对比 Google 和 Amazon 很有意思。Google 有 TPU，Amazon 有 Trainium，但这些大公司不会让员工睡在工厂里。对他们来说，芯片项目输了，公司还是照样运转。Etched 不一样，它的生死全押在这款芯片上。所以他们招人的时候，招的是那种因为这家公司成败全系于芯片而兴奋的人。

Josh： 这也是为什么他们在三年内就能做到这一步。正常流程要一年半到两年，他们愣是压缩出来了。

投资者名单里的人在赌什么

EJ： 看看他们的投资人名单，你会理解这帮人在解什么问题。Brian Johnson，就是那位沉迷长寿、每天量一百个指标的家伙，他为什么在 cap table 里？Brian Johnson 自己发了一条推文："几年前两个大学辍学生告诉我，他们可以通过造一个更快的 AI 芯片来加速长寿研究。" 这就是他的全部逻辑。如果你的芯片能更快地吐出 token，你就能更快地解决科研问题。找药、蛋白质折叠、疾病机制——全都需要 AI 推理。谁更快，谁赢。

Jane Street 也在，全世界最好的量化对冲基金之一。Peter Thiel. TSMC 通过自己的创投基金也投了。TSMC 投你不只是给钱，他们还在说："我们想制造你的芯片。"这个信号非常强。

Josh： 长寿、金融、半导体制造，这些完全不相关的领域的人都往同一家公司里放钱，说明他们看到的不是某个小机会，而是底层计算效率的提升会改变所有依赖 AI 的行业。

Transformer 架构的存亡赌注

Josh： 但这里有一个我之前没完全意识到的边界条件。他们做了一个非常具体的赌注，赌在 Transformer 架构上。从 GPT-2 到今天，所有前沿模型都跑在 Transformer 上。它的核心机制就是 next token prediction，通过潜空间递归学习。但 Etched 的芯片是为这个架构硬编码的。如果架构变了，比如有人搞出了比 Transformer 更好的东西，这些芯片就需要重建很大一部分技术栈。这是存亡级风险，还是一个可以接受的下注？

EJ： 你说得很对。他们把计算图硬编码到硅片里了。如果明年 Andrej Karpathy 发布一个全新架构，不是 Transformer，Etched 的芯片就废了。但好处也很明显：如果你赌对了，效率提升可能是 10 倍到 50 倍。从 GPT-2 到现在，Transformer 已经统治了五年。OpenAI、Anthropic、Google、Meta 都在用。短期内看不到替代架构。所以这个赌注虽然极端，但概率上不算疯狂。

EJ： 再对比 OpenAI 自己的 Jalapeno 芯片。OpenAI 没有硬编码 Transformer，而是把芯片和机架系统对 GPT 做了深度优化。为什么他们能这样做？因为他们自有模型。他们知道用户会发什么 prompt，知道怎么加载 token。他们垂直整合了芯片、模型和分发。这其实比 Etched 的纯第三方路线更安全。Etched 如果要达到同样的优化程度，要么被某家 Frontier lab 收购，要么只能服务多个客户，但做不到针对单一模型极致优化。

Josh： 而且 OpenAI 和 Broadcom 一起，九个月就把 Jalapeno tape out 了。九个月，正好生个孩子。他们生了个辣椒。

EJ： OpenAI 不是第一次玩这个。他们之前和 Cerebras 也有交易。Cerebras 刚上市，股价跌了 35.5%，今年以来表现不好。但这不是赛道问题，是定价问题。市场上很多人觉得 Cerebras 被错杀了。

推理是新护城河

EJ： 我们之所以做这期节目，是因为很多人没意识到：推理已经成为训练更好模型的新护城河，也成为向大量用户发送 token 的新护城河。

大部分人还停留在"你用 LLM 就像用 Google"的阶段。地球上可能不到 1% 的人真正跑过一个自主 agent 超过一个小时。但趋势很清楚：你很快会有大量 AI 模型替你自主工作几个小时甚至几天。这会烧掉海量 token。你希望它们单位时间内吐出尽可能多的 token，因为你能更快得到答案，更快完成工作，更快打败竞争对手。

要实现这一点，你需要完全不同的芯片架构。而 NVIDIA，这家所有 GPU 架构公司的老大哥，目前还没有解决推理效率的问题。

Anthropic 据传本季度就要因为推理的利润率而盈利。大家都在盯着训练成本，但 AI lab 上市后的利润中心是推理。训练是前置投入，推理是持续现金流。

公开市场的路径

EJ： 你可能会说，Etched 是私有公司，我投不进去。但公开市场有路径。Cerebras 已经上市。MediaTek 在帮设计这些专用芯片，今年涨了 180%。Broadcom 在给 Google 设计 TPU，今天涨了 10% 左右。Groq 被 NVIDIA 收购了，据说价格是 200 亿美元。NVIDIA 不是没意识到这个趋势，他们只是在掉头。

Josh： 如果苹果 M 系列芯片是范本，你就知道垂直整合能把一个产品线重做一遍。现在 OpenAI 做 Jalapeno，Google 做 TPU，Amazon 做 Trainium，每个人都在做 ASIC。这个趋势才刚刚开始。

EJ： 这是一个摆在所有人面前的不对称赌注。大家都在看内存瓶颈，很重要。大家都在看电力短缺，也很重要。但很多人忘了，当这些 AI lab 上市时，利润率的真正来源是推理。如果你相信 agent、相信自主工作的未来，你必须押注推理芯片。这不是可选项。