兩個 24 歲輟學生要顛覆 NVIDIA： AI 推理芯片，正在成為下一個萬億美元賭注

整理 & 編譯：深潮 TechFlow

嘉賓： EJ 和 Josh，Limitless Podcast 主持人

播客源： Limitless Podcast

原標題： If You Believe in AI， You Have to Bet on This

播出日期： 2026 年 7 月 7 日

要點總結

這期 Limitless Podcast 的核心論點很直接：所有人都在盯著 AI 訓練，但真正的下一個不對稱賭注是 AI 推理芯片。兩位主持人從一家叫 Etched 的創業公司切入，這家公司由兩個 24 歲的大學輟學生創立，專門做面向 Transformer 架構的 ASIC 推理芯片。他們融資超過 8 億美元，簽下超過 10 億美元的客戶合同，投資者名單裡有 Peter Thiel、Jane Street、TSMC，還有長壽狂人 Brian Johnson。

但 Etched 只是入口。節目真正討論的是整個推理賽道的結構性機會：兩年多前，推理只佔芯片需求的三分之一，訓練佔三分之二。現在這個數字已經翻轉，推理佔三分之二，訓練佔三分之一，年底可能向 80% 推理傾斜。NVIDIA 佔了大概 75% 的芯片份額，但它的 GPU 並不是為推理優化的。這就是創業公司有機會切入的地方。

Etched 的做法不是做一個更好的芯片，而是重新設計整個機架系統。他們發現 NVIDIA GPU 在推理任務上真實利用率只有 30-40%，於是把整套系統優化到 80-90% 的利用率，同時通過降低電壓把功耗砍掉 75%。代價是硬編碼：他們押注 Transformer 架構會繼續主導，如果未來模型架構變了，芯片就廢了。Josh 把這叫作存亡級賭注，EJ 則認為這個賭已經贏了五年。

節目後半段討論了公開市場怎麼參與：Cerebras 已經上市，MediaTek 今年漲了 180%，Broadcom 在給 Google 設計 TPU，OpenAI 的 Jalapeno 芯片九個月就 tape out。如果 AI agent 開始自主運行數小時甚至數天，token 消耗會呈指數級增長，而推理芯片就是那條必經之路。

精彩觀點摘要

關於推理 vs 訓練

• "所有人還在盯著訓練，覺得 NVIDIA GPU 是終極答案。但推理才是真正的利潤中心。Anthropic 據傳本季度就要因為推理的利潤率而盈利了。"
• "兩年多前，推理需求大概佔三分之一，訓練佔三分之二。現在正好反過來，推理佔三分之二，訓練佔三分之一，到今年年底，推理可能會向 80% 靠攏。NVIDIA 佔了 75% 的份額，但他們的芯片其實沒為推理優化。這說明市場沒別的東西可用。"
• "中國公司沒有 NVIDIA GPU，他們靠推理優化把模型做到美國前沿模型 90% 的水平。推理沒有護城河，NVIDIA 在推理上沒有護城河。"

關於 Etched 的技術突破

• "他們不是在做一個更好的芯片。他們在做整個機架系統，讓推理利用率從 30-40% 提升到 80-90%。你花 5 萬到 15 萬美元買一臺機器，它只用了 30-40% 的真實能力，你會很惱火。"
• "功率等於電壓的平方。他們把電壓砍了一半，意味著功耗降低 75%。你需要更少的電來達到同樣的智能輸出。"
• "他們拿比特幣礦機 ASIC 做類比。ASIC 就是針對特定數學問題的專用計算機，效率可以高出幾個量級。"

關於團隊與執行

• "他們在班加羅爾和美國兩班倒，每天 12 小時輪班，真的 24 小時運轉。他們在 TSMC 工廠裡，半夜打電話測試芯片，看晶圓亮起綠燈還是紅燈。"
• "Google 也有 TPU，Amazon 也有 Trainium，但這些人不會睡在工廠裡。Etched 的生死全押在這款芯片上，Google 的 TPU 輸了，Google 還是 Google。"

關於 Transformer 架構的賭注

• "他們把整個計算圖硬編碼到硅片裡。如果明年 Andrej Karpathy 搞出一個不是 Transformer 的新架構，Etched 的芯片就廢了。"
• "從 GPT-2 到今天，Transformer 已經統治了五年。OpenAI、Anthropic、Google、Meta 都在用。短期內看不到替代架構。"

關於 OpenAI 的 Jalapeno 芯片

• "OpenAI 和 Broadcom 一起，九個月就把 Jalapeno tape out 了。生個孩子要九個月，他們也生了個辣椒。"
• "OpenAI 的做法和 Etched 不同。他們沒有硬編碼 Transformer，但把芯片和機架系統對 GPT 做了深度優化。他們自有模型，知道用戶會發什麼 prompt，所以能優化整個推理路徑。"
• "OpenAI 之前和 Cerebras 也有交易。Cerebras 剛上市，股價跌了 35.5%，但這不是賽道問題，是定價問題。"

關於投資邏輯

• "Brian Johnson 的原話：幾年前兩個大學輟學生告訴我，他們可以通過造一個更快的 AI 芯片來加速長壽研究。這就是他們的全部論點。如果你芯片吐 token 更快，你就能更快解決科研問題。"
• "Jane Street、Peter Thiel、TSMC 自己的創投基金都投了。TSMC 投你不只是給你錢，他們是在說，我們想製造你的芯片。"
• "這是一個擺在所有人面前的不對稱賭注。大家都在看內存瓶頸、電力短缺，但忘了 AI lab 上市後利潤率的真正來源是推理。"

關於 Nvidia 和垂直整合

• "不要排除 NVIDIA。他們收購了 Groq，花了 200 億美元。Jensen 很清楚發生了什麼。大公司難掉頭，但他們在動。"
• "蘋果 M 系列芯片就是垂直整合的範本。如果你能把芯片、軟件和模型全部打通，產品線的效率會完全改變。"

什麼是推理：從 prefill 到 decode

EJ： 在 Limitless，我們一直在找 alpha，找拐角處的機會。這週末大家在放煙花，我們在讀一家叫 Etched 的公司。這家公司想永遠改變我們看待推理的方式。

先講基礎。你用 Claude 或者 ChatGPT，寫個 prompt，按回車，答案就出來了。但後端發生了什麼？你的 prompt 被髮到服務器，服務器機架上有一堆 AI 芯片，通常就是 NVIDIA 的 GPU。這個 GPU 先做一件事：讀取你的整個 prompt 並處理它。這叫 prefill。然後它從記憶裡調取整個對話上下文，包括你之前所有的 prompt 和你告訴它的信息，接著開始一個 token 一個 token 地生成回覆。這叫 decode。這就是推理的全過程。

大部分人還在盯著訓練，覺得 NVIDIA GPU 是終極答案。但我們看到一個趨勢正在冒頭：Google 在造自己的加速器，Amazon 在造自己的，Cerebras 剛上市，Groq 被 NVIDIA 收購。Etched 是這裡面最激進的一家。

Josh： 訓練和推理有一個關鍵區別。訓練是一次性事件，通常要花幾個月。當你聽說某公司在訓練新的 GPT 或 Claude 模型，說的就是訓練。推理完全是另一回事。而且有一個數字很有意思：兩年多前，推理需求大概佔三分之一，訓練佔三分之二。現在正好反過來，推理佔三分之二，訓練佔三分之一，到今年年底，推理可能會向 80% 靠攏。

這很能說明問題，因為 NVIDIA 大概佔了 75% 的芯片份額，但它們的 GPU 並不是為推理優化的。NVIDIA 的份額在上升，同時推理需求也在上升，但 NVIDIA 的芯片並不擅長這個。這隻能證明一件事：市場上沒有別的可用選項。沒有人真正搞懂了怎麼大規模造定製推理芯片。所以整個市場只能買 NVIDIA。但像 Etched 這樣的公司正在冒出來，試圖解決這個缺口。

EJ： 你甚至可以說，中國公司已經證明了這條路走得通。他們沒有 NVIDIA GPU，卻能訓練出達到美國前沿模型 90% 能力的模型。他們靠的就是在推理上極度創新。所以推理是下一個真正的戰場，而且這個戰場上 NVIDIA 沒有護城河。

Etched 的兩個 24 歲創始人

EJ： Etched 是兩個 24 歲的年輕人創立的。他們三年前開始做這件事，賭注是不做通用 GPU，而是做一個完全針對 Transformer 架構的 ASIC 芯片。現在他們拿到了超過 8 億美元融資，客戶合同超過 10 億美元。早期測試裡，他們的服務器機架在延遲、功耗和推理 workload 上都已經達到最先進的水平。

你可能會想：這是私有公司，我怎麼投？確實不能直接投。但公開市場有路徑可以蹭到這個賽道的曝光。我們後面會講。先講為什麼這家公司能在還沒正式發佈產品的情況下拿到這麼高的估值。

答案很簡單：他們不是在做一個芯片。他們是在做整個機架系統。這是他們的核心論點。他們觀察了推理的實際工作方式，看了 NVIDIA GPU 的表現，發現 GPU 在推理上真實利用率只有 30-40%。你花 5 萬到 15 萬美元買一臺機器，它只用了三成真本事。你會很惱火。於是他們不只是設計一個更好的芯片，而是設計了可以放進數據中心的整套系統，把推理利用率拉到 80-90%。

他們主要做了兩件事。第一件事，他們想辦法用更低的電壓達到同樣的智能輸出。圍繞 Transformer 架構，他們重新設計了整個芯片。功率等於電壓的平方，他們把電壓砍了一半，意味著功耗降低 75%。在數據中心層面，這意味著你可以省下幾千萬美元的電費和冷卻成本。

第二件事，因為整個系統是為推理而不是訓練設計的，他們優化了 prefill 和 decode 的全流程。NVIDIA GPU 是通用計算設備，訓練、推理、圖形渲染都能幹。Etched 只幹一件事，但幹到極致。

Josh： 這裡有一個特別狠的類比。他們直接拿比特幣挖礦 ASIC 做靈感。比特幣礦機就是針對特定數學問題設計的專用計算機，效率可以高出幾個量級。Etched 做的本質上就是這個邏輯：針對 Transformer 推理的特定數學問題，把專用芯片做到極致。

睡在 TSMC 工廠裡的團隊

EJ： 這家公司讓人印象深刻的不只是技術，還有執行方式。他們已經在和 TSMC 合作。他們說服了 TSMC 他們的技術足夠好，值得做流片。團隊一半在班加羅爾，一半在美國，兩班倒，每天各 12 小時，真的是 24 小時連軸轉。他們拿到了在 TSMC 測試芯片的機會。他們半夜打電話給工廠，看晶圓上的芯片亮起綠燈還是紅燈。這活難到讓人辭職。

這一點對比 Google 和 Amazon 很有意思。Google 有 TPU，Amazon 有 Trainium，但這些大公司不會讓員工睡在工廠裡。對他們來說，芯片項目輸了，公司還是照樣運轉。Etched 不一樣，它的生死全押在這款芯片上。所以他們招人的時候，招的是那種因為這家公司成敗全繫於芯片而興奮的人。

Josh： 這也是為什麼他們在三年內就能做到這一步。正常流程要一年半到兩年，他們愣是壓縮出來了。

投資者名單裡的人在賭什麼

EJ： 看看他們的投資人名單，你會理解這幫人在解什麼問題。Brian Johnson，就是那位沉迷長壽、每天量一百個指標的傢伙，他為什麼在 cap table 裡？Brian Johnson 自己發了一條推文："幾年前兩個大學輟學生告訴我，他們可以通過造一個更快的 AI 芯片來加速長壽研究。" 這就是他的全部邏輯。如果你的芯片能更快地吐出 token，你就能更快地解決科研問題。找藥、蛋白質摺疊、疾病機制——全都需要 AI 推理。誰更快，誰贏。

Jane Street 也在，全世界最好的量化對沖基金之一。Peter Thiel. TSMC 通過自己的創投基金也投了。TSMC 投你不只是給錢，他們還在說："我們想製造你的芯片。"這個信號非常強。

Josh： 長壽、金融、半導體制造，這些完全不相關的領域的人都往同一家公司裡放錢，說明他們看到的不是某個小機會，而是底層計算效率的提升會改變所有依賴 AI 的行業。

Transformer 架構的存亡賭注

Josh： 但這裡有一個我之前沒完全意識到的邊界條件。他們做了一個非常具體的賭注，賭在 Transformer 架構上。從 GPT-2 到今天，所有前沿模型都跑在 Transformer 上。它的核心機制就是 next token prediction，通過潛空間遞歸學習。但 Etched 的芯片是為這個架構硬編碼的。如果架構變了，比如有人搞出了比 Transformer 更好的東西，這些芯片就需要重建很大一部分技術棧。這是存亡級風險，還是一個可以接受的下注？

EJ： 你說得很對。他們把計算圖硬編碼到硅片裡了。如果明年 Andrej Karpathy 發佈一個全新架構，不是 Transformer，Etched 的芯片就廢了。但好處也很明顯：如果你賭對了，效率提升可能是 10 倍到 50 倍。從 GPT-2 到現在，Transformer 已經統治了五年。OpenAI、Anthropic、Google、Meta 都在用。短期內看不到替代架構。所以這個賭注雖然極端，但概率上不算瘋狂。

EJ： 再對比 OpenAI 自己的 Jalapeno 芯片。OpenAI 沒有硬編碼 Transformer，而是把芯片和機架系統對 GPT 做了深度優化。為什麼他們能這樣做？因為他們自有模型。他們知道用戶會發什麼 prompt，知道怎麼加載 token。他們垂直整合了芯片、模型和分發。這其實比 Etched 的純第三方路線更安全。Etched 如果要達到同樣的優化程度，要麼被某家 Frontier lab 收購，要麼只能服務多個客戶，但做不到針對單一模型極致優化。

Josh： 而且 OpenAI 和 Broadcom 一起，九個月就把 Jalapeno tape out 了。九個月，正好生個孩子。他們生了個辣椒。

EJ： OpenAI 不是第一次玩這個。他們之前和 Cerebras 也有交易。Cerebras 剛上市，股價跌了 35.5%，今年以來表現不好。但這不是賽道問題，是定價問題。市場上很多人覺得 Cerebras 被錯殺了。

推理是新護城河

EJ： 我們之所以做這期節目，是因為很多人沒意識到：推理已經成為訓練更好模型的新護城河，也成為向大量用戶發送 token 的新護城河。

大部分人還停留在"你用 LLM 就像用 Google"的階段。地球上可能不到 1% 的人真正跑過一個自主 agent 超過一個小時。但趨勢很清楚：你很快會有大量 AI 模型替你自主工作幾個小時甚至幾天。這會燒掉海量 token。你希望它們單位時間內吐出儘可能多的 token，因為你能更快得到答案，更快完成工作，更快打敗競爭對手。

要實現這一點，你需要完全不同的芯片架構。而 NVIDIA，這家所有 GPU 架構公司的老大哥，目前還沒有解決推理效率的問題。

Anthropic 據傳本季度就要因為推理的利潤率而盈利。大家都在盯著訓練成本，但 AI lab 上市後的利潤中心是推理。訓練是前置投入，推理是持續現金流。

公開市場的路徑

EJ： 你可能會說，Etched 是私有公司，我投不進去。但公開市場有路徑。Cerebras 已經上市。MediaTek 在幫設計這些專用芯片，今年漲了 180%。Broadcom 在給 Google 設計 TPU，今天漲了 10% 左右。Groq 被 NVIDIA 收購了，據說價格是 200 億美元。NVIDIA 不是沒意識到這個趨勢，他們只是在掉頭。

Josh： 如果蘋果 M 系列芯片是範本，你就知道垂直整合能把一個產品線重做一遍。現在 OpenAI 做 Jalapeno，Google 做 TPU，Amazon 做 Trainium，每個人都在做 ASIC。這個趨勢才剛剛開始。

EJ： 這是一個擺在所有人面前的不對稱賭注。大家都在看內存瓶頸，很重要。大家都在看電力短缺，也很重要。但很多人忘了，當這些 AI lab 上市時，利潤率的真正來源是推理。如果你相信 agent、相信自主工作的未來，你必須押注推理芯片。這不是可選項。