Hai sinh viên bỏ học 24 tuổi muốn lật đổ NVIDIA: Chip suy luận AI đang trở thành ván cược nghìn tỷ đô la tiếp theo
Tuyển chọn TechFlowTuyển chọn TechFlow
Hai sinh viên bỏ học 24 tuổi muốn lật đổ NVIDIA: Chip suy luận AI đang trở thành ván cược nghìn tỷ đô la tiếp theo
Nếu bạn tin vào tương lai của AI agent, bạn buộc phải đặt cược vào chip suy luận.
Chuyên sâu báo cáo Web3Biên tập & Biên dịch: TechFlow
Khách mời: EJ và Josh, người dẫn chương trình Limitless Podcast
Nguồn podcast: Limitless Podcast
Tiêu đề gốc: If You Believe in AI, You Have to Bet on This
Ngày phát sóng: 7 tháng 7 năm 2026
Tóm tắt các điểm chính
Luận điểm cốt lõi của tập Limitless Podcast này rất trực tiếp: Mọi người đều đang盯着 huấn luyện AI, nhưng ván cược bất đối xứng thực sự tiếp theo là chip suy luận AI. Hai người dẫn chương trình bắt đầu từ một công ty khởi nghiệp tên là Etched, công ty này được hai sinh viên bỏ học 24 tuổi thành lập, chuyên làm chip suy luận ASIC hướng đến kiến trúc Transformer. Họ đã gọi vốn hơn 800 triệu USD, ký các hợp đồng khách hàng trị giá hơn 1 tỷ USD, danh sách nhà đầu tư có Peter Thiel, Jane Street, TSMC, và cả người cuồng trường thọ Brian Johnson.
Nhưng Etched chỉ là lối vào. Chương trình thực sự thảo luận về cơ hội cấu trúc của toàn bộ lĩnh vực suy luận: Hơn hai năm trước, suy luận chỉ chiếm một phần ba nhu cầu chip, huấn luyện chiếm hai phần ba. Con số này giờ đã đảo ngược, suy luận chiếm hai phần ba, huấn luyện chiếm một phần ba, cuối năm nay có thể nghiêng về 80% suy luận. NVIDIA chiếm khoảng 75% thị phần chip, nhưng GPU của họ không được tối ưu hóa cho suy luận. Đây là nơi các công ty khởi nghiệp có cơ hội切入.
Cách làm của Etched không phải là tạo ra một con chip tốt hơn, mà là thiết kế lại toàn bộ hệ thống rack. Họ phát hiện ra tỷ lệ sử dụng thực tế của NVIDIA GPU trong các tác vụ suy luận chỉ là 30-40%, sau đó tối ưu hóa toàn bộ hệ thống lên tỷ lệ sử dụng 80-90%, đồng thời giảm 75% công suất tiêu thụ bằng cách hạ điện áp. Cái giá phải trả là hard-coded: Họ cược rằng kiến trúc Transformer sẽ tiếp tục thống trị, nếu kiến trúc mô hình thay đổi trong tương lai, chip sẽ trở nên vô dụng. Josh gọi đây là ván cược sống còn, EJ则认为 ván cược này đã thắng được năm năm.
Nửa sau chương trình thảo luận về cách tham gia thị trường công khai: Cerebras đã niêm yết, MediaTek năm nay tăng 180%, Broadcom đang thiết kế TPU cho Google, chip Jalapeno của OpenAI đã tape out chỉ trong chín tháng. Nếu AI agent bắt đầu chạy tự chủ trong nhiều giờ thậm chí nhiều ngày, mức tiêu thụ token sẽ tăng theo cấp số nhân, và chip suy luận chính là con đường tất yếu.
Tóm tắt các quan điểm nổi bật
Về Suy luận vs Huấn luyện
- "Mọi người vẫn đang盯着 huấn luyện, nghĩ rằng GPU NVIDIA là câu trả lời cuối cùng. Nhưng suy luận mới là trung tâm lợi nhuận thực sự. Anthropic được đồn rằng sẽ có lãi trong quý này nhờ biên lợi nhuận từ suy luận."
- "Hơn hai năm trước, nhu cầu suy luận chiếm khoảng một phần ba, huấn luyện chiếm hai phần ba. Giờ thì ngược lại, suy luận chiếm hai phần ba, huấn luyện chiếm một phần ba, đến cuối năm nay, suy luận có thể tiến gần 80%. NVIDIA chiếm 75% thị phần, nhưng chip của họ thực ra không được tối ưu cho suy luận. Điều này cho thấy thị trường không có gì khác để dùng."
- "Các công ty Trung Quốc không có GPU NVIDIA, họ dựa vào tối ưu hóa suy luận để đưa mô hình đạt 90% mức độ của các mô hình tiên phong Mỹ. Suy luận không có hào rào bảo vệ, NVIDIA không có hào rào bảo vệ trong suy luận."
Về đột phá công nghệ của Etched
- "Họ không làm một con chip tốt hơn. Họ làm toàn bộ hệ thống rack, đưa tỷ lệ sử dụng suy luận từ 30-40% lên 80-90%. Bạn bỏ 50.000 đến 150.000 USD mua một cỗ máy, nó chỉ dùng 30-40% năng lực thực, bạn sẽ rất bực."
- "Công suất bằng bình phương điện áp. Họ cắt giảm một nửa điện áp, nghĩa là giảm 75% công suất tiêu thụ. Bạn cần ít điện hơn để đạt được cùng một đầu ra thông minh."
- "Họ lấy máy đào Bitcoin ASIC làm类比. ASIC là máy tính chuyên dụng cho các vấn đề toán học cụ thể, hiệu quả có thể cao hơn vài bậc độ lớn."
Về đội ngũ và thực thi
- "Họ làm việc theo ca ở Bangalore và Mỹ, mỗi ca 12 giờ, thực sự hoạt động 24 giờ. Họ ở trong nhà máy TSMC, gọi điện nửa đêm để kiểm tra chip, xem wafer sáng đèn xanh hay đèn đỏ."
- "Google cũng có TPU, Amazon cũng có Trainium, nhưng những người này sẽ không ngủ trong nhà máy. Sống chết của Etched đều cược vào con chip này, TPU của Google thua thì Google vẫn là Google."
Về ván cược kiến trúc Transformer
- "Họ hard-coded toàn bộ đồ thị tính toán vào silicon. Nếu năm sau Andrej Karpathy tạo ra một kiến trúc mới không phải Transformer, chip của Etched sẽ hỏng."
- "Từ GPT-2 đến nay, Transformer đã thống trị năm năm. OpenAI, Anthropic, Google, Meta đều đang dùng. Không thấy kiến trúc thay thế trong ngắn hạn."
Về chip Jalapeno của OpenAI
- "OpenAI cùng với Broadcom, chỉ trong chín tháng đã tape out Jalapeno. Sinh một đứa trẻ cần chín tháng, họ cũng sinh ra một quả ớt."
- "Cách làm của OpenAI khác với Etched. Họ không hard-coded Transformer, nhưng tối ưu hóa sâu chip và hệ thống rack cho GPT. Họ sở hữu mô hình riêng, biết người dùng sẽ gửi prompt gì, nên có thể tối ưu toàn bộ đường dẫn suy luận."
- "OpenAI trước đây cũng có giao dịch với Cerebras. Cerebras vừa niêm yết, giá cổ phiếu giảm 35.5%, nhưng đây không phải vấn đề của赛道, mà là vấn đề định giá."
Về logic đầu tư
- "Lời gốc của Brian Johnson: Vài năm trước hai sinh viên bỏ học nói với tôi, họ có thể đẩy nhanh nghiên cứu trường thọ bằng cách tạo ra một con chip AI nhanh hơn. Đây là toàn bộ luận điểm của họ. Nếu chip của bạn nhả token nhanh hơn, bạn có thể giải quyết vấn đề nghiên cứu nhanh hơn."
- "Jane Street, Peter Thiel, quỹ đầu tư mạo hiểm của chính TSMC đều đã đầu tư. TSMC đầu tư vào bạn không chỉ là giving tiền, họ đang nói, chúng tôi muốn sản xuất chip của bạn."
- "Đây là một ván cược bất đối xứng bày ra trước mặt mọi người. Mọi người đang nhìn vào nút thắt bộ nhớ, thiếu hụt điện năng, nhưng quên rằng nguồn gốc thực sự của biên lợi nhuận khi các AI lab niêm yết là suy luận."
Về Nvidia và tích hợp dọc
- "Đừng loại trừ NVIDIA. Họ đã收购 Groq, chi 20 tỷ USD. Jensen hiểu rõ chuyện gì đang xảy ra. Các công ty lớn khó xoay chuyển, nhưng họ đang chuyển động."
- "Chip dòng M của Apple là hình mẫu của tích hợp dọc. Nếu bạn có thể thông suốt chip, phần mềm và mô hình, hiệu quả của dòng sản phẩm sẽ thay đổi hoàn toàn."
Suy luận là gì: Từ prefill đến decode
EJ: Tại Limitless, chúng tôi luôn tìm kiếm alpha, tìm cơ hội ở góc khuất. Cuối tuần này mọi người đang bắn pháo hoa, chúng tôi đang đọc về một công ty tên là Etched. Công ty này muốn thay đổi vĩnh viễn cách chúng ta nhìn nhận suy luận.
Trước hết hãy nói về cơ bản. Bạn dùng Claude hoặc ChatGPT, viết một prompt, nhấn enter, câu trả lời sẽ xuất hiện. Nhưng chuyện gì xảy ra ở backend? Prompt của bạn được gửi đến máy chủ, trên rack máy chủ có một堆 chip AI, thường là GPU của NVIDIA. GPU này làm một việc trước tiên: đọc toàn bộ prompt của bạn và xử lý nó.这叫 prefill. Sau đó nó truy xuất toàn bộ ngữ cảnh hội thoại từ bộ nhớ, bao gồm tất cả prompt trước đó của bạn và thông tin bạn đã告诉 nó, sau đó bắt đầu tạo phản hồi từng token một.这叫 decode. Đây là toàn bộ quá trình suy luận.
Hầu hết mọi người vẫn đang盯着 huấn luyện, nghĩ rằng GPU NVIDIA là câu trả lời cuối cùng. Nhưng chúng tôi thấy một xu hướng đang nổi lên: Google đang tạo accelerator riêng, Amazon đang tạo riêng, Cerebras vừa niêm yết, Groq bị NVIDIA收购. Etched là công ty quyết liệt nhất trong số này.
Josh: Huấn luyện và suy luận có một khác biệt then chốt. Huấn luyện là sự kiện một lần, thường mất vài tháng. Khi bạn nghe nói某 công ty đang huấn luyện mô hình GPT hoặc Claude mới, đó là nói về huấn luyện. Suy luận hoàn toàn là chuyện khác. Và có một con số rất thú vị: Hơn hai năm trước, nhu cầu suy luận chiếm khoảng một phần ba, huấn luyện chiếm hai phần ba. Giờ thì ngược lại, suy luận chiếm hai phần ba, huấn luyện chiếm một phần ba, đến cuối năm nay, suy luận có thể tiến gần 80%.
Điều này rất đáng nói, vì NVIDIA chiếm khoảng 75% thị phần chip, nhưng GPU của họ không được tối ưu cho suy luận. Thị phần của NVIDIA đang tăng, đồng thời nhu cầu suy luận cũng tăng, nhưng chip của NVIDIA không giỏi khoản này. Điều này chỉ chứng minh một chuyện: Thị trường không có lựa chọn nào khác để dùng. Không ai thực sự hiểu cách sản xuất chip suy luận tùy chỉnh ở quy mô lớn. Vì vậy toàn bộ thị trường chỉ có thể mua NVIDIA. Nhưng các công ty như Etched đang nổi lên, cố gắng giải quyết khoảng trống này.
EJ: Bạn thậm chí có thể nói, các công ty Trung Quốc đã chứng minh con đường này khả thi. Họ không có GPU NVIDIA, nhưng vẫn có thể huấn luyện các mô hình đạt 90% năng lực của các mô hình tiên phong Mỹ. Họ dựa vào đổi mới cực độ trong suy luận. Vì vậy suy luận là chiến trường thực sự tiếp theo, và trên chiến trường này NVIDIA không có hào rào bảo vệ.
Hai nhà sáng lập 24 tuổi của Etched
EJ: Etched được hai người trẻ 24 tuổi thành lập. Họ bắt đầu làm việc này ba năm trước, ván cược là không làm GPU đa năng, mà làm một chip ASIC hoàn toàn nhắm vào kiến trúc Transformer. Giờ họ đã gọi vốn hơn 800 triệu USD, hợp đồng khách hàng hơn 1 tỷ USD. Trong các thử nghiệm早期, rack máy chủ của họ đã đạt mức tiên tiến nhất về độ trễ, công suất tiêu thụ và khối lượng công việc suy luận.
Bạn có thể nghĩ: Đây là công ty tư nhân, tôi đầu tư kiểu gì? Quả thực không thể đầu tư trực tiếp. Nhưng thị trường công khai có đường đi để tiếp xúc với exposure của赛道 này. Chúng tôi sẽ nói về sau. Trước hết hãy nói tại sao công ty này có thể đạt định giá cao như vậy khi chưa chính thức phát hành sản phẩm.
Câu trả lời rất đơn giản: Họ không làm một con chip. Họ làm toàn bộ hệ thống rack. Đây là luận điểm cốt lõi của họ. Họ quan sát cách suy luận hoạt động thực tế, xem表现 của GPU NVIDIA, phát hiện GPU chỉ có tỷ lệ sử dụng thực tế 30-40% trong suy luận. Bạn bỏ 50.000 đến 150.000 USD mua một cỗ máy, nó chỉ dùng ba thành thực lực. Bạn sẽ rất bực. Vì vậy họ không chỉ thiết kế một con chip tốt hơn, mà thiết kế toàn bộ hệ thống có thể đưa vào trung tâm dữ liệu, kéo tỷ lệ sử dụng suy luận lên 80-90%.
Họ chủ yếu làm hai việc. Việc đầu tiên, họ tìm cách đạt được cùng một đầu ra thông minh với điện áp thấp hơn. Xoay quanh kiến trúc Transformer, họ thiết kế lại toàn bộ chip. Công suất bằng bình phương điện áp, họ cắt giảm một nửa điện áp, nghĩa là giảm 75% công suất tiêu thụ. Ở cấp độ trung tâm dữ liệu, điều này có nghĩa là bạn có thể tiết kiệm hàng chục triệu USD chi phí điện và làm mát.
Việc thứ hai, vì toàn bộ hệ thống được thiết kế cho suy luận chứ không phải huấn luyện, họ tối ưu hóa toàn bộ quy trình prefill và decode. GPU NVIDIA là thiết bị tính toán đa năng, huấn luyện, suy luận, render đồ họa đều làm được. Etched chỉ làm một việc, nhưng làm đến cực hạn.
Josh: Ở đây có một phép loại比特别狠. Họ trực tiếp lấy cảm hứng từ máy đào Bitcoin ASIC. Máy đào Bitcoin là máy tính chuyên dụng thiết kế cho các vấn đề toán học cụ thể, hiệu quả có thể cao hơn vài bậc độ lớn. Về bản chất Etched làm logic này:针对 các vấn đề toán học cụ thể của suy luận Transformer, đưa chip chuyên dụng đến cực hạn.
Đội ngũ ngủ trong nhà máy TSMC
EJ: Điều ấn tượng về công ty này không chỉ là công nghệ, mà còn là cách thực thi. Họ đã hợp tác với TSMC. Họ thuyết phục được TSMC rằng công nghệ của họ đủ tốt để đáng làm tape-out. Một nửa đội ngũ ở Bangalore, một nửa ở Mỹ, làm việc theo ca, mỗi ngày 12 giờ, thực sự hoạt động liên tục 24 giờ. Họ có cơ hội kiểm tra chip tại nhà máy TSMC. Họ gọi điện cho nhà máy nửa đêm, xem chip trên wafer sáng đèn xanh hay đèn đỏ. Công việc này khó đến mức khiến người ta nghỉ việc.
Điểm này so sánh với Google và Amazon rất thú vị. Google có TPU, Amazon có Trainium, nhưng các công ty lớn này sẽ không để nhân viên ngủ trong nhà máy. Đối với họ, dự án chip thua, công ty vẫn hoạt động bình thường. Etched khác, sống chết của nó đều cược vào con chip này. Vì vậy khi họ tuyển người, họ tuyển những người hào hứng vì sự thành bại của công ty đều系于 con chip này.
Josh: Đây cũng là lý do tại sao họ có thể đạt được mức này trong ba năm. Quy trình bình thường cần một năm rưỡi đến hai năm, họ nén lại được.
Những người trong danh sách nhà đầu tư đang cược vào điều gì
EJ: Nhìn vào danh sách nhà đầu tư của họ, bạn sẽ hiểu nhóm người này đang giải quyết vấn đề gì. Brian Johnson, chính là kẻ沉迷 trường thọ, mỗi ngày đo một trăm chỉ số, tại sao anh ta lại trong cap table? Brian Johnson tự đăng một tweet: "Vài năm trước hai sinh viên bỏ học nói với tôi, họ có thể đẩy nhanh nghiên cứu trường thọ bằng cách tạo ra một con chip AI nhanh hơn." Đây là toàn bộ logic của anh ta. Nếu chip của bạn có thể nhả token nhanh hơn, bạn có thể giải quyết vấn đề nghiên cứu nhanh hơn. Tìm thuốc, gập protein, cơ chế bệnh tật—tất cả đều cần suy luận AI. Ai nhanh hơn, người đó thắng.
Jane Street cũng có ở đó, một trong những quỹ phòng hộ định lượng tốt nhất thế giới. Peter Thiel. TSMC thông qua quỹ đầu tư mạo hiểm của mình cũng đã đầu tư. TSMC đầu tư vào bạn không chỉ là giving tiền, họ còn đang nói: "Chúng tôi muốn sản xuất chip của bạn." Tín hiệu này rất mạnh.
Josh: Trường thọ, tài chính, sản xuất bán dẫn, những lĩnh vực hoàn toàn không liên quan này đều bỏ tiền vào cùng một công ty, cho thấy họ không thấy một cơ hội nhỏ nào, mà là việc nâng cao hiệu quả tính toán nền tảng sẽ thay đổi tất cả các ngành phụ thuộc vào AI.
Ván cược sống còn về kiến trúc Transformer
Josh: Nhưng ở đây có một điều kiện biên mà trước đây tôi chưa hoàn toàn nhận ra. Họ đã đặt một ván cược rất cụ thể, cược vào kiến trúc Transformer. Từ GPT-2 đến nay, tất cả các mô hình tiên phong đều chạy trên Transformer. Cơ chế cốt lõi của nó là dự đoán token tiếp theo, học đệ quy không gian tiềm ẩn. Nhưng chip của Etched được hard-coded cho kiến trúc này. Nếu kiến trúc thay đổi, ví dụ ai đó tạo ra thứ tốt hơn Transformer, những chip này cần xây dựng lại một phần lớn stack công nghệ. Đây là rủi ro sống còn, hay là một ván cược có thể chấp nhận được?
EJ: Bạn nói rất đúng. Họ đã hard-coded đồ thị tính toán vào silicon. Nếu năm sau Andrej Karpathy phát hành một kiến trúc hoàn toàn mới, không phải Transformer, chip của Etched sẽ hỏng. Nhưng lợi ích cũng rất rõ ràng: Nếu bạn cược đúng, mức提升 hiệu quả có thể là 10 lần đến 50 lần. Từ GPT-2 đến nay, Transformer đã thống trị năm năm. OpenAI, Anthropic, Google, Meta đều đang dùng. Không thấy kiến trúc thay thế trong ngắn hạn. Vì vậy ván cược này tuy cực đoan, nhưng về xác suất không điên rồ.
EJ: So sánh thêm với chip Jalapeno của chính OpenAI. OpenAI không hard-coded Transformer, mà tối ưu hóa sâu chip và hệ thống rack cho GPT. Tại sao họ có thể làm vậy? Vì họ sở hữu mô hình riêng. Họ biết người dùng sẽ gửi prompt gì, biết cách加载 token. Họ đã tích hợp dọc chip, mô hình và phân phối. Thực ra điều này an toàn hơn路线 bên thứ ba thuần túy của Etched. Etched nếu muốn đạt mức tối ưu hóa tương đương, hoặc bị một Frontier lab nào đó收购, hoặc chỉ có thể phục vụ nhiều khách hàng, nhưng không thể làm tối ưu hóa cực hạn cho một mô hình duy nhất.
Josh: Và OpenAI cùng với Broadcom, chỉ trong chín tháng đã tape out Jalapeno. Chín tháng, vừa đúng sinh một đứa trẻ. Họ sinh ra một quả ớt.
EJ: OpenAI không phải lần đầu chơi trò này. Họ trước đây cũng có giao dịch với Cerebras. Cerebras vừa niêm yết, giá cổ phiếu giảm 35.5%,表现 không tốt từ đầu năm đến nay. Nhưng đây không phải vấn đề của赛道, mà là vấn đề định giá. Nhiều người trên thị trường觉得 Cerebras bị bán nhầm.
Suy luận là hào rào bảo vệ mới
EJ: Lý do chúng tôi làm tập chương trình này, là vì nhiều người không nhận ra: Suy luận đã trở thành hào rào bảo vệ mới để huấn luyện mô hình tốt hơn, cũng trở thành hào rào bảo vệ mới để gửi token đến lượng lớn người dùng.
Hầu hết mọi người vẫn dừng lại ở giai đoạn "Bạn dùng LLM giống như dùng Google". Có thể chưa đến 1% người trên Trái Đất thực sự chạy một agent tự chủ超过 một giờ. Nhưng xu hướng rất rõ: Bạn sẽ很快 có大量 mô hình AI thay bạn làm việc tự chủ trong vài giờ thậm chí vài ngày. Điều này sẽ đốt một lượng token khổng lồ. Bạn muốn chúng nhả càng nhiều token càng tốt trong một đơn vị thời gian, vì bạn có thể nhận câu trả lời nhanh hơn, hoàn thành công việc nhanh hơn, đánh bại đối thủ cạnh tranh nhanh hơn.
Để đạt được điều này, bạn cần kiến trúc chip hoàn toàn khác. Và NVIDIA, ông lớn của tất cả các công ty kiến trúc GPU, hiện tại chưa giải quyết được vấn đề hiệu quả suy luận.
Anthropic được đồn rằng sẽ có lãi trong quý này nhờ biên lợi nhuận từ suy luận. Mọi người đang盯着 chi phí huấn luyện, nhưng trung tâm lợi nhuận của AI lab sau khi niêm yết là suy luận. Huấn luyện là đầu tư trước, suy luận là dòng tiền liên tục.
Con đường trên thị trường công khai
EJ: Bạn có thể nói, Etched là công ty tư nhân, tôi không đầu tư vào được. Nhưng thị trường công khai có đường đi. Cerebras đã niêm yết. MediaTek đang giúp thiết kế các chip chuyên dụng này, năm nay tăng 180%. Broadcom đang thiết kế TPU cho Google, hôm nay tăng khoảng 10%. Groq bị NVIDIA收购, nghe nói giá là 20 tỷ USD. NVIDIA không phải không nhận ra xu hướng này, họ chỉ đang xoay chuyển.
Josh: Nếu chip dòng M của Apple là hình mẫu, bạn sẽ biết tích hợp dọc có thể làm lại một dòng sản phẩm. Giờ OpenAI làm Jalapeno, Google làm TPU, Amazon làm Trainium, mọi người đều đang làm ASIC. Xu hướng này mới chỉ bắt đầu.
EJ: Đây là một ván cược bất đối xứng bày ra trước mặt mọi người. Mọi người đang nhìn vào nút thắt bộ nhớ, rất quan trọng. Mọi người đang nhìn vào thiếu hụt điện năng, cũng rất quan trọng. Nhưng nhiều người quên rằng, khi các AI lab này niêm yết, nguồn gốc thực sự của biên lợi nhuận là suy luận. Nếu bạn tin vào agent, tin vào tương lai làm việc tự chủ, bạn phải cược vào chip suy luận. Đây không phải là lựa chọn.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
深潮TechFlow
