IOSG Research | Khủng hoảng cung ứng GPU: Lối đi cho các startup AI
Tuyển chọn TechFlowTuyển chọn TechFlow
IOSG Research | Khủng hoảng cung ứng GPU: Lối đi cho các startup AI
Mô hình DePIN có tiềm năng giải quyết vấn đề khả năng sử dụng GPU, nhưng mô hình phân mảnh sẽ không cải thiện tình hình.
Chuyên sâu báo cáo Web3Tác giả: Mohit Pandit, IOSG Ventures
Tóm tắt
-
Tình trạng thiếu hụt GPU là có thật, cung cầu căng thẳng, nhưng lượng GPU chưa được sử dụng tối ưu hoàn toàn có thể đáp ứng nhu cầu khan hiếm hiện tại.
-
Cần một lớp khuyến khích để thúc đẩy sự tham gia vào điện toán đám mây, từ đó phối hợp các tác vụ tính toán cho suy luận hoặc huấn luyện. Mô hình DePIN phù hợp lý tưởng cho mục đích này.
-
Do động lực từ phía cung và chi phí tính toán thấp hơn, phía cầu thấy mô hình này rất hấp dẫn.
-
Không phải tất cả đều hoàn hảo; khi chọn đám mây Web3 cần chấp nhận một số đánh đổi như độ trễ (latency). So với các nền tảng GPU truyền thống, những đánh đổi còn bao gồm bảo hiểm, thỏa thuận mức dịch vụ (Service Level Agreements) v.v.
-
Mô hình DePIN có tiềm năng giải quyết vấn đề khả dụng GPU, nhưng mô hình phân mảnh sẽ không cải thiện tình hình. Trong trường hợp nhu cầu tăng theo cấp số nhân, nguồn cung phân mảnh cũng giống như không có nguồn cung.
-
Xét về số lượng người tham gia thị trường mới, sự tập trung hóa thị trường là điều tất yếu.
Mở đầu
Chúng ta đang ở ngưỡng cửa của một kỷ nguyên mới trong học máy và trí tuệ nhân tạo. Mặc dù AI đã tồn tại dưới nhiều hình thức từ lâu (AI là thiết bị máy tính được lập trình để thực hiện những việc con người làm, ví dụ như máy giặt), giờ đây chúng ta đang chứng kiến sự xuất hiện của các mô hình nhận thức phức tạp có khả năng thực hiện những nhiệm vụ đòi hỏi hành vi thông minh như con người. Những ví dụ nổi bật bao gồm GPT-4 và DALL-E 2 của OpenAI, cũng như Gemini của Google.
Trong lĩnh vực AI đang phát triển nhanh chóng, chúng ta cần nhận thức rõ hai khía cạnh then chốt: huấn luyện mô hình và suy luận. Suy luận liên quan đến chức năng và đầu ra của mô hình AI, trong khi huấn luyện bao gồm quá trình phức tạp xây dựng mô hình thông minh (gồm thuật toán học máy, tập dữ liệu và năng lực tính toán).
Lấy GPT-4 làm ví dụ, người dùng cuối chỉ quan tâm đến suy luận: nhận kết quả đầu ra từ mô hình dựa trên đầu vào văn bản. Tuy nhiên, chất lượng suy luận này lại phụ thuộc vào quá trình huấn luyện mô hình. Để huấn luyện các mô hình AI hiệu quả, các nhà phát triển cần tiếp cận được các tập dữ liệu nền tảng toàn diện và năng lực tính toán khổng lồ. Những tài nguyên này chủ yếu nằm trong tay các gã khổng lồ ngành công nghiệp như OpenAI, Google, Microsoft và AWS.
Công thức rất đơn giản: huấn luyện mô hình tốt hơn >> dẫn đến khả năng suy luận AI mạnh hơn >> thu hút thêm người dùng >> tạo ra doanh thu cao hơn, từ đó tái đầu tư nhiều hơn cho việc huấn luyện.
Những đối thủ hàng đầu này có quyền truy cập vào các tập dữ liệu lớn, quan trọng hơn cả là kiểm soát khối lượng lớn năng lực tính toán, tạo ra rào cản gia nhập cho các nhà phát triển mới. Do đó, những người mới thường gặp khó khăn trong việc tiếp cận đủ dữ liệu hay tận dụng năng lực tính toán cần thiết với quy mô và chi phí khả thi. Trước bối cảnh đó, chúng ta thấy mạng lưới có giá trị lớn trong việc dân chủ hóa việc tiếp cận tài nguyên, đặc biệt liên quan đến việc mở rộng quy mô tiếp cận năng lực tính toán và giảm chi phí.
Vấn đề cung ứng GPU
CEO của NVIDIA, Jensen Huang từng nói tại CES 2019 rằng “Định luật Moore đã kết thúc”. Ngày nay, GPU bị sử dụng chưa tối ưu nghiêm trọng. Ngay cả trong chu kỳ học sâu/huấn luyện, GPU cũng không được khai thác triệt để.
Dưới đây là các mức độ sử dụng GPU điển hình theo loại tải công việc khác nhau:
-
Rỗi (vừa khởi động vào hệ điều hành Windows): 0-2%
-
Nhiệm vụ sản xuất thông thường (viết lách, duyệt web đơn giản): 0-15%
-
Phát video: 15 - 35%
-
Chơi game PC: 25 - 95%
-
Tải công việc tích cực thiết kế đồ họa/chỉnh sửa ảnh (Photoshop, Illustrator): 15 - 55%
-
Chỉnh sửa video (tích cực): 15 - 55%
-
Chỉnh sửa video (render): 33 - 100%
-
Render 3D (CUDA / OptiX): 33 - 100% (thường bị Task Manager của Windows báo sai - nên dùng GPU-Z)
Hầu hết các thiết bị tiêu dùng có GPU thuộc ba nhóm đầu tiên.
Tỷ lệ sử dụng GPU theo thời gian chạy %. Nguồn: Weights and Biases
Tình trạng trên chỉ ra một vấn đề: tài nguyên xử lý được sử dụng kém hiệu quả.
Cần tận dụng tốt hơn dung lượng GPU tiêu dùng, ngay cả khi đạt đỉnh điểm sử dụng, vẫn là chưa tối ưu. Điều này xác định rõ hai việc cần làm trong tương lai:
-
Tập trung tài nguyên (GPU)
-
Song song hóa các nhiệm vụ huấn luyện
Về loại phần cứng có thể sử dụng, hiện nay có 4 loại phục vụ cho cung ứng:
· GPU trung tâm dữ liệu (ví dụ: Nvidia A100s)
· GPU tiêu dùng (ví dụ: Nvidia RTX3060)
· ASIC tùy chỉnh (ví dụ: Coreweave IPU)
· SoC tiêu dùng (ví dụ: Apple M2)
Ngoại trừ ASIC (do chúng được xây dựng cho mục đích cụ thể), các phần cứng khác có thể được tập hợp để tận dụng hiệu quả nhất. Với lượng lớn chip như vậy nằm trong tay người tiêu dùng và trung tâm dữ liệu, mô hình DePIN tập hợp bên cung có thể là con đường khả thi.
Sản xuất GPU là một kim tự tháp về khối lượng; GPU tiêu dùng được sản xuất nhiều nhất, trong khi các GPU cao cấp như NVIDIA A100s và H100s có sản lượng thấp nhất (nhưng hiệu suất cao hơn). Chi phí sản xuất các chip cao cấp này gấp 15 lần so với GPU tiêu dùng, nhưng đôi khi không mang lại hiệu suất gấp 15 lần.
Toàn bộ thị trường điện toán đám mây hiện nay trị giá khoảng 483 tỷ USD, dự kiến sẽ tăng trưởng khoảng 27% mỗi năm trong những năm tới. Đến năm 2023, sẽ có khoảng 13 tỷ giờ nhu cầu tính toán ML, tương đương chi tiêu khoảng 56 tỷ USD cho tính toán ML năm 2023 theo mức giá chuẩn hiện tại. Toàn bộ thị trường này cũng đang tăng trưởng nhanh chóng, cứ mỗi 3 tháng lại tăng gấp đôi.
Nhu cầu GPU
Nhu cầu tính toán chủ yếu đến từ các nhà phát triển AI (nhà nghiên cứu và kỹ sư). Nhu cầu chính của họ là: giá cả (tính toán chi phí thấp), quy mô (khối lượng lớn GPU tính toán) và trải nghiệm người dùng (dễ dàng truy cập và sử dụng). Trong hai năm qua, do nhu cầu gia tăng đối với các ứng dụng dựa trên AI và sự phát triển của các mô hình ML, nhu cầu GPU rất lớn. Việc phát triển và vận hành các mô hình ML cần:
-
Khối lượng tính toán lớn (từ việc truy cập nhiều GPU hoặc trung tâm dữ liệu)
-
Khả năng thực hiện huấn luyện mô hình, tinh chỉnh (fine tuning) và suy luận, mỗi nhiệm vụ được triển khai song song trên số lượng lớn GPU
Chi tiêu cho phần cứng liên quan đến tính toán dự kiến sẽ tăng từ 17 tỷ USD năm 2021 lên 285 tỷ USD vào năm 2025 (tăng trưởng kép hàng năm khoảng 102%), ARK dự đoán đến năm 2030 chi tiêu cho phần cứng liên quan đến tính toán sẽ đạt 1,7 nghìn tỷ USD (tăng trưởng kép hàng năm 43%).
ARK Research
Với lượng lớn LLM đang trong giai đoạn đổi mới, cạnh tranh thúc đẩy nhu cầu tính toán cho nhiều tham số hơn và việc huấn luyện lại, chúng ta có thể kỳ vọng nhu cầu liên tục về tính toán chất lượng cao trong những năm tới.
Blockchain đóng vai trò gì khi nguồn cung GPU ngày càng khan hiếm?
Khi tài nguyên bị sử dụng chưa hiệu quả, mô hình DePIN có thể phát huy tác dụng:
-
Kích hoạt bên cung, tạo ra lượng cung lớn
-
Phối hợp và hoàn thành nhiệm vụ
-
Đảm bảo nhiệm vụ được hoàn thành đúng cách
-
Thưởng đúng cho những người cung cấp đã hoàn thành công việc
Việc tập hợp mọi loại GPU (tiêu dùng, doanh nghiệp, hiệu suất cao...) có thể gặp vấn đề về hiệu quả sử dụng. Khi nhiệm vụ tính toán bị phân chia, chip A100 không nên thực hiện các phép tính đơn giản. Mạng GPU cần quyết định loại GPU nào nên đưa vào mạng dựa trên chiến lược thâm nhập thị trường của họ.
Khi tài nguyên tính toán phân tán (đôi khi là toàn cầu), cần có lựa chọn từ người dùng hoặc giao thức để quyết định loại khung tính toán nào sẽ được sử dụng. Các nhà cung cấp như io.net cho phép người dùng chọn từ 3 khung tính toán: Ray, Mega-Ray hoặc triển khai cụm Kubernetes để thực hiện nhiệm vụ tính toán trong container. Còn có nhiều khung tính toán phân tán khác như Apache Spark, nhưng Ray là phổ biến nhất. Sau khi GPU đã chọn hoàn thành nhiệm vụ tính toán, đầu ra sẽ được tái cấu trúc để tạo ra mô hình đã được huấn luyện.
Một mô hình token được thiết kế tốt sẽ trợ giá chi phí tính toán cho người cung cấp GPU, và nhiều nhà phát triển (bên cầu) sẽ thấy phương án này hấp dẫn hơn. Hệ thống tính toán phân tán vốn dĩ có độ trễ. Có sự phân mảnh tính toán và tái cấu trúc đầu ra. Vì vậy, các nhà phát triển cần cân nhắc giữa hiệu quả chi phí và thời gian cần thiết để huấn luyện mô hình.
Hệ thống tính toán phân tán có cần chuỗi riêng không?
Mạng có thể hoạt động theo hai cách:
-
Tính phí theo nhiệm vụ (hoặc chu kỳ tính toán) hoặc theo thời gian
-
Tính phí theo đơn vị thời gian
Phương pháp thứ nhất, có thể xây dựng một chuỗi bằng chứng công việc (proof-of-work) giống như Gensyn đang thử nghiệm, nơi các GPU khác nhau chia sẻ "công việc" và nhận thưởng tương ứng. Để có mô hình phi tin cậy hơn, họ có khái niệm về người xác minh và người tố giác, những người được thưởng vì duy trì tính toàn vẹn của hệ thống, dựa trên các bằng chứng do người giải tạo ra.
Một hệ thống bằng chứng công việc khác là Exabits, không chia nhỏ nhiệm vụ mà coi toàn bộ mạng GPU của họ như một siêu máy tính đơn lẻ. Mô hình này dường như phù hợp hơn với các LLM lớn.
Akash Network đã bổ sung hỗ trợ GPU và bắt đầu tập hợp GPU vào lĩnh vực này. Họ có một lớp L1 nền tảng để đạt đồng thuận về trạng thái (hiển thị công việc mà người cung cấp GPU đã hoàn thành), một tầng thị trường, và các hệ thống biên dịch container như Kubernetes hoặc Docker Swarm để quản lý việc triển khai và mở rộng ứng dụng của người dùng.
Một hệ thống nếu muốn phi tin cậy thì mô hình chuỗi bằng chứng công việc sẽ hiệu quả nhất. Điều này đảm bảo sự phối hợp và tính toàn vẹn của giao thức.
Ngược lại, các hệ thống như io.net không tự xây dựng thành một chuỗi. Họ chọn giải quyết vấn đề cốt lõi về khả dụng GPU và tính phí khách hàng theo đơn vị thời gian (mỗi giờ). Họ không cần một lớp có thể kiểm chứng, bởi vì về bản chất họ đang "thuê" GPU và sử dụng tùy ý trong suốt thời gian thuê. Giao thức không chia nhỏ nhiệm vụ, mà việc đó do các nhà phát triển thực hiện bằng các khung mã nguồn mở như Ray, Mega-Ray hoặc Kubernetes.
GPU Cloud Web2 và Web3
Web2 có rất nhiều người tham gia trong lĩnh vực GPU cloud hoặc GPU như một dịch vụ. Các đối thủ chính trong lĩnh vực này bao gồm AWS, CoreWeave, PaperSpace, Jarvis Labs, Lambda Labs, Google Cloud, Microsoft Azure và OVH Cloud.
Đây là mô hình kinh doanh đám mây truyền thống, khách hàng có thể thuê GPU (hoặc nhiều GPU) theo đơn vị thời gian (thường là một giờ) khi cần tính toán. Có nhiều giải pháp khác nhau phù hợp với các trường hợp sử dụng khác nhau.
Sự khác biệt chính giữa GPU cloud Web2 và Web3 nằm ở các thông số sau:
1. Chi phí thiết lập đám mây
Do động lực từ token, chi phí thiết lập GPU cloud giảm đáng kể. OpenAI đang gây quỹ 1 nghìn tỷ USD để sản xuất chip tính toán. Có vẻ như để đánh bại các nhà lãnh đạo thị trường mà không có động lực token sẽ cần ít nhất 1 nghìn tỷ USD.
2. Thời gian tính toán
Các đám mây GPU không phải Web3 sẽ nhanh hơn vì các cụm GPU đã thuê nằm gần nhau về mặt địa lý, trong khi mô hình Web3 có thể có hệ thống phân bố rộng hơn, độ trễ có thể đến từ việc phân chia nhiệm vụ kém hiệu quả, cân bằng tải và quan trọng nhất là băng thông.
3. Chi phí tính toán
Do động lực token, chi phí tính toán Web3 sẽ thấp đáng kể so với các mô hình Web2 hiện tại.
So sánh chi phí tính toán:
Những con số này có thể thay đổi khi có thêm nguồn cung và các cụm được tận dụng tốt hơn để cung cấp GPU. Gensyn tuyên bố cung cấp A100 (và tương đương) với giá thấp tới 0,55 USD/giờ, Exabits hứa hẹn cấu trúc tiết kiệm chi phí tương tự.
4. Tuân thủ
Trong hệ thống không cần cấp phép, việc tuân thủ không dễ dàng. Tuy nhiên, các hệ thống Web3 như io.net, Gensyn không tự định vị là hệ thống không cần cấp phép. Họ xử lý các vấn đề tuân thủ như GDPR và HIPAA trong các giai đoạn kích hoạt GPU, tải dữ liệu, chia sẻ dữ liệu và chia sẻ kết quả.
Hệ sinh thái
Gensyn, io.net, Exabits, Akash
Rủi ro
1. Rủi ro về nhu cầu
Tôi cho rằng các đối thủ hàng đầu LLM sẽ tiếp tục tích lũy GPU hoặc sử dụng các cụm GPU như siêu máy tính Selene của NVIDIA, có hiệu suất đỉnh điểm 2,8 exaFLOP/s. Họ sẽ không phụ thuộc vào người tiêu dùng hoặc các nhà cung cấp đám mây nhỏ lẻ tập hợp GPU. Hiện tại, các tổ chức AI hàng đầu đang cạnh tranh về chất lượng hơn là chi phí.
Đối với các mô hình ML không nặng, họ sẽ tìm kiếm các tài nguyên tính toán rẻ hơn, nơi các cụm GPU dựa trên blockchain có thể phục vụ trong khi tối ưu hóa GPU hiện có (giả định trên: các tổ chức này thích tự huấn luyện mô hình hơn là dùng LLM).
2. Rủi ro về nguồn cung
Khi có lượng lớn vốn đổ vào nghiên cứu ASIC, cùng với các phát minh như Đơn vị xử lý tensor (TPU), vấn đề thiếu hụt GPU có thể tự biến mất. Nếu các ASIC này có thể cung cấp tỷ lệ hiệu suất:chi phí tốt, thì các GPU hiện có do các tổ chức AI lớn tích trữ có thể quay trở lại thị trường.
Liệu các cụm GPU dựa trên blockchain có giải quyết được một vấn đề dài hạn? Mặc dù blockchain có thể hỗ trợ bất kỳ chip nào ngoài GPU, nhưng hành động của phía cầu sẽ hoàn toàn quyết định hướng đi của các dự án trong lĩnh vực này.
Kết luận
Mạng lưới phân mảnh sở hữu các cụm GPU nhỏ sẽ không giải quyết được vấn đề. Không có chỗ cho các cụm GPU "dòng đuôi dài". Các nhà cung cấp GPU (bán lẻ hoặc các đối thủ đám mây nhỏ hơn) sẽ có xu hướng hướng tới các mạng lớn hơn vì các động lực từ mạng tốt hơn. Đó sẽ là chức năng của mô hình token tốt, cũng như khả năng của bên cung hỗ trợ nhiều loại tính toán khác nhau.
Các cụm GPU có thể sẽ chứng kiến số phận tập trung hóa tương tự như CDN. Nếu các đối thủ lớn muốn cạnh tranh với các nhà lãnh đạo hiện tại như AWS, họ có thể bắt đầu chia sẻ tài nguyên để giảm độ trễ mạng và khoảng cách địa lý giữa các nút.
Nếu phía cầu phát triển lớn hơn (cần huấn luyện nhiều mô hình hơn, số lượng tham số cần huấn luyện cũng nhiều hơn), các đối thủ Web3 phải cực kỳ tích cực trong phát triển kinh doanh bên cung. Nếu quá nhiều cụm cạnh tranh từ cùng một nhóm khách hàng, nguồn cung sẽ bị phân mảnh (làm vô hiệu toàn bộ khái niệm), trong khi nhu cầu (theo TFLOPs) tăng theo cấp số nhân.
Io.net đã nổi bật giữa nhiều đối thủ cạnh tranh, bắt đầu với mô hình tổng hợp. Họ đã tập hợp GPU từ Render Network và thợ đào Filecoin để cung cấp dung lượng, đồng thời cũng tự phát triển nguồn cung trên nền tảng của mình. Đây có thể là hướng đi dẫn đến người chiến thắng trong lĩnh vực cụm GPU DePIN.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
IOSG Ventures
