Từ điện toán đám mây đến AI, Akash có trở thành giải pháp tối ưu cho cuộc đua vũ trang GPU?
Tuyển chọn TechFlowTuyển chọn TechFlow
Từ điện toán đám mây đến AI, Akash có trở thành giải pháp tối ưu cho cuộc đua vũ trang GPU?
Mạng GPU của Akash đã ra mắt trên mạng chính vào tháng 9 năm 2023. Kể từ đó, Akash đã mở rộng lên mức 150-200 GPU, với tỷ lệ sử dụng đạt 50-70%.
Chuyên sâu báo cáo Web3Tác giả: Vincent Jow
Biên dịch: 1912212.eth, Foresight News
Tóm tắt
Akash là một nền tảng điện toán phi tập trung nhằm kết nối nguồn cung GPU chưa được khai thác tối đa với những người dùng cần tính toán GPU, hướng tới mục tiêu trở thành "Airbnb của điện toán GPU". Khác biệt so với các đối thủ cạnh tranh, Akash tập trung chủ yếu vào điện toán GPU phổ thông, cấp doanh nghiệp. Sau khi ra mắt mạng chính GPU vào tháng 9 năm 2023, hiện tại mạng lưới của họ đã có từ 150 đến 200 GPU, tỷ lệ sử dụng đạt 50-70%, giá trị giao dịch tổng cộng hàng năm dao động từ 500.000 đến 1 triệu USD. Tương tự như các thị trường trực tuyến, Akash thu phí giao dịch 20% đối với thanh toán bằng USDC.
Chúng ta đang ở thời điểm khởi đầu của một cuộc cách mạng cơ sở hạ tầng lớn, xử lý song song dựa trên GPU đang lên ngôi. Dự kiến trí tuệ nhân tạo (AI) sẽ làm tăng GDP toàn cầu thêm 7 nghìn tỷ USD đồng thời tự động hóa 300 triệu việc làm. NVIDIA – công ty sản xuất GPU – dự kiến doanh thu sẽ tăng từ 27 tỷ USD năm 2022 lên 60 tỷ USD vào năm 2023 và đạt khoảng 100 tỷ USD vào năm 2025. Chi phí vốn cho chip NVIDIA của các nhà cung cấp đám mây (AWS, GCP, Azure...) đã tăng từ mức chỉ vài phần trăm trước đây lên 25% hiện nay và dự kiến sẽ vượt quá 50% trong vài năm tới. (Nguồn: Koyfin)
Theo ước tính của Morgan Stanley, đến năm 2025, quy mô thị trường cơ sở hạ tầng dạng dịch vụ (IaaS) GPU siêu quy mô sẽ đạt 40-50 tỷ USD. Ví dụ minh họa, nếu 30% điện toán GPU được bán lại qua thị trường thứ cấp với chiết khấu 30%, thì đây sẽ là một cơ hội doanh thu trị giá 10 tỷ USD. Cộng thêm 5 tỷ USD khác từ các nguồn ngoài siêu quy mô, tổng cơ hội doanh thu sẽ là 15 tỷ USD. Giả sử Akash chiếm được 33% thị phần (tương đương 5 tỷ USD giá trị giao dịch), với mức phí giao dịch 20%, điều này sẽ chuyển hóa thành 1 tỷ USD doanh thu ròng. Áp dụng hệ số định giá 10 lần, sẽ dẫn đến kết quả vốn hóa thị trường gần 10 tỷ USD.
Tổng quan thị trường
Tháng 11 năm 2022, OpenAI ra mắt ChatGPT, lập kỷ lục tăng trưởng lượng người dùng nhanh nhất, đạt 100 triệu người dùng vào tháng 1 năm 2023 và 200 triệu vào tháng 5. Tác động là rất lớn, ước tính sẽ làm tăng GDP toàn cầu thêm 7 nghìn tỷ USD nhờ nâng cao năng suất và tự động hóa 3 triệu việc làm.
AI nhanh chóng vươn từ một lĩnh vực nghiên cứu nhỏ trở thành trọng tâm chi tiêu lớn nhất của các công ty. Chi phí xây dựng GPT-4 là 100 triệu USD, chi phí vận hành hàng năm là 250 triệu USD. GPT-5 cần 25.000 A100 (tương đương 225 triệu USD thiết bị phần cứng NVIDIA) và tổng đầu tư phần cứng có thể lên tới 1 tỷ USD. Điều này đã kích hoạt một cuộc chạy đua giữa các công ty để giành đủ GPU nhằm hỗ trợ các tải trọng doanh nghiệp dựa trên AI.
Cuộc cách mạng AI đã gây ra sự thay đổi cơ sở hạ tầng sâu rộng, đẩy nhanh quá trình chuyển dịch từ CPU sang xử lý song song bằng GPU. Về lịch sử, GPU luôn được dùng để render và xử lý hình ảnh quy mô lớn đồng thời, trong khi CPU được thiết kế để chạy tuần tự, không thể thực hiện song song như vậy. Nhờ băng thông bộ nhớ cao, GPU dần phát triển để xử lý các bài toán song song khác, ví dụ như huấn luyện, tối ưu và cải thiện các mô hình AI.
NVIDIA, người tiên phong công nghệ GPU từ những năm 1990, đã kết hợp phần cứng hàng đầu với hệ sinh thái phần mềm CUDA, tạo nên lợi thế dẫn trước nhiều năm so với các đối thủ (chủ yếu là AMD và Intel). CUDA Stack của NVIDIA ra đời năm 2006, cho phép các nhà phát triển tối ưu GPU của NVIDIA để tăng tốc tải trọng và đơn giản hóa lập trình GPU. Hiện có 4 triệu người dùng CUDA, hơn 50.000 nhà phát triển đang dùng CUDA, cùng hệ sinh thái mạnh mẽ gồm ngôn ngữ lập trình, thư viện, công cụ, ứng dụng và framework. Chúng tôi dự đoán theo thời gian, GPU của NVIDIA sẽ vượt qua CPU của Intel và AMD trong trung tâm dữ liệu.
Chi tiêu cho GPU của các nhà cung cấp đám mây siêu quy mô và các công ty công nghệ lớn tăng mạnh, từ mức thấp dưới một chữ số vào đầu 2010, lên mức vài phần trăm từ 2015-2022, và đạt 25% vào năm 2023. Chúng tôi tin rằng trong vài năm tới, NVIDIA sẽ chiếm hơn 50% chi phí vốn của các nhà cung cấp dịch vụ đám mây. Điều này có thể thúc đẩy doanh thu NVIDIA tăng từ 25 tỷ USD năm 2022 lên 100 tỷ USD vào năm 2025 (Nguồn: Koyfin).
Morgan Stanley ước tính đến năm 2025, quy mô thị trường IaaS GPU siêu quy mô sẽ đạt 40-50 tỷ USD. Đây vẫn chỉ là một phần nhỏ trong tổng doanh thu của các nhà cung cấp đám mây siêu quy mô, ba nhà cung cấp hàng đầu hiện nay có doanh thu tổng cộng hơn 250 tỷ USD.
Do nhu cầu GPU mạnh mẽ, tình trạng khan hiếm nguồn cung GPU đã được báo chí như New York Times và Wall Street Journal đưa tin rộng rãi. Giám đốc điều hành AWS nói rằng "nhu cầu vượt xa nguồn cung, đúng với mọi người". Elon Musk trong cuộc họp báo cáo lợi nhuận Tesla quý II năm 2023 cho biết "Chúng tôi sẽ tiếp tục sử dụng — chúng tôi nhận phần cứng NVIDIA càng sớm càng tốt".
Index Ventures buộc phải mua chip cho các công ty trong danh mục đầu tư của mình. Ngoài các công ty công nghệ lớn, gần như không thể mua được chip từ NVIDIA, còn việc thuê từ các nhà cung cấp đám mây siêu quy mô cũng mất rất lâu.
Dưới đây là bảng giá GPU của AWS và Azure. Như hình, đặt chỗ từ 1-3 năm sẽ được giảm giá 30-65%. Vì các nhà cung cấp đám mây siêu quy mô đang đầu tư hàng tỷ USD mở rộng năng lực, họ tìm kiếm các cơ hội mang lại tính minh bạch về doanh thu. Nếu khách hàng dự kiến sử dụng trên 60%, nên chọn gói đặt chỗ 1 năm; nếu trên 35%, chọn gói 3 năm. Bất kỳ năng lực chưa dùng nào đều có thể bán lại, giúp giảm đáng kể tổng chi phí.
Nếu các nhà cung cấp đám mây siêu quy mô xây dựng một dịch vụ cho thuê điện toán GPU trị giá 50 tỷ USD, thì việc bán lại năng lực tính toán chưa dùng sẽ là một cơ hội khổng lồ. Giả sử 30% năng lực được bán lại với chiết khấu 30%, đó sẽ là một thị trường trị giá 10 tỷ USD dành cho việc bán lại điện toán GPU từ các nhà cung cấp đám mây siêu quy mô.
Tuy nhiên, ngoài các nhà cung cấp đám mây siêu quy mô, còn có các nguồn cung khác, bao gồm các doanh nghiệp lớn (ví dụ Meta, Tesla), các đối thủ cạnh tranh (CoreWeave, Lambda...), và các startup AI có vốn dồi dào. Từ năm 2022 đến 2025, NVIDIA sẽ tạo ra khoảng 300 tỷ USD doanh thu. Giả sử ngoài các nhà cung cấp đám mây siêu quy mô còn có 70 tỷ USD chip, nếu 20% năng lực được bán lại với chiết khấu 30%, sẽ tạo thêm 4,2 tỷ USD, tổng cộng khoảng 14,2 tỷ USD.
Tổng quan Akash
Akash là một thị trường điện toán phi tập trung, thành lập năm 2015, ra mắt mạng chính dưới dạng chuỗi ứng dụng Cosmos vào tháng 9 năm 2020. Tầm nhìn của họ là dân chủ hóa điện toán đám mây bằng cách cung cấp tài nguyên tính toán chưa dùng với giá thấp hơn đáng kể so với các nhà cung cấp đám mây siêu quy mô.
Blockchain xử lý việc phối hợp và thanh toán, lưu trữ các bản ghi yêu cầu, đấu giá, thuê và thanh toán, trong khi việc thực thi diễn ra bên ngoài chuỗi. Akash lưu trữ container, nơi người dùng có thể chạy bất kỳ ứng dụng gốc đám mây nào. Akash xây dựng một bộ dịch vụ quản lý đám mây, bao gồm Kubernetes để điều phối và quản lý các container này. Việc triển khai được truyền qua một mạng ngang hàng riêng biệt, tách biệt khỏi blockchain.
Phiên bản đầu tiên của Akash tập trung vào điện toán CPU. Trong giai đoạn đỉnh cao, doanh số giao dịch hàng năm đạt khoảng 200.000 USD, cho thuê 4.000–5.000 CPU. Tuy nhiên tồn tại hai vấn đề chính: độ khó khi bắt đầu (phải tạo ví Cosmos và dùng token AKT để thanh toán) và tình trạng gián đoạn dịch vụ (nếu ví hết AKT hoặc giá biến động, tải trọng sẽ dừng, không có nhà cung cấp dự phòng).
Trong năm qua, Akash đã chuyển từ điện toán CPU sang điện toán GPU, tận dụng bước chuyển mình về cơ sở hạ tầng tính toán và tình trạng thiếu hụt nguồn cung.
Nguồn cung GPU của Akash
Mạng GPU của Akash ra mắt trên mạng chính vào tháng 9 năm 2023. Kể từ đó, Akash đã mở rộng lên 150-200 GPU, tỷ lệ sử dụng đạt 50-70%.
So sánh giá GPU Nvidia A100 giữa một số nhà cung cấp, giá của Akash rẻ hơn 30-60% so với các đối thủ.
Hiện có khoảng 19 nhà cung cấp độc lập trên mạng Akash, trải rộng ở 7 quốc gia, cung cấp hơn 15 loại chip khác nhau. Nhà cung cấp lớn nhất là Foundry, một công ty được DCG hậu thuẫn, cũng tham gia đào tiền mã hóa và staking.
Akash tập trung chủ yếu vào chip cấp doanh nghiệp (A100), truyền thống được dùng để hỗ trợ tải trọng AI. Mặc dù cũng cung cấp một số chip tiêu dùng, nhưng do vấn đề tiêu thụ điện, phần mềm và độ trễ, các chip này thường khó dùng cho AI. Một số công ty như FedML, io.net và Gensyn đang cố gắng xây dựng lớp điều phối để thực hiện điện toán AI biên.
Khi thị trường ngày càng nghiêng về suy luận (inference) thay vì huấn luyện (training), GPU tiêu dùng có thể trở nên khả thi hơn, nhưng hiện tại thị trường vẫn tập trung chủ yếu vào huấn luyện bằng chip cấp doanh nghiệp.
Về nguồn cung, Akash tập trung vào các nhà cung cấp đám mây công cộng siêu quy mô, nhà cung cấp GPU tư nhân, thợ đào tiền mã hóa và các doanh nghiệp sở hữu GPU chưa dùng.
-
Các nhà cung cấp đám mây công cộng siêu quy mô: tiềm năng lớn nhất là cho phép khách hàng của các nhà cung cấp đám mây công cộng siêu quy mô (Azure, AWS, GCP) bán lại năng lực chưa dùng trên thị trường Akash. Điều này giúp họ có được tính minh bạch về doanh thu từ đầu tư vốn. Một khi một nhà cung cấp đám mây siêu quy mô cho phép điều này, các đối thủ khác có thể phải đi theo để giữ thị phần. Như đã đề cập, các nhà cung cấp đám mây siêu quy mô có thể có cơ hội IaaS trị giá 50 tỷ USD, tạo ra cơ hội giao dịch thứ cấp quy mô lớn cho thị trường Akash.
-
Các đối thủ tư nhân: ngoài các nhà cung cấp đám mây công cộng siêu quy mô, còn có một số công ty đám mây tư nhân (CoreWeave, Lambda Labs...) cung cấp dịch vụ cho thuê GPU. Do động lực cạnh tranh khi các nhà cung cấp đám mây siêu quy mô cố gắng xây dựng ASIC riêng làm phần cứng thay thế, NVIDIA đã cung cấp thêm nguồn cung cho một số công ty tư nhân. Giá của các đối thủ tư nhân thường rẻ hơn các nhà cung cấp đám mây siêu quy mô (ví dụ, A100 rẻ hơn tới 50%). CoreWeave là một trong những đối thủ tư nhân nổi bật nhất, từng là công ty đào tiền mã hóa, chuyển đổi sang xây dựng trung tâm dữ liệu và cung cấp cơ sở hạ tầng GPU từ năm 2019. Họ đang gọi vốn với định giá 7 tỷ USD và được NVIDIA hậu thuẫn. CoreWeave đang tăng trưởng nhanh, doanh thu đạt 500 triệu USD năm 2023 và dự kiến đạt 1,5-2 tỷ USD vào năm 2024. CoreWeave sở hữu 45.000 chip NVIDIA, ước tính các đối thủ tư nhân khác có thể sở hữu tổng cộng hơn 100.000 GPU. Việc kích hoạt thị trường thứ cấp cho khách hàng của họ có thể giúp các đối thủ tư nhân này giành thị phần trước các nhà cung cấp đám mây công cộng siêu quy mô.
-
Thợ đào tiền mã hóa: thợ đào tiền mã hóa từ lâu đã là nhóm tiêu thụ lớn GPU của NVIDIA. Do độ phức tạp tính toán trong việc giải proof-of-work, GPU đã trở thành phần cứng thống trị trong mạng proof-of-work. Khi Ethereum chuyển từ proof-of-work sang proof-of-stake, điều này đã tạo ra lượng dư thừa lớn. Ước tính khoảng 20% chip được giải phóng có thể tái sử dụng cho tải trọng AI. Hơn nữa, các thợ đào Bitcoin cũng muốn đa dạng hóa doanh thu. Trong vài tháng gần đây, Hut 8, Applied Digital, Iris Energy, Hive và các thợ đào Bitcoin khác đã công bố chiến lược AI/máy học. Nhà cung cấp lớn nhất trên Akash là Foundry, cũng là một trong những thợ đào Bitcoin lớn nhất.
-
Doanh nghiệp: như đã nêu, Meta sở hữu lượng lớn GPU với 15.000 A100, nhưng chỉ sử dụng 5%. Tương tự, Tesla cũng có 15.000 A100. Tỷ lệ sử dụng điện toán doanh nghiệp thường dưới 50%. Với lượng đầu tư mạo hiểm lớn vào lĩnh vực này, nhiều startup AI/ML cũng đã mua trước chip. Việc bán lại năng lực chưa dùng sẽ giúp giảm tổng chi phí sở hữu cho các công ty nhỏ hơn. Thú vị là, việc thuê GPU cũ có thể mang lại lợi thế về thuế.
Phía cầu GPU của Akash
Trong suốt năm 2022 và phần lớn năm 2023, trước khi ra mắt mạng GPU, giá trị giao dịch hàng năm (GMV) trên CPU đạt khoảng 50.000 USD. Kể từ khi ra mắt mạng GPU, GMV đã đạt mức 500.000-1.000.000 USD/năm, với tỷ lệ sử dụng GPU đạt 50-70%.
Akash đang nỗ lực giảm ma sát người dùng, cải thiện trải nghiệm và mở rộng các trường hợp sử dụng.
-
Thanh toán bằng USDC: Akash gần đây cho phép thanh toán ổn định bằng USDC, giúp khách hàng không còn chịu ảnh hưởng bởi việc phải mua và nắm giữ AKT cũng như biến động giá trong lúc thanh toán.
-
Hỗ trợ ví Metamask: Akash cũng triển khai Metamask Snap để dễ dàng tiếp cận hơn, thay vì phải tạo ví riêng cho hệ sinh thái Cosmos.
-
Hỗ trợ cấp doanh nghiệp: Overclock Labs – đơn vị sáng lập mạng Akash – đã ra mắt AkashML, giúp dễ dàng đưa người dùng vào mạng Akash với hỗ trợ chuyên nghiệp.
-
Tự phục vụ: Cloudmos gần đây được Akash mua lại, cũng ra mắt giao diện tự phục vụ dễ dùng để triển khai GPU. Trước đây, việc triển khai phải thực hiện qua dòng lệnh.
-
Đa dạng lựa chọn: mặc dù tập trung chủ yếu vào chip doanh nghiệp NVIDIA, Akash cũng cung cấp chip tiêu dùng và đến cuối năm 2023 đã bổ sung hỗ trợ chip AMD.
Akash cũng đang xác thực các trường hợp sử dụng qua mạng. Trong giai đoạn thử nghiệm GPU, cộng đồng đã chứng minh khả năng triển khai và chạy suy luận của nhiều mô hình AI phổ biến trên mạng. Các ứng dụng Akash Chat và Stable Diffusion XL đều minh chứng khả năng chạy suy luận của Akash. Chúng tôi tin rằng theo thời gian, thị trường suy luận sẽ lớn hơn nhiều so với thị trường huấn luyện. Chi phí tìm kiếm điều khiển bởi AI hiện tại là 0,02 USD (gấp 10 lần chi phí hiện tại của Google). Với 3 nghìn tỷ lượt tìm kiếm mỗi năm, con số này sẽ là 60 tỷ USD mỗi năm. Để so sánh, chi phí huấn luyện mô hình OpenAI khoảng 100 triệu USD. Dù chi phí cả hai có thể giảm, điều này làm nổi bật sự khác biệt đáng kể về quy mô doanh thu dài hạn.
Xét rằng phần lớn nhu cầu chip cao cấp hiện nay tập trung vào huấn luyện, Akash hiện đang nỗ lực chứng minh khả năng dùng mạng của họ để huấn luyện một mô hình, và dự kiến ra mắt vào đầu năm 2024. Sau khi sử dụng chip đồng nhất từ một nhà cung cấp, dự án tiếp theo sẽ là sử dụng chip dị hợp từ nhiều nhà cung cấp.
Lộ trình sản phẩm của Akash rất lớn. Một số tính năng đang phát triển bao gồm hỗ trợ quản lý quyền riêng tư, phiên theo yêu cầu/giữ trước và khả năng khám phá tốt hơn.
Mô hình token và khuyến khích
Akash thu phí 4% đối với thanh toán bằng AKT và 20% đối với thanh toán bằng USDC. Mức phí 20% này tương đồng với các thị trường internet truyền thống (ví dụ Uber thu 30%).
Akash có khoảng 58% token đang lưu hành (225 triệu đang lưu thông, tổng cung tối đa 388 triệu). Tỷ lệ lạm phát hàng năm đã tăng từ 8% lên 13%. Hiện tại, 60% token lưu hành đã bị khóa, thời gian khóa là 21 ngày.
40% (trước đây là 25%) lạm phát và phí GMV sẽ đi vào quỹ cộng đồng, hiện tại quỹ này có 10 triệu token AKT.
Việc sử dụng số tiền này vẫn đang được xác định, nhưng sẽ phân bổ giữa tài trợ công cộng, khuyến khích nhà cung cấp, staking, đốt cháy tiềm năng và quỹ cộng đồng.
Vào ngày 19 tháng 1, Akash khởi động chương trình khuyến khích thí điểm trị giá 5 triệu USD, nhằm đưa 1.000 A100 lên nền tảng. Về lâu dài, mục tiêu là cung cấp tính minh bạch doanh thu cho các nhà cung cấp tham gia thị trường (ví dụ hiệu suất sử dụng đạt 95%).
Định giá và phân tích kịch bản
Dưới đây là một số kịch bản và các giả định minh họa về các yếu tố then chốt của Akash:
Kịch bản ngắn hạn: chúng tôi ước tính nếu Akash đạt 15.000 A100, sẽ tạo ra GMV gần 150 triệu USD. Với tỷ lệ hoa hồng 20%, điều này mang lại 30 triệu USD phí giao thức cho Akash. Xét theo đà tăng trưởng, áp dụng hệ số 100 lần (do định giá AI), giá trị sẽ đạt 3 tỷ USD.
Kịch bản cơ sở: chúng tôi giả định cơ hội thị trường IaaS phù hợp với ước tính của Morgan Stanley là 50 tỷ USD. Giả sử 70% hiệu suất sử dụng, có 15 tỷ USD năng lực có thể bán lại. Giả sử năng lực này được chiết khấu 30%, thu được 10 tỷ USD, cộng thêm 10 tỷ USD từ các nguồn ngoài siêu quy mô. Xét thị trường thường có hào moat mạnh, chúng tôi giả định Akash có thể chiếm 33% thị phần (Airbnb chiếm 20% thị phần thuê nghỉ dưỡng, Uber chiếm 75% thị phần chia sẻ xe, Doordash chiếm 65% thị phần giao đồ ăn). Với mức phí 20%, sẽ tạo ra 1 tỷ USD phí giao thức. Áp dụng hệ số 10 lần, Akash sẽ đạt giá trị 10 tỷ USD.
Kịch bản tăng trưởng: kịch bản tăng trưởng sử dụng cùng khuôn khổ như kịch bản cơ sở. Chúng tôi giả định do khả năng thâm nhập vào nhiều nguồn GPU độc đáo hơn và thị phần cao hơn, tạo ra cơ hội bán lại trị giá 20 tỷ USD.
Thông tin tham khảo: NVIDIA là công ty đại chúng có vốn hóa 1,2 nghìn tỷ USD, OpenAI định giá riêng lẻ 80 tỷ USD, Anthropic 20 tỷ USD, CoreWeave 7 tỷ USD. Trong lĩnh vực mã hóa, Render và TAO có định giá lần lượt là 2 tỷ USD và hơn 5,5 tỷ USD.
Rủi ro và biện pháp giảm thiểu:
Tập trung nguồn cung và cầu: Hiện tại, phần lớn nhu cầu GPU đến từ các công ty công nghệ lớn muốn huấn luyện các mô hình ngôn ngữ lớn (LLM) cực lớn và phức tạp. Theo thời gian, chúng tôi tin rằng sẽ có nhiều nhu cầu hơn cho việc huấn luyện các mô hình AI nhỏ hơn, rẻ hơn và xử lý dữ liệu riêng tư tốt hơn. Fine-tuning sẽ ngày càng quan trọng khi mô hình chuyển từ dạng tổng quát sang chuyên biệt theo ngành. Cuối cùng, khi việc sử dụng và áp dụng gia tăng, suy luận sẽ trở nên ngày càng then chốt.
Cạnh tranh: Có rất nhiều công ty mã hóa và phi mã hóa đang cố gắng khai thác GPU chưa dùng. Một số giao thức mã hóa tiêu biểu:
-
Render và Nosana đang khai thác GPU tiêu dùng cho suy luận.
-
Together đang xây dựng mô hình huấn luyện mã nguồn mở, cho phép các nhà phát triển xây dựng trên đó.
-
Ritual đang xây dựng mạng lưu trữ mô hình.
Vấn đề độ trễ và thách thức kỹ thuật: Vì huấn luyện AI là nhiệm vụ đòi hỏi tài nguyên rất lớn, khi tất cả chip đều nằm trong một trung tâm dữ liệu, hiện chưa rõ liệu có thể huấn luyện mô hình trên một chồng GPU phi tập trung, không cùng địa điểm hay không. OpenAI dự kiến xây dựng cơ sở huấn luyện tiếp theo tại Arizona với hơn 75.000 GPU. Đây là những vấn đề mà các lớp điều phối như FedML, Io.net và Gensyn đang cố gắng giải quyết.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
@Modular_Capital
