Nghiên cứu chuyên sâu: Dùng tiền mã hóa để kêu gọi vốn cộng đồng cho một mô hình AI, khả thi hay không?
Tuyển chọn TechFlowTuyển chọn TechFlow
Nghiên cứu chuyên sâu: Dùng tiền mã hóa để kêu gọi vốn cộng đồng cho một mô hình AI, khả thi hay không?
Báo cáo này nghiên cứu hiện trạng và các chi phí liên quan đến việc huấn luyện mô hình lớn.
Chuyên sâu báo cáo Web3Tác giả: Jeff Amico
Biên dịch: TechFlow
Mở đầu
Trong đại dịch COVID-19, dự án Folding@home đã đạt được một cột mốc quan trọng. Dự án nghiên cứu này đạt được công suất tính toán 2,4 exaFLOPS, do hơn 2 triệu thiết bị tình nguyện trên toàn cầu đóng góp. Con số này tương đương với gấp 15 lần sức mạnh xử lý của siêu máy tính lớn nhất thế giới lúc bấy giờ, cho phép các nhà khoa học mô phỏng quy mô lớn động lực học protein của virus COVID. Công trình của họ đã thúc đẩy hiểu biết của chúng ta về virus và cơ chế gây bệnh của nó, đặc biệt là trong giai đoạn đầu của đại dịch.
Phân bố toàn cầu người dùng Folding@home, năm 2021
Folding@home kế thừa truyền thống lâu đời của điện toán tình nguyện—mô hình huy động cộng đồng để giải quyết các bài toán quy mô lớn. Ý tưởng này thu hút sự chú ý rộng rãi từ SETI@home vào những năm 1990, khi hơn 5 triệu máy tính tình nguyện được kết nối để tìm kiếm sự sống ngoài Trái Đất. Từ đó, mô hình này đã được áp dụng trong nhiều lĩnh vực như vật lý thiên văn, sinh học phân tử, toán học, mật mã học và trò chơi. Trong mọi trường hợp, sức mạnh tập thể đều nâng cao khả năng của từng dự án, vượt xa những gì mà mỗi đơn vị có thể làm riêng lẻ. Điều này thúc đẩy tiến bộ, giúp nghiên cứu diễn ra theo cách thức mở và hợp tác hơn.
Nhiều người tự hỏi liệu ta có thể áp dụng mô hình chia sẻ tài nguyên này vào học sâu hay không. Nói cách khác, chúng ta có thể huấn luyện một mạng nơ-ron lớn bằng sức mạnh cộng đồng không? Việc huấn luyện các mô hình tiên tiến hiện nay là một trong những nhiệm vụ đòi hỏi nhiều năng lực tính toán nhất trong lịch sử nhân loại. Như nhiều dự án @home, chi phí hiện tại vượt quá khả năng chi trả của hầu hết các bên tham gia, ngoại trừ những tổ chức lớn nhất. Điều này có thể kìm hãm tiến bộ trong tương lai, khi chúng ta ngày càng phụ thuộc vào một số ít công ty để tìm ra đột phá mới. Đồng thời, điều này cũng tập trung quyền kiểm soát hệ thống AI vào tay một nhóm nhỏ. Dù bạn nghĩ gì về công nghệ này, thì viễn cảnh đó cũng đáng để suy ngẫm.
Hầu hết các nhà phê bình bác bỏ ý tưởng huấn luyện phi tập trung vì cho rằng nó không tương thích với các kỹ thuật huấn luyện hiện tại. Tuy nhiên, quan điểm này đang ngày càng trở nên lỗi thời. Những công nghệ mới đã xuất hiện, giảm thiểu nhu cầu giao tiếp giữa các nút, từ đó cho phép huấn luyện hiệu quả trên các thiết bị có kết nối mạng kém. Các kỹ thuật này bao gồm DiLoCo, SWARM Parallelism, lo-fi và huấn luyện phi tập trung mô hình nền tảng trong môi trường dị biệt. Nhiều kỹ thuật trong số này có khả năng chịu lỗi và hỗ trợ tính toán dị biệt. Một số kiến trúc mới còn được thiết kế riêng cho mạng phi tập trung, ví dụ như DiPaCo và mô hình chuyên gia hỗn hợp phi tập trung.
Chúng ta cũng chứng kiến sự trưởng thành của các nguyên thủy mật mã, giúp các mạng lưới phối hợp tài nguyên trên phạm vi toàn cầu. Các công nghệ này hỗ trợ các ứng dụng như tiền tệ kỹ thuật số, thanh toán xuyên biên giới và thị trường dự báo. Khác với các dự án tình nguyện trước đây, các mạng này có thể tập hợp năng lực tính toán khổng lồ—thường lớn hơn hàng bậc so với các cụm đám mây huấn luyện lớn nhất mà con người từng hình dung.
Các yếu tố này cùng nhau tạo thành một mô hình mới cho việc huấn luyện mô hình. Mô hình này tận dụng tối đa tài nguyên tính toán toàn cầu, kể cả khối lượng lớn thiết bị biên vốn có thể được kết nối để sử dụng. Điều này sẽ giảm chi phí cho phần lớn các khối lượng công việc huấn luyện thông qua việc giới thiệu cơ chế cạnh tranh mới. Nó cũng mở ra các hình thức huấn luyện mới, khiến việc phát triển mô hình trở nên hợp tác và modun hóa, thay vì cô lập và đơn điệu. Mô hình có thể học từ dữ liệu và tài nguyên tính toán do cộng đồng cung cấp, học theo thời gian thực. Cá nhân có thể sở hữu một phần mô hình mà họ tạo ra. Các nhà nghiên cứu cũng có thể chia sẻ lại các khám phá sáng tạo mà không cần phải thương mại hóa chúng để bù đắp ngân sách tính toán đắt đỏ.
Báo cáo này khảo sát hiện trạng và chi phí liên quan đến việc huấn luyện mô hình lớn. Báo cáo xem xét lại các nỗ lực điện toán phân tán trước đây—từ SETI đến Folding rồi BOINC—để tìm cảm hứng cho các hướng đi thay thế. Báo cáo thảo luận về những thách thức lịch sử của việc huấn luyện phi tập trung, sau đó chuyển sang các bước đột phá gần đây có thể giúp vượt qua những thách thức đó. Cuối cùng, báo cáo tổng kết các cơ hội và thách thức trong tương lai.
Hiện trạng huấn luyện mô hình tiên tiến
Chi phí huấn luyện mô hình tiên tiến đã trở nên không thể chịu nổi đối với các bên tham gia ngoài nhóm lớn. Xu hướng này không mới, nhưng theo dữ liệu, tình hình đang nghiêm trọng hơn khi các phòng thí nghiệm tiên phong liên tục thử thách giả thuyết mở rộng. Theo báo cáo, OpenAI đã chi hơn 3 tỷ USD cho việc huấn luyện trong năm nay. Anthropic dự đoán rằng đến năm 2025, chúng ta sẽ bắt đầu các phiên huấn luyện trị giá 10 tỷ USD, và các mô hình 100 tỷ USD sẽ không còn xa.
Xu hướng này dẫn đến sự tập trung hóa ngành, vì chỉ một vài công ty đủ khả năng tham gia. Điều này đặt ra câu hỏi chính sách then chốt về tương lai: Liệu chúng ta có chấp nhận việc tất cả các hệ thống AI hàng đầu đều do một hoặc hai công ty kiểm soát? Nó cũng làm chậm tốc độ tiến bộ, điều này rõ ràng trong cộng đồng nghiên cứu khi các phòng thí nghiệm nhỏ hơn không thể tiếp cận tài nguyên tính toán cần thiết để mở rộng thử nghiệm. Các nhà lãnh đạo ngành cũng nhắc lại điều này nhiều lần:
Joe Spisak của Meta: "Để thực sự hiểu được tiềm năng [kiến trúc mô hình], bạn phải thử nghiệm ở quy mô lớn, và tôi nghĩ đó chính là điều đang thiếu trong hệ sinh thái hiện tại. Nếu nhìn vào giới học thuật—có rất nhiều tài năng tuyệt vời—nhưng họ thiếu quyền truy cập vào tài nguyên tính toán, và điều này trở thành vấn đề, vì họ có những ý tưởng tuyệt vời nhưng lại không có con đường nào để hiện thực hóa ở mức độ cần thiết."
Max Ryabinin của Together: "Yêu cầu về phần cứng đắt tiền gây áp lực lớn lên cộng đồng nghiên cứu. Hầu hết các nhà nghiên cứu không thể tham gia vào phát triển mạng nơ-ron lớn vì chi phí thực hiện các thử nghiệm cần thiết là quá cao đối với họ. Nếu chúng ta tiếp tục tăng kích thước mô hình để cải thiện quy mô, cuối cùng chỉ còn một vài tổ chức có thể cạnh tranh."
Francois Chollet của Google: "Chúng ta biết rằng các mô hình ngôn ngữ lớn (LLM) chưa đạt được trí tuệ nhân tạo tổng quát (AGI). Đồng thời, tiến bộ hướng tới AGI đã đình trệ. Những hạn chế mà chúng ta gặp phải với LLM hiện nay hoàn toàn giống với những gì chúng ta gặp phải năm năm trước. Chúng ta cần những ý tưởng và đột phá mới. Tôi tin rằng đột phá tiếp theo có thể đến từ các nhóm bên ngoài, trong khi tất cả các phòng thí nghiệm lớn đang bận rộn huấn luyện các mô hình LLM ngày càng lớn hơn." Một số người hoài nghi về những lo ngại này, cho rằng cải tiến phần cứng và chi tiêu vốn vào điện toán đám mây sẽ giải quyết vấn đề. Nhưng điều này dường như không thực tế. Một mặt, đến cuối thập kỷ này, số FLOP của chip Nvidia thế hệ mới sẽ tăng mạnh, có thể gấp 10 lần so với H100 hiện tại. Điều này sẽ làm giảm giá mỗi FLOP xuống 80–90%. Tương tự, tổng nguồn cung FLOP dự kiến sẽ tăng khoảng 20 lần vào cuối thập kỷ, kèm theo cải thiện về mạng và hạ tầng liên quan. Tất cả những điều này sẽ nâng cao hiệu quả huấn luyện trên mỗi đô la.
Nguồn: Mô hình TCO đám mây AI của SemiAnalysis
Đồng thời, tổng nhu cầu FLOP cũng sẽ tăng mạnh vì các phòng thí nghiệm muốn mở rộng quy mô thêm. Nếu xu hướng tăng trưởng tính toán huấn luyện kéo dài suốt một thập kỷ vẫn tiếp tục, đến năm 2030, số FLOP cho các phiên huấn luyện tiên tiến dự kiến sẽ đạt khoảng 2e29. Để thực hiện quy mô huấn luyện này cần khoảng 20 triệu GPU tương đương H100, dựa trên thời gian chạy và hiệu suất sử dụng huấn luyện hiện tại. Giả sử vẫn còn nhiều phòng thí nghiệm tiên phong, tổng số FLOP cần thiết sẽ gấp nhiều lần con số này vì tổng nguồn cung sẽ được phân bổ giữa họ. EpochAI dự đoán đến lúc đó chúng ta sẽ cần khoảng 100 triệu GPU tương đương H100, gấp khoảng 50 lần lượng xuất xưởng năm 2024. SemiAnalysis cũng đưa ra dự báo tương tự, cho rằng nhu cầu huấn luyện tiên tiến và nguồn cung GPU sẽ tăng trưởng gần như đồng bộ trong giai đoạn này.
Tình trạng cung ứng có thể trở nên căng thẳng hơn do nhiều lý do. Ví dụ, nếu các nút thắt sản xuất làm chậm chu kỳ giao hàng dự kiến, điều này thường xảy ra. Hoặc nếu chúng ta không sản xuất đủ năng lượng để vận hành các trung tâm dữ liệu. Hoặc nếu gặp khó khăn trong việc kết nối các nguồn năng lượng này vào lưới điện. Hoặc nếu việc kiểm tra ngày càng chặt chẽ chi tiêu vốn cuối cùng dẫn đến việc ngành thu hẹp quy mô, v.v. Trong kịch bản tốt nhất, phương pháp hiện tại của chúng ta chỉ cho phép một vài công ty tiếp tục thúc đẩy nghiên cứu, và điều đó có thể vẫn chưa đủ.
Rõ ràng, chúng ta cần một phương pháp mới. Phương pháp này không cần liên tục mở rộng trung tâm dữ liệu, chi tiêu vốn và tiêu thụ năng lượng để tìm ra đột phá tiếp theo, mà thay vào đó là sử dụng hiệu quả cơ sở hạ tầng hiện có, có khả năng mở rộng linh hoạt theo nhu cầu biến động. Điều này sẽ tạo thêm không gian cho các thí nghiệm trong nghiên cứu, vì các phiên huấn luyện sẽ không còn phải đảm bảo lợi nhuận từ ngân sách tính toán hàng trăm triệu đô la. Khi thoát khỏi giới hạn này, chúng ta có thể vượt qua mô hình mô hình ngôn ngữ lớn (LLM) hiện tại—điều mà nhiều người cho là cần thiết để đạt được trí tuệ nhân tạo tổng quát (AGI). Để hiểu hình dạng mà giải pháp thay thế này có thể mang lại, chúng ta có thể lấy cảm hứng từ các thực tiễn điện toán phân tán trong quá khứ.
Điện toán cộng đồng: Lịch sử ngắn gọn
SETI@home phổ biến khái niệm này vào năm 1999, cho phép hàng triệu người tham gia phân tích tín hiệu vô tuyến nhằm tìm kiếm trí tuệ ngoài hành tinh. SETI thu thập dữ liệu điện từ từ kính thiên văn Arecibo, chia nhỏ thành các gói và gửi qua internet cho người dùng. Người dùng phân tích dữ liệu trong các hoạt động hàng ngày và gửi kết quả trở lại. Không cần giao tiếp giữa người dùng, các gói có thể được xử lý độc lập, cho phép song song hóa cao độ. Vào thời kỳ đỉnh cao, SETI@home có hơn 5 triệu người tham gia, với năng lực xử lý vượt xa siêu máy tính lớn nhất lúc đó. Dự án này cuối cùng ngừng hoạt động vào tháng 3 năm 2020, nhưng thành công của nó đã truyền cảm hứng cho các phong trào điện toán tình nguyện sau này.
Folding@home tiếp nối tư tưởng này vào năm 2000, sử dụng điện toán biên để mô phỏng sự gập protein trong các bệnh như Alzheimer, ung thư và Parkinson. Những người tình nguyện sử dụng thời gian rảnh của máy tính cá nhân để mô phỏng protein, giúp các nhà nghiên cứu tìm hiểu cách protein gập sai và gây bệnh. Trong các giai đoạn khác nhau của lịch sử, năng lực tính toán của Folding@home vượt qua siêu máy tính lớn nhất thời điểm đó, đặc biệt là vào cuối những năm 2000 và trong đại dịch COVID, khi nó trở thành dự án điện toán phân tán đầu tiên vượt qua 1 exaFLOPS. Kể từ khi thành lập, các nhà nghiên cứu của Folding đã công bố hơn 200 bài báo được bình duyệt, tất cả đều phụ thuộc vào năng lực tính toán do người tình nguyện cung cấp.
Cơ sở hạ tầng điện toán mạng mở Berkeley (BOINC) phổ biến khái niệm này vào năm 2002, cung cấp một nền tảng điện toán cộng đồng cho nhiều dự án nghiên cứu. Nó hỗ trợ các dự án như SETI@home và Folding@home, cũng như các dự án mới trong vật lý thiên văn, sinh học phân tử, toán học và mật mã học. Đến năm 2024, BOINC liệt kê 30 dự án đang hoạt động, cùng gần 1.000 bài báo khoa học đã xuất bản, đều tận dụng mạng tính toán của nó.
Ngoài lĩnh vực nghiên cứu khoa học, điện toán tình nguyện được dùng để huấn luyện các động cơ trò chơi như cờ vây (LeelaZero, KataGo) và cờ vua (Stockfish, LeelaChessZero). LeelaZero được huấn luyện bằng điện toán tình nguyện từ 2017 đến 2021, cho phép nó chơi hơn 10 triệu ván với chính mình, tạo ra một trong những động cơ cờ vây mạnh nhất hiện nay. Tương tự, Stockfish đã được huấn luyện liên tục trên mạng tình nguyện từ năm 2013, giúp nó trở thành một trong những động cơ cờ vua mạnh nhất và phổ biến nhất.
Thách thức đối với học sâu
Nhưng liệu chúng ta có thể áp dụng mô hình này vào học sâu? Liệu chúng ta có thể kết nối các thiết bị biên khắp nơi trên thế giới để tạo ra một cụm huấn luyện công cộng giá rẻ? Phần cứng tiêu dùng—từ máy tính xách tay Apple đến card đồ họa chơi game Nvidia—ngày càng mạnh mẽ trong học sâu. Trong nhiều trường hợp, hiệu suất của các thiết bị này vượt trội hơn so với card đồ họa trung tâm dữ liệu về hiệu suất trên mỗi đô la.
Tuy nhiên, để sử dụng hiệu quả các tài nguyên này trong môi trường phân tán, chúng ta cần vượt qua nhiều thách thức.
Thứ nhất, các kỹ thuật huấn luyện phân tán hiện tại giả định rằng các nút cần giao tiếp thường xuyên.
Các mô hình tiên tiến hiện nay đã trở nên quá lớn đến mức việc huấn luyện phải được chia nhỏ ra hàng ngàn GPU. Điều này được thực hiện bằng nhiều kỹ thuật song song hóa, thường là chia mô hình, tập dữ liệu hoặc cả hai giữa các GPU có sẵn. Điều này thường yêu cầu mạng băng thông cao và độ trễ thấp, nếu không các nút sẽ phải chờ dữ liệu đến và bị bỏ không.
Ví dụ, Song song hóa dữ liệu phân tán (DDP) phân bổ tập dữ liệu cho các GPU, mỗi GPU huấn luyện mô hình đầy đủ trên một đoạn dữ liệu cụ thể, sau đó chia sẻ cập nhật gradient để tạo ra trọng số mô hình mới cho từng bước. Cách này yêu cầu chi phí giao tiếp tương đối thấp vì các nút chỉ chia sẻ cập nhật gradient sau mỗi lần lan truyền ngược, và các thao tác giao tiếp tập thể có thể được chồng lấp một phần với tính toán. Tuy nhiên, phương pháp này chỉ phù hợp với các mô hình nhỏ hơn vì nó yêu cầu mỗi GPU lưu trữ toàn bộ trọng số mô hình, các giá trị kích hoạt và trạng thái bộ tối ưu trong bộ nhớ. Ví dụ, GPT-4 khi huấn luyện cần hơn 10TB bộ nhớ, trong khi một H100 đơn lẻ chỉ có 80GB.
Để giải quyết vấn đề này, chúng ta cũng sử dụng các kỹ thuật khác để chia nhỏ mô hình và phân bổ giữa các GPU. Ví dụ, Song song hóa ten-xơ (tensor parallelism) chia nhỏ các trọng số bên trong một lớp duy nhất, sao cho mỗi GPU thực hiện thao tác cần thiết và truyền đầu ra cho GPU khác. Điều này giảm nhu cầu bộ nhớ trên mỗi GPU nhưng đòi hỏi giao tiếp liên tục giữa chúng, do đó cần kết nối băng thông cao và độ trễ thấp để đạt hiệu quả.
Song song hóa theo luồng (pipeline parallelism) phân bổ các lớp của mô hình cho các GPU, mỗi GPU thực hiện công việc của mình và chia sẻ cập nhật với GPU tiếp theo trong luồng. Mặc dù yêu cầu ít giao tiếp hơn so với song song hóa ten-xơ, nhưng có thể xuất hiện "bong bóng" (ví dụ: thời gian chết), khi các GPU phía sau phải chờ thông tin từ GPU phía trước để bắt đầu công việc.
Để giải quyết các thách thức này, nhiều kỹ thuật đã được phát triển. Ví dụ, ZeRO (tối ưu hóa không dư thừa) là một kỹ thuật tối ưu bộ nhớ, giảm sử dụng bộ nhớ bằng cách tăng chi phí giao tiếp, từ đó cho phép huấn luyện các mô hình lớn hơn trên thiết bị cụ thể. ZeRO giảm nhu cầu bộ nhớ bằng cách chia tham số mô hình, gradient và trạng thái bộ tối ưu giữa các GPU, nhưng phụ thuộc vào lượng lớn giao tiếp để các thiết bị có thể truy cập dữ liệu đã chia. Đây là nền tảng cho các kỹ thuật phổ biến như Song song hóa dữ liệu phân mảnh hoàn toàn (FSDP) và DeepSpeed.
Các kỹ thuật này thường được kết hợp trong huấn luyện mô hình lớn để tối đa hóa hiệu quả sử dụng tài nguyên, được gọi là Song song 3D. Trong cấu hình này, song song hóa ten-xơ thường được dùng để phân bổ trọng số giữa các GPU trong một máy chủ duy nhất, vì cần nhiều giao tiếp giữa các lớp đã chia. Sau đó, song song hóa theo luồng được dùng để phân bổ các lớp giữa các máy chủ khác nhau (nhưng trong cùng một "đảo" trong trung tâm dữ liệu), vì nó cần ít giao tiếp hơn. Tiếp theo, song song hóa dữ liệu hoặc FSDP được dùng để chia tập dữ liệu giữa các đảo máy chủ khác nhau, vì nó có thể thích nghi với độ trễ mạng dài hơn bằng cách chia sẻ cập nhật bất đồng bộ và/hoặc nén gradient. Meta sử dụng phương pháp kết hợp này để huấn luyện Llama 3.1, như minh họa dưới đây.
Những phương pháp này đặt ra thách thức cốt lõi cho mạng huấn luyện phi tập trung, vốn phụ thuộc vào các thiết bị kết nối qua internet tiêu dùng (chậm hơn và biến động hơn). Trong môi trường này, chi phí giao tiếp nhanh chóng vượt quá lợi ích từ tính toán biên vì các thiết bị thường bị bỏ không, chờ dữ liệu đến. Ví dụ đơn giản: huấn luyện song song dữ liệu phân tán cho một mô hình nửa độ chính xác với 1 tỷ tham số, mỗi GPU cần chia sẻ 2GB dữ liệu trong mỗi bước tối ưu hóa. Với băng thông internet điển hình (ví dụ 1 gigabit/giây) làm ví dụ, giả sử tính toán và giao tiếp không chồng lấn, việc truyền cập nhật gradient mất ít nhất 16 giây, gây lãng phí nghiêm trọng. Các kỹ thuật như song song hóa ten-xơ (cần nhiều giao tiếp hơn) chắc chắn sẽ hoạt động tồi tệ hơn.
Thứ hai, các kỹ thuật huấn luyện hiện tại thiếu khả năng chịu lỗi. Như mọi hệ thống phân tán, khi quy mô tăng, cụm huấn luyện trở nên dễ gặp sự cố hơn. Tuy nhiên, vấn đề này nghiêm trọng hơn trong huấn luyện vì công nghệ hiện tại chủ yếu là đồng bộ, nghĩa là các GPU phải phối hợp để hoàn thành việc huấn luyện mô hình. Một GPU duy nhất gặp sự cố trong hàng ngàn GPU sẽ khiến toàn bộ quá trình huấn luyện dừng lại, buộc các GPU khác phải bắt đầu lại từ đầu. Trong một số trường hợp, GPU không hoàn toàn hỏng mà chỉ chậm lại do nhiều nguyên nhân, làm chậm hàng ngàn GPU khác trong cụm. Xét đến quy mô của các cụm hiện nay, điều này có thể dẫn đến chi phí bổ sung từ hàng chục triệu đến hàng trăm triệu đô la.
Meta chi tiết hóa những vấn đề này trong quá trình huấn luyện Llama, khi họ trải qua hơn 400 lần gián đoạn bất ngờ, trung bình khoảng 8 lần mỗi ngày. Các gián đoạn này chủ yếu do sự cố phần cứng, như GPU hoặc phần cứng máy chủ. Điều này khiến hiệu suất sử dụng GPU của họ chỉ đạt 38–43%. OpenAI còn tệ hơn khi huấn luyện GPT-4, chỉ đạt 32–36%, cũng do sự cố thường xuyên trong quá trình huấn luyện.
Nói cách khác, ngay cả các phòng thí nghiệm tiên phong hoạt động trong môi trường được tối ưu hoàn hảo (bao gồm phần cứng đồng nhất, tiên tiến nhất, mạng, nguồn điện và hệ thống làm mát) vẫn khó đạt hiệu suất sử dụng 40%. Nguyên nhân chủ yếu là do sự cố phần cứng và mạng, và trong môi trường huấn luyện biên, các vấn đề này sẽ nghiêm trọng hơn vì các thiết bị không đồng đều về năng lực xử lý, băng thông, độ trễ và độ tin cậy. Chưa kể, mạng phi tập trung dễ bị tấn công bởi các hành vi ác ý, có thể cố gắng phá hoại dự án hoặc gian lận trong các công việc cụ thể vì nhiều lý do. Ngay cả mạng tình nguyện thuần túy như SETI@home cũng từng chứng kiến gian lận từ các người tham gia khác nhau.
Thứ ba, việc huấn luyện mô hình tiên tiến đòi hỏi năng lực tính toán khổng lồ. Mặc dù các dự án như SETI và Folding đạt được quy mô ấn tượng, nhưng so với năng lực tính toán cần thiết cho việc huấn luyện tiên tiến ngày nay thì vẫn quá nhỏ bé. GPT-4 được huấn luyện trên cụm gồm 20.000 A100, với thông lượng đỉnh điểm đạt 6,28 ExaFLOPS ở độ chính xác nửa. Con số này cao gấp ba lần so với năng lực tính toán đỉnh điểm của Folding@home. Llama 405b được huấn luyện bằng 16.000 H100, thông lượng đỉnh điểm đạt 15,8 ExaFLOPS, gấp 7 lần đỉnh điểm của Folding. Khi nhiều phòng thí nghiệm lên kế hoạch xây dựng cụm vượt quá 100.000 H100, khoảng cách này sẽ còn mở rộng hơn nữa, với mỗi cụm đạt năng lực tính toán đáng kinh ngạc lên tới 99 ExaFLOPS.
Điều này hoàn toàn hợp lý vì các dự án @home dựa vào tình nguyện viên. Người đóng góp hiến tặng bộ nhớ và chu kỳ xử lý của họ, đồng thời gánh chi phí liên quan. Điều này tự nhiên giới hạn quy mô của chúng so với các dự án thương mại.
Tiến bộ gần đây
Mặc dù những vấn đề này từng làm khó các nỗ lực huấn luyện phi tập trung trong lịch sử, nhưng dường như chúng không còn là trở ngại không thể vượt qua. Các kỹ thuật huấn luyện mới đã xuất hiện, giảm nhu cầu giao tiếp giữa các nút, từ đó cho phép huấn luyện hiệu quả trên các thiết bị kết nối internet. Nhiều kỹ thuật này bắt nguồn từ các phòng thí nghiệm lớn, vốn muốn mở rộng quy mô huấn luyện mô hình, do đó cần các kỹ thuật giao tiếp hiệu quả giữa các trung tâm dữ liệu. Chúng ta cũng thấy tiến bộ trong các phương pháp huấn luyện chịu lỗi và hệ thống khuyến khích mật mã, có thể hỗ trợ huấn luyện quy mô lớn hơn trong môi trường biên.
Các kỹ thuật giao tiếp hiệu quả
DiLoCo là nghiên cứu gần đây của Google, giảm chi phí giao tiếp bằng cách thực hiện tối ưu hóa cục bộ trước khi truyền trạng thái mô hình cập nhật giữa các thiết bị. Phương pháp của họ (dựa trên nghiên cứu học liên bang trước đó) cho thấy hiệu suất tương đương với huấn luyện đồng bộ truyền thống, trong khi giảm lượng giao tiếp giữa các nút xuống 500 lần. Sau đó, phương pháp này đã được sao chép bởi các nhà nghiên cứu khác và mở rộng để huấn luyện các mô hình lớn hơn (trên 1 tỷ tham số). Nó cũng được mở rộng sang huấn luyện bất đồng bộ, nghĩa là các nút có thể chia sẻ cập nhật gradient ở các thời điểm khác nhau thay vì chia sẻ tất cả cùng lúc. Điều này thích nghi tốt hơn với phần cứng biên có năng lực xử lý và tốc độ mạng khác nhau.
Các phương pháp song song dữ liệu khác như lo-fi và DisTrO nhằm giảm thêm chi phí giao tiếp. Lo-fi đề xuất phương pháp tinh chỉnh cục bộ hoàn toàn, nghĩa là các nút huấn luyện độc lập và chỉ truyền trọng số ở cuối. Phương pháp này đạt hiệu suất tương đương chuẩn khi tinh chỉnh mô hình ngôn ngữ trên 1 tỷ tham số, đồng thời loại bỏ hoàn toàn chi phí giao tiếp. Trong một báo cáo sơ bộ, DisTrO tuyên bố sử dụng một bộ tối ưu phân tán kiểu mới, có thể giảm nhu cầu giao tiếp xuống 4–5 bậc, mặc dù phương pháp này vẫn cần xác minh.
Các phương pháp song song mô hình mới cũng đã xuất hiện, giúp mở rộng quy mô. DiPaCo (cũng từ Google) chia mô hình thành nhiều mô-đun, mỗi mô-đun chứa các chuyên gia khác nhau để huấn luyện theo nhiệm vụ cụ thể. Sau đó, dữ liệu huấn luyện được chia theo "đường đi", là chuỗi các chuyên gia tương ứng với mỗi mẫu dữ liệu. Với một phân đoạn nhất định, mỗi người tham gia gần như có thể huấn luyện đường đi cụ thể đó một cách độc lập, ngoại trừ phần giao tiếp cho các mô-đun chia sẻ, phần này được xử lý bởi DiLoCo. Kiến trúc này giảm thời gian huấn luyện mô hình tỷ tham số hơn một nửa.
Song song SWARM và Huấn luyện phi tập trung mô hình nền tảng trong môi trường dị biệt (DTFMHE) cũng đề xuất các phương pháp song song mô hình để huấn luyện mô hình lớn trong môi trường dị biệt. SWARM phát hiện ra rằng khi mô hình mở rộng, các ràng buộc giao tiếp của song song theo luồng giảm, cho phép huấn luyện hiệu quả mô hình lớn hơn trên băng thông mạng thấp hơn và độ trễ cao hơn. Để áp dụng vào môi trường dị biệt, họ sử dụng các "kết nối ống tạm thời" giữa các nút, có thể được cập nhật theo thời gian thực trong mỗi lần lặp. Điều này cho phép nút gửi đầu ra đến bất kỳ nút nào ở giai đoạn ống tiếp theo. Nghĩa là, nếu một nút nào đó nhanh hơn hoặc bất kỳ người tham gia nào ngắt kết nối, đầu ra có thể được định tuyến lại động để đảm bảo huấn luyện tiếp tục, miễn là mỗi giai đoạn có ít nhất một người tham gia hoạt động. Họ đã dùng phương pháp này để huấn luyện một mô hình trên 1 tỷ tham số trên các GPU dị biệt giá rẻ với tốc độ kết nối chậm (như hình dưới).
DTFMHE cũng đề xuất một thuật toán lập lịch mới, kết hợp song song theo luồng và song song dữ liệu để huấn luyện mô hình lớn trên thiết bị ở 3 châu lục. Mặc dù tốc độ mạng của họ chậm hơn 100 lần so với Deepspeed tiêu chuẩn, nhưng phương pháp của họ chỉ chậm hơn 1,7–3,5 lần so với Deepspeed tiêu chuẩn trong trung tâm dữ liệu. Tương tự SWARM, DTFMHE cho thấy khi mô hình lớn hơn, chi phí giao tiếp có thể được che giấu hiệu quả, ngay cả trong mạng phân bố địa lý. Điều này cho phép chúng ta vượt qua kết nối yếu giữa các nút bằng các kỹ thuật như tăng kích thước lớp ẩn và thêm nhiều lớp hơn vào mỗi giai đoạn ống.
Khả năng chịu lỗi
Nhiều phương pháp song song dữ liệu nêu trên mặc định có khả năng chịu lỗi vì mỗi nút lưu trữ toàn bộ mô hình trong bộ nhớ. Sự dư thừa này thường có nghĩa là các nút vẫn có thể hoạt động độc lập ngay cả khi các nút khác gặp sự cố. Điều này rất quan trọng đối với huấn luyện phi tập trung vì các nút thường không đáng tin cậy, dị biệt và thậm chí có thể ác ý. Tuy nhiên, như đã nói, các phương pháp song song dữ liệu thuần túy chỉ phù hợp với mô hình nhỏ hơn, do đó kích thước mô hình bị giới hạn bởi dung lượng bộ nhớ nhỏ nhất trong mạng.
Để giải quyết vấn đề trên, một số người đã đề xuất các kỹ thuật chịu lỗi dành cho huấn luyện song song mô hình (hoặc song song hỗn hợp). SWARM xử lý sự cố nút bằng cách ưu tiên các nút đồng đẳng ổn định, độ trễ thấp và định tuyến lại nhiệm vụ các giai đoạn ống khi xảy ra sự cố. Các phương pháp khác như Oobleck sử dụng cách tiếp cận tương tự bằng cách tạo nhiều "mẫu ống" để cung cấp tính dư thừa khi một phần nút gặp sự cố. Mặc dù được thử nghiệm trong trung tâm dữ liệu, phương pháp Oobleck cung cấp các đảm bảo độ tin cậy mạnh mẽ, cũng có thể áp dụng cho môi trường phi tập trung.
Chúng ta cũng thấy các kiến trúc mô hình mới (như Mô hình chuyên gia hỗn hợp phi tập trung (DMoE)) hỗ trợ huấn luyện chịu lỗi trong môi trường phi tập trung. Tương tự mô hình chuyên gia hỗn hợp truyền thống, DMoE gồm nhiều mạng "chuyên gia" độc lập, được phân bố trên một nhóm nút tham gia. DMoE sử dụng bảng băm phân tán để theo dõi và tích hợp các cập nhật bất đồng bộ theo cách phi tập trung. Cơ chế này (cũng được dùng trong SWARM) có khả năng chống lại sự cố nút tốt vì nếu một số nút thất bại hoặc không phản hồi kịp, nó có thể loại trừ một số chuyên gia khỏi tính trung bình.
Quy mô
Cuối cùng, các hệ thống khuyến khích mật mã như Bitcoin và Ethereum có thể giúp đạt được quy mô cần thiết. Hai mạng này sử dụng điện toán cộng đồng bằng cách trả thưởng cho người đóng góp một tài sản nội bộ có thể tăng giá trị khi mạng phát triển. Thiết kế này khuyến khích người đóng góp ban đầu bằng phần thưởng hậu hĩnh, sau đó giảm dần khi mạng đạt quy mô khả thi tối thiểu.
Thực tế, cơ chế này có nhiều bẫy cần tránh. Bẫy lớn nhất là khuyến khích cung quá mức mà không tạo ra nhu cầu tương ứng. Ngoài ra, nếu mạng nền tảng không đủ phi tập trung, điều này có thể gây ra các vấn đề pháp lý. Tuy nhiên, khi được thiết kế đúng, các hệ thống khuyến khích phi tập trung có thể đạt quy mô đáng kể trong thời gian dài.
Ví dụ, mức tiêu thụ điện hàng năm của Bitcoin khoảng 150 terawatt giờ (TWh), cao hơn hai bậc so với mức tiêu thụ điện của cụm huấn luyện AI lớn nhất được hình dung (100.000 H100 chạy đầy tải cả năm). Để so sánh, GPT-4 của OpenAI được huấn luyện trên 20.000 A100, mô hình Llama 405B hàng đầu của Meta được huấn luyện trên 16.000 H100. Tương tự, vào thời kỳ đỉnh cao, mức tiêu thụ điện của Ethereum khoảng 70 TWh, được phân tán trên hàng triệu GPU. Ngay cả khi xem xét sự tăng trưởng nhanh chóng của các trung tâm dữ liệu AI trong vài năm tới, các mạng tính toán khuyến khích này vẫn sẽ vượt xa quy mô của chúng nhiều lần.
Tất nhiên, không phải mọi tính toán đều có thể thay thế được, và việc huấn luyện so với đào coin có nhu cầu riêng biệt cần cân nhắc. Tuy nhiên, những mạng này cho thấy quy mô có thể đạt được thông qua các cơ chế này.
Con đường phía trước
Kết nối các mảnh ghép này lại với nhau, chúng ta có thể thấy manh nha một con đường mới.
Không lâu nữa, các kỹ thuật huấn luyện mới sẽ cho phép chúng ta vượt qua giới hạn trung tâm dữ liệu, vì các thiết bị sẽ không cần phải đặt gần nhau để hoạt động hiệu quả. Điều này sẽ mất thời gian vì các phương pháp huấn luyện phi tập trung hiện tại vẫn ở quy mô nhỏ, chủ yếu trong phạm vi 1–2 tỷ tham số, nhỏ hơn nhiều so với các mô hình như GPT-4. Chúng ta cần các bước đột phá thêm để mở rộng quy mô các phương pháp này mà không đánh đổi các thuộc tính then chốt như hiệu quả giao tiếp và khả năng chịu lỗi. Hoặc, chúng ta cần các kiến trúc mô hình mới, khác biệt so với các mô hình đơn khối lớn ngày nay—có thể nhỏ hơn, modun hóa hơn, chạy trên thiết bị biên thay vì trên đám mây.
Dù bằng cách nào, có thể dự đoán hợp lý rằng sẽ có thêm tiến bộ theo hướng này. Chi phí của phương pháp hiện tại là không bền vững, tạo động lực thị trường mạnh mẽ cho đổi mới. Chúng ta đã thấy xu hướng này, khi các nhà sản xuất như Apple đang xây dựng các thiết bị biên mạnh mẽ hơn để chạy nhiều khối lượng công việc cục bộ thay vì phụ thuộc vào đám mây. Chúng ta cũng thấy sự ủng hộ ngày càng tăng đối với các giải pháp mã nguồn mở—ngay cả trong các công ty như Meta—để thúc đẩy nghiên cứu và phát triển phi tập trung hơn. Những xu hướng này sẽ chỉ tăng tốc theo thời gian.
Đồng thời, chúng ta cũng cần hạ tầng mạng mới để kết nối các thiết bị biên, để có thể sử dụng chúng theo cách này. Các thiết bị này bao gồm máy tính xách tay, máy tính chơi game để bàn, và cuối cùng thậm chí có thể là điện thoại có card đồ họa hiệu suất cao và bộ nhớ lớn. Điều này sẽ cho phép chúng ta xây dựng một "cụm toàn cầu"—năng lực tính toán giá rẻ, luôn bật, có thể xử lý song song các nhiệm vụ huấn luyện. Đây cũng là một vấn đề đầy thách thức, đòi hỏi tiến bộ trong nhiều lĩnh vực.
Chúng ta cần các kỹ thuật lập lịch tốt hơn để huấn luyện trong môi trường dị biệt. Hiện tại không có phương pháp nào có thể tự động song song hóa mô hình một cách tối ưu, đặc biệt là trong tình huống các thiết bị có thể ngắt hoặc kết nối bất cứ lúc nào. Đây là bước tiếp theo quan trọng để tối ưu huấn luyện, đồng thời giữ lợi thế về quy mô của mạng biên.
Chúng ta cũng phải đối mặt với sự phức tạp tổng thể của mạng phi tập trung. Để tối đa hóa quy mô, mạng nên được xây dựng như một giao thức mở—một bộ tiêu chuẩn và hướng dẫn quy định cách các bên tham gia tương tác, giống như TCP/IP nhưng dành cho điện toán học máy. Điều này sẽ cho phép bất kỳ thiết bị nào tuân thủ tiêu chuẩn cụ thể đều có thể kết nối vào mạng, bất kể chủ sở hữu và vị trí. Nó cũng đảm bảo mạng giữ tính trung lập, cho phép người dùng huấn luyện mô hình họ muốn.
Mặc dù điều này tối đa hóa quy mô, nhưng nó cũng cần một cơ chế để xác minh tính đúng đắn của mọi nhiệm vụ huấn luyện mà không phụ thuộc vào một thực thể duy nhất. Điều này cực kỳ quan trọng vì tồn tại động cơ gian lận cố hữu—ví dụ, tuyên bố đã hoàn thành một nhiệm vụ huấn luyện để nhận thù lao nhưng thực tế không làm. Do các thiết bị thường thực hiện các thao tác học máy theo những cách khác nhau, việc sử dụng các kỹ thuật sao chép tiêu chuẩn để xác minh tính đúng đắn trở nên khó khăn, khiến vấn đề này đặc biệt thách thức. Giải quyết đúng vấn đề này đòi hỏi nghiên cứu sâu trong mật mã và các lĩnh vực khác.
May mắn thay, chúng ta tiếp tục chứng kiến tiến bộ trên tất cả các lĩnh vực này. So với vài năm trước, những thách thức này dường như không còn không thể vượt qua. So với cơ hội, chúng thậm chí còn khá nhỏ bé. Google đã tóm tắt tốt nhất trong bài báo DiPaCo của họ về tiềm năng phá vỡ cơ chế phản hồi tiêu cực của huấn luyện phi tập trung:
"Sự tiến bộ trong việc huấn luyện phân tán các mô hình học máy có thể thúc đẩy việc đơn giản hóa xây dựng hạ tầng, cuối cùng dẫn đến việc tài nguyên tính toán được phổ biến rộng rãi hơn. Hiện tại, hạ tầng được thiết kế xung quanh phương pháp tiêu chuẩn là huấn luyện các mô hình đơn khối lớn, trong khi kiến trúc mô hình học máy cũng được thiết kế để tận dụng hạ tầng và phương pháp huấn luyện hiện tại. Vòng lặp phản hồi này có thể khiến cộng đồng mắc kẹt trong một cực tiểu cục bộ sai lệch, nơi giới hạn tài nguyên tính toán vượt quá nhu cầu thực tế."
Có lẽ điều thú vị nhất là sự nhiệt huyết ngày càng tăng của cộng đồng nghiên cứu trong việc giải quyết các vấn đề này. Đội ngũ chúng tôi tại Gensyn đang xây dựng hạ tầng mạng như đã nêu trên. Các nhóm như Hivemind và BigScience đang áp dụng nhiều kỹ thuật này trong thực tiễn. Các dự án như Petals, sahajBERT và Bloom thể hiện năng lực của các kỹ thuật này, cũng như sự quan tâm ngày càng tăng đối với học máy dựa trên cộng đồng. Còn nhiều người khác cũng đang thúc đẩy tiến bộ nghiên cứu, với mục tiêu xây dựng một hệ sinh thái huấn luyện mô hình mở và hợp tác hơn. Nếu bạn quan tâm đến công việc này, hãy liên hệ với chúng tôi để tham gia.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
@gensynai
