Mô hình AI lớn và Web3 cộng sinh như thế nào?
Tuyển chọn TechFlowTuyển chọn TechFlow
Mô hình AI lớn và Web3 cộng sinh như thế nào?
Sự đóng góp cụ thể của blockchain đối với mô hình lớn AI được thể hiện ở "khả năng tính toán, dữ liệu và hợp tác".
Chuyên sâu báo cáo Web3Tác giả: Điền Hồng Phi, Trưởng ban «AI+Crypto Studio» Đảo Vạn Vật
Mô hình lớn, với tư cách là công nghệ cao phát triển nhanh nhất trong lịch sử nhân loại, đã thu hút sự chú ý của tất cả mọi người, trong khi web3 ngày hôm qua đã trở nên ngày càng thách thức về mặt pháp lý. Tuy nhiên, với tư cách là những công nghệ hoàn toàn khác nhau, giữa hai bên không tồn tại bất kỳ mối quan hệ thay thế nào. Thầy Điền Hồng Phi, trưởng ban «AI+Crypto Studio» Đảo Vạn Vật sẽ cùng mọi người thảo luận về các vấn đề gặp phải trong quá trình phát triển mô hình lớn và cách các doanh nghiệp trong lĩnh vực web3 đang nỗ lực giải quyết những vấn đề này.
Vấn đề ngành mô hình lớn và cách kết hợp Web3 để giải quyết
Như chúng ta đều biết, sau năm 2015, ngành công nghiệp internet bước vào giai đoạn độc quyền, các công ty nền tảng trên toàn cầu đều bị điều tra chống độc quyền. Sự xuất hiện của mô hình lớn làm trầm trọng thêm vị trí độc quyền của các tập đoàn lớn. Mô hình lớn bao gồm thuật toán, năng lực tính toán và dữ liệu:
-
Trong lĩnh vực thuật toán, mặc dù có mức độ độc quyền nhất định, nhưng do sức mạnh mã nguồn mở và các trường đại học nghiên cứu đối trọng, cũng như sự thiếu tin tưởng của con người đối với các tập đoàn lớn, vì vậy thuật toán phần lớn có thể giữ được sự cởi mở;
-
Về năng lực tính toán, chi phí huấn luyện mô hình lớn rất cao, chỉ các doanh nghiệp lớn mới đủ khả năng chi trả, bản chất dẫn đến việc sản xuất thuật toán hoàn toàn bị kiểm soát bởi các doanh nghiệp lớn;
-
Về dữ liệu, mặc dù việc huấn luyện mô hình lớn dựa vào dữ liệu công khai, nhưng theo sự tăng trưởng của thông số mô hình, dữ liệu công khai sẽ sớm cạn kiệt, do đó sự phát triển tiếp theo của mô hình lớn phụ thuộc vào dữ liệu riêng tư. Mặc dù số lượng dữ liệu tuyệt đối mà các doanh nghiệp nhỏ sở hữu là rất lớn, nhưng tồn tại một cách rời rạc khó tận dụng, do đó các doanh nghiệp lớn vẫn có lợi thế độc quyền về dữ liệu.
Do đó, sự kiểm soát tập trung trong thời đại mô hình lớn mạnh hơn trước đây, tương lai thế giới có thể sẽ bị kiểm soát bởi vài máy tính thậm chí chỉ một máy tính duy nhất. (Ngay cả trong thế giới phi tập trung Web3, đề xuất End Game của Ethereum do Vitalik đưa ra sẽ do một cỗ máy tạo khối khổng lồ vận hành.)
Ngoài ra, đội ngũ cốt lõi của công ty OpenAI phát triển ChatGPT chỉ khoảng hơn 20 người. Vì nhiều lý do, thuật toán ChatGPT cho đến nay chưa được mã nguồn mở, từ ban đầu là doanh nghiệp phi lợi nhuận chuyển thành có lợi nhuận hạn chế. Khi các ứng dụng dựa trên ChatGPT thay đổi cuộc sống con người, một số chỉnh sửa mô hình ChatGPT sẽ ảnh hưởng sâu rộng đến con người; so với nguyên tắc "không ác" của Google, ảnh hưởng của ChatGPT đến con người còn sâu sắc hơn.
Do đó, tính đáng tin cậy trong tính toán mô hình sẽ trở thành chủ đề quan trọng. Dù OpenAI có thể hoạt động như tổ chức phi lợi nhuận, nhưng quyền lực nằm trong tay ít người vẫn gây ra nhiều hậu quả tiêu cực. (So sánh, End Game của Ethereum do Vitalik đề xuất dù do một máy tạo khối, nhưng sẽ duy trì tính minh bạch nhờ xác minh dễ dàng của công chúng.)
Đồng thời, ngành mô hình lớn hiện nay còn tồn tại: thiếu hụt năng lực tính toán, dữ liệu huấn luyện có thể dùng sắp cạn kiệt, và vấn đề chia sẻ mô hình. Theo thống kê, trước năm 2021, vấn đề ngành AI là thiếu dữ liệu, tất cả các công ty học sâu đều tìm kiếm dữ liệu ngành dọc; sau mô hình lớn, thiếu hụt năng lực tính toán trở thành rào cản.
Việc phát triển mô hình lớn chia làm vài giai đoạn: thu thập dữ liệu, xử lý dữ liệu, huấn luyện mô hình, tinh chỉnh mô hình, triển khai truy vấn suy luận. Từ các giai đoạn này, trước tiên xin tóm tắt đóng góp của blockchain đối với mô hình lớn, và cách chống lại tác hại do mức độ tập trung quá cao của mô hình lớn.
-
Về dữ liệu, do dữ liệu công khai sẽ cạn kiệt sau năm 2030, cần tận dụng lượng dữ liệu riêng tư lớn và giá trị hơn dưới tiền đề bảo vệ quyền riêng tư bằng công nghệ blockchain;
-
Về gán nhãn dữ liệu, có thể dùng phần thưởng token để mở rộng quy mô gán nhãn và kiểm tra dữ liệu;
-
Trong giai đoạn huấn luyện mô hình, thông qua chia sẻ mô hình, huấn luyện cộng tác để đạt được chia sẻ năng lực tính toán;
-
Trong giai đoạn tinh chỉnh mô hình, có thể dùng phần thưởng token để cộng đồng tham gia;
-
Trong giai đoạn tính toán truy vấn suy luận của người dùng, blockchain có thể bảo vệ quyền riêng tư dữ liệu người dùng.
Cụ thể hơn:
1) Năng lực tính toán khan hiếm
Năng lực tính toán là yếu tố sản xuất thiết yếu của mô hình lớn, và là yếu tố đắt đỏ nhất hiện nay, đến mức các startup vừa gọi vốn buộc phải chuyển ngay 80% vốn cho NVIDIA để mua GPU. Các công ty tự sản xuất mô hình lớn phải chi ít nhất 50 triệu đô la Mỹ để xây dựng trung tâm dữ liệu, trong khi các startup nhỏ buộc phải mua dịch vụ điện toán đám mây đắt đỏ.
Tuy nhiên, sự nóng lên ngắn hạn của mô hình lớn và nhu cầu khổng lồ về tài nguyên tính toán của chính mô hình lớn đã vượt xa khả năng cung cấp của NVIDIA. Theo thống kê, nhu cầu năng lực tính toán cho mô hình lớn tăng gấp đôi mỗi vài tháng, từ năm 2012 đến 2018, nhu cầu tăng 300.000 lần, chi phí tính toán mô hình lớn tăng 31 lần mỗi năm.
Đối với các doanh nghiệp Internet Trung Quốc, còn phải đối mặt lệnh cấm vận của Mỹ đối với GPU cao cấp.Có thể nói, chi phí huấn luyện khổng lồ là nguyên nhân cốt lõi khiến công nghệ mô hình lớn bị kiểm soát bởi một số ít người.
Vậy làm thế nào để blockchain giải quyết vấn đề năng lực tính toán của mô hình lớn?
Xét thấy sản xuất mô hình lớn chủ yếu chia làm huấn luyện mô hình lớn, huấn luyện tinh chỉnh (fine tuning) và tính toán truy vấn suy luận người dùng. Dù huấn luyện mô hình lớn nổi tiếng tốn kém, nhưng chỉ cần tạo ra một phiên bản là đủ. Phần lớn thời gian, đối với người dùng dịch vụ mô hình lớn, chỉ cần tính toán suy luận. Thống kê của AWS cũng xác nhận điều này, 80% năng lực tính toán thực tế tiêu thụ ở tính toán suy luận.
Dù huấn luyện mô hình lớn cần khả năng truyền thông tốc độ cao giữa các GPU, không thể hoàn thành trên mạng (trừ khi chọn kéo dài thời gian để đổi lấy chi phí thấp). Nhưng tính toán suy luận có thể hoàn thành trên một GPU đơn lẻ. Huấn luyện tinh chỉnh (fine tuning) do dựa trên mô hình lớn đã tạo, cấp dữ liệu chuyên môn, nên nhu cầu tài nguyên tính toán ít hơn nhiều so với huấn luyện mô hình lớn.
Trong lĩnh vực render đồ họa, hiệu suất GPU dành cho người tiêu dùng rõ ràng tốt hơn GPU doanh nghiệp, và phần lớn thời gian ở trạng thái rảnh. Từ năm 1999, Đại học Berkeley, California khởi xướng dự án tìm người ngoài hành tinh SETI, và Grid Computing phổ biến năm 2000 đã bắt đầu, một số kiến trúc kỹ thuật tận dụng tài nguyên tính toán rảnh rỗi để cùng hoàn thành các nhiệm vụ tính toán khổng lồ. Trước khi có blockchain, các hợp tác này thường tập trung vào nhiệm vụ khoa học, dựa vào nhiệt huyết và tham gia công ích của người tham gia, hạn chế phạm vi ảnh hưởng. Hiện nay, sử dụng công nghệ blockchain, có thể dùng token khuyến khích ứng dụng quy mô lớn.
Giống như dự án điện toán đám mây phi tập trung Akash, xây dựng mạng tính toán chung, người dùng có thể triển khai mô hình học máy để tính toán suy luận và render hình ảnh. Ngoài ra còn có các dự án kết hợp blockchain-AI như Bittensor, Modulus Lab, Giza, ChainML đều hướng tới tính toán truy vấn suy luận.
Trong khi đó, giao thức tính toán AI blockchain Gensyn và nền tảng AI sinh học mã nguồn mở Together đặt mục tiêu xây dựng mạng lưới tính toán phi tập trung phục vụ huấn luyện mô hình lớn.
Thách thức: Đối với mạng lưới tính toán phi tập trung, khó khăn không chỉ nằm ở mạng truyền thông chậm và không đáng tin cậy, trạng thái tính toán không đồng bộ, xử lý môi trường tính toán GPU đa dạng, mà còn phải giải quyết các vấn đề như kích thích kinh tế, gian lận người tham gia, chứng minh khối lượng công việc, an ninh, bảo vệ quyền riêng tư và chống tấn công spam.
2) Dữ liệu khan hiếm và hiệu chỉnh dữ liệu
Thuật toán cốt lõi của mô hình lớn Reinforcement Learning from Human Feedback (RLHF) cần sự tham gia của con người để tinh chỉnh huấn luyện, sửa lỗi, loại bỏ thiên vị và thông tin độc hại. OpenAI sử dụng RLHF để tinh chỉnh GPT3 tạo ra ChatGPT, trong quá trình này OpenAI tìm chuyên gia từ nhóm Facebook, trả 2 USD/giờ cho lao động Kenya. Việc tối ưu hóa huấn luyện thường cần chuyên gia con người tham gia vào dữ liệu lĩnh vực chuyên môn, và việc thực hiện hoàn toàn có thể kết hợp với cách cộng đồng tham gia thông qua phần thưởng token.
Ngành Decentralized Physical Infrastructure Networks (DePINs) thông qua phần thưởng token khuyến khích người dùng lắp cảm biến, chia sẻ dữ liệu thật, thời gian thực từ thế giới vật lý, phục vụ huấn luyện các mô hình. Bao gồm: React thu thập dữ liệu sử dụng năng lượng, DIMO thu thập dữ liệu lái xe, WeatherXM thu thập dữ liệu thời tiết, Hivemapper thông qua phần thưởng token thu thập dữ liệu bản đồ, khuyến khích người dùng gán nhãn biển báo giao thông, giúp cải thiện độ chính xác thuật toán học máy RLHF.
Đồng thời, khi thông số mô hình lớn tăng lên, dữ liệu công khai hiện có sẽ cạn kiệt vào năm 2030, sự tiến bộ tiếp theo của mô hình lớn buộc phải phụ thuộc vào dữ liệu riêng tư. Số lượng dữ liệu riêng tư gấp 10 lần dữ liệu công cộng, nhưng phân tán trong tay doanh nghiệp và cá nhân, mang tính riêng tư và bí mật, khó tận dụng. Dẫn đến vấn đề kép: một mặt mô hình lớn cần dữ liệu, mặt khác bên có dữ liệu tuy cần mô hình lớn nhưng không muốn giao dữ liệu cho mô hình lớn sử dụng. Vấn đề kép này cũng có thể được giải quyết bằng công nghệ trong lĩnh vực blockchain.
Đối với mô hình suy luận mã nguồn mở, do yêu cầu tài nguyên tính toán ít, có thể tải mô hình xuống đoạn dữ liệu để thực thi; đối với mô hình không công khai hoặc mô hình lớn, cần xử lý ẩn danh dữ liệu rồi tải lên đầu mô hình. Phương pháp xử lý ẩn danh bao gồm dữ liệu tổng hợp và bằng chứng không kiến thức (zero knowledge proof).
Dù là mô hình tải xuống đoạn dữ liệu hay dữ liệu tải lên đầu mô hình, đều cần giải quyết vấn đề uy tín, ngăn chặn gian lận mô hình hoặc dữ liệu.
Thách thức: Dù phần thưởng token Web3 có thể hỗ trợ giải quyết vấn đề này, nhưng cần giải quyết vấn đề gian lận.
3) Cộng tác mô hình
Trên nền tảng chia sẻ mô hình AI vẽ lớn nhất thế giới - cộng đồng Civitai, mọi người chia sẻ mô hình, có thể dễ dàng sao chép một mô hình và sửa đổi để tạo mô hình phù hợp yêu cầu cá nhân.
Dự án blockchain hai đồng thuận, ngôi sao AI mã nguồn mở Bittensor thiết kế hệ thống mô hình phi tập trung có phần thưởng token, dựa trên cơ chế cộng tác mixture of experts, cùng tạo ra một mô hình giải quyết vấn đề, đồng thời hỗ trợ knowledge distillation, các mô hình có thể chia sẻ thông tin, tăng tốc huấn luyện, điều này tạo cơ hội cho nhiều công ty khởi nghiệp tham gia mô hình lớn.
Là mạng lưới thống nhất cho các dịch vụ ngoài chuỗi như tự động hóa, oracles và AI công cộng, Autonolas thiết kế khung cộng tác cho phép Agent và Agent đạt đồng thuận thông qua Tendermint.
Thách thức: Nhiều mô hình huấn luyện vẫn cần lượng lớn truyền thông, độ tin cậy và hiệu quả thời gian của huấn luyện phân tán vẫn là rào cản lớn;
Sự kết hợp sáng tạo giữa mô hình lớn và Web3
Phần trên đã bàn về cách sử dụng Web3 giải quyết một số vấn đề trong ngành mô hình lớn. Sự kết hợp của hai lực lượng quan trọng này sẽ tạo ra một số ứng dụng sáng tạo.
1) Sử dụng ChatGPT viết hợp đồng thông minh
Gần đây, một nghệ sĩ NFT không có kiến thức lập trình nào đã sử dụng prompt để vận hành ChatGPT phát hành hợp đồng thông minh của mình, phát hành token Turboner. Nghệ sĩ này đã ghi lại quá trình sáng tạo một tuần trên YouTube, khơi dậy phong trào mọi người sử dụng ChatGPT tham gia sáng tạo hợp đồng thông minh.
2) Thanh toán mã hóa trao quyền quản lý thông minh
Sự phát triển của mô hình lớn nâng cao đáng kể trí tuệ trợ lý thông minh, kết hợp với thanh toán mã hóa, trợ lý thông minh sẽ có thể phối hợp nhiều tài nguyên hơn trên thị trường trợ lý thông minh, cộng tác hoàn thành nhiều nhiệm vụ hơn. AutoGPT thể hiện khả năng giúp người dùng tự động mua tài nguyên điện toán đám mây và đặt vé máy bay dựa vào thẻ tín dụng do người dùng cung cấp, nhưng bị giới hạn bởi đăng nhập tự động hoặc xác thực an ninh khác, năng lực AutoGPT bị hạn chế nghiêm trọng. Hệ thống Multi Agent System (MAS) bao gồm Contract Net Protocol thiết kế cộng tác giữa nhiều trợ lý thông minh trên thị trường mở, nếu có sự hỗ trợ của token, sự cộng tác này sẽ phá vỡ cộng tác hạn chế dựa trên niềm tin, trở thành cộng tác quy mô lớn dựa trên nền kinh tế thị trường, giống như xã hội loài người bước từ xã hội nguyên thủy sang xã hội tiền tệ.
3) zkML (Zero Knowledge Machine Learning)
Công nghệ zkp (Bằng chứng không kiến thức) trong ứng dụng blockchain chia làm hai loại: một là giải quyết hiệu suất blockchain, chuyển nhu cầu tính toán ra ngoài chuỗi, sau đó dùng zkp xác thực trên chuỗi; hai là bảo vệ quyền riêng tư giao dịch. Ứng dụng zkp trong mô hình lớn bao gồm tính toán mô hình đáng tin cậy (chứng minh tính nhất quán và chân thực của tính toán mô hình) và tính toán riêng tư dữ liệu huấn luyện. Trong môi trường phi tập trung, nhà cung cấp dịch vụ mô hình cần chứng minh với khách hàng rằng mô hình bán ra là mô hình cam kết, không cắt giảm; đối tác dữ liệu huấn luyện cần tham gia huấn luyện hoặc sử dụng mô hình dưới tiền đề bảo vệ quyền riêng tư. Dù zkp mang lại một số khả năng, nhưng vẫn tồn tại nhiều thách thức, các giải pháp như tính toán đồng dạng và tính toán riêng tư liên bang vẫn chưa trưởng thành.
Giải pháp dựa trên kiến trúc BEC (Blockchain Edge Client)
Ngoài các dòng tư tưởng trên, còn một dòng tư tưởng khác do không có phần thưởng token và áp dụng ứng dụng blockchain tối giản nên chưa được chú ý rộng rãi.
Kiến trúc dựa trên BEC có nhiều điểm tương đồng với khái niệm Web5 do Jack Dorsey đề cập, cũng như Solid của Tim Berners-Lee.
Họ đều cho rằng:
-
Mỗi người đều có một nút biên tương ứng để kiểm soát;
-
Phần lớn tính toán và lưu trữ ứng dụng nên được xử lý tại nút biên;
-
Sự cộng tác giữa nút cá nhân và nút cá nhân được thực hiện thông qua blockchain;
-
Giao tiếp giữa các nút được thực hiện qua P2P;
-
Cá nhân có thể hoàn toàn kiểm soát nút của mình hoặc ủy thác cho người tin cậy quản lý nút (trong một số tình huống được gọi là relay server);
-
Thực hiện mức độ phi tập trung tối đa;
Khi nút cá nhân tương ứng với mỗi người, do cá nhân kiểm soát, lưu trữ dữ liệu cá nhân, nạp mô hình lớn, có thể huấn luyện ra đại lý trí tuệ cá nhân hoàn toàn cá nhân hóa, bảo vệ quyền riêng tư 100%, Tiến sĩ Công Đình, đối tác sáng lập Trung Quốc của SIG ví von lãng mạn nút cá nhân tương lai như đám mây cá nhân luôn đi theo trên đầu Olaf trong "Frozen".
Như vậy, Avatar trong metaverse hiện nay sẽ không còn là hình ảnh điều khiển bằng bàn phím, mà là agent có linh hồn, có thể thay chúng ta học tin tức mạng 24/7, xử lý email, thậm chí tự động trả lời tin nhắn xã hội (bạn gái lắm lời chú ý, sau này có thể cần biện pháp phát hiện bạn trai có đang dùng agent敷衍 mình hay không). Khi agent của bạn cần kỹ năng mới, giống như cài app điện thoại, bạn có thể cài app mới vào nút của mình.
Tổng kết
Lịch sử cho thấy, song hành với sự phát triển ngày càng nền tảng hóa của internet, dù thời gian ra đời các doanh nghiệp kỳ lân ngày càng ngắn, nhưng về bản chất lại ngày càng bất lợi cho sự phát triển doanh nghiệp khởi nghiệp.
Song hành với nền tảng phân phối nội dung hiệu quả do Google và Facebook cung cấp, YouTube ra đời năm 2005 chỉ một năm sau đã bị Google mua lại với giá 1,6 tỷ đô la Mỹ;
Song hành với nền tảng phân phối ứng dụng hiệu quả của App Store Apple, Instagram thành lập năm 2012 chỉ với hơn 10 người, năm 2012 bị Facebook mua lại với giá 1 tỷ đô la Mỹ;
Dưới sự hỗ trợ của mô hình lớn ChatGPT, Midjourney chỉ với 11 người đã kiếm được một trăm triệu đô la Mỹ trong một năm. Trong khi OpenAI chỉ với không quá 100 người có định giá vượt 20 tỷ đô la Mỹ.
Các công ty nền tảng internet ngày càng mạnh mẽ, sự ra đời của mô hình lớn không thay đổi格局 độc quyền internet hiện tại do doanh nghiệp lớn nắm giữ. Ba yếu tố mô hình lớn: thuật toán, dữ liệu và năng lực tính toán vẫn bị doanh nghiệp lớn độc quyền, công ty khởi nghiệp không có khả năng đổi mới mô hình lớn và không có thực lực tài chính huấn luyện mô hình lớn, chỉ có thể tập trung vào ứng dụng mô hình lớn trong lĩnh vực dọc. Dù mô hình lớn dường như thúc đẩy phổ biến tri thức, nhưng sức mạnh thực sự nằm trong tay không quá 100 người trên toàn cầu có khả năng sản xuất mô hình.
Nếu trong tương lai mô hình lớn thâm nhập vào mọi khía cạnh cuộc sống con người, bạn hỏi ChatGPT về chế độ ăn uống hàng ngày, tình trạng sức khỏe, email công việc, thư luật sư của bạn, thì về lý thuyết chỉ cần những người kiểm soát mô hình lớn âm thầm thay đổi một vài tham số, có thể ảnh hưởng lớn đến cuộc sống vô số người. Việc mô hình lớn khiến một số người thất nghiệp có thể giải quyết bằng UBI hoặc Worldcoin, nhưng hậu quả tiềm tàng do mô hình lớn bị kiểm soát bởi ít người gây ra còn nghiêm trọng hơn. Đây là lý do ban đầu thành lập OpenAI, dù OpenAI giải quyết vấn đề động lực lợi nhuận bằng cách phi lợi nhuận, nhưng làm thế nào để giải quyết vấn đề quyền lực? Rõ ràng, mô hình lớn tận dụng lượng kiến thức khổng lồ miễn phí tích lũy hàng chục năm trên internet để nhanh chóng huấn luyện mô hình kiến thức, nhưng mô hình này lại bị kiểm soát bởi một số rất ít người.
Vì vậy, mô hình lớn và blockchain có xung đột giá trị lớn. Nhân viên blockchain cần tham gia vào khởi nghiệp mô hình lớn, dùng công nghệ blockchain giải quyết vấn đề mô hình lớn.Nếu dữ liệu khổng lồ miễn phí trên internet là tri thức chung của nhân loại, thì mô hình lớn được tạo ra từ những dữ liệu này nên thuộc về toàn thể nhân loại. Giống như OpenAI gần đây bắt đầu trả phí cho cơ sở dữ liệu văn献, OpenAI cũng cần trả phí cho blog cá nhân bạn tôi đã cống hiến.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
