Nhà khoa học AI hàng đầu của Meta, Yann LeCun, tiếp tục chỉ trích mạnh mẽ AI tạo sinh
Tuyển chọn TechFlowTuyển chọn TechFlow
Nhà khoa học AI hàng đầu của Meta, Yann LeCun, tiếp tục chỉ trích mạnh mẽ AI tạo sinh
Các mô hình mã nguồn mở đang từng bước và chắc chắn vượt qua các mô hình đóng.
Chuyên sâu báo cáo Web3Nguồn: Tạp chí Doanh nhân Trung Quốc
Hình ảnh: Do AI Vô Giới tạo ra
"Hãy từ bỏ các mô hình sinh thành, đừng nghiên cứu LLM (mô hình ngôn ngữ lớn), chúng ta không thể chỉ thông qua việc huấn luyện văn bản để đưa AI đạt đến mức độ trí tuệ như con người." Gần đây, Giáo sư Yann LeCun, nhà khoa học AI hàng đầu của Meta, một lần nữa chỉ trích mạnh mẽ AI sinh thành tại Hội nghị Hành động Trí tuệ Nhân tạo 2025 ở Paris, Pháp.
Yann LeCun cho rằng, mặc dù các mô hình lớn hiện nay hoạt động hiệu quả, nhưng quá trình suy luận của chúng là phân kỳ, các token được tạo ra có thể nằm ngoài phạm vi câu trả lời hợp lý, đây cũng là lý do vì sao một số mô hình lớn lại tạo ra ảo giác. Dù hiện nay nhiều mô hình sinh thành giúp AI vượt qua kỳ thi luật sư hoặc giải quyết các bài toán toán học, nhưng lại không thể làm việc nhà, những việc mà con người không cần suy nghĩ cũng làm được thì với AI sinh thành lại rất phức tạp.
Ông cũng cho biết, các mô hình sinh thành hoàn toàn không phù hợp để tạo video; các mô hình AI hiện nay có thể tạo video mà mọi người thấy đều không thực sự hiểu thế giới vật lý, chúng chỉ đơn thuần tạo ra những hình ảnh đẹp mắt. Yann LeCun ủng hộ các mô hình có khả năng hiểu thế giới vật lý, ông đã đề xuất kiến trúc dự đoán nhúng kết hợp (JEPA) phù hợp hơn để dự đoán nội dung video, luôn tin rằng chỉ khi nào AI thực sự hiểu được thế giới vật lý thì mới có thể đạt tới trí tuệ nhân tạo sánh ngang con người.
Cuối cùng, Yann LeCun nhấn mạnh sự cần thiết của nền tảng trí tuệ nhân tạo mã nguồn mở; trong tương lai, chúng ta sẽ sở hữu trợ lý ảo phổ quát, chúng sẽ điều chỉnh mọi tương tác của chúng ta với thế giới kỹ thuật số. Những trợ lý này phải nói được tất cả các ngôn ngữ trên thế giới, hiểu tất cả các nền văn hóa, mọi hệ giá trị và mọi trung tâm sở thích; hệ thống AI như vậy không thể đến từ một vài công ty nhỏ ở Thung lũng Silicon, mà phải được hoàn thành thông qua sự hợp tác hiệu quả.
Một số quan điểm nổi bật như sau:
1. Chúng ta cần trí tuệ ở mức độ con người, vì chúng ta quen tương tác với con người, chúng ta mong đợi sự xuất hiện của các hệ thống AI có mức độ trí tuệ như con người; trong tương lai, các trợ lý AI khắp nơi sẽ trở thành cầu nối giữa con người và thế giới kỹ thuật số, giúp con người tương tác tốt hơn với thế giới kỹ thuật số.
2. Chúng ta không thể chỉ thông qua huấn luyện văn bản để đưa AI đạt đến mức độ trí tuệ như con người, điều đó là không thể xảy ra.
3. Tại Meta, chúng tôi gọi loại AI có thể đạt đến mức độ trí tuệ như con người là Trí tuệ Máy móc Nâng cao (AMI), chúng tôi không thích thuật ngữ "AGI" (Trí tuệ nhân tạo tổng quát), mà gọi nó là "AMI", khi phát âm bằng tiếng Pháp nghe giống từ "bạn bè".
4. Các mô hình sinh thành hoàn toàn không phù hợp để tạo video; bạn có thể từng thấy các mô hình AI tạo video, nhưng chúng không thực sự hiểu vật lý, mà chỉ đang tạo ra những hình ảnh đẹp.
5. Nếu bạn quan tâm đến AI đạt mức độ trí tuệ như con người và bạn đang làm trong giới học thuật, thì đừng nghiên cứu LLM, vì bạn đang cạnh tranh với hàng trăm đội ngũ sở hữu hàng chục ngàn GPU, điều đó hoàn toàn vô nghĩa.
6. Các nền tảng AI cần được chia sẻ; chúng phải nói được tất cả các ngôn ngữ trên thế giới, hiểu tất cả các nền văn hóa, mọi hệ giá trị và mọi trung tâm sở thích; không một công ty nào trên thế giới có thể huấn luyện được mô hình nền tảng như vậy, phải hợp tác hiệu quả để hoàn thành điều này.
7. Các mô hình mã nguồn mở đang từng bước và chắc chắn vượt qua các mô hình đóng nguồn.
Sau đây là toàn bộ nội dung chia sẻ (có rút gọn):
Tại sao chúng ta cần AI có mức độ trí tuệ như con người
Chúng ta đều biết rằng, chúng ta cần trí tuệ nhân tạo ở mức độ con người, điều này không chỉ là một vấn đề khoa học thú vị mà còn là nhu cầu sản phẩm. Trong tương lai, chúng ta sẽ đeo các thiết bị thông minh như kính thông minh, thông qua đó có thể truy cập trợ lý AI bất cứ lúc nào và tương tác với chúng.
Chúng ta cần trí tuệ ở mức độ con người, vì chúng ta quen tương tác với con người, chúng ta mong đợi sự xuất hiện của các hệ thống AI có mức độ trí tuệ như con người; trong tương lai, các trợ lý AI khắp nơi sẽ trở thành cầu nối giữa con người và thế giới kỹ thuật số, giúp con người tương tác tốt hơn với thế giới kỹ thuật số. Tuy nhiên, so với con người và động vật, học máy hiện nay vẫn rất kém, chúng ta chưa chế tạo được cỗ máy nào có khả năng học hỏi, tri thức thông thường và hiểu biết về thế giới vật chất như con người. Động vật và con người đều có thể hành động theo tri thức thông thường, những hành vi này về bản chất là hướng mục tiêu.
Vì vậy, hầu hết các hệ thống trí tuệ nhân tạo mà hiện nay gần như mọi người đều sử dụng đều không có đặc điểm mà chúng ta mong muốn. Bởi vì chúng tuần tự tạo ra từng token một cách đệ quy, rồi dùng các token được đánh dấu để dự đoán token tiếp theo. Cách huấn luyện các hệ thống này là đặt thông tin vào đầu vào, sau đó cố gắng tái hiện thông tin đó ở đầu ra. Đây là một cấu trúc nhân quả, không thể gian lận, cũng không thể dùng đầu vào cụ thể để dự đoán chính nó, mà chỉ có thể nhìn vào các token xung quanh. Vì vậy nó rất hiệu quả, mọi người gọi nó là mô hình lớn phổ quát, có thể dùng để tạo văn bản, hình ảnh.
Nhưng quá trình suy luận này là phân kỳ, mỗi khi bạn tạo ra một token, nó có thể nằm ngoài phạm vi câu trả lời hợp lý, và có thể khiến bạn càng ngày càng đi xa khỏi câu trả lời đúng, nếu tình trạng này xảy ra thì phần sau không thể sửa chữa được, đây cũng là lý do vì sao một số mô hình lớn tạo ra ảo giác, nói nhảm.
Hiện tại các trí tuệ nhân tạo này vẫn chưa thể sao chép được trí tuệ của con người, thậm chí chúng ta còn chưa thể sao chép được trí tuệ của mèo hay chuột—chúng đều hiểu các quy luật vận hành của thế giới vật lý, có thể thực hiện một số hành động dựa trên tri thức thông thường mà không cần lập kế hoạch. Một đứa trẻ 10 tuổi có thể dọn bát đũa và lau bàn mà không cần học, một thanh niên 17 tuổi chỉ mất 20 giờ để học lái xe, nhưng hiện tại chúng ta vẫn chưa chế tạo được robot gia dụng, điều này chứng tỏ nghiên cứu và phát triển AI hiện nay đang thiếu một thứ gì đó rất quan trọng.
AI hiện nay của chúng ta có thể vượt qua kỳ thi luật sư, giải quyết các bài toán toán học, chứng minh định lý, nhưng lại không thể làm việc nhà. Những việc mà chúng ta cho là không cần suy nghĩ cũng làm được, đối với robot trí tuệ nhân tạo lại rất phức tạp, còn những điều mà chúng ta cho là riêng biệt của con người như ngôn ngữ, chơi cờ, sáng tác thơ… thì AI và robot hiện nay có thể dễ dàng hoàn thành.
Chúng ta không thể chỉ thông qua huấn luyện văn bản để đưa AI đạt đến mức độ trí tuệ như con người, điều đó là không thể xảy ra. Một số người có lợi ích hiện tại sẽ nói rằng sang năm trí tuệ AI sẽ đạt trình độ tiến sĩ của con người, nhưng điều này hoàn toàn không thể, AI có thể đạt trình độ tiến sĩ của con người trong một lĩnh vực cụ thể như chơi cờ, dịch thuật… nhưng mô hình lớn phổ quát thì không thể. Nếu chúng ta chỉ huấn luyện các mô hình AI chuyên biệt cho từng lĩnh vực, nếu câu hỏi của bạn rất chuẩn, câu trả lời có thể được tạo ra trong vài giây, nhưng nếu bạn thay đổi chút ít cách diễn đạt câu hỏi, AI có thể vẫn đưa ra câu trả lời giống nhau, bởi vì nó không thực sự suy nghĩ về câu hỏi đó. Vì vậy, để có được một hệ thống trí tuệ nhân tạo đạt mức độ trí tuệ như con người, chúng ta vẫn cần thêm thời gian.
Không phải “AGI” mà là “AMI”
Tại Meta, chúng tôi gọi loại AI có thể đạt đến mức độ trí tuệ như con người là Trí tuệ Máy móc Nâng cao, chúng tôi không thích thuật ngữ “AGI” (Trí tuệ nhân tạo tổng quát), mà gọi nó là “AMI”, khi phát âm bằng tiếng Pháp nghe giống từ “bạn bè”. Chúng ta cần các mô hình có thể thu thập thông tin bằng giác quan và học hỏi, có thể thao tác thông tin đó trong đầu, học vật lý 2D từ video. Ví dụ như các hệ thống có trí nhớ lâu dài, các hệ thống có thể lập kế hoạch hành động theo tầng lớp và các hệ thống có thể suy luận, sau đó đạt được hệ thống kiểm soát và an toàn thông qua thiết kế chứ không phải điều chỉnh tinh.
Hiện tại, tôi biết phương pháp duy nhất để xây dựng các hệ thống như vậy là thay đổi cách hệ thống trí tuệ nhân tạo hiện nay thực hiện suy luận. Cách suy luận hiện nay của LLM là chạy một số lượng cố định các tầng mạng thần kinh (Transfomer) để tạo ra một token và đưa vào, sau đó lại chạy một số lượng cố định các tầng mạng thần kinh. Vấn đề của cách suy luận này là, bất kể bạn đặt câu hỏi đơn giản hay phức tạp, khi yêu cầu hệ thống trả lời “có” hay “không”, nó sẽ mất cùng một lượng tính toán để trả lời. Vì vậy mọi người luôn gian lận, nói cho hệ thống cách trả lời, con người biết kỹ thuật tư duy suy luận này, khiến hệ thống tạo ra nhiều token hơn, như vậy sẽ tiêu tốn nhiều năng lực tính toán hơn để trả lời câu hỏi.
Thực tế cách hoạt động của suy luận không phải như vậy, trong trí tuệ nhân tạo thống kê cổ điển, dự đoán cấu trúc và nhiều lĩnh vực khác, cách hoạt động của suy luận là: bạn có một hàm để đo mức độ tương thích hoặc không tương thích giữa giá trị quan sát và giá trị đầu ra, quá trình suy luận bao gồm tìm giá trị nén không gian thông tin xuống mức tối thiểu và đưa ra đầu ra, hàm này chúng tôi gọi là hàm năng lượng. Khi kết quả không đáp ứng yêu cầu, hệ thống chỉ thực hiện tối ưu hóa và suy luận, nếu vấn đề suy luận khó hơn, hệ thống sẽ dành nhiều thời gian hơn để suy luận, nói cách khác, nó sẽ dành nhiều thời gian hơn để suy nghĩ về các vấn đề phức tạp.
Trong trí tuệ nhân tạo cổ điển, nhiều việc liên quan đến suy luận và tìm kiếm, do đó mọi vấn đề tính toán đều có thể đơn giản hóa thành vấn đề suy luận hoặc tìm kiếm. Loại suy luận này giống hơn với cái mà các nhà tâm lý học gọi là Hệ thống 2, tức là trước khi hành động, bạn sẽ cân nhắc cách thực hiện, Hệ thống 1 là những việc có thể làm mà không cần suy nghĩ, biến thành một dạng tiềm thức.
Nguồn: Chụp màn hình video
Tôi giải thích đơn giản về mô hình năng lượng, tức là chúng ta có thể dùng hàm năng lượng để nắm bắt sự phụ thuộc giữa các biến, giả sử giá trị quan sát X và giá trị đầu ra Y, khi X và Y tương thích, hàm năng lượng lấy giá trị thấp, khi X và Y không tương thích, hàm năng lượng lấy giá trị cao. Bạn không muốn chỉ tính Y từ X, mà chỉ cần một hàm năng lượng để đo mức độ không tương thích, bạn chỉ cần cho trước một X, tìm một Y có năng lượng thấp là được.
Bây giờ hãy tìm hiểu chi tiết hơn cách xây dựng kiến trúc mô hình thế giới này, nó liên quan như thế nào đến suy nghĩ hay lập kế hoạch. Hệ thống này hoạt động như sau: quan sát thế giới phải đi qua một mô-đun cảm nhận, mô-đun này sẽ khái quát trạng thái của thế giới, tất nhiên, trạng thái thế giới không hoàn toàn có thể quan sát được, nên bạn có thể cần kết hợp nó với trí nhớ, nội dung trí nhớ bao gồm suy nghĩ của bạn về trạng thái thế giới, sự kết hợp này tạo thành một mô hình thế giới.
Vậy mô hình thế giới là gì? Mô hình thế giới đưa ra khái quát về trạng thái hiện tại của thế giới, trong một không gian biểu diễn trừu tượng, nó đưa ra một chuỗi hành động mà bạn tưởng tượng, mô hình thế giới của bạn dự đoán trạng thái thế giới sau khi bạn thực hiện các hành động đó. Nếu tôi bảo bạn tưởng tượng một khối lập phương đang lơ lửng trước mặt bạn, bây giờ xoay khối lập phương đó thẳng đứng 90°, nó sẽ trông như thế nào? Bạn có thể dễ dàng hình dung hình dạng sau khi xoay trong đầu.
Tôi cho rằng trước khi có âm thanh và video thực sự hoạt động, chúng ta sẽ có trí tuệ ở mức độ con người. Nếu chúng ta có mô hình thế giới này, có thể dự đoán kết quả của một chuỗi hành động, chúng ta có thể đưa nó vào một mục tiêu nhiệm vụ, dùng để đo mức độ trạng thái cuối cùng dự đoán thỏa mãn mục tiêu mà chúng ta đặt ra cho bản thân. Đây chỉ là một hàm mục tiêu, chúng ta cũng có thể đặt một số ràng buộc, coi chúng là các yêu cầu cần đáp ứng để hệ thống hoạt động an toàn. Với những ràng buộc này, chúng ta có thể đảm bảo an toàn cho hệ thống, khiến bạn không thể vượt qua chúng, chúng được quy định cứng, nằm ngoài phạm vi huấn luyện và suy luận.
Bây giờ một chuỗi hành động nên sử dụng một mô hình thế giới, sử dụng lặp lại trong nhiều bước thời gian, nếu bạn thực hiện hành động đầu tiên, nó dự đoán trạng thái sau khi hành động hoàn thành, bạn thực hiện hành động thứ hai, nó lại dự đoán trạng thái tiếp theo, tiếp tục dọc theo quỹ đạo này, bạn cũng có thể đặt mục tiêu nhiệm vụ và ràng buộc. Nếu thế giới không hoàn toàn xác định và có thể dự đoán, mô hình thế giới có thể cần các biến ẩn để giải thích mọi điều về thế giới mà chúng ta chưa quan sát được, điều này khiến dự đoán của chúng ta bị sai lệch. Cuối cùng, chúng ta muốn một hệ thống có thể lập kế hoạch theo tầng lớp. Nó có thể có vài cấp độ trừu tượng, ở cấp độ thấp chúng ta lập kế hoạch cho các hành động cấp thấp, ví dụ như kiểm soát cơ bản. Nhưng ở cấp độ cao, chúng ta có thể lập kế hoạch cho các hành động vĩ mô trừu tượng. Ví dụ tôi đang ngồi trong văn phòng Đại học New York, quyết định đi Paris. Tôi có thể chia nhiệm vụ này thành hai nhiệm vụ con: đi sân bay và赶飞机. Sau đó lên kế hoạch chi tiết từng bước: lấy túi, ra khỏi nhà, gọi taxi, đi thang máy, mua vé máy bay...
Những việc này chúng ta thường không cảm nhận được mình đang lập kế hoạch theo tầng lớp, hầu hết là hành động vô thức, nhưng chúng ta không biết cách nào để dạy máy học làm được điều này. Gần như mọi quá trình học máy đều thực hiện lập kế hoạch theo tầng lớp, nhưng gợi ý ở mỗi tầng đều được nhập thủ công, chúng ta cần huấn luyện một kiến trúc để nó tự học được các biểu diễn trừu tượng này, không chỉ trạng thái thế giới, mà còn bao gồm mô hình thế giới dự đoán, có thể dự đoán các hành động trừu tượng ở các cấp độ trừu tượng khác nhau, như vậy học máy mới có thể vô thức thực hiện lập kế hoạch theo tầng lớp như con người.
Làm thế nào để AI hiểu thế giới
Tôi mang theo tất cả những suy ngẫm này, ba năm trước đã viết một bài luận dài, giải thích lĩnh vực mà tôi cho rằng nghiên cứu trí tuệ nhân tạo nên tập trung. Trước khi ChatGPT bùng nổ, tôi đã viết bài luận này, cho đến nay, quan điểm của tôi về vấn đề này vẫn không thay đổi, ChatGPT không thay đổi bất cứ điều gì. Bài luận đó viết về con đường dẫn đến trí tuệ máy móc tự chủ, hiện nay chúng tôi gọi là Trí tuệ Máy móc Nâng cao, vì hai chữ “tự chủ” sẽ khiến mọi người sợ hãi, tôi đã giới thiệu nó dưới dạng bài giảng ở nhiều nơi khác nhau.
Muốn cho hệ thống hiểu cách thế giới vận hành, một phương pháp phổ biến là huấn luyện theo quá trình chúng ta từng dùng để huấn luyện hệ thống ngôn ngữ tự nhiên, rồi áp dụng vào video; nếu một hệ thống có thể dự đoán điều gì sẽ xảy ra trong video, bạn cho nó xem một đoạn video ngắn, sau đó để nó dự đoán điều gì sẽ xảy ra tiếp theo, việc huấn luyện nó thực hiện dự đoán thực chất có thể giúp hệ thống hiểu cấu trúc cơ bản của thế giới. Điều này phù hợp với văn bản, vì dự đoán từ tương đối đơn giản, số lượng từ có hạn, số lượng từ có thể đánh dấu cũng có hạn, chúng ta không thể chính xác dự đoán từ nào sẽ theo sau từ khác, hoặc từ nào bị thiếu trong văn bản, nhưng chúng ta có thể đo lường xác suất có thể tạo ra cho mỗi từ trong từ điển.
Nhưng chúng ta không thể làm điều này với hình ảnh hoặc video, chúng ta không có phương pháp tốt để biểu diễn phân bố của các khung hình video, mỗi lần thử làm điều này về cơ bản đều gặp phải các vấn đề toán học. Vì vậy, bạn có thể thử dùng thống kê và toán học mà các nhà vật lý phát minh để giải quyết vấn đề này, thực tế, tốt nhất là hoàn toàn từ bỏ ý tưởng xây dựng mô hình xác suất.
Bởi vì chúng ta không thể chính xác dự đoán điều gì sẽ xảy ra với thế giới. Nếu huấn luyện một hệ thống chỉ dự đoán một khung hình, nó sẽ không làm tốt. Vì vậy, cách giải quyết vấn đề này là phát triển một kiến trúc mới, tôi gọi là Kiến trúc Dự đoán Nhúng Kết hợp (JEPA). Mô hình sinh thành hoàn toàn không phù hợp để tạo video, bạn có thể từng thấy các mô hình AI tạo video, nhưng chúng không thực sự hiểu vật lý, mà chỉ đang tạo ra những hình ảnh đẹp. Triết lý của JEPA là đồng thời chạy giá trị quan sát và giá trị đầu ra, như vậy không còn chỉ dự đoán pixel, mà là dự đoán điều gì đang xảy ra trong video.
Nguồn: Chụp màn hình video
Hãy so sánh hai kiến trúc này. Bên trái là kiến trúc sinh thành, bạn đưa X (giá trị quan sát) vào bộ mã hóa, sau đó dự đoán Y, đây là một dự đoán đơn giản. Còn ở kiến trúc JEPA bên phải, bạn đồng thời chạy X và Y cũng như bộ mã hóa có thể giống hoặc khác nhau, sau đó dự đoán biểu diễn của Y dựa trên biểu diễn của X trong không gian trừu tượng này, điều này khiến hệ thống về cơ bản học được một bộ mã hóa, có thể loại bỏ tất cả những điều bạn không thể dự đoán, đây là điều chúng tôi thực sự làm.
Khi chúng tôi quay trong phòng, máy quay bắt đầu di chuyển, dù là con người hay trí tuệ nhân tạo cũng không thể dự đoán ở khung hình tiếp theo sẽ xuất hiện ai, hoa văn tường hay sàn nhà như thế nào, có rất nhiều điều chúng tôi hoàn toàn không thể dự đoán. Vì vậy, thay vì kiên trì yêu cầu chúng tôi đưa ra dự đoán xác suất cho những điều không thể dự đoán, hãy từ bỏ việc dự đoán nó, hãy học một biểu diễn, trong đó tất cả những chi tiết này về cơ bản bị loại bỏ, như vậy việc dự đoán sẽ đơn giản hơn nhiều, chúng tôi đơn giản hóa vấn đề.
Kiến trúc JEPA có nhiều phong cách khác nhau, ở đây trước tiên không bàn đến các biến ẩn, mà nói đến điều kiện hành động, đây là phần thú vị nhất, bởi vì chúng thực sự là mô hình thế giới. Bạn có một giá trị quan sát X là trạng thái hiện tại của thế giới, đưa hành động bạn dự định làm vào bộ mã hóa, bộ mã hóa này chính là mô hình thế giới, để nó dự đoán cho bạn biểu diễn trạng thái thế giới sau khi thực hiện hành động này, đây là cách bạn lập kế hoạch.
Gần đây, chúng tôi đã nghiên cứu sâu về Video JEPA. Mô hình này hoạt động như thế nào? Ví dụ, trước tiên trích xuất 16 khung hình liên tiếp từ video làm mẫu đầu vào, sau đó che khuất và phá hủy một phần các khung hình, tiếp theo đưa các khung hình video bị hư hại cục bộ này vào bộ mã hóa, đồng thời huấn luyện một mô-đun dự đoán, để nó có thể tái tạo biểu diễn video đầy đủ dựa trên thông tin hình ảnh bị hỏng. Kết quả thí nghiệm cho thấy phương pháp học tự giám sát này có ưu thế rõ rệt, các đặc trưng sâu mà nó học được có thể trực tiếp chuyển giao sang các nhiệm vụ phụ như phân loại hành động video, đạt được thành tích xuất sắc trong nhiều bài kiểm tra tiêu chuẩn.
Có một điều rất thú vị, nếu bạn cho hệ thống này xem một video mà trong đó xảy ra điều gì đó rất kỳ lạ, hệ thống này thực tế đang cho bạn biết lỗi dự đoán của nó đang tăng vọt. Bạn quay một video, lấy 16 khung hình để đo lỗi dự đoán của hệ thống, nếu xảy ra điều gì đó kỳ lạ, ví dụ một vật thể tự dưng biến mất hoặc thay đổi hình dạng, lỗi dự đoán sẽ tăng lên, nó cho bạn biết, mặc dù hệ thống rất đơn giản, nhưng nó đã học được một mức độ tri thức thông thường nhất định, nó có thể cho bạn biết liệu trên thế giới có điều gì rất kỳ lạ đang xảy ra hay không.
Tôi muốn chia sẻ công trình mới nhất của chúng tôi—DINO-WM (một phương pháp mới để xây dựng mô hình động lực học thị giác mà không cần tái tạo thế giới thị giác). Dùng một bức ảnh thế giới để huấn luyện một bộ dự đoán, sau đó chạy qua bộ mã hóa DINO, cuối cùng robot có thể thực hiện một hành động, như vậy sẽ có được khung hình tiếp theo của video, đưa khung hình ảnh này lại vào bộ mã hóa DINO để chạy, thu được ảnh mới, sau đó huấn luyện bộ dự đoán của bạn, dự đoán điều gì sẽ xảy ra dựa trên hành động đã thực hiện.
Việc lập kế hoạch rất đơn giản, bạn quan sát một trạng thái ban đầu, chạy qua bộ mã hóa DINO, sau đó dùng các hành động tưởng tượng chạy mô hình thế giới ở nhiều điểm thời gian và bước, sau đó bạn có một trạng thái mục tiêu, được biểu diễn bằng ảnh mục tiêu, ví dụ bạn đưa nó vào bộ mã hóa, sau đó tính khoảng cách trong không gian biểu diễn giữa trạng thái dự đoán và trạng thái biểu diễn ảnh mục tiêu, tìm ra chuỗi hành động có chi phí chạy thấp nhất.
Nguồn: Chụp màn hình video
Đây là một khái niệm rất đơn giản, nhưng hiệu quả rất tốt. Giả sử bạn có mẫu hình chữ T nhỏ này, muốn đẩy nó đến một vị trí cụ thể, bạn biết nó phải đến vị trí nào, bởi vì bạn đã đặt ảnh vị trí đó vào bộ mã hóa, nó sẽ cho bạn một trạng thái mục tiêu trong không gian biểu diễn. Khi bạn thực hiện một chuỗi hành động đã lên kế hoạch, điều gì thực sự xảy ra trong thế giới thực, bạn thấy là dự đoán tâm lý nội bộ của hệ thống về chuỗi hành động đã lên kế hoạch, đưa vào bộ giải mã, sẽ tạo ra biểu diễn đồ họa của trạng thái nội bộ.
Hãy từ bỏ nghiên cứu mô hình sinh thành
Cuối cùng tôi có một số lời khuyên muốn chia sẻ. Đầu tiên là hãy từ bỏ mô hình sinh thành. Đây là phương pháp phổ biến nhất hiện nay, mọi người đều đang nghiên cứu nó. Có thể nghiên cứu JEPA, đây không phải là mô hình sinh thành, chúng dự đoán điều gì sẽ xảy ra trong thế giới ở không gian biểu diễn. Từ bỏ học tăng cường, tôi đã nói từ rất lâu rồi, nó rất kém hiệu quả. Nếu bạn quan tâm đến AI đạt mức độ trí tuệ như con người và bạn đang làm trong giới học thuật, thì đừng nghiên cứu LLM, vì bạn đang cạnh tranh với hàng trăm đội ngũ sở hữu hàng chục ngàn GPU, điều đó hoàn toàn vô nghĩa. Trong giới học thuật còn rất nhiều vấn đề cần giải quyết, thuật toán lập kế hoạch rất kém hiệu quả, chúng ta phải nghĩ ra phương pháp tốt hơn, JEPA có biến ẩn trong lập kế hoạch phân tầng không chắc chắn là vấn đề hoàn toàn chưa được giải quyết, những điều này mời các học giả nghiên cứu.
Trong tương lai, chúng ta sẽ có các trợ lý ảo phổ quát, chúng sẽ luôn đồng hành cùng chúng ta, điều chỉnh mọi tương tác của chúng ta với thế giới kỹ thuật số. Chúng ta không thể để các hệ thống AI này đến từ một vài công ty nhỏ ở Thung lũng Silicon hay Trung Quốc, điều này có nghĩa là nền tảng chúng ta xây dựng các hệ thống này cần phải là mã nguồn mở và có thể sử dụng rộng rãi. Chi phí huấn luyện các hệ thống này rất cao, nhưng một khi bạn có một mô hình nền tảng, việc tinh chỉnh cho các ứng dụng cụ thể sẽ rẻ hơn nhiều, nhiều người có thể gánh chịu được.
Các nền tảng AI cần được chia sẻ, chúng phải nói được tất cả các ngôn ngữ trên thế giới, hiểu tất cả các nền văn hóa, mọi hệ giá trị và mọi trung tâm sở thích; không một công ty nào trên thế giới có thể huấn luyện được mô hình nền tảng như vậy, phải hợp tác hiệu quả để hoàn thành.
Vì vậy, nền tảng trí tuệ nhân tạo mã nguồn mở là cần thiết. Cuộc khủng hoảng tôi thấy ở châu Âu và nơi khác là, cạnh tranh địa chính trị khiến một số chính phủ nước này cơ bản coi việc phát hành mô hình mã nguồn mở là hành vi bất hợp pháp, bởi vì họ muốn giữ bí mật khoa học để duy trì lợi thế. Đây là một sai lầm lớn, khi bạn nghiên cứu bí mật, bạn sẽ tụt hậu, điều này là không tránh khỏi, điều sẽ xảy ra là các quốc gia khác trên thế giới đều áp dụng công nghệ mã nguồn mở, chúng tôi sẽ vượt qua các bạn. Đây là điều đang xảy ra hiện nay, các mô hình mã nguồn mở đang từng bước và chắc chắn vượt qua các mô hình đóng nguồn.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
