a16z đối thoại cùng các startup kỳ lân AI hàng đầu: Tương lai của mô hình lớn sẽ phát triển ra sao?
Tuyển chọn TechFlowTuyển chọn TechFlow
a16z đối thoại cùng các startup kỳ lân AI hàng đầu: Tương lai của mô hình lớn sẽ phát triển ra sao?
Các nhà đầu tư của a16z đã thảo luận về định hướng phát triển trong tương lai của mô hình ngôn ngữ lớn (LLM) cùng với bốn CEO đến từ các công ty khởi nghiệp AI mới nổi.
Chuyên sâu báo cáo Web3Các nhà đầu tư của a16z đã thảo luận về định hướng phát triển tương lai của LLM cùng với bốn CEO đến từ các công ty khởi nghiệp AI tiên phong.
Bao gồm: CEO của Anthropic, Dario Amodei; CEO của Cohere, Aidan Gomez; CEO của Character.AI, Noam Shazeer; và Yoav Shoham đến từ AI21 Labs.
Họ đã tổng kết ra bốn định hướng cốt lõi:
-
Giải quyết triệt để vấn đề ảo giác, kiểm soát tốt tay lái
-
Dùng giải pháp bộ nhớ lớn hơn và chính xác hơn để giải quyết bài toán cá nhân hóa
-
Từ kiến thức đến suy luận rồi đến hành động, dạy mô hình sử dụng công cụ
-
Đa phương thức, giúp mô hình có khả năng thực sự phổ quát
Vấn đề "ảo giác" – Cầm chắc vô lăng
Do mô hình lớn vẫn còn tồn tại hiện tượng "ảo giác", nhiều người sáng lập do dự khi tích hợp LLM vào sản phẩm hay quy trình làm việc.
Để giải quyết điều này, các công ty phát triển mô hình cốt lõi đang nỗ lực cải thiện cách kiểm soát đầu ra của LLM, họ gọi đây là steering (điều hướng), nhằm tập trung vào đầu ra của mô hình và hỗ trợ mô hình hiểu rõ hơn, thực hiện tốt hơn các yêu cầu phức tạp của người dùng.
CEO của Character.AI, Shazzer, ví von LLM như một đứa trẻ: “Vấn đề nằm ở việc làm sao hướng dẫn mô hình hiệu quả hơn. Chúng ta cần phương pháp đúng đắn để nói cho mô hình biết cách thực hiện những điều chúng ta muốn. Trẻ con cũng vậy, đôi khi chúng bịa chuyện, chưa phân biệt rõ giữa tưởng tượng và thực tế.”
Hiện đã xuất hiện một số nghiên cứu và công cụ như Guardrails và LMQL, nhưng công việc vẫn đang tiếp diễn. a16z cho rằng hướng đi này là chìa khóa giúp các nhà phát triển cuối cùng đưa LLM vào sản phẩm hóa hiệu quả hơn.
Đối với doanh nghiệp, việc cải tiến steering cực kỳ quan trọng. Người sáng lập kiêm CEO của Anthropic, Amodei, cho rằng tính không thể đoán trước của LLM khiến người ta lo ngại. Với tư cách nhà cung cấp API, ông mong muốn có thể nói với người dùng rằng “không, mô hình sẽ không hành xử như vậy” hoặc ít nhất là “rất hiếm khi xảy ra”.
Việc cải thiện đầu ra của LLM sẽ giúp các nhà phát triển tự tin hơn trong việc cân bằng hiệu suất mô hình với nhu cầu khách hàng.
Những cải tiến về steering cũng sẽ hỗ trợ các ngành nghề khác đòi hỏi độ chính xác và độ tin cậy cao, chẳng hạn như quảng cáo.
“Trong các lĩnh vực như pháp lý, y tế, tiết kiệm thông tin tài chính và quản lý rủi ro tài chính, hay nơi cần bảo vệ thương hiệu doanh nghiệp, bạn chắc chắn không muốn dùng một công nghệ không thể dự đoán hoặc khó mô tả hành vi.”
Khi steering được cải thiện, LLM có thể hoàn thành các nhiệm vụ phức tạp hơn với ít prompt engineering hơn, vì chúng hiểu rõ hơn ý định người dùng.
Kiểm soát tốt hơn đầu ra của LLM cũng mở ra khả năng ứng dụng trong các lĩnh vực tiêu dùng nhạy cảm. Người dùng mong đợi phản hồi vừa cá nhân hóa vừa chính xác.
Mặc dù người dùng có thể chấp nhận đầu ra chưa thật chính xác khi trò chuyện với LLM hoặc tạo nội dung sáng tạo, nhưng trong các tác vụ hàng ngày — khi dùng LLM hỗ trợ đưa ra quyết định quan trọng, đóng vai trò huấn luyện viên sống, trị liệu viên hay bác sĩ — họ đều mong muốn đầu ra chính xác hơn.
Liệu LLM có thực sự thay thế được các công cụ và sản phẩm ăn sâu thời Internet như công cụ tìm kiếm, có lẽ sẽ phụ thuộc vào việc chúng có thể làm tốt steering, cải thiện đầu ra và xây dựng niềm tin của người dùng hay không.
Vấn đề "bộ nhớ" – Mục tiêu là cá nhân hóa
Khả năng ngữ cảnh (context) là điểm yếu cấp thiết cần khắc phục, nó đang kìm hãm "sự cá nhân hóa".
Mặc dù prompt và fine-tune có thể đạt được mức độ cá nhân hóa nhất định, nhưng cách thứ nhất khó nhân rộng, còn cách thứ hai thì tốn kém chi phí, cần huấn luyện lại, thường phải hợp tác chặt chẽ với các hãng LLM đóng nguồn. Điều này gần như bất khả thi với các đội nhỏ và người dùng cá nhân.
Khả năng học theo ngữ cảnh — cho phép LLM học từ nội dung doanh nghiệp, thuật ngữ hoặc bối cảnh cụ thể — chính là chiếc chén thánh, có thể tạo ra đầu ra tinh tế và phù hợp hơn với nhu cầu riêng biệt.
Để mở khóa khả năng ngữ cảnh, LLM cần bộ nhớ và trí nhớ mạnh hơn.
Bộ nhớ của LLM bao gồm hai thành phần chính: cửa sổ ngữ cảnh (context windows) và truy xuất (retrieval).
Cửa sổ ngữ cảnh là văn bản được "nuôi" cho mô hình ngoài dữ liệu huấn luyện, để mô hình xử lý và sinh ra thông tin.
Truy xuất là việc lấy và tham chiếu các thông tin, tài liệu liên quan (dữ liệu ngữ cảnh) từ các kho dữ liệu bên ngoài kho ngữ liệu huấn luyện của mô hình.
Hiện nay, cửa sổ ngữ cảnh của đa số LLM còn hạn chế, không thể truy xuất cục bộ các thông tin khác, nên mức độ cá nhân hóa nội dung sinh ra chưa đủ. Tuy nhiên, nhờ mở rộng cửa sổ ngữ cảnh và cải thiện cơ chế truy xuất, LLM có thể trực tiếp đưa ra đầu ra tinh chỉnh, phù hợp hơn với từng tình huống cá nhân.
Đặc biệt, khi mở rộng cửa sổ ngữ cảnh, mô hình có thể xử lý lượng văn bản lớn hơn, duy trì tốt hơn khả năng ngữ cảnh, giữ tính liên tục trong hội thoại.
Điều này sẽ nâng cao đáng kể khả năng thực hiện các nhiệm vụ đòi hỏi hiểu sâu và đầu vào dài, ví dụ như tóm tắt văn bản dài, sinh câu trả lời mạch lạc, đúng ngữ cảnh trong cuộc hội thoại kéo dài.
Các cải tiến về khả năng ngữ cảnh đang diễn ra: GPT-4 có cửa sổ 8k và 32k, trong khi GPT-3.5 và ChatGPT chỉ có khả năng 4k và 16k token.
Claude gần đây đã mở rộng khả năng ngữ cảnh lên 100k token.
Tuy nhiên, chỉ mở rộng độ dài ngữ cảnh thôi là chưa đủ để tăng trí nhớ, vì chi phí và thời gian suy luận tăng gần như tuyến tính hoặc thậm chí bậc hai theo độ dài.
Cơ chế truy xuất bổ sung và hoàn thiện kho ngữ liệu huấn luyện gốc của LLM bằng những dữ liệu ngữ cảnh liên quan nhất. Vì thông tin của LLM thường khó cập nhật, truy xuất mang lại hai lợi ích, theo Shoham của AI21 Labs: “Thứ nhất, nó cho phép bạn truy cập các nguồn thông tin chưa có khi huấn luyện; thứ hai, nó giúp mô hình tập trung vào thông tin liên quan đến nhiệm vụ.”
Cơ sở dữ liệu vector đã trở thành chuẩn mực (de facto) để truy xuất thông tin liên quan một cách hiệu quả, hoạt động như lớp bộ nhớ cho mô hình lớn, giúp mô hình tìm kiếm nhanh hơn, chính xác hơn và trích dẫn đúng dữ liệu từ khối lượng thông tin khổng lồ.
Cửa sổ ngữ cảnh mở rộng và cơ chế truy xuất sẽ cực kỳ quý giá trong các trường hợp sử dụng doanh nghiệp, ví dụ như duyệt các kho tri thức lớn hoặc cơ sở dữ liệu phức tạp. Các công ty có thể tận dụng tốt hơn dữ liệu riêng của mình như tri thức nội bộ, hồ sơ khách hàng lịch sử hay kết quả tài chính, làm đầu vào cho mô hình lớn mà không cần fine-tune.
Cải thiện trí nhớ của mô hình lớn sẽ mang lại những cải tiến và khả năng tùy chỉnh sâu trong các lĩnh vực như đào tạo, báo cáo, tìm kiếm nội bộ, phân tích dữ liệu, trí tuệ kinh doanh và hỗ trợ khách hàng.
Trong lĩnh vực tiêu dùng, cửa sổ ngữ cảnh và cơ chế truy xuất được cải thiện sẽ mở ra chức năng cá nhân hóa mạnh mẽ, từ đó cách mạng hóa trải nghiệm người dùng.
Noam Shazeer cho rằng: “Một bước đột phá quan trọng sẽ là phát triển một mô hình có dung lượng bộ nhớ cao, để tùy chỉnh cho từng người dùng, và có thể cung cấp dịch vụ hiệu quả về chi phí trên quy mô lớn. Bạn muốn bác sĩ tâm lý hiểu mọi khía cạnh trong đời sống của bạn; bạn muốn giáo viên hiểu rõ bạn đã nắm bắt được gì; bạn muốn huấn luyện viên sống đưa ra lời khuyên phù hợp. Tất cả đều cần ngữ cảnh.”
Aidan Gomez cũng rất hào hứng với sự phát triển này: “Khi cho phép mô hình truy cập dữ liệu cá nhân như email, lịch hoặc tin nhắn, mô hình sẽ hiểu mối quan hệ của bạn với những người khác nhau, cách bạn giao tiếp với bạn bè hay đồng nghiệp, và hỗ trợ bạn tối ưu trong bối cảnh đó.”
Từ kiến thức đến hành động – Dạy mô hình sử dụng công cụ
Sức mạnh thực sự của mô hình lớn nằm ở việc biến ngôn ngữ tự nhiên thành phương tiện hành động.
Mô hình lớn có khả năng hiểu sâu các hệ thống thông dụng và được ghi chép đầy đủ, nhưng chúng không thể thực thi bất kỳ thông tin nào rút ra từ các hệ thống đó.
Ví dụ, OpenAI's ChatGPT, Claude của Anthropic hay Lily của Character AI có thể mô tả chi tiết cách đặt vé máy bay, nhưng bản thân chúng không thể trực tiếp đặt vé (mặc dù các công cụ như plugin của ChatGPT đã bắt đầu giải quyết vấn đề này).
Amodei nói: “Lý thuyết mà nói, mô hình lớn có một bộ não chứa toàn bộ kiến thức ấy, chỉ thiếu mối liên hệ ánh xạ từ chỉ thị thao tác cụ thể (tên gọi) sang các bước thực thi (ấn nút). Việc kết nối các thành phần khác nhau không cần quá nhiều huấn luyện. Mô hình lớn tự thân giống như một bộ não không có thân xác, hiểu lý thuyết về cách vận hành, nhưng chưa có công cụ thực thi, như đôi tay chân chưa được kết nối.”
Chúng ta đã thấy các công ty không ngừng cải thiện khả năng sử dụng công cụ của mô hình lớn. Những công ty lâu đời như Bing và Google, cùng các startup như Perplexity và You.com đã giới thiệu API tìm kiếm. AI21 Labs tung ra Jurassic-X, khắc phục nhiều điểm yếu của mô hình lớn độc lập bằng cách kết hợp mô hình với loạt công cụ đã định trước (bao gồm máy tính, API thời tiết, API Wikipedia và cơ sở dữ liệu).
OpenAI giới thiệu plugin, cho phép ChatGPT tương tác với các công cụ như Expedia, OpenTable, Wolfram, Instacart, Speak, trình duyệt web và trình thông dịch mã. Đột phá này được so sánh với khoảnh khắc 'App Store' của Apple. Gần đây, OpenAI còn tích hợp chức năng gọi hàm vào GPT-3.5 và GPT-4, giúp nhà phát triển liên kết khả năng của GPT với mọi công cụ bên ngoài.
Bằng cách dời trọng tâm từ khai thác kiến thức sang định hướng hành động, chúng ta có tiềm năng gắn thêm 'tay' và 'chân' cho mô hình, mở ra loạt ứng dụng mới trong các công ty và nhóm người dùng.
Đối với người tiêu dùng, mô hình lớn có thể sớm đưa ra gợi ý công thức, rồi tự động đặt nguyên liệu cần thiết, hoặc gợi ý địa điểm ăn sáng và đặt bàn hộ.
Đối với doanh nghiệp, các nhà sáng lập có thể tích hợp mô hình lớn để làm ứng dụng của họ dễ dùng hơn.
Như Amodei chỉ ra: “Với những chức năng rất khó dùng xét về mặt giao diện người dùng, chúng ta có thể chỉ cần mô tả bằng ngôn ngữ tự nhiên để thực hiện thao tác phức tạp.”
Ví dụ, với các ứng dụng như Salesforce, việc tích hợp mô hình lớn nên cho phép người dùng cập nhật bằng ngôn ngữ tự nhiên, và mô hình tự động thực hiện các thay đổi tương ứng, từ đó rút ngắn đáng kể thời gian bảo trì CRM. Các startup như Cohere và Adept đang nỗ lực tích hợp mô hình lớn vào các công cụ phức tạp này.
Gomez cho rằng, dù trong 2 năm tới mô hình lớn có thể dùng các ứng dụng như Excel, vẫn cần thực hiện hàng loạt cải tiến.
“Chúng ta sẽ có thế hệ đầu tiên của các mô hình biết dùng công cụ, đầy hứa hẹn nhưng cũng rất nhạy cảm. Cuối cùng, chúng ta sẽ có được hệ thống lý tưởng: có thể đưa bất kỳ phần mềm nào cho mô hình, kèm theo mô tả ‘đây là chức năng công cụ, đây là cách dùng’, và mô hình có thể vận hành được. Khi nào chúng ta cung cấp được cho mô hình lớn các công cụ chuyên biệt lẫn phổ quát, năng lực tự động hóa được giải phóng sẽ trở thành sản phẩm nổi bật trong lĩnh vực đó.”
Đa phương thức – Mô hình ngôn ngữ không phải là mô hình thực sự phổ quát
Mặc dù giao diện trò chuyện rất trực quan với nhiều người dùng, nhưng con người nghe và nói nhiều hơn đọc viết trong đời sống hàng ngày.
Như Amodei chỉ ra: “Khả năng của hệ thống AI bị giới hạn, vì không phải tất cả nội dung đều là văn bản.”
Các mô hình có đặc điểm đa phương thức hoặc có thể xử lý và sinh ra nhiều định dạng âm thanh, hình ảnh một cách liền mạch, có thể đưa tương tác vượt xa khỏi ngôn ngữ.
Các mô hình như GPT-4, Character.AI và ImageBind của Meta đã có thể xử lý và sinh ra hình ảnh, âm thanh và các dạng thức khác, nhưng chất lượng vẫn ở mức rất cơ bản (dù mô hình liên tục được cải thiện).
Như Gomez nói: “Mô hình của chúng tôi vẫn còn thiếu sót trong việc xử lý trực tiếp thông tin hình ảnh, điều này cần được cải thiện. Hiện tại chúng ta đã xây dựng rất nhiều giao diện người dùng đồ họa (GUI), nhưng những giao diện này đều được thiết kế dựa trên giả định người dùng có thể nhìn thấy.”
Khi mô hình lớn không ngừng tiến hóa, khả năng đa phương thức sẽ ngày càng mạnh mẽ, dù là trong hiểu biết hay tương tác, chúng sẽ có thể dùng các ứng dụng hiện có (ví dụ như trình duyệt) vốn phụ thuộc vào GUI. Chúng cũng có thể mang đến trải nghiệm hấp dẫn hơn, liên kết hơn và toàn diện hơn cho người dùng, cho phép tương tác ngoài giao diện trò chuyện.
Shazeer chỉ ra: “Việc tích hợp mô hình đa phương thức có thể khiến trải nghiệm thú vị hơn, kết nối sâu hơn với người dùng.” Ông cũng nói thêm: “Tôi tin rằng phần lớn trí tuệ cốt lõi hiện nay đến từ văn bản, nhưng âm thanh và video có thể khiến trải nghiệm hấp dẫn hơn.” Từ trò chuyện video với gia sư AI đến cộng tác viết kịch bản với AI, công nghệ đa phương thức có tiềm năng thay đổi giải trí, học tập – phát triển và tạo nội dung, áp dụng cho nhiều lĩnh vực tiêu dùng và doanh nghiệp.
Đa phương thức cũng gắn bó mật thiết với việc sử dụng công cụ. Trong khi mô hình lớn ban đầu kết nối với phần mềm bên ngoài qua API, thì đa phương thức sẽ cho phép mô hình lớn dùng các công cụ được thiết kế cho con người — những công cụ không có tích hợp tùy chỉnh, ví dụ như các hệ thống hoạch định nguồn lực doanh nghiệp (ERP) truyền thống, ứng dụng máy tính để bàn, thiết bị y tế hay máy móc sản xuất.
Trong lĩnh vực này, chúng ta đã thấy những tiến triển đáng mừng: Ví dụ, mô hình Med-PaLM-2 của Google có thể tổng hợp hình chụp X-quang vú và X-quang. Và về lâu dài, đa phương thức, đặc biệt là tích hợp thị giác máy tính, có thể mở rộng mô hình lớn vào thực tế vật lý thông qua robot, xe tự lái và các ứng dụng khác đòi hỏi tương tác thời gian thực với thế giới vật chất.
Dù mô hình lớn còn một số hạn chế, các nhà nghiên cứu đã cải thiện đáng kinh ngạc trong thời gian ngắn — thực tế, kể từ khi viết bài này, chúng tôi đã phải cập nhật nội dung nhiều lần, điều này chứng minh công nghệ đang tiến bộ rất nhanh.
Gomez cũng đồng tình: “Xác suất mô hình lớn bịa đặt thông tin 1 trong 20 lần rõ ràng là quá cao. Nhưng tôi rất tin tưởng, vì đây là lần đầu tiên chúng ta xây dựng hệ thống như vậy. Kỳ vọng của con người rất cao, nên mục tiêu đã nâng từ ‘máy tính ngu ngốc chỉ biết thực hiện toán học’ lên ‘làm tốt hơn con người’. Chúng ta đã thu hẹp khoảng cách giữa người và máy đến mức giờ đây các chỉ trích chủ yếu tập trung vào việc máy tính có đạt được trình độ con người hay không.”
Chúng tôi đặc biệt háo hức với bốn đổi mới sau, chúng sắp thay đổi cách các nhà sáng lập xây dựng sản phẩm và vận hành công ty. Về lâu dài, tiềm năng còn to lớn hơn nữa.
Amodei dự đoán: “Ở một thời điểm nào đó, chúng ta có thể sở hữu một mô hình có thể tìm ra phương pháp chữa ung thư bằng cách đọc toàn bộ dữ liệu sinh học.”
Thực tế, những ứng dụng mới tốt nhất vẫn còn chưa ai biết.
Tại Character.AI, Shazeer để người dùng tự khám phá các ứng dụng này: “Chúng ta sẽ thấy hàng loạt ứng dụng mới được giải phóng. Tôi khó nói chính xác chúng là gì. Sẽ có hàng ngàn ứng dụng, và đa số người dùng giỏi phát hiện cách tận dụng công nghệ này hơn một nhóm nhỏ kỹ sư.”
Chúng tôi nóng lòng chờ đón những tác động sâu sắc của các tiến bộ này đối với cách sống và làm việc của chúng ta, các nhà sáng lập và công ty sẽ được trao quyền mạnh mẽ nhờ những công cụ và khả năng mới này.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
