Bảy bài học từ AI Agents: Nghiên cứu và Ứng dụng

2024.11.22

Chia sẻ đến

Tuyển chọn TechFlowTuyển chọn TechFlow

Bảy bài học từ AI Agents: Nghiên cứu và Ứng dụng

Gần đây, các tác nhân tự chủ dựa trên mô hình ngôn ngữ lớn (LLM) không ngừng phát triển trong các khía cạnh như kiến trúc, bộ nhớ, cảm nhận, suy luận và hành động, cho thấy tiềm năng tái định nghĩa khả năng trong nhiều lĩnh vực.

2024.11.22 - 10:30:48

AIAgent

Chuyên sâu báo cáo Web3

Tác giả: Rituals

Biên dịch: Bạch thoại Blockchain

Những năm gần đây, khái niệm "tác nhân" (agent) ngày càng trở nên quan trọng trong nhiều lĩnh vực như triết học, trò chơi và trí tuệ nhân tạo. Theo nghĩa truyền thống, một tác nhân là một thực thể có khả năng hành động độc lập, đưa ra lựa chọn và mang tính chủ đích – những đặc điểm thường được liên kết với con người.

Trong lĩnh vực trí tuệ nhân tạo, khái niệm tác nhân trở nên phức tạp hơn. Với sự xuất hiện của các tác nhân tự chủ, những thực thể này có thể quan sát, học hỏi và hành động độc lập trong môi trường, từ đó biến khái niệm trừu tượng về tác nhân thành hình thức cụ thể trong hệ thống tính toán. Những tác nhân này gần như không cần can thiệp của con người, thể hiện một dạng ý định mang tính tính toán dù không có ý thức, có khả năng ra quyết định, học hỏi từ kinh nghiệm và tương tác ngày càng phức tạp với các tác nhân khác hoặc con người.

Bài viết này sẽ khám phá lĩnh vực mới nổi về các tác nhân tự chủ, đặc biệt là các tác nhân dựa trên mô hình ngôn ngữ lớn (LLM), cũng như ảnh hưởng của chúng trong các lĩnh vực như trò chơi, quản trị, khoa học, robot,... Trên cơ sở phân tích các nguyên tắc cơ bản của tác nhân, bài viết sẽ đi sâu vào kiến trúc và ứng dụng của các tác nhân AI. Nhìn dưới góc độ phân loại này, ta có thể hiểu rõ hơn cách các tác nhân thực hiện nhiệm vụ, xử lý thông tin và phát triển liên tục trong khuôn khổ hoạt động riêng của chúng.

Mục tiêu của bài viết bao gồm hai khía cạnh:

Cung cấp cái nhìn tổng quan hệ thống về các tác nhân AI và nền tảng kiến trúc của chúng, tập trung phân tích các thành phần như bộ nhớ, cảm nhận, suy luận và lập kế hoạch.
Khám phá các xu hướng nghiên cứu mới nhất về tác nhân AI, làm nổi bật các ví dụ ứng dụng đang tái định nghĩa những điều có thể.

Lưu ý: Do giới hạn độ dài bài viết, bản biên dịch này đã lược bỏ một phần nội dung gốc.

1. Xu hướng nghiên cứu về tác nhân

Sự phát triển của các tác nhân dựa trên mô hình ngôn ngữ lớn (LLM) đánh dấu một bước tiến lớn trong nghiên cứu trí tuệ nhân tạo, bao gồm sự kết hợp giữa suy luận biểu tượng, hệ thống phản xạ, học tăng cường và học thích nghi.

Tác nhân biểu tượng: Mô phỏng suy luận con người thông qua quy tắc và tri thức cấu trúc, phù hợp với các vấn đề cụ thể (ví dụ: chẩn đoán y khoa), nhưng khó xử lý môi trường phức tạp và bất định.
Tác nhân phản xạ: Phản hồi nhanh với môi trường thông qua vòng lặp «nhận thức - hành động», phù hợp với các tình huống tương tác nhanh, nhưng không thể hoàn thành các nhiệm vụ phức tạp.
Tác nhân học tăng cường: Tối ưu hóa hành vi bằng cách thử sai, được áp dụng rộng rãi trong trò chơi và robot, nhưng thời gian huấn luyện lâu, hiệu suất mẫu thấp và thiếu ổn định.
Tác nhân dựa trên LLM: Kết hợp suy luận biểu tượng, phản hồi và học thích nghi, có khả năng học ít mẫu và không cần mẫu, được ứng dụng rộng rãi trong phát triển phần mềm, nghiên cứu khoa học,... phù hợp với môi trường động và có thể cộng tác với các tác nhân khác.

2. Kiến trúc tác nhân

Kiến trúc tác nhân hiện đại bao gồm nhiều mô-đun, tạo thành một hệ thống tổng hợp.

1) Mô-đun Hồ sơ

Mô-đun hồ sơ xác định hành vi của tác nhân, bằng cách gán vai trò hoặc tính cách để đảm bảo tính nhất quán, phù hợp với các tình huống yêu cầu tính cách ổn định. Hồ sơ của tác nhân LLM được chia thành ba loại: vai trò nhân khẩu học, vai trò ảo và vai trò cá nhân hóa.

Trích từ bài báo «Từ vai trò đến cá nhân hóa»

Vai trò đóng góp cải thiện hiệu suất: Thiết lập vai trò có thể nâng cao đáng kể hiệu suất và khả năng suy luận của tác nhân. Ví dụ, khi LLM đóng vai chuyên gia, câu trả lời sẽ sâu sắc hơn và phù hợp với ngữ cảnh hơn. Trong hệ thống đa tác nhân, việc khớp vai trò thúc đẩy hợp tác, nâng cao tỷ lệ hoàn thành nhiệm vụ và chất lượng tương tác.

Phương pháp tạo hồ sơ: Hồ sơ tác nhân LLM có thể được xây dựng bằng các cách sau:

Thiết kế thủ công: Con người thiết lập đặc điểm vai trò.
Tạo bởi LLM: Sử dụng LLM tự động mở rộng cài đặt vai trò.
Căn chỉnh theo bộ dữ liệu: Xây dựng dựa trên bộ dữ liệu thực tế, nâng cao tính chân thực khi tương tác.

2) Mô-đun Bộ nhớ

Bộ nhớ là cốt lõi của tác nhân LLM, hỗ trợ lập kế hoạch và ra quyết định thích nghi. Cấu trúc bộ nhớ mô phỏng quá trình con người, chủ yếu chia thành hai loại:

Bộ nhớ thống nhất: Bộ nhớ ngắn hạn, xử lý thông tin gần đây. Được tối ưu hóa bằng cách trích xuất văn bản, tóm tắt bộ nhớ và điều chỉnh cơ chế chú ý, nhưng bị giới hạn bởi cửa sổ ngữ cảnh.
Bộ nhớ hỗn hợp: Kết hợp bộ nhớ ngắn hạn và dài hạn, bộ nhớ dài hạn được lưu trữ trong cơ sở dữ liệu bên ngoài để dễ dàng truy xuất hiệu quả.

Định dạng bộ nhớ: Các định dạng lưu trữ bộ nhớ phổ biến bao gồm:

Ngôn ngữ tự nhiên: Linh hoạt và giàu ngữ nghĩa.
Vector nhúng: Dễ dàng truy xuất nhanh.
Cơ sở dữ liệu: Hỗ trợ truy vấn thông qua lưu trữ có cấu trúc.
Danh sách có cấu trúc: Tổ chức dưới dạng danh sách hoặc phân cấp.

Tác nhân tương tác với bộ nhớ thông qua các thao tác sau:

Đọc bộ nhớ: Truy xuất thông tin liên quan, hỗ trợ ra quyết định sáng suốt.
Ghi bộ nhớ: Lưu trữ thông tin mới, tránh lặp lại và tràn bộ nhớ.
Phản tư bộ nhớ: Tổng kết kinh nghiệm, tăng cường khả năng suy luận trừu tượng.

Theo nội dung từ bài báo «Generative Agents»

Ý nghĩa nghiên cứu và thách thức

Mặc dù hệ thống bộ nhớ nâng cao khả năng của tác nhân, nhưng cũng mang lại những thách thức nghiên cứu:

Khả năng mở rộng và hiệu quả: Hệ thống bộ nhớ cần hỗ trợ lượng lớn thông tin và đảm bảo truy xuất nhanh chóng, việc tối ưu hóa việc truy xuất bộ nhớ dài hạn vẫn là trọng tâm nghiên cứu.
Xử lý giới hạn ngữ cảnh: LLM hiện tại bị giới hạn bởi cửa sổ ngữ cảnh, khó quản lý bộ nhớ lớn, các nghiên cứu đang tìm kiếm cơ chế chú ý động và kỹ thuật tóm tắt để mở rộng khả năng xử lý bộ nhớ.
Thiên lệch và trôi dạt trong bộ nhớ dài hạn: Bộ nhớ có thể tồn tại thiên lệch, dẫn đến việc ưu tiên xử lý thông tin và gây trôi dạt bộ nhớ, cần cập nhật định kỳ và sửa chữa thiên lệch để duy trì sự cân bằng cho tác nhân.
Quên lãng thảm họa: Dữ liệu mới ghi đè dữ liệu cũ, dẫn đến mất thông tin quan trọng, cần sử dụng kỹ thuật hồi tưởng trải nghiệm và củng cố bộ nhớ để tăng cường ký ức quan trọng.

3) Khả năng Nhận thức

Tác nhân LLM nâng cao khả năng hiểu môi trường và ra quyết định bằng cách xử lý đa dạng nguồn dữ liệu, tương tự như con người phụ thuộc vào đầu vào giác quan. Nhận thức đa phương thức tích hợp đầu vào văn bản, hình ảnh và âm thanh, tăng cường khả năng thực hiện nhiệm vụ phức tạp. Dưới đây là các loại đầu vào chính và ứng dụng của chúng:

Văn bản: Văn bản là phương tiện giao tiếp chính của tác nhân LLM. Mặc dù tác nhân có khả năng ngôn ngữ cao cấp, nhưng việc hiểu ý nghĩa ngầm phía sau chỉ dẫn vẫn là thách thức.

Hiểu ngầm: Điều chỉnh sở thích thông qua học tăng cường, xử lý chỉ dẫn mơ hồ và suy luận ý định.
Khả năng không cần mẫu và ít mẫu: Có thể phản hồi nhiệm vụ mới mà không cần huấn luyện thêm, phù hợp với các tình huống tương tác đa dạng.

Hình ảnh: Nhận thức thị giác giúp tác nhân hiểu vật thể và mối quan hệ không gian.

Chuyển hình ảnh sang văn bản: Tạo mô tả văn bản giúp xử lý dữ liệu thị giác, nhưng có thể mất chi tiết.
Mã hóa dựa trên Transformer: Như Vision Transformers chuyển đổi hình ảnh thành token tương thích với văn bản.
Công cụ cầu nối: Như BLIP-2 và Flamingo sử dụng lớp trung gian để tối ưu hóa kết nối giữa thị giác và văn bản.

Âm thanh: Nhận thức thính giác giúp tác nhân nhận diện âm thanh và giọng nói, đặc biệt quan trọng trong các tình huống tương tác và rủi ro cao.

Nhận dạng và tổng hợp giọng nói: Như Whisper (giọng nói sang văn bản) và FastSpeech (văn bản sang giọng nói).
Xử lý phổ âm thanh: Xử lý phổ âm thanh như hình ảnh để nâng cao khả năng phân tích tín hiệu thính giác.

Thách thức và cân nhắc nghiên cứu về nhận thức đa phương thức:

Căn chỉnh và tích hợp dữ liệu đa phương thức: Cần căn chỉnh hiệu quả dữ liệu đa phương thức để tránh lỗi nhận thức và phản hồi, nghiên cứu tập trung vào việc tối ưu hóa Transformer đa phương thức và lớp chú ý chéo.
Khả năng mở rộng và hiệu quả: Xử lý đa phương thức đòi hỏi tài nguyên lớn, đặc biệt khi xử lý hình ảnh độ phân giải cao và âm thanh, việc phát triển mô hình tiết kiệm tài nguyên và có khả năng mở rộng là then chốt.
Quên lãng thảm họa: Tác nhân đa phương thức đối mặt với quên lãng thảm họa, cần các chiến lược như phát lại ưu tiên và học liên tục để giữ lại hiệu quả thông tin quan trọng.
Tạo phản hồi nhạy bén với ngữ cảnh: Ưu tiên xử lý dữ liệu giác quan theo ngữ cảnh để tạo phản hồi vẫn là trọng tâm nghiên cứu, đặc biệt trong môi trường ồn ào hoặc chiếm ưu thế về thị giác.

4) Suy luận và Lập kế hoạch

Mô-đun suy luận và lập kế hoạch giúp tác nhân giải quyết hiệu quả các nhiệm vụ phức tạp bằng cách phân tách chúng. Tương tự con người, nó có thể xây dựng kế hoạch có cấu trúc, có thể xây dựng toàn bộ kế hoạch trước hoặc điều chỉnh chiến lược theo phản hồi thực tế. Phương pháp lập kế hoạch được phân loại theo loại phản hồi:

Một số tác nhân xây dựng toàn bộ kế hoạch trước khi thực hiện, thực hiện theo một đường dẫn duy nhất hoặc nhiều lựa chọn, không điều chỉnh kế hoạch.
Một số tác nhân khác trong môi trường động điều chỉnh chiến lược theo phản hồi thực tế.

Lập kế hoạch không có phản hồi: Trong trường hợp không có phản hồi, tác nhân xây dựng toàn bộ kế hoạch từ đầu và thực hiện mà không điều chỉnh. Bao gồm lập kế hoạch đường dẫn đơn (thực hiện từng bước) và lập kế hoạch đường dẫn đa (khám phá đồng thời nhiều lựa chọn, chọn đường dẫn tốt nhất).

Suy luận đường dẫn đơn: Phân tách nhiệm vụ thành các bước tuần tự, mỗi bước nối tiếp bước trước:

Chuỗi suy nghĩ (CoT): Hướng dẫn tác nhân giải quyết từng bước thông qua vài ví dụ, nâng cao chất lượng đầu ra của mô hình.
Zero-shot-CoT: Không cần ví dụ tiền định, sử dụng nhắc «suy nghĩ từng bước» để suy luận, phù hợp với học zero-shot.
Nhắc lại: Tự động phát hiện nhắc CoT hiệu quả mà không cần đầu vào thủ công.

Theo bài báo CoT

5) Suy luận Đường dẫn Đa

Khác với suy luận đường dẫn đơn, suy luận đường dẫn đa cho phép tác nhân đồng thời khám phá nhiều bước, tạo và đánh giá nhiều giải pháp tiềm năng, từ đó chọn ra đường dẫn tốt nhất, phù hợp với các vấn đề phức tạp, đặc biệt khi có nhiều cách tiếp cận khả thi.

Ví dụ:

Chuỗi suy nghĩ nhất quán (CoT-SC): Lấy mẫu nhiều đường dẫn suy luận từ đầu ra gợi ý CoT, chọn bước có tần suất cao nhất, đạt được «tích hợp tự động».
Cây suy nghĩ (ToT): Lưu trữ các bước logic dưới dạng cấu trúc cây, đánh giá đóng góp của mỗi «suy nghĩ» đối với giải pháp, sử dụng tìm kiếm theo chiều rộng hoặc chiều sâu để điều hướng.
Đồ thị suy nghĩ (GoT): Mở rộng ToT thành cấu trúc đồ thị, suy nghĩ là đỉnh, quan hệ phụ thuộc là cạnh, cho phép suy luận linh hoạt hơn.
Suy luận qua lập kế hoạch (RAP): Sử dụng tìm kiếm cây Monte Carlo (MCTS) mô phỏng nhiều kế hoạch, mô hình ngôn ngữ vừa xây dựng cây suy luận vừa cung cấp phản hồi.

6) Bộ lập kế hoạch bên ngoài

Khi LLM đối mặt với thách thức lập kế hoạch trong lĩnh vực chuyên biệt, bộ lập kế hoạch bên ngoài cung cấp hỗ trợ, tích hợp chuyên môn mà LLM thiếu.

LLM+P: Chuyển nhiệm vụ sang ngôn ngữ định nghĩa lĩnh vực lập kế hoạch (PDDL), giải bằng bộ lập kế hoạch bên ngoài, giúp LLM hoàn thành nhiệm vụ phức tạp.
CO-LLM: Các mô hình cộng tác tạo văn bản, luân phiên chọn mô hình sinh token, để chế độ cộng tác tối ưu tự nhiên nổi lên.

Lập kế hoạch có phản hồi: Lập kế hoạch có phản hồi cho phép tác nhân điều chỉnh nhiệm vụ theo thời gian thực dựa trên thay đổi môi trường, thích nghi với các tình huống không thể đoán trước hoặc phức tạp.

Phản hồi từ môi trường: Khi tương tác với môi trường, tác nhân điều chỉnh kế hoạch theo phản hồi thực tế, duy trì tiến độ nhiệm vụ.

ReAct: Kết hợp gợi ý suy luận và hành động, tạo kế hoạch có thể điều chỉnh trong tương tác.
DEPS: Sửa đổi kế hoạch trong lập kế hoạch nhiệm vụ, xử lý các mục tiêu con chưa hoàn thành.
SayPlan: Tinh chỉnh chiến lược bằng cách sử dụng đồ thị tình huống và chuyển trạng thái, nâng cao nhận thức ngữ cảnh.

Theo bài báo «ReAct»

7) Phản hồi của con người

Thông qua tương tác với con người, giúp tác nhân căn chỉnh với giá trị con người, tránh sai sót. Ví dụ:

Độc thoại nội tâm: Tích hợp phản hồi con người vào kế hoạch tác nhân, đảm bảo hành động phù hợp với kỳ vọng con người.

Phản hồi từ mô hình: Phản hồi từ mô hình đã được huấn luyện trước giúp tác nhân tự kiểm tra và tối ưu hóa suy luận và hành động. Ví dụ:

SelfCheck: Bộ kiểm tra từng bước zero-shot, dùng để tự nhận diện lỗi trong chuỗi suy luận và đánh giá tính đúng đắn.
Reflexion: Tác nhân phản tư bằng cách ghi lại tín hiệu phản hồi, thúc đẩy học tập dài hạn và sửa lỗi.

Theo bài báo «SelfCheck»

Thách thức và định hướng nghiên cứu trong suy luận và lập kế hoạch: Mặc dù mô-đun suy luận và lập kế hoạch nâng cao chức năng tác nhân, nhưng vẫn đối mặt với thách thức:

Khả năng mở rộng và nhu cầu tính toán: Các phương pháp phức tạp như ToT hay RAP đòi hỏi lượng lớn tài nguyên tính toán, nâng cao hiệu quả vẫn là trọng tâm nghiên cứu.
Độ phức tạp khi tích hợp phản hồi: Tích hợp hiệu quả phản hồi đa nguồn, tránh quá tải thông tin, là chìa khóa để nâng cao thích nghi mà không hy sinh hiệu suất.
Thiên lệch trong ra quyết định: Ưu tiên một số nguồn phản hồi hoặc đường dẫn có thể gây thiên lệch, kết hợp kỹ thuật loại bỏ thiên lệch là then chốt để cân bằng lập kế hoạch.

8) Hành động

Mô-đun hành động là giai đoạn cuối cùng trong quá trình ra quyết định của tác nhân, bao gồm:

Mục tiêu hành động: Tác nhân thực hiện nhiều mục tiêu như hoàn thành nhiệm vụ, giao tiếp hoặc khám phá môi trường.
Tạo hành động: Tạo hành động thông qua nhớ lại hoặc lập kế hoạch, như hành động dựa trên bộ nhớ hoặc kế hoạch.
Không gian hành động: Bao gồm kiến thức nội tại và công cụ bên ngoài như API, cơ sở dữ liệu hoặc mô hình bên ngoài để thực hiện nhiệm vụ. Ví dụ, HuggingGPT và ToolFormer sử dụng mô hình hoặc API bên ngoài để thực hiện nhiệm vụ.

Cơ sở dữ liệu và kho tri thức: ChatDB sử dụng truy vấn SQL để truy xuất thông tin chuyên ngành, trong khi MRKL tích hợp hệ thống chuyên gia và công cụ lập kế hoạch cho suy luận phức tạp.

Mô hình bên ngoài: Tác nhân có thể phụ thuộc vào mô hình không phải API để thực hiện nhiệm vụ chuyên biệt. Ví dụ, ChemCrow sử dụng nhiều mô hình cho phát hiện thuốc, MemoryBank sử dụng hai mô hình để tăng cường truy xuất văn bản.

Ảnh hưởng của hành động: Hành động có thể được phân loại theo kết quả:

Thay đổi môi trường: Như thu thập tài nguyên hoặc xây dựng cấu trúc trong Voyager và GITM, làm thay đổi môi trường.
Ảnh hưởng đến bản thân: Như Generative Agents cập nhật bộ nhớ hoặc lập kế hoạch mới.
Chuỗi nhiệm vụ: Một số hành động kích hoạt hành động khác, như Voyager xây dựng cấu trúc sau khi thu thập tài nguyên.
Mở rộng không gian hành động: Thiết kế tác nhân AI cần kiến trúc mạnh mẽ và kỹ năng nhiệm vụ. Việc thu được khả năng có hai cách: tinh chỉnh và không tinh chỉnh.

Thu được khả năng bằng tinh chỉnh:

Bộ dữ liệu được gắn nhãn thủ công: Như RET-LLM và EduChat, nâng cao hiệu suất LLM thông qua gắn nhãn thủ công.
Bộ dữ liệu được tạo bởi LLM: Như ToolBench, tinh chỉnh LLaMA bằng lệnh do LLM tạo.
Bộ dữ liệu thực tế: Như MIND2WEB và SQL-PaLM, nâng cao khả năng tác nhân thông qua dữ liệu ứng dụng thực tế.

Thu được khả năng không cần tinh chỉnh: Khi tinh chỉnh không khả thi, tác nhân có thể nâng cao khả năng thông qua kỹ thuật gợi ý và kỹ thuật cơ chế.

Kỹ thuật gợi ý: Thiết kế gợi ý để định hướng hành vi LLM, nâng cao hiệu suất.

Chain of Thought (CoT): Thêm các bước suy luận trung gian, hỗ trợ giải quyết vấn đề phức tạp.
SocialAGI: Điều chỉnh hội thoại theo trạng thái tâm lý người dùng.
Retroformer: Kết hợp phản tư thất bại trước đó để tối ưu hóa quyết định.

Kỹ thuật cơ chế: Tăng cường khả năng tác nhân thông qua quy tắc và cơ chế chuyên biệt.

DEPS: Tối ưu hóa kế hoạch, nâng cao sửa lỗi thông qua mô tả quá trình thực hiện, phản hồi và lựa chọn mục tiêu.
RoCo: Phương pháp cộng tác đa robot zero-shot, kết hợp suy luận ngôn ngữ tự nhiên và lập kế hoạch chuyển động, tạo kế hoạch nhiệm vụ con và tối ưu hóa qua xác minh môi trường để đảm bảo khả thi.
Cơ chế tranh luận: Đạt đồng thuận thông qua cộng tác.

Tích lũy kinh nghiệm

GITM: Cơ chế bộ nhớ dựa trên văn bản nâng cao khả năng học và khái quát.
Voyager: Tối ưu hóa thực hiện kỹ năng thông qua phản hồi tự thân.

Tự tiến hóa

LMA3: Hỗ trợ tái định mục tiêu và hàm thưởng, cho phép tác nhân học kỹ năng trong môi trường không có nhiệm vụ cụ thể.

Theo bài báo «Voyager»

Tinh chỉnh có thể nâng cao đáng kể hiệu suất nhiệm vụ cụ thể, nhưng cần mô hình mã nguồn mở và tiêu tốn nhiều tài nguyên. Kỹ thuật gợi ý và kỹ thuật cơ chế phù hợp với cả mô hình mã nguồn mở và đóng, nhưng bị giới hạn bởi cửa sổ ngữ cảnh đầu vào và cần thiết kế cẩn thận.

3. Kiến trúc hệ thống liên quan đến nhiều tác nhân (agents)

Kiến trúc đa tác nhân phân bổ nhiệm vụ cho nhiều tác nhân, mỗi tác nhân tập trung vào khía cạnh khác nhau, nâng cao độ vững chắc và khả năng thích nghi. Sự cộng tác và phản hồi giữa các tác nhân tăng cường hiệu quả thực hiện tổng thể, và có thể điều chỉnh động số lượng tác nhân theo nhu cầu. Tuy nhiên, kiến trúc này đối mặt với thách thức phối hợp, giao tiếp rất quan trọng để tránh mất mát hoặc hiểu lầm thông tin.

Để thúc đẩy giao tiếp và phối hợp giữa các tác nhân, nghiên cứu tập trung vào hai cấu trúc tổ chức:

Cấu trúc ngang: Tất cả tác nhân chia sẻ và tối ưu hóa quyết định, thông qua tổng hợp quyết định cá nhân để đạt quyết định tập thể, phù hợp với các tình huống tư vấn hoặc sử dụng công cụ.
Cấu trúc dọc: Một tác nhân đề xuất giải pháp ban đầu, các tác nhân khác cung cấp phản hồi hoặc có người quản lý giám sát, phù hợp với các nhiệm vụ cần tinh chỉnh giải pháp như giải toán hoặc phát triển phần mềm.

Theo bài báo «ChatDev»

1) Cấu trúc tổ chức hỗn hợp

DyLAN kết hợp cấu trúc dọc và ngang thành phương pháp hỗn hợp, các tác nhân cộng tác ngang trong cùng tầng và trao đổi thông tin qua các bước thời gian. DyLAN giới thiệu mô hình xếp hạng và hệ thống chấm điểm tầm quan trọng tác nhân, đánh giá động và chọn tác nhân liên quan nhất tiếp tục cộng tác, tác nhân kém hiệu suất bị vô hiệu hóa, tạo thành cấu trúc phân tầng. Tác nhân xếp hạng cao đóng vai trò then chốt trong nhiệm vụ và thành phần nhóm.

Khung đa tác nhân hợp tác: Tập trung vào thế mạnh riêng của từng tác nhân thông qua chia sẻ thông tin và phối hợp hành động, đạt được sự cộng tác bổ sung để tối đa hóa hiệu quả.

Theo bài báo «Agentverse»

Tương tác hợp tác được chia thành hai loại:

Hợp tác vô thứ tự: Nhiều tác nhân tương tác tự do, không theo thứ tự hoặc quy trình cố định, giống như brainstorming. Mỗi tác nhân cung cấp phản hồi, hệ thống tích hợp đầu vào và tổ chức phản hồi thông qua tác nhân điều phối, tránh hỗn loạn, thường dùng cơ chế biểu quyết đa số để đạt đồng thuận.
Hợp tác có thứ tự: Các tác nhân tương tác theo thứ tự, tuân theo quy trình có cấu trúc, mỗi tác nhân tập trung vào đầu ra của tác nhân trước, đảm bảo giao tiếp hiệu quả. Nhiệm vụ hoàn thành nhanh, tránh hỗn loạn, nhưng cần xác minh chéo hoặc can thiệp con người để ngăn khuếch đại lỗi.

Theo bài báo MetaGPT

Khung đa tác nhân đối kháng: Khung hợp tác nâng cao hiệu quả và cộng tác, trong khi khung đối kháng thúc đẩy sự tiến hóa của tác nhân thông qua thách thức. Lấy cảm hứng từ lý thuyết trò chơi, tương tác đối kháng khuyến khích tác nhân cải thiện hành vi thông qua phản hồi và phản tư. Ví dụ, AlphaGo Zero cải thiện chiến lược bằng cách tự đấu, hệ thống LLM cải thiện chất lượng đầu ra thông qua tranh luận và trao đổi «ăn miếng trả miếng». Mặc dù phương pháp này thúc đẩy tính thích nghi của tác nhân, nhưng cũng mang lại chi phí tính toán và rủi ro lỗi.

Hành vi nổi trội: Trong hệ thống đa tác nhân, có thể xuất hiện ba loại hành vi nổi trội:

Hành vi tình nguyện: Tác nhân chủ động đóng góp tài nguyên hoặc giúp đỡ người khác.
Hành vi nhất quán: Tác nhân điều chỉnh hành vi để phù hợp với mục tiêu nhóm.
Hành vi phá hoại: Tác nhân có thể thực hiện hành vi cực đoan để nhanh chóng đạt mục tiêu, có thể gây rủi ro an toàn.

Đánh giá chuẩn hóa: Đánh giá chuẩn hóa là công cụ then chốt để đánh giá hiệu suất tác nhân, các nền tảng phổ biến bao gồm ALFWorld, IGLU và Minecraft,... dùng để kiểm tra khả năng lập kế hoạch, cộng tác và thực hiện nhiệm vụ của tác nhân. Đồng thời, việc đánh giá sử dụng công cụ và khả năng xã hội cũng rất quan trọng, các nền tảng như ToolBench và SocKET lần lượt đánh giá khả năng thích nghi và thấu hiểu xã hội của tác nhân.

Ứng dụng: Trò chơi điện tử trở thành nền tảng quan trọng cho nghiên cứu AI, các tác nhân trò chơi dựa trên LLM tập trung vào khả năng nhận thức, thúc đẩy nghiên cứu AGI.

Theo bài báo «Khảo sát tác nhân trò chơi dựa trên mô hình ngôn ngữ lớn»

Nhận thức của tác nhân trong trò chơi: Trong trò chơi video, tác nhân hiểu trạng thái trò chơi thông qua mô-đun nhận thức, có ba phương pháp chính:

Truy cập biến trạng thái: Truy cập dữ liệu biểu tượng thông qua API trò chơi, phù hợp với các trò chơi yêu cầu thị giác thấp.
Bộ mã hóa thị giác bên ngoài: Sử dụng bộ mã hóa thị giác chuyển hình ảnh sang văn bản, như CLIP, giúp tác nhân hiểu môi trường.
Mô hình ngôn ngữ đa phương thức: Kết hợp dữ liệu hình ảnh và văn bản, tăng cường tính thích nghi của tác nhân, như GPT-4V.

Nghiên cứu điển hình về tác nhân trò chơi

Cradle (trò chơi phiêu lưu): Trò chơi yêu cầu tác nhân hiểu cốt truyện, giải câu đố và định vị, đối mặt với thách thức về hỗ trợ đa phương thức, bộ nhớ động và ra quyết định. Mục tiêu của Cradle là đạt được điều khiển máy tính phổ quát (GCC), cho phép tác nhân thực hiện mọi nhiệm vụ máy tính thông qua đầu vào màn hình và âm thanh, có tính phổ quát cao hơn.

PokéLLMon (trò chơi thi đấu): Trò chơi thi đấu vì có quy tắc nghiêm ngặt và tỷ lệ thắng có thể so sánh với người chơi, trở thành chuẩn mực cho hiệu suất suy luận và lập kế hoạch. Nhiều khung tác nhân đã thể hiện hiệu suất thi đấu. Ví dụ, tác nhân LLM trong bài báo «Mô hình ngôn ngữ lớn chơi StarCraft II: Chuẩn hóa và phương pháp tóm tắt chuỗi» đấu với AI tích hợp trong phiên bản trò chuyện của StarCraft II. PokéLLMon là tác nhân LLM đầu tiên đạt hiệu suất ngang con người, giành được 49% tỷ lệ thắng giải xếp hạng và 56% tỷ lệ thắng giải mời. Khung này tránh ảo giác và vòng hoảng loạn trong chuỗi suy nghĩ bằng cách tăng cường tạo kiến thức và tạo hành động nhất quán. Tác nhân chuyển đổi nhật ký trạng thái từ máy chủ chiến đấu thành văn bản, đảm bảo tính liên tục giữa các lượt và hỗ trợ suy luận dựa trên bộ nhớ.

Tác nhân tăng cường học thông qua bốn loại phản hồi, bao gồm thay đổi HP, hiệu ứng kỹ năng, ước tính tốc độ thứ tự hành động, và hiệu ứng trạng thái kỹ năng, nhằm tối ưu hóa chiến lược và tránh lặp lại kỹ năng vô hiệu.

PokéLLMon tận dụng tài nguyên bên ngoài (như Bulbapedia) để lấy kiến thức như khắc chế loại và hiệu ứng kỹ năng, giúp tác nhân sử dụng kỹ năng đặc biệt chính xác hơn. Ngoài ra, bằng cách đánh giá các phương pháp CoT, Self-Consistency và ToT, phát hiện thấy Self-Consistency nâng cao đáng kể tỷ lệ thắng.

ProAgent (trò chơi hợp tác): Trò chơi hợp tác cần hiểu ý định đồng đội và dự đoán hành động, hoàn thành nhiệm vụ thông qua hợp tác tường minh hoặc ngầm. Hợp tác tường minh hiệu quả cao nhưng linh hoạt thấp, hợp tác ngầm dựa vào dự đoán chiến lược đồng đội để tương tác thích nghi. Trong trò chơi «Overcooked», ProAgent thể hiện khả năng hợp tác ngầm, quy trình cốt lõi gồm năm bước:

Thu thập kiến thức và chuyển đổi trạng thái: Trích xuất kiến thức liên quan nhiệm vụ và tạo mô tả ngôn ngữ.
Lập kế hoạch kỹ năng: Dự đoán ý định đồng đội và lập kế hoạch hành động.
Sửa chữa niềm tin: Cập nhật động hiểu biết về hành vi đồng đội, giảm lỗi.
Xác minh và thực hiện kỹ năng: Điều chỉnh lặp kế hoạch để đảm bảo hành động hiệu quả.
Lưu trữ bộ nhớ: Ghi lại tương tác và kết quả để tối ưu hóa quyết định tương lai.

Trong đó, cơ chế sửa chữa niềm tin đặc biệt quan trọng, đảm bảo tác nhân cập nhật hiểu biết khi tương tác, nâng cao nhận thức ngữ cảnh và độ chính xác ra quyết định.

ProAgent vượt qua năm phương pháp tự chơi và huấn luyện dựa trên đám đông.

2) Tác nhân Tạo sinh (mô phỏng)

Nhân vật ảo làm thế nào để thể hiện chiều sâu và sự phức tạp của hành vi con người? Mặc dù các hệ thống AI đầu tiên như SHRDLU và ELIZA đã thử nghiệm tương tác ngôn ngữ tự nhiên, phương pháp dựa trên quy tắc và học tăng cường cũng đạt tiến bộ trong trò chơi, nhưng chúng có giới hạn về tính nhất quán và tương tác mở. Ngày nay, các tác nhân kết hợp LLM với kiến trúc nhiều tầng đã phá vỡ những giới hạn này, có khả năng lưu trữ bộ nhớ, phản tư sự kiện và thích nghi với thay đổi. Nghiên cứu cho thấy các tác nhân này không chỉ có thể mô phỏng hành vi con người thật, mà còn thể hiện khả năng nổi trội như lan truyền thông tin, thiết lập quan hệ xã hội và phối hợp hành vi, thúc đẩy nhân vật ảo chân thực hơn.

Theo «Sự trỗi dậy và tiềm năng của tác nhân mô hình ngôn ngữ lớn quy mô lớn: Một khảo sát»

Tổng quan kiến trúc: Kiến trúc kết hợp nhận thức, truy xuất bộ nhớ, phản tư, lập kế hoạch và phản ứng. Tác nhân xử lý quan sát ngôn ngữ tự nhiên thông qua mô-đun bộ nhớ, đánh giá và truy xuất thông tin dựa trên tính kịp thời, mức độ quan trọng và liên quan ngữ cảnh, đồng thời tạo phản tư dựa trên ký ức quá khứ, cung cấp hiểu biết sâu sắc về quan hệ và kế hoạch. Mô-đun suy luận và lập kế hoạch tương tự vòng lặp lập kế hoạch - hành động.
Kết quả mô phỏng: Nghiên cứu mô phỏng việc lan truyền thông tin về tiệc lễ tình nhân và bầu cử thị trưởng, trong hai ngày tỷ lệ biết đến ứng viên thị trưởng tăng từ 4% lên 32%, biết đến tiệc tăng từ 4% lên 52%, thông tin sai lệch chỉ chiếm 1,3%. Tác nhân tự phát phối hợp tổ chức tiệc, hình thành mạng xã hội mới, mật độ tăng từ 0,167 lên 0,74. Mô phỏng cho thấy cơ chế chia sẻ thông tin và phối hợp xã hội không cần can thiệp bên ngoài, cung cấp tham chiếu cho các thí nghiệm khoa học xã hội trong tương lai.
Voyager (chế tạo và khám phá): Trong Minecraft, tác nhân có thể thực hiện nhiệm vụ chế tạo hoặc khám phá tự chủ. Nhiệm vụ chế tạo dựa vào lập kế hoạch và phân tách nhiệm vụ của LLM, trong khi khám phá tự chủ nhận diện nhiệm vụ thông qua học chương trình, LLM tạo mục tiêu. Voyager là tác nhân học tập trọn đời, kết hợp chương trình học tự động, thư viện kỹ năng và cơ chế phản hồi, thể hiện tiềm năng khám phá và học tập.

Chương trình học tự động sử dụng LLM tạo mục tiêu liên quan đến trạng thái và tiến độ khám phá của tác nhân, khiến nhiệm vụ ngày càng phức tạp. Tác nhân tạo mã mô-đun để thực hiện nhiệm vụ và phản hồi kết quả bằng gợi ý chuỗi suy nghĩ, sửa đổi mã nếu cần. Sau khi thành công, mã được lưu vào thư viện kỹ năng để dùng sau.

Khung Voyager nâng cao đáng kể hiệu suất mở khóa cây công nghệ, tốc độ mở khóa gỗ, đá và sắt lần lượt nhanh hơn 15,3 lần, 8,5 lần và 6,4 lần, và là khung duy nhất mở khóa kim cương. Khoảng cách khám phá của nó dài hơn 2,3 lần so với chuẩn mực, phát hiện nhiều hơn 3,3 lần vật phẩm mới, thể hiện khả năng học tập trọn đời xuất sắc.

4. Ứng dụng tiềm năng trong lĩnh vực trò chơi

1) Lối chơi do tác nhân điều khiển

Mô phỏng đa tác nhân: Nhân vật AI hành động tự chủ, thúc đẩy lối chơi động.
Đơn vị thông minh trong trò chơi chiến thuật: Tác nhân thích nghi với môi trường và ra quyết định tự chủ theo mục tiêu người chơi.
Sân tập AI: Người chơi thiết kế và huấn luyện AI hoàn thành nhiệm vụ.