Rời bỏ "khuôn mặt hoạt động" của người ảo, DreamTalk mở mã nguồn tạo cơ hội
Tuyển chọn TechFlowTuyển chọn TechFlow
Rời bỏ "khuôn mặt hoạt động" của người ảo, DreamTalk mở mã nguồn tạo cơ hội
DreamTalk đã mã nguồn mở, khung làm việc này có tiềm năng truyền "cảm xúc" vào nhân vật ảo.
Chuyên sâu báo cáo Web3Tác giả: Mộc Mộc
Nhờ làn gió AI mô hình lớn, nhân vật ảo – khái niệm từng nổi lên trong thời kỳ metaverse – lại một lần nữa trở nên nóng hổi. Kết hợp với mô hình ngôn ngữ tự nhiên AI lớn, nhân vật ảo vốn sử dụng công nghệ hoạt hình 3D, bắt chuyển động và "người thật phía sau" (trung chi chi) để vận động và nói chuyện, nay đã được trang bị thêm "bộ não".
Sau khi tích hợp AI, những nhân vật ảo vốn đã có thể xuất nội dung dưới dạng văn bản và giọng nói giờ đây trở nên thông minh hơn khi tương tác với bên ngoài, đồng thời chất lượng nội dung cũng được nâng cao rõ rệt về độ phong phú và tính chuyên nghiệp. Quan trọng hơn, AI còn tăng năng suất sản xuất nhân vật ảo ở cấp độ kỹ thuật.
Năm 2023, các nhân vật ảo tích hợp yếu tố trí tuệ nhân tạo được ứng dụng rộng rãi trong các tình huống như phát thanh nội dung, livestream, trở thành lựa chọn yêu thích mới của các thương gia điện tử và người làm nội dung ngắn.
Tuy nhiên, điểm chưa hoàn thiện vẫn tồn tại. Nhân vật ảo theo hướng chân thực vẫn dễ bị nhận ra cảm giác máy móc ở biểu cảm khuôn mặt, giọng nói và hành động, mức độ tự nhiên và chân thực còn thua xa cơ thể con người. Một số nhà phát triển đang cố gắng dùng mô hình lớn AI để khắc phục điểm yếu này, và DreamTalk chính là một trong những giải pháp.
Khung nền này do Alibaba, Đại học Thanh Hoa và Đại học Khoa học Kỹ thuật Hoa Trung cùng nghiên cứu phát triển, dựa trên mô hình khuếch tán (diffusion model), từ "đầu" trở đi, không chỉ giúp ảnh đại diện ảo cất lời nói, hát mà còn mô phỏng thay đổi biểu cảm và đồng bộ hóa cử động miệng.
Gần đây, DreamTalk đã mở mã nguồn, khung nền này có tiềm năng thổi "cảm xúc" vào nhân vật ảo.
Làm phong phú biểu cảm âm thanh, nét mặt và ngôn ngữ cho nhân vật ảo
Điểm mạnh của DreamTalk là chỉ cần một bức ảnh chân dung, khuôn mặt đã có thể cử động, kết hợp đầu vào giọng nói thì việc nói chuyện cũng không thành vấn đề, đồng thời khớp hình miệng và thần thái, từ đó tạo ra một đoạn video đầu người đang nói.
Việc mô phỏng con người bắt đầu từ "học tập". Dựa trên khung mô hình lớn, DreamTalk có thể học hỏi và suy luận phong cách biểu đạt từ giọng nói và chân dung đầu vào, tạo ra video biểu cảm mang cá tính riêng. Ngay cả khi dùng cùng một nguồn âm thanh, khuôn mặt ảo vẫn có thể thể hiện nhiều trạng thái cảm xúc khác nhau như tức giận, vui vẻ, buồn bã, coi thường... kèm theo biểu cảm khuôn mặt tương ứng.
DreamTalk hỗ trợ nhiều biểu cảm nhân vật
Các giải pháp như DreamTalk nhằm mô phỏng biểu cảm con người tiếp tục bổ sung công cụ cho quy trình sản xuất nhân vật ảo, bởi vì cảm xúc hiện đang là yếu tố biểu cảm khan hiếm nhất ở nhân vật ảo.
Vui mừng hớn hở, giận dữ trợn mắt, nước mắt nước mũi chảy dài, cười tươi rạng rỡ – những cảm xúc vui buồn của con người luôn thể hiện ngay lập tức trên gương mặt, rồi mới dùng ngôn ngữ để truyền đạt thái độ. Trong khi đó, các nhân vật ảo luôn cố gắng mô phỏng con người nhưng đều sở hữu chung một kiểu "khuôn mặt dịch vụ", biểu cảm chỉ xoay quanh "mỉm cười" hoặc "diễn ngầu", cảm xúc gần như không có gì thêm. Giọng nói robot dù có nhiều sắc thái, vẫn khiến người ta dễ dàng nhận ra chất máy móc.
Đầu năm nay, công ty Xiaobing khởi động kế hoạch "GPT Clone Person", kết hợp AI với nhân vật ảo. Ngay sau khi ra mắt,网红 AI dạng sao chép "Bán Tàng Lâm" thu hút sự chú ý, nhưng biểu cảm cứng nhắc của cô cũng khiến nhiều người phàn nàn về trải nghiệm kém.
Gần đây, nhân vật sao chép của Xiaobing đã xuất hiện tại gian hàng chính hãng trên Taobao, nhưng vấn đề khuôn mặt cứng đơ vẫn chưa được giải quyết. Một số khách hàng để lại bình luận: "Cuộc gọi video giả đến mức chết lặng, chẳng liên quan gì đến博主 cả."
Một khảo sát do Học viện Truyền thông Trung Quốc công bố cho thấy, đối với các loại nhân vật ảo khác nhau, công chúng có kỳ vọng rõ rệt về ngoại hình, thiết lập nhân vật, năng lực kỹ thuật và khả năng phục vụ: hơn 60% người dùng quan tâm nhất đến ngoại hình và tác phẩm của idol ảo; 66% người dùng chú ý đến phong cách dẫn chương trình của streamer ảo; 50% người dùng cho rằng điều quan trọng nhất ở nhân viên ảo là năng lực kỹ thuật và khả năng hợp tác xuyên lĩnh vực.
Khi nhân vật ảo ngày càng xuất hiện trong các tình huống tương tác với con người như livestream, nhu cầu đang dần chuyển sang hướng phát triển cá tính hóa cho nhân vật ảo. Đặc biệt kể từ khi xuất hiện mô hình lớn AI, các giải pháp xử lý cảm xúc, thậm chí tình cảm của nhân vật ảo sẽ trở thành một赛道 riêng biệt.
Trước đó, Alibaba – một trong những đơn vị phát triển DreamTalk – đã đăng ký bằng sáng chế về "phương pháp tạo nội dung hội thoại, hội thoại ảo, xử lý dữ liệu nội dung hội thoại". Phần tóm tắt cho biết, phương pháp này xây dựng đồ thị liên kết cảm xúc để hiểu sâu các từ khóa cụ thể gây ra cảm xúc trong hội thoại, từ đó dự đoán từ khóa mục tiêu qua từ khóa cảm xúc, hiệu quả thể hiện sự đồng cảm trong phản hồi hội thoại, từ đó đạt được đối thoại đồng cảm và nâng cao độ chính xác trong việc tạo nội dung hội thoại.
Bước sang năm 2024, thị trường không còn chỉ mong muốn nhân vật ảo biết nói và biết động, mà còn đòi hỏi phải "đầy đủ giá trị cảm xúc".
AI trao "bộ não", giờ đến lượt "cảm xúc"
Các giải pháp AI kiểu DreamTalk, có khả năng phối hợp cảm xúc với âm thanh và hình ảnh, có tiềm năng làm phong phú kho "biểu cảm" của nhân vật ảo, đồng thời cung cấp công cụ thuận tiện cho việc sản xuất nhân vật ảo.
Về mặt kỹ thuật, nhân vật ảo có cơ hội nhờ công cụ mô phỏng AI để thoát khỏi sự phụ thuộc vào người thật điều khiển.
Trước khi có nhân vật ảo "dẫn dắt bằng thuật toán", việc ứng dụng nhân vật ảo chủ yếu dựa vào người thật điều khiển – còn gọi là "trung chi chi", tức là dùng thiết bị bắt chuyển động để ghi lại dáng vẻ, ánh mắt, hành động của người thật, rồi mới tiến hành điều khiển và render. Nói chung, chu kỳ sản xuất kéo dài hơn và chi phí cũng cao hơn.
Lưu Uy, người sáng lập Hualian AI, từng nói rằng chỉ khi nào đạt được việc tạo ra nhân vật ảo nhanh chóng, giải quyết hai vấn đề sao chép quy mô lớn với chi phí thấp và sản xuất nội dung tần suất cao, đồng thời thoát khỏi sự ràng buộc của "trung chi chi", nhân vật ảo mới có thể đạt được giá trị thương mại phổ biến.
Trong khi đó, nhân vật ảo "dẫn dắt bằng thuật toán" có thể tự học hỏi cử động môi, biểu cảm, giọng nói, tư thế và hành động khi mẫu nói chuyện, không chỉ không cần người thật tham gia mà còn cho phép render nhanh hơn, giảm chi phí sản xuất. Vì vậy, phương pháp kỹ thuật này phù hợp hơn với việc sản xuất nhân vật ảo quy mô lớn.
Về trải nghiệm người dùng, việc tạo cảm xúc thông minh sẽ hiệu quả nâng cao khả năng tương tác của nhân vật ảo.
Hiện nay đã xuất hiện nhiều ứng dụng nhân vật ảo kiểu bạn đồng hành, trong đó ứng dụng đồng hành ảo tên Talkie đã đạt hơn một triệu người dùng hoạt động mỗi ngày ở nước ngoài. Từ tháng 8 năm ngoái, lượng tải xuống ứng dụng này luôn duy trì ở mức cao và liên tục chiếm vị trí top 10 trong bảng xếp hạng ứng dụng giải trí trên Google Play tại Mỹ. Ngoài Mỹ, Talkie cũng đạt thành tích tốt tại các thị trường phát triển như New Zealand, Anh, Canada và Úc.
Talkie nhấn mạnh vào chức năng "trò chuyện đồng hành"
Tuy nhiên, kể cả Talkie, phần lớn các ứng dụng nhân vật ảo hiện nay tập trung vào vai trò đồng hành đều thể hiện cảm xúc đơn điệu ở cấp độ tương tác. Lấy Talkie làm ví dụ, tất cả các nhân vật ảo trong ứng dụng chỉ xuất hiện dưới dạng hình ảnh tĩnh trong nền trò chuyện, hình thức tương tác chỉ giới hạn ở lời nói, tập trung vào "trò chuyện đồng hành".
Cùng với sự đột phá của công nghệ AI, các ứng dụng kiểu Talkie sẽ không còn là hình thái cuối cùng của sản phẩm đồng hành ảo. Chúng sẽ đóng vai trò như một hình thức chuyển tiếp, trong khi các giải pháp xử lý biểu đạt cảm xúc cho nhân vật số có tiềm năng thổi "linh hồn" vào nhân vật ảo, trở thành cơ hội cách mạng cho sản phẩm nhân vật ảo.
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
