撕掉虛擬人「營業臉」，DreamTalk 開源釋機會

撰文：木沐

搭上 AI 大模型的春風，元宇宙概念期出圈的虛擬數字人又火了一把。結合人工智能自然語言大模型，用 3D 動畫、動態捕捉、中之人等技術動起來、說起來的虛擬人，現在擁有「大腦」了。

AI 化後，原本就能以文字、聲音輸出內容的虛擬人，在與外界交互時更顯智能，輸出的內容也在豐富度、專業性上提升了一個檔次。更重要的是，AI 提高了虛擬人在製作層面的生產力。

2023 年，各種添加了人工智能元素的虛擬人被廣泛用於內容播報、直播等場景中，成為電商、短視頻博主們的新寵。

然而，不足始終存在。擬真類的虛擬人在表情、聲音、動作上仍然能被識別到機器感，自然度、真實感遠不能與人類的肉身媲美。一些開發者試圖用 AI 大模型來彌補虛擬數字人的這個短板，DreamTalk 就是解決方案之一。

這個基於擴散模型的框架由阿里巴巴、清華大學和華中科大共同研發，從「頭」開始，不僅能讓虛擬頭像開口說話、唱歌，還能模仿表情變化、同步嘴形。

最近，DreamTalk 開源了，這個框架有望為虛擬人注入「情緒」。

為虛擬人豐富聲情言表‍‍‍‍

DreamTalk 的絕活兒是僅憑一張頭像圖片，就可以讓臉動起來，加上語音的輸入，說起來也不成問題，而且還能對上嘴型和神態，然後生成一段頭部說話的視頻。

擬人從「學習」開始。基於大模型框架，DreamTalk 可以從輸入的語音和肖像中學習並推斷出表達風格，生成有個性的表達視頻。 即使使用同一音源，頭像也能夠表現出生氣、開心、難過、鄙視等不同的情緒神態，並以相應的面部表情來表達。

DreamTalk 支持多種人物表情

DreamTalk 這類模擬人類表情的解決方案再次為虛擬人制作環節增加了一個工具，畢竟，情緒是當前虛擬人最匱乏的表現力。

喜上眉梢、橫眉怒目、涕泗橫流、笑逐顏開，人類的喜怒哀樂等情緒總是第一時間表達在臉上，再輔以語言呈現態度。而總想模擬人類的各種虛擬人人均一副「營業臉」，表情包裡要麼是「微笑」，要麼是「扮酷」，情緒不能再多了，機器人語音雖然有各種腔調，但還是能讓人識別出機器感。

今年初，小冰公司啟動了「GPT 克隆人計劃」，將 AI 和虛擬人做了結合。由此而來的 AI 克隆人網紅「半藏森林」上線後引起關注，但其僵硬的表情也讓很多人吐槽體驗不佳。

近期，小冰的克隆人上線了淘寶旗艦店，面部僵化的問題依然存在，有買家評論吐槽：「視頻通話假的要死，跟博主半毛錢關係沒有。」

中國傳媒大學發佈的調查顯示，對不同類型的虛擬數字人，大眾對其外形、人設、技術能力、服務能力有著明顯的期待差異：60% 以上的用戶最關注虛擬偶像的外形和作品，66% 的用戶關注虛擬主播的主持風格， 50% 的用戶認為虛擬員工最重要的是技術服務以及跨界合作能力。

隨著虛擬人以直播等方式走進與人類交互的場景時，需求正在朝著虛擬人的個性化發展衍生，尤其是當 AI 大模型出現後，解決虛擬人情緒甚至情感的方案將成為一個獨立的賽道。

DreamTalk 的開發方之一阿里巴巴此前就申請了「對話內容生成、虛擬對話、對話內容的數據處理方法」的專利。摘要顯示，該申請通過構建情感關聯圖，可以深度理解引發對話情感的具體關鍵詞，從而通過情感關鍵詞預測目標關鍵詞，有效地在對話回覆內容中展現同理心，進而實現共情對話，提高對話內容生成的準確性。

進入 2024 年，市場對虛擬人的需求不再只是能說會動了，還得把「情緒價值」拉滿。

AI 給完「大腦」給「情緒」

能通過聲音、圖像適配情緒的 DreamTalk 類 AI 方案有望讓虛擬人的「表情包」豐富起來，也會給虛擬人制作帶來了便捷工具。

在技術上，虛擬人有機會藉助 AI 擬態工具擺脫真人驅動的限制。

在「算法驅動型」虛擬人之前，虛擬人應用的實現往往依靠真人驅動，這就是我們常說的「中之人」，即藉助真人通過動作捕捉設備進行形體、眼神、動作等的捕捉，然後才能進行驅動和渲染。一般而言，它的生產週期更長，成本也比較高。

花臉 AI 創始人劉威曾表示，只有實現虛擬人的快速生成，解決低成本大量複製、高頻次內容產出兩大問題，同時擺脫中之人的束縛，虛擬人才能有普遍的商業價值。

而「算法驅動型」的虛擬人，可以自驅動學習模特說話時的唇動、表情、語音，以及姿態和動作等等，不僅無需真人參與，還可以實現更快速的渲染，降低製作成本。所以，這種技術方法更適用於虛擬人的規模化製作。

在用戶體驗上，智能化的情感生成將有效提高虛擬人交互能力的提升。

目前已出現較多陪伴型虛擬人應用，其中一款名為 Talkie 的虛擬陪伴 APP 在在海外已有百萬日活。從去年 8 月開始，這款應用的下載量一直在高位徘徊，並長期霸佔著美國 Google Play 娛樂應用下載榜前十的位置。除了美國之外，在新西蘭、英國、加拿大、澳大利亞這些發達市場，Talkie 同樣取得了不錯的成績。

Talkie 虛擬人主打「陪聊」

但包含 Talkie 在內，目前的絕大多數主打陪伴場景的虛擬人應用，在情感互動層面表現單一。以 Talkie 為例，裡面的所有虛擬角色均以靜態圖片的形式出現在聊天背景中，互動的方式只有語言，主打一個「陪聊」。

隨著 AI 技術的突破發展，Talkie 這類應用絕不是虛擬陪伴產品的最終形態，它們將作為一種過渡形式，而解決數字人情緒表達的方案有望為虛擬人注入「靈魂」，成為虛擬人產品革命性的機會。