仮想人間の「営業スマイル」を剥ぐ、DreamTalkがオープンソースでチャンスを解き放つ
TechFlow厳選深潮セレクト
仮想人間の「営業スマイル」を剥ぐ、DreamTalkがオープンソースでチャンスを解き放つ
DreamTalkがオープンソース化された。このフレームワークは、バーチャルヒューマンに「感情」を注入する可能性を秘めている。
Web3業界の深掘り報道に専念し潮流を洞察執筆：木沐
AI大規模モデルの波に乗って、かつてメタバースブームで注目されたバーチャルデジタルヒューマンが再び脚光を浴びている。自然言語処理大規模モデルと3Dアニメーション、モーショングキャプチャー、「中の人」技術などを組み合わせることで、これまで動いたり話したりできたバーチャルキャラクターに今や「脳」が与えられた。
AI化により、もともとテキストや音声によるコンテンツ出力が可能だったバーチャルキャラクターは、外部とのインタラクションにおいてより知的な振る舞いを見せ、出力内容の豊かさや専門性も一段と向上した。さらに重要なのは、AIがバーチャルキャラクター制作における生産性を高めたことだ。
2023年には、人工知能要素を加えたさまざまなバーチャルキャラクターが、ニュース読み上げやライブ配信などの場面で広く活用され、ECやショート動画クリエイターたちの新寵となった。
しかし、依然として課題は残っている。リアルさを追求したタイプのバーチャルキャラクターは、表情・声・動作において機械的な印象が抜けず、自然さやリアリズムは人間の肉体とは比べ物にならない。この欠点をAI大規模モデルで補おうとする開発者もおり、その解決策の一つが「DreamTalk」である。
この拡散モデルに基づくフレームワークは、アリババ、清華大学、華中科技大学が共同で開発したもので、「頭」から始まり、バーチャルアバターに話し方や歌わせ方だけでなく、表情の変化や口形の同期まで可能にする。
最近、DreamTalkがオープンソース化されたことで、バーチャルキャラクターに「感情」を注入する可能性が広がった。
バーチャルキャラクターに感情豊かな表現を
DreamTalkの特長は、単に一枚のアバター画像だけで顔を動かし、音声入力によって話させることだけでなく、口形や表情を正確に同期させて、頭部の会話映像を生成できる点にある。
模倣は「学習」から始まる。大規模モデルの枠組みに基づき、DreamTalkは入力された音声と肖像画像から表現スタイルを学習・推定し、個性的な表現映像を生成する。同じ音源を使っても、アバターは怒り、喜び、悲しみ、軽蔑など異なる感情状態を示し、それに応じた表情でそれを表現できる。
DreamTalkは多様な人物表情に対応
DreamTalkのような人間の表情をシミュレートするソリューションは、バーチャルキャラクター制作プロセスに新たなツールを提供している。何より、感情表現こそが現在のバーチャルキャラクターに最も欠けている要素だからだ。
眉をひそめたり、激怒したり、涙を流したり、満面の笑みを浮かべたり、人間の喜怒哀楽といった感情は常にまず顔に出るものであり、その後に言葉で態度を表す。一方、人間を模倣しようとするバーチャルキャラクターは、皆一様に「接客用の顔」をしており、絵文字では「微笑み」か「カッコいい顔」しかなく、感情表現はそれ以上広がらない。ロボット音声もさまざまなトーンがあるものの、それでも機械らしさは否めない。
今年初め、小冰公司は「GPTクローン人間計画」を開始し、AIとバーチャルキャラクターを融合させた。これにより登場したAIクローンネット有名人「半蔵森林」は注目を集めたが、その硬直した表情に対して多くのユーザーが体験の悪さを指摘した。
最近、小冰のクローン人が淘宝（タオバオ）公式店舗に上線したが、顔の硬直問題は依然として存在しており、購入者のコメントには「ビデオ通話が全く本物らしくない。実際のブロガーとはまったく関係がない」といった不満の声が上がっている。
中国伝媒大学が発表した調査によると、異なるタイプのバーチャルデジタルヒューマンについて、一般大衆は外見、キャラクター設定、技術能力、サービス能力に対して明確な期待の違いを持っている。60％以上のユーザーがバーチャルアイドルの外見と作品を最も重視し、66％のユーザーがバーチャル配信者の司会スタイルに関心を持ち、50％のユーザーはバーチャル従業員にとって最重要なのは技術サービスとクロスオーバー協働能力だと考えている。
バーチャルキャラクターがライブ配信などを通じて人間とのインタラクションの場へ進出するにつれ、ニーズはますます個性化に向かって進展している。特にAI大規模モデルの登場以降、バーチャルキャラクターの感情、さらには情動を解決する技術が独立した市場領域となりつつある。
DreamTalkの開発元の一つであるアリババは、以前「対話コンテンツ生成、バーチャル対話、対話コンテンツのデータ処理方法」に関する特許を申請している。概要には、感情関連グラフを構築することで、対話中の感情を引き起こす具体的なキーワードを深く理解し、感情キーワードから目的キーワードを予測することで、対話返答に共感を効果的に反映させ、共感的な対話を実現し、対話コンテンツ生成の正確性を高められると記されている。
2024年に入り、市場がバーチャルキャラクターに求めるものも、ただ話せて動けるだけではなく、「感情価値」を最大限に引き出すことが求められている。
AIが「脳」を与え、次に「感情」を与える
音声や画像を通じて感情を適応させるDreamTalkのようなAIソリューションは、バーチャルキャラクターの「表情」を豊かにするだけでなく、制作側にも便利なツールを提供する。
技術的には、バーチャルキャラクターがAI擬態ツールを活用することで、真人（中の人）による操作の制約から脱却できる可能性がある。
「アルゴリズム駆動型」のバーチャルキャラクターが登場する前は、通常「中の人」と呼ばれる真人がモーションキャプチャ装置を使って体の動き、視線、動作などを捉え、それをもとにキャラクターを操作・レンダリングしていた。一般的に、この方法は制作期間が長く、コストも高くなる。
花顔AIの創業者である劉威氏は、バーチャルキャラクターが迅速に生成でき、低コストで大量複製が可能になり、高頻度のコンテンツ制作ができるようになり、かつ「中の人」からの解放が達成されるとき、初めて普遍的な商業的価値を持つようになると述べている。
一方、「アルゴリズム駆動型」のバーチャルキャラクターは、モデルが話す際の唇の動き、表情、音声、姿勢、動作などを自ら学習・駆動できるため、真人の参加が不要であり、より高速なレンダリングが可能で、制作コストを削減できる。そのため、この技術手法はバーチャルキャラクターの大規模制作に適している。
ユーザー体験の観点からは、知能化された感情生成がバーチャルキャラクターのインタラクション能力を大きく向上させる。
すでに多くのコンパニオン型バーチャルキャラクターのアプリケーションが登場しており、そのうち海外で日間アクティブユーザーが百万を超える「Talkie」という仮想伴侶アプリがある。昨年8月から、このアプリのダウンロード数は高い水準を維持しており、米国のGoogle Playエンタメアプリのダウンロードランキングトップ10に長期間ランクインしている。米国以外でも、ニュージーランド、英国、カナダ、オーストラリアといった先進市場で、Talkieは同様に好調な成績を収めている。
Talkieのバーチャルキャラクターは「おしゃべり相手」が主役
しかし、Talkieを含め、現時点でのほとんどのコンパニオン向けバーチャルキャラクターアプリは、感情的なインタラクションの面で表現が単調である。たとえばTalkieの場合、すべてのバーチャルキャラクターがチャット背景内の静止画像として表示され、インタラクション手段は言語のみで、「おしゃべり相手」としての機能に特化している。
AI技術の飛躍的進展に伴い、Talkieのようなアプリはバーチャル伴侶製品の最終形態ではなく、むしろ移行期の形態として位置づけられるだろう。デジタルヒューマンの感情表現を解決する技術は、バーチャルキャラクターに「魂」を吹き込む可能性を秘めており、バーチャルキャラクタープロダクトにおける革命的なチャンスとなるだろう。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
