Déchirer le « visage professionnel » des humains virtuels, la mise à disposition open source de DreamTalk ouvre des opportunités
TechFlow SélectionTechFlow Sélection
Déchirer le « visage professionnel » des humains virtuels, la mise à disposition open source de DreamTalk ouvre des opportunités
DreamTalk est désormais open source, et ce cadre pourrait permettre d'insuffler des « émotions » aux personnages virtuels.
Dédié à des analyses Web3 approfondiesRédaction : Mu Mu
Profitant du vent favorable des grands modèles d'IA, les avatars numériques virtuels, initialement apparus avec le concept de métavers, connaissent un nouveau regain de popularité. Combinés aux grands modèles linguistiques naturels de l'intelligence artificielle et dotés de technologies telles que l'animation 3D, la capture dynamique et le « zhong zhi ren » (personne réelle derrière l’avatar), ces humains virtuels disposent désormais d’un « cerveau ».
Grâce à l'IA, les avatars virtuels capables auparavant de produire uniquement du texte ou de la voix deviennent plus intelligents dans leurs interactions avec l'extérieur, tandis que la richesse et la qualité professionnelle de leurs contenus s'améliorent sensiblement. Plus important encore, l'IA augmente considérablement la productivité dans la création des avatars virtuels.
En 2023, divers avatars intégrant des éléments d’intelligence artificielle ont été largement utilisés dans des contextes tels que la diffusion de contenu et les directs en streaming, devenant ainsi la nouvelle coqueluche des vendeurs en commerce électronique et des créateurs de courtes vidéos.
Cependant, des lacunes persistent. Les avatars réalistes continuent d'afficher une impression mécanique dans leurs expressions faciales, leur voix et leurs mouvements, et leur naturel et réalisme restent loin d'égaler ceux du corps humain. Certains développeurs tentent d'utiliser les grands modèles d'IA pour combler ce défaut, et DreamTalk en est une solution.
Ce cadre basé sur un modèle de diffusion a été conjointement développé par Alibaba, l'Université Tsinghua et l'Université des sciences et technologies de Huazhong. Il permet non seulement à un avatar virtuel de parler et de chanter, mais aussi d'imiter les changements d'expression faciale et de synchroniser parfaitement les mouvements des lèvres — le tout à partir d’une simple image de portrait.
Récemment, DreamTalk est devenu open source, offrant ainsi la possibilité d'insuffler des « émotions » aux avatars virtuels.
Enrichir l’expression vocale et émotionnelle des avatars virtuels
La particularité de DreamTalk réside dans sa capacité à animer un visage à partir d'une simple image d'avatar, à lui faire parler grâce à une entrée vocale, tout en synchronisant précisément les mouvements des lèvres et des expressions faciales, générant ainsi une courte vidéo d’un visage parlant.
L'imitation humaine commence par l'apprentissage. Basé sur un grand modèle, DreamTalk peut analyser la voix et le portrait fournis en entrée pour apprendre et déduire un style d'expression, puis générer des vidéos personnalisées. Même avec la même source audio, l'avatar peut afficher différentes émotions telles que la colère, la joie, la tristesse ou le mépris, exprimées par des mimiques faciales correspondantes.
DreamTalk prend en charge plusieurs expressions faciales
Des solutions comme DreamTalk, qui simulent les expressions humaines, ajoutent un nouvel outil à la création d'avatars virtuels, particulièrement crucial car l'expression émotionnelle fait cruellement défaut aux avatars actuels.
Joie manifeste, regard furieux, larmes abondantes, sourire radieux : les émotions humaines se reflètent toujours immédiatement sur le visage avant d’être accompagnées par la parole. En revanche, les avatars virtuels cherchant à imiter les humains arborent presque tous un « visage professionnel » figé, limité à deux options dans leur jeu d'expressions : « sourire » ou « look cool », sans davantage de nuances. Bien que les voix robotisées proposent divers tons, elles gardent malgré tout une sensation mécanique identifiable.
Au début de cette année, la société Xiaobing a lancé le « projet de clonage GPT », combinant IA et avatars virtuels. Le clone IA de la célèbre influenceuse « Banzang Senlin » a suscité l’attention après son lancement, mais ses expressions raides ont été largement critiquées par les utilisateurs.
Récemment, le clone de Xiaobing est apparu sur la boutique officielle Taobao, mais le problème de rigidité faciale persiste. Un acheteur a commenté : « L’appel vidéo est totalement faux, n’a aucun lien avec l’influenceuse d’origine. »
Une enquête menée par l’Université chinoise des arts et médias indique que selon le type d’avatar numérique, les attentes du public varient nettement en termes d’apparence, de personnalité, de compétences techniques et de services : plus de 60 % des utilisateurs accordent une grande importance à l’apparence et aux œuvres des idoles virtuelles ; 66 % s’intéressent au style d’animation des présentateurs virtuels ; et 50 % jugent que les employés virtuels doivent surtout exceller dans les services technologiques et les collaborations inter-domaines.
À mesure que les avatars virtuels entrent dans des scénarios interactifs tels que les directs en streaming, la demande évolue vers une personnalisation accrue. En particulier depuis l’émergence des grands modèles d’IA, les solutions capables de gérer les émotions, voire les sentiments des avatars, deviennent un secteur à part entière.
Alibaba, l’un des développeurs de DreamTalk, avait précédemment déposé un brevet intitulé « génération de contenu conversationnel, dialogue virtuel, méthode de traitement des données conversationnelles ». Selon le résumé, cette invention construit un graphe d’association émotionnelle permettant de comprendre en profondeur les mots-clés spécifiques déclencheurs d’émotions dans une conversation. Elle peut ainsi prédire les mots-cibles émotionnels et intégrer efficacement de l’empathie dans les réponses, réalisant ainsi un dialogue empathique et améliorant la précision de la génération de contenu.
En 2024, la demande du marché envers les avatars virtuels ne se limite plus à la simple capacité de parler et de bouger : elle exige désormais une forte « valeur émotionnelle ».
L’IA donne un « cerveau », puis des « émotions »
Les solutions d’IA comme DreamTalk, capables d’adapter les émotions via la voix et l’image, promettent d’enrichir considérablement la palette expressive des avatars virtuels et offrent un outil pratique pour leur production.
Sur le plan technique, les avatars virtuels peuvent désormais, grâce aux outils d’IA de simulation, se libérer de la contrainte du contrôle humain.
Avant l’avènement des avatars « pilotés par algorithme », leur mise en œuvre reposait généralement sur un pilote humain, ce qu’on appelle communément le « zhong zhi ren » : une personne utilisant un équipement de capture de mouvement pour enregistrer les gestes, regards et postures, avant que l’avatar ne soit animé et rendu. Ce processus implique généralement un cycle de production long et un coût élevé.
Liu Wei, fondateur de Hualian AI, a souligné que seul un générateur rapide d’avatars virtuels, capable de résoudre les problèmes de reproduction à faible coût, de production massive et fréquente de contenu, tout en se libérant du « zhong zhi ren », permettra aux avatars d’atteindre une valeur commerciale généralisée.
Les avatars « pilotés par algorithme » peuvent apprendre automatiquement les mouvements labiaux, les expressions, la voix, la posture et les gestes d’un modèle lorsqu’il parle. Sans nécessiter de personne réelle, ils permettent un rendu plus rapide et réduisent les coûts de production. Cette approche technique est donc particulièrement adaptée à la fabrication à grande échelle d’avatars virtuels.
Du point de vue de l’expérience utilisateur, la génération intelligente d’émotions permettra d’améliorer significativement les capacités interactives des avatars virtuels.
De nombreuses applications d’accompagnement par avatar virtuel existent déjà. Une application nommée Talkie, spécialisée dans la compagnie conversationnelle, compte déjà un million d’utilisateurs actifs quotidiens à l’international. Depuis août dernier, son volume de téléchargements reste élevé, occupant durablement les dix premières places du classement des applications de divertissement sur Google Play aux États-Unis. Outre les États-Unis, Talkie obtient également de bons résultats sur des marchés développés comme la Nouvelle-Zélande, le Royaume-Uni, le Canada et l’Australie.
Talkie met l’accent sur la « conversation accompagnée »
Toutefois, y compris Talkie, la majorité des applications actuelles axées sur l’accompagnement affichent une interaction émotionnelle très limitée. Dans le cas de Talkie, tous les personnages virtuels apparaissent sous forme d’images fixes en arrière-plan de discussion. L’interaction se limite exclusivement au dialogue verbal, centrée sur la « conversation accompagnée ».
Avec les percées technologiques de l’IA, des applications comme Talkie ne représentent pas la forme finale des produits d’accompagnement virtuel. Elles constituent plutôt une étape transitoire. Les solutions capables de gérer l’expression émotionnelle des avatars numériques promettent d’insuffler une véritable « âme » aux avatars, ouvrant ainsi une opportunité révolutionnaire dans l’évolution des produits d’avatar virtuel.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
