a16z : Le nouveau « Pixar » de l'ère moderne, comment l'IA fusionnera-t-elle cinéma et jeux vidéo ?
TechFlow SélectionTechFlow Sélection
a16z : Le nouveau « Pixar » de l'ère moderne, comment l'IA fusionnera-t-elle cinéma et jeux vidéo ?
Pixar du siècle prochain ne naîtra pas à travers le cinéma ou l'animation traditionnels, mais par la vidéo interactive.
Dédié à des analyses Web3 approfondiesAuteur : Jonathan Lai
Traduction : TechFlow
Au cours du dernier siècle, l’évolution technologique a donné naissance à de nombreuses histoires que nous aimons. Prenons les années 1930 : Disney a inventé la caméra multiplane, produisant ainsi les premières animations entièrement en couleurs avec un son synchronisé. Cette percée technologique a permis la création du film d’animation pionnier « Blanche-Neige et les Sept Nains ».
Dans les années 1940, Marvel et DC Comics ont connu leur apogée, marquant ce qu’on appelle l’« Âge d’or des comics », grâce à la diffusion massive permise par l’utilisation généralisée des imprimantes quadrichromie rotatives et de l’offset. Les limites techniques – faible résolution, gamme tonale restreinte, impression en trames sur papier journal bon marché – ont façonné cette esthétique emblématique de type « pulp » que nous reconnaissons encore aujourd’hui.
De même, Pixar s’est retrouvé dans une position unique durant les années 1980 pour exploiter une nouvelle plateforme technologique : l’informatique et la 3D. Son cofondateur Edwin Catmull, ancien chercheur au NYIT Computer Graphics Lab puis chez Lucasfilm, a posé les bases des concepts fondamentaux de l’infographie (CGI), aboutissant plus tard au premier long-métrage d’animation entièrement généré par ordinateur, « Toy Story ». La suite logicielle de rendu graphique de Pixar, Renderman, a depuis été utilisée dans plus de 500 films.
À chaque vague technologique, des prototypes initialement perçus comme des curiosités se sont progressivement transformés en nouveaux formats narratifs profonds, portés par une nouvelle génération de créateurs. Aujourd’hui, nous pensons que le prochain Pixar est en train de naître. L’intelligence artificielle générative (Generative AI) opère une transformation fondamentale du récit créatif, permettant aux nouvelles générations de conteurs humains de raconter des histoires comme jamais auparavant.
Plus précisément, nous estimons que le prochain Pixar du siècle ne verra pas le jour à travers le cinéma ou l’animation traditionnels, mais plutôt via la vidéo interactive. Ce nouveau format narratif brouillera les frontières entre jeux vidéo et télévision/cinéma – fusionnant narration approfondie, autonomie du spectateur et dimension « ludique », ouvrant ainsi un immense nouveau marché.
Le jeu : avant-garde moderne de la narration
Deux grandes tendances émergent actuellement, susceptibles d’accélérer la formation d’une nouvelle génération d’entreprises narratives :
-
La transition des consommateurs vers les médias interactifs (plutôt que les médias linéaires/passifs tels que la télévision ou le cinéma)
-
Les progrès technologiques impulsés par l’IA générative
Depuis 30 ans, on observe une évolution croissante : les jeux et les médias interactifs gagnent en popularité auprès de chaque nouvelle génération. Pour la génération Z et les plus jeunes, le jeu vidéo est désormais leur activité de loisir principale, dépassant la télévision et le cinéma. En 2019, Reed Hastings, PDG de Netflix, écrivait dans une lettre aux actionnaires : « Nous sommes davantage en concurrence avec Fortnite (et souvent battus) qu’avec HBO. » Dans la plupart des foyers, la question n’est plus « Que regardons-nous ? », mais « À quoi jouons-nous ? ».
Bien que la télévision, le cinéma et les livres continuent de raconter des histoires captivantes, nombre des récits les plus innovants et réussis voient désormais le jour dans les jeux. Prenons l’univers de « Harry Potter ». Le jeu de rôle en monde ouvert « Hogwarts Legacy » offre une immersion inédite en permettant aux joueurs d’incarner un nouvel élève à Poudlard. Sorti en 2023, c’était le jeu le plus vendu de l’année, ayant généré plus de 1 milliard de dollars dès sa sortie, surpassant tous les films « Harry Potter » sauf le dernier, « Harry Potter et les Reliques de la Mort – Partie 2 » (1,03 milliard).
Les licences de jeux vidéo connaissent également un grand succès lorsqu’elles sont adaptées au cinéma ou à la télévision. « The Last of Us » de Naughty Dog est devenu en 2023 la série la plus regardée sur HBO Max, avec une moyenne de 32 millions de spectateurs par épisode. Le film « Super Mario Bros » a réalisé un démarrage record mondial, devenant le meilleur démarrage de week-end pour un film d’animation avec 1,4 milliard de dollars de recettes. D’autres exemples notables incluent la série acclamée par la critique « Fallout », la série « Halo » de Paramount, le film « Uncharted » avec Tom Holland, ou encore le film « Skibidi Toilet » de Michael Bay – et bien d'autres.
L’un des facteurs clés du pouvoir des médias interactifs est que la participation active renforce l’intimité avec l’histoire ou l’univers. Une heure passée à jouer capte bien plus l’attention qu’une heure passée à regarder passivement la télévision. De nombreux jeux intègrent également des éléments sociaux, avec des mécanismes multijoueurs au cœur de leur conception. Les histoires les plus mémorables sont souvent celles que nous avons co-créées et partagées avec nos amis ou notre famille.
Quand un public interagit durablement avec une licence à travers plusieurs supports (regarder, jouer, créer, partager), l’histoire devient bien plus qu’un simple divertissement : elle fait partie intégrante de l’identité personnelle. La transformation magique survient quand quelqu’un passe du statut de simple « spectateur de Harry Potter » à celui de « fan passionné », construisant autour d’une expérience autrefois solitaire une identité collective et une communauté.
En somme, même si les plus grandes histoires du passé ont été racontées à travers les médias linéaires, l’avenir appartient aux jeux et aux médias interactifs comme lieu principal de narration. C’est donc là que nous pensons que naîtront les entreprises narratives les plus importantes du prochain siècle.
Vidéo interactive : la fusion de narration et de jeu
Compte tenu de la domination culturelle des jeux, nous pensons que le prochain Pixar émergera sous la forme d’un format hybride combinant narration et jeu. L’un de ces formats prometteurs est la vidéo interactive.
Qu’est-ce que la vidéo interactive, et en quoi diffère-t-elle d’un jeu vidéo ? Dans un jeu vidéo, les développeurs préchargent un ensemble de ressources dans un moteur de jeu. Par exemple, dans « Super Mario Bros », les artistes ont conçu les personnages Mario, les arbres et les arrière-plans. Les programmeurs ont défini que Mario saute de 50 pixels lorsque le joueur appuie sur le bouton « A ». Le rendu des images de saut suit un pipeline graphique classique. Cette architecture est donc hautement déterministe et computationnelle, entièrement contrôlée par les développeurs.
La vidéo interactive, quant à elle, repose entièrement sur la génération en temps réel de frames par des réseaux neuronaux. Aucune ressource prédéfinie n’a besoin d’être téléchargée ou créée, hormis des indications créatives (textuelles ou sous forme d’image). Un modèle d’image IA en temps réel reçoit l’entrée du joueur (par exemple, la touche « haut ») et prédit de manière probabiliste l’image suivante à générer.
L’enjeu de la vidéo interactive est de combiner l’accessibilité du cinéma et de la télévision à une narration riche, tout en intégrant les systèmes dynamiques et pilotés par le joueur propres aux jeux vidéo. Tout le monde sait comment regarder une émission de télévision et suivre une histoire linéaire. En ajoutant la génération en temps réel de vidéos basée sur les choix du joueur, nous pouvons créer des expériences personnalisées et potentiellement infinies – capables de retenir les fans pendant des milliers d’heures. Blizzard’s « World of Warcraft » existe depuis plus de 20 ans et compte encore aujourd'hui environ 7 millions d’abonnés.
La vidéo interactive offre aussi plusieurs modes de consommation : les spectateurs peuvent simplement profiter du contenu comme d’une émission TV, ou choisir de s’engager activement via mobile ou manette. Permettre aux fans d’explorer l’univers de leur licence favorite de multiples façons est au cœur de la narration transmédia, renforçant ainsi leur attachement affectif.
Durant la dernière décennie, plusieurs tentatives ont été menées pour concrétiser cette vision. Une première avancée notable fut « The Walking Dead » de Telltale Games – une expérience interactive basée sur la bande dessinée de Robert Kirkman. Les joueurs assistent à des scènes animées, mais doivent faire des choix décisifs à certains moments, via des dialogues ou des événements rapides. Ces choix – par exemple sauver tel ou tel personnage durant une attaque de zombies – créent des variantes narratives personnalisées, rendant chaque partie unique. Lancé en 2012, le jeu remporta un grand succès, remportant plusieurs prix « Jeu de l’année » et dépassant aujourd’hui les 28 millions de ventes.
En 2017, Netflix s’est lui aussi lancé dans la vidéo interactive – d’abord avec l’animation « Puss in Book », puis avec le très remarqué « Black Mirror : Bandersnatch », un film en prise de vue réelle où le spectateur choisit les décisions d’un jeune programmeur qui adapte un roman fantastique en jeu vidéo. Bandersnatch est devenu un phénomène hivernal, attirant une foule de fans passionnés qui ont créé des diagrammes pour cartographier chacune des fins possibles.
Pourtant, malgré leurs succès, Bandersnatch et The Walking Dead ont tous deux rencontré des difficultés structurelles : le coût et le temps nécessaires pour créer manuellement les innombrables embranchements narratifs définissant ce format sont prohibitifs. Alors que Telltale étendait ses projets, elle a instauré une culture de surengagement, avec des développeurs se plaignant de « fatigue et d’épuisement professionnel ». La qualité narrative a souffert – alors que « The Walking Dead » avait obtenu un score Metacritic initial de 89, quatre ans plus tard, leur adaptation de leur grande licence « Batman » n’obtenait qu’un maigre 64. En 2018, Telltale a annoncé sa faillite, sans avoir réussi à bâtir un modèle économique viable.
Pour Bandersnatch, l’équipe a tourné 250 séquences vidéo, totalisant plus de 5 heures de rushs, pour expliquer les 5 fins du film. Le budget et le temps de production étaient estimés à deux fois ceux d’un épisode classique de « Black Mirror », et les producteurs comparaient la complexité du projet à « réaliser simultanément 4 épisodes ». En 2024, Netflix a finalement décidé de fermer tout son département des programmes interactifs, optant désormais pour des jeux traditionnels.
Jusqu’à présent, le coût de contenu des projets de vidéo interactive augmentait linéairement avec la durée de jeu – il n’existait aucun moyen de contourner ce problème. Or, les progrès des modèles d’intelligence artificielle générative pourraient bien être la clé de passage à l’échelle de la vidéo interactive.
Les modèles génératifs seront bientôt assez rapides pour soutenir la vidéo interactive
Les avancées récentes en matière de distillation des modèles de génération d’images sont impressionnantes. En 2023, la sortie des modèles de cohérence latente et de SDXL Turbo a considérablement accéléré et rendu plus efficace la génération d’images : un rendu haute résolution peut désormais être produit en une seule étape, contre 20 à 30 auparavant, avec un coût divisé par plus de 30. L’idée de générer des vidéos – une suite d’images cohérentes avec des variations entre les frames – devient soudain réalisable.
Début 2024, OpenAI a suscité un grand intérêt en annonçant Sora, un modèle texte-vidéo capable de générer des clips jusqu’à 1 minute tout en assurant une cohérence visuelle. Peu après, Luma AI a lancé Dream Machine, un modèle vidéo encore plus rapide, générant 120 images en 120 secondes (soit environ 5 secondes de vidéo). Luma a récemment annoncé avoir attiré en seulement 7 semaines pas moins de 10 millions d’utilisateurs. Le mois dernier, Hedra Labs a publié Character-1, un modèle vidéo multimodal centré sur les personnages, capable de générer 60 secondes de vidéo en 90 secondes, montrant des émotions humaines riches et une voix synchronisée. Runway a quant à lui sorti Gen-3 Turbo, un modèle capable de rendre un extrait de 10 secondes en seulement 15 secondes.
Aujourd’hui, un cinéaste en herbe peut rapidement générer plusieurs minutes de contenu vidéo HD 720p à partir d’un simple prompt textuel ou d’une image de référence, et associer des images-clés de début et de fin pour plus de précision. Runway propose également un ensemble d’outils d’édition offrant un contrôle plus fin sur les vidéos générées par diffusion, incluant le contrôle caméra intra-image, l’interpolation de frames et le pinceau de mouvement. Luma et Hedra devraient bientôt lancer leurs propres suites d’outils créatifs.
Même si les workflows restent embryonnaires, nous avons déjà rencontré plusieurs créateurs utilisant ces outils pour raconter des histoires. Resemblance AI a produit Nexus 1945, une intrigante histoire alternative de la Seconde Guerre mondiale de 3 minutes, créée avec Luma, Midjourney et Eleven Labs. Le cinéaste indépendant Uncanny Harry a collaboré avec Hedra pour réaliser un court-métrage cyberpunk. D’autres ont produit des vidéos musicales, bandes-annonces, vlogs de voyage ou même des publicités pour hamburgers. Depuis 2022, Runway organise chaque année un festival du cinéma à l’ère de l’IA, sélectionnant 10 excellents courts métrages créés avec l’IA.
Il convient de souligner certaines limitations actuelles : il existe encore un fossé important entre un extrait de 2 minutes généré par prompt et un long-métrage de 2 heures produit par une équipe professionnelle, tant en qualité narrative qu’en contrôle. Obtenir exactement ce que l’on souhaite à partir d’un prompt ou d’une image reste difficile, et même les ingénieurs expérimentés abandonnent souvent la majorité des contenus générés. Le créateur IA Abel Art rapporte qu’il faut environ 500 vidéos pour obtenir 1 minute de contenu cohérent. La cohérence visuelle commence généralement à se dégrader après une ou deux minutes de lecture continue, nécessitant souvent une retouche manuelle – d’où la limitation actuelle des vidéos générées à environ 1 minute.
Pour les grands studios hollywoodiens, les vidéos générées par modèles de diffusion peuvent servir à la préproduction, notamment pour visualiser des storyboards ou des designs de personnages, mais ne remplacent pas encore le tournage réel. Des opportunités existent aussi en post-production pour traiter les effets audiovisuels avec l’IA, mais globalement, les outils créatifs IA en sont encore à leurs balbutiements comparés aux workflows traditionnels, eux-mêmes affinés par des décennies d’investissements.
À court terme, l’une des plus grandes opportunités pour les vidéos génératives réside dans le développement de nouveaux formats médias, comme la vidéo interactive ou les courts métrages. La vidéo interactive est naturellement segmentée en courtes séquences de 1 à 2 minutes selon les choix du joueur, et est souvent animée ou stylisée, supportant des matériaux de résolution plus faible. Plus important encore, le coût de création de ces courtes vidéos via les modèles de diffusion devient bien plus compétitif qu’à l’époque de Telltale ou Bandersnatch – Abel Art estime le coût d’une vidéo d’une minute provenant de Luma à 125 dollars, équivalent au loyer d’une caméra pour une journée.
Même si la qualité des vidéos générées est encore inégale, la popularité des courtes vidéos verticales comme ReelShort et DramaBox montre que le public est prêt à consommer des séries de faible budget. Malgré les critiques sur la photographie amateur et les scénarios formules, ReelShort a atteint plus de 30 millions de téléchargements et génère plus de 10 millions de dollars de revenus mensuels, proposant des milliers de mini-séries comme « Forbidden Desires: Alpha’s Love ».
Le principal obstacle technique à la vidéo interactive reste la vitesse de génération des frames, nécessaire pour un rendu en temps réel. Dream Machine produit actuellement environ 1 image par seconde. Sur les consoles modernes, l’objectif minimal acceptable est une fréquence stable de 30 FPS, tandis que 60 FPS constitue la norme idéale. Grâce à des technologies comme PAB, certains types de vidéos peuvent atteindre 10 à 20 FPS, mais cela reste insuffisant.
État des lieux : le paysage de la vidéo interactive
Compte tenu de la vitesse d’amélioration des matériels et modèles sous-jacents, nous estimons qu’il reste environ 2 ans avant d’atteindre une vidéo interactive entièrement générée commercialement viable.
Actuellement, des acteurs comme Microsoft Research et OpenAI font progresser la recherche sur des modèles fondamentaux end-to-end pour la vidéo interactive. Le modèle de Microsoft vise à générer des environnements tridimensionnels entièrement « jouables ». OpenAI a montré une démonstration de Sora simulant Minecraft « zéro échantillon » : « Sora peut contrôler simultanément les actions du joueur dans Minecraft, en rendant fidèlement le monde et ses dynamiques. »
En février 2024, Google DeepMind a publié son propre modèle fondamental end-to-end pour la vidéo interactive : Genie. Ce qui distingue Genie, c’est son modèle d’action latente, qui déduit l’action implicite entre deux images vidéo successives. Entraîné sur 300 000 heures de vidéos de plateformes, Genie a appris à reconnaître des actions de personnages, comme franchir un obstacle. Ce modèle d’action latente, combiné à un tokenizeur vidéo, alimente un modèle dynamique qui prédit l’image suivante, créant ainsi une vidéo interactive.
Sur le plan applicatif, plusieurs équipes explorent de nouvelles expériences de vidéo interactive. Certaines développent des séries ou films génératifs, conçus autour des limites actuelles des modèles. D’autres intègrent des éléments vidéo dans des moteurs de jeu nativement IA.
Ilumine travaille sur Latens, un « simulateur de rêve lucide » où le contenu visuel est généré en temps réel pendant que l’utilisateur explore un rêve. Ce léger décalage crée une expérience surréaliste. La communauté open source Bienvenue dans la communauté officielle TechFlow Groupe Telegram :https://t.me/TechFlowDaily Compte Twitter officiel :https://x.com/TechFlowPost Compte Twitter anglais :https://x.com/BlockFlow_News
a16z
