Hier soir, Google a lancé son « super pack complet d'IA », mais sa plus grande innovation a été contrée par OpenAI
TechFlow SélectionTechFlow Sélection
Hier soir, Google a lancé son « super pack complet d'IA », mais sa plus grande innovation a été contrée par OpenAI
OpenAI a peut-être délibérément choisi de publier 4o la veille de l'ouverture de la conférence I/O de Google pour contrer celle-ci.
Dédié à des analyses Web3 approfondiesRédaction : Zheng Yue, Xinxin
Édition : Zheng Xuan
Comme prévu, Google a été pris pour cible par OpenAI.
Après une série de fausses pistes, OpenAI a hier stupéfié le monde avec un assistant intelligent IA « GPT-4o », capable de voir, d'entendre le monde réel et de dialoguer en temps réel sans latence. En choisissant délibérément la veille de l'ouverture de la conférence Google I/O pour présenter GPT-4o, certains médias avaient alors prédit qu'OpenAI visait directement Google.
Effectivement, lors du discours principal de la conférence Google I/O, tenu le 14 à 10 heures (heure locale américaine), bien que Google ait annoncé une série complète d'applications IA basées sur Gemini — y compris la mise à jour de Gemini 1.5 Pro avec une fenêtre contextuelle de 2 millions de tokens, le nouveau modèle Gemini 1.5 Flash, le nouveau grand modèle vidéo Veo similaire à Sora, ainsi que plusieurs applications IA comme la recherche IA et Gmail intégrant l'IA —
ce qui a suscité le plus d'intérêt reste le projet présenté par Demis Hassabis, responsable de Google DeepMind et dirigeant de l'IA chez Google, décrit comme l'assistant universel vers une véritable AGI : « Project Astra ». Et la nouvelle fonction vocale en direct Live destinée aux abonnés Gemini Advanced, qui devrait intégrer prochainement une fonction caméra permettant à l'IA d'engager des conversations basées sur l'environnement réel de l'utilisateur.
Ces deux produits ressemblent quelque peu au « GPT-4o ». Mais indépendamment de leurs performances réelles respectives, en termes d'avancement produit, OpenAI a clairement pris une longueur d'avance. Cela ne signifie toutefois pas nécessairement qu'OpenAI sera inévitablement le vainqueur final. Pour l'instant, les smartphones restent le support matériel le plus important pour ces assistants intelligents superpuissants, et Google, maître du système Android, dispose d'un avantage naturel. Dans cette perspective, les rumeurs récentes d'une collaboration entre Apple et OpenAI proviennent probablement de leur alliance contre Google, chacun cherchant à tirer profit de l'autre.
Quoi qu'il en soit, les assistants intelligents superpuissants dotés d'une « perception du monde réel (entrée) » et d'une « sortie vocale à faible latence » sont devenus le point central de la course aux armements entre entreprises d'IA. Désormais, davantage de grandes entreprises de modèles, plateformes de cloud computing, voire fabricants de téléphones et développeurs d'applications IA seront entraînés dans cette compétition.
01. Project Astra — Réponses en temps réel à partir de vidéos, juré sans trucage
Lors de la conférence I/O, Google a diffusé une vidéo de démonstration impressionnante d’un assistant IA, affirmant cette fois-ci n’avoir aucune falsification ou manipulation.
Demis Hassabis affirme que Project Astra est l'ébauche de l'assistant IA qu'il attendait depuis des décennies, l'avenir des assistants IA.
Project Astra est un assistant intelligent multimodal et en temps réel qui interagit avec le monde environnant en recevant des informations, en mémorisant ce qu'il voit, en traitant ces données et en comprenant les détails contextuels. Ses interactions vocales sont plus naturelles que celles de l’actuel Google Assistant, sans aucun délai, permettant de répondre à des questions ou d’aider à presque toutes les tâches.
Dans la vidéo de démonstration, l'utilisateur demande à Project Astra de l'avertir quand il verra quelque chose émettre un son ; l'assistant répond qu'il perçoit un haut-parleur en train de produire un son.
Les interactions se font oralement en temps réel, sans mot-clé d'activation comme « Hé Google » ou « Gemini ». Lorsqu'on demande à Project Astra l'utilité du code affiché à l'écran, il répond immédiatement, sans aucune latence.
Project Astra se souvient des lunettes aperçues fugitivement | Crédit image : Google
Le traitement visuel par Project Astra constitue même le point culminant de toute la présentation. « Vous vous souvenez où j'ai mis mes lunettes ? » « Vos lunettes sont à côté de la pomme rouge sur la table. » Project Astra se souvient même des lunettes passagèrement capturées par la caméra et répond précisément qu'elles sont à côté de la pomme. Peut-être un clin d'œil personnel ici, car ces lunettes pourraient aussi intégrer Project Astra.
D'après la démonstration, Project Astra peut traiter rapidement les informations reçues, grâce à l'encodage continu des images vidéo et à l'assemblage des flux audio et vidéo en une chronologie événementielle, puis mettre en cache les données pour rappel ultérieur. Google indique que certaines de ces fonctions seront ajoutées plus tard cette année à l'application Gemini et à d'autres produits.
Project Astra baptise ce groupe musical « Rayures dorées » | Crédit image : Google
Google précise que l'équipe DeepMind travaille encore sur la meilleure manière d'intégrer les modèles multimodaux, ainsi que sur l'équilibre entre les très grands modèles généraux et les modèles plus petits et ciblés.
La percée majeure d'OpenAI avec la récente sortie de GPT-4o concerne également la multimodalité, donnant l'impression d'une redite. La principale différence réside dans le traitement visuel : actuellement, GPT-4o ne gère que les images fixes, tandis qu'Astra traite déjà les vidéos.
Les capacités des grands modèles Gemini derrière Project Astra ont également été mises à jour. Lors de la conférence Google Cloud Next 2024 du mois dernier, Gemini 1.5 Pro a été lancé, offrant une compréhension native audio, des instructions système, un mode JSON, et une capacité de contexte prolongé jusqu'à 1 million de tokens, désormais accessible aux développeurs du monde entier.
Gemini 1.5 Flash, nouvellement annoncé, résout un problème crucial de coût. Ce modèle, intermédiaire entre Gemini 1.5 Pro et Gemini 1.5 Nano, s'adresse principalement aux développeurs. Les tarifs de Gemini 1.5 Pro et Flash ont été détaillés : Gemini 1.5 Flash est fixé à 35 cents pour 1 million de tokens, bien moins cher que les 5 dollars pour 1 million de tokens de GPT-4o.
Gemini 1.5 Flash | Crédit image : GeekPark
Google annonce également qu’il doublera d’ici la fin de l’année la fenêtre contextuelle actuelle du modèle, atteignant 2 millions de tokens. Cela permettra de traiter simultanément 2 heures de vidéo, 22 heures d’audio, plus de 60 000 lignes de code ou plus de 1,4 million de mots.
Gemini 1.5 Pro | Crédit image : GeekPark
L'an dernier en décembre, une démonstration préenregistrée de Google avait été critiquée pour « falsification », utilisant des montages trompeurs pour exagérer les capacités de traitement vidéo de Gemini. Mais maintenant, ces capacités sont authentiques.
02. Progrès dans l'écosystème d'applications IA basées sur les grands modèles
Durant cette conférence I/O, Google a également fait progresser son écosystème d'applications IA fondées sur les grands modèles, couvrant la recherche, les photos, la création, les outils et les applications professionnelles.
La recherche est le produit fondateur de Google, né il y a 25 ans. Il y a un an, Google affirmait que l'avenir de la recherche était l'IA. Aujourd'hui, la recherche alimentée par l'IA est bel et bien arrivée, incarnée par un slogan : « Laissez Google faire la recherche pour vous. »
Sundar Pichai, PDG de Google, a annoncé lors de la conférence I/O que les résumés générés par IA, désormais appelés « aperçus par IA », seront disponibles dès « cette semaine » pour tous les utilisateurs américains, bientôt étendus à d'autres pays et régions.
Comparée à l'ancienne version, la recherche IA peut traiter des requêtes plus complexes. Google donne un exemple : un utilisateur cherche un nouveau studio de yoga populaire localement, facile d'accès et proposant des réductions — une seule recherche suffit désormais.
En outre, les utilisateurs peuvent ajuster le résumé IA généré, choisir une version simplifiée ou demander plus de détails.
Tout cela est rendu possible grâce à un modèle Gemini personnalisé combinant raisonnement en plusieurs étapes, planification, multimodalité et systèmes de recherche, résumant les contenus web et présentant les réponses, conçues et disposées par l'IA elle-même.
Mais une question se pose : si l'IA extrait les résultats pour l'utilisateur, quel devenir pour le business publicitaire par enchères de Google ?
Selon des cadres de Google, les liens inclus dans les résumés IA obtiennent davantage de clics que les listes traditionnelles. « Comme auparavant, la publicité continuera d’apparaître à des emplacements dédiés, clairement étiquetés pour distinguer les résultats organiques des résultats sponsorisés. »
Outre les questions, la recherche IA de Google peut aussi élaborer des plans, allant du régime alimentaire aux voyages. Par exemple, en recherchant « créer un programme alimentaire de 3 jours facile à préparer pour un groupe », l'IA personnalise un plan, permettant ensuite à l'utilisateur de modifier un repas en version végétarienne, puis d'exporter le tout vers un document ou Gmail.
La recherche dépasse désormais la simple saisie textuelle : la recherche visuelle de Google évolue aussi, permettant désormais d'utiliser des vidéos. Par exemple, un utilisateur possède une platine vinyle d'occasion dont l'aiguille métallique dérive ; ignorant la cause, il peut directement effectuer une recherche vidéo et obtenir un résumé IA avec des étapes de résolution et des liens pertinents, évitant ainsi le besoin de terminologie technique pour décrire le problème.
Utilisation de la recherche IA Google pour créer un plan alimentaire | Crédit image : Google
L'application Google Photos va également évoluer. Sundar Pichai explique lors de la démo que cette application a été lancée il y a 9 ans et que plus de 6 milliards de photos et vidéos y sont désormais téléchargées chaque jour.
Au cours des prochains mois, une fonction « Poser des questions aux photos (Ask Photos) » sera introduite, basée sur le modèle Gemini, permettant aux utilisateurs d'interroger en langage naturel les personnes, animaux domestiques, lieux, etc., présents dans leurs photos et vidéos. Elle comprendra le contexte et le thème des images, retrouvant des souvenirs précis sans avoir à parcourir manuellement ses albums.
Par exemple : « Montrez-moi les plus belles photos de chaque parc national que j'ai visité », « Où ai-je campé l'année dernière ? », « Quand expire mon coupon ? », « Quand Lucía a-t-elle appris à nager ? », « Affichez l'évolution de la natation de Lucía », « Quel était le thème de l'anniversaire de Lina ? ». Enfin, elle pourra rédiger des résumés de voyage ou des légendes personnalisées à partager sur les réseaux sociaux.
Google précise également : « Sauf dans de rares cas visant à détecter des abus ou des dommages, nous n’utilisons pas ces données personnelles pour entraîner d’autres produits d’IA générative en dehors de Google Photos, y compris d’autres modèles ou produits Gemini. »
Utilisation de la fonction « Poser des questions aux photos » pour connaître les détails de l'anniversaire | Crédit image : Google
Concernant les outils créatifs, Google a présenté lors de la conférence I/O VideoFX, un outil de génération vidéo par IA, tout en mettant à jour ImageFX (génération d'images IA) et MusicFX (création musicale IA).
VideoFX permet aux cinéastes de créer des plans via des prompts, ImageFX ajoute des contrôles d’édition d’image, et MusicFX introduit un nouveau mode DJ.
VideoFX est alimenté par Veo, le modèle vidéo génératif le plus puissant de Google DeepMind. Cet outil inclut un mode storyboard permettant d’affiner chaque scène séparément et d’ajouter de la musique à la vidéo finale.
Selon les dirigeants de Google, Veo comprend des termes cinématographiques comme « time-lapse », génère des vidéos en 1080p dans divers styles visuels et filmiques, pouvant durer plus d’une minute. Une version préliminaire de Veo sera disponible via une liste d’attente.
À noter également : tous les contenus générés par VideoFX, ImageFX et MusicFX sont marqués d’un filigrane numérique SynthID, afin de prévenir les abus liés aux contenus IA et la propagation de désinformation.
Utilisation de VideoFX, l'outil de génération vidéo par IA de Google | Crédit image : Google
Outre les outils créatifs, l'évolution des applications professionnelles Google mérite également attention. Toutes les applications Workspace — Gmail, calendrier, documents, feuilles de calcul, diaporamas, Drive, etc. — intègreront le dernier modèle IA Gemini 1.5 Pro sous forme d’assistant virtuel dans une barre latérale.
En cliquant sur l’icône Gemini dans la barre latérale, l'utilisateur de Gmail verra apparaître des options telles que « Résumer cet e-mail », « Lister les prochaines actions », « Proposer une réponse ». Il pourra ainsi demander à Gemini de résumer un message de l’école de son enfant, identifier les actions nécessaires et rédiger une réponse.
Gemini dans la barre latérale de Gmail résume un e-mail | Crédit image : Google
Par ailleurs, lors de la démonstration de GPT-4o par OpenAI hier, un scénario éducatif montrait GPT-4o agissant comme un tuteur, guidant progressivement un adolescent dans la résolution d’un problème de géométrie.
Google annonce donc le lancement de LearnLM, une série de modèles Gemini affinés spécialement conçus pour l’apprentissage, accompagnée de démonstrations de scénarios pédagogiques IA dans la recherche et YouTube.
Par exemple, sur YouTube, les utilisateurs peuvent poser des questions pendant la lecture d’une vidéo, ou poser des questions complémentaires après visionnage. Sur Android, la fonction « Rechercher en entourant » (Circle to Search) permet de résoudre des difficultés spécifiques dans des exercices de mathématiques ou de physique.
Poser des questions sur une vidéo d'apprentissage YouTube | Crédit image : Google
Dans cette course aux armements entre entreprises d'IA, l’un des principaux atouts de Google dans sa poursuite d’OpenAI réside dans son contrôle du système mobile Android et de son vaste écosystème d’applications.
Mais lorsque l’IA générative pénètre vraiment dans l’ensemble de l’écosystème Google, prenant directement en charge la recherche, aidant à se souvenir du passé, planifiant les déplacements, remplaçant les tuteurs humains, etc., sa fiabilité réelle reste à prouver. Attendons pour voir.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
极客公园
