Apple Intelligence fait une entrée fracassante : alimenté par GPT-4o, l'IA générative s'invite dans toute la gamme et transforme Siri de fond en comble
TechFlow SélectionTechFlow Sélection
Apple Intelligence fait une entrée fracassante : alimenté par GPT-4o, l'IA générative s'invite dans toute la gamme et transforme Siri de fond en comble
Mise à jour épique également : l'iPhone obtient l'enregistrement des appels, et l'iPad obtient une calculatrice.
Dédié à des analyses Web3 approfondiesBien plus que Siri ou l'iPhone, c'est tout Apple qui franchit un grand pas en avant.
Dans la nuit du 11 juin (heure de Pékin), la conférence mondiale des développeurs WWDC d'Apple s'est officiellement tenue au siège d'Apple Park à Cupertino. Lors de cet événement, Apple a enfin dévoilé, comme attendu, sa technologie d'intelligence artificielle générative intégrée à l'ensemble de ses produits, accompagnée de quelques annonces inattendues.
« Notre objectif chez Apple a toujours été de concevoir des appareils personnels simples d'utilisation et centrés sur l'utilisateur afin d'améliorer l'efficacité de la vie quotidienne », a déclaré Tim Cook, PDG d'Apple. « Pendant des années, nous avons utilisé l'intelligence artificielle et l'apprentissage automatique pour atteindre cet objectif. Les récentes avancées dans les grands modèles linguistiques offrent désormais une opportunité exceptionnelle pour porter cette expérience à un nouveau niveau. »
Nous savons maintenant comment Apple envisage l'IA générative. D'abord, en termes de philosophie : elle doit être puissante, intuitive, parfaitement intégrée, personnalisée et respectueuse de la vie privée.
Ensuite, en termes de méthode : en s'appuyant sur les puissants processeurs M d'Apple, la stratégie adoptée repose sur des grands modèles locaux développés en interne combinés à des capacités cloud. Les modèles locaux empruntent une voie originale ; quant aux tâches excédant la capacité locale, elles peuvent être traitées par des grands modèles dans le nuage (Private Cloud Compute) ou via GPT-4o d'OpenAI.
Il y a treize ans, l'assistant vocal Siri faisait son apparition, explorant une nouvelle ère d'interaction pour les smartphones. À l'ère de l'IA générative, Siri a enfin l'opportunité d'accomplir les grandes promesses qu'on lui avait faites : il devient plus intelligent, dispose de vastes connaissances, et peut guider progressivement l'utilisateur comme le font aujourd'hui les meilleurs outils basés sur de grands modèles.
Par ailleurs, comme avec ChatGPT, vous pouvez désormais interagir avec Siri par écrit.
Selon Apple, cette nouvelle version de Siri changera radicalement la donne. De nombreuses nouvelles fonctionnalités IA seront bientôt disponibles, tandis que d'autres capacités telles que la lecture d'écran ou les opérations intra- ou inter-applications devraient arriver l'année prochaine.
Le nouveau Siri n'est qu'une petite partie des capacités IA d'Apple. Lors du keynote de WWDC, long d'une heure et demie, Apple a pour la première fois consacré un chapitre entier à ses fonctionnalités IA, présentant une IA générative couvrant texte et image, intégrée à l'iPhone, iPad et Mac. Toutes reposent sur Apple Intelligence.
Apple Intelligence : un système complet d'intelligence artificielle
Apple Intelligence est un nouveau système d'intelligence personnalisée qui intègre pleinement les capacités de l'IA générative.
Apple Intelligence combine des modèles d'IA générative avec les données personnelles de l'utilisateur pour fournir des services intelligents pratiques. Elle couvre iPhone, iPad et Mac, et est profondément intégrée à iOS 18, iPadOS 18 et macOS Sequoia. En exploitant la puissance des puces Apple, elle comprend et crée du langage et des images, effectue des actions entre applications, et simplifie et accélère les tâches quotidiennes grâce aux informations personnelles.
Ces fonctions peuvent s'exécuter localement sur l'appareil, tandis que les tâches dépassant les capacités locales peuvent être traitées dans le cloud. Grâce à Private Cloud Compute, Apple établit une nouvelle norme de confidentialité dans le domaine de l'IA, permettant une flexibilité entre traitement local et grands modèles serveur, ces derniers tournant sur des puces spécifiques d'Apple.
Cook affirme qu'Apple Intelligence marque un nouveau chapitre d'innovation pour Apple et transformera la manière dont les utilisateurs interagissent avec leurs produits. Il insiste sur l'approche unique d'Apple, combinant IA générative et données personnelles, pour offrir des services vraiment utiles. En outre, Apple Intelligence accède aux informations de manière totalement privée et sécurisée, aidant les utilisateurs à accomplir ce qui leur importe le plus. C'est là une expérience IA propre à Apple.
Siri, entièrement repensé
Apple Intelligence permet une intégration plus poussée de Siri au système. Ce dernier possède désormais une meilleure compréhension du langage, est plus naturel, maîtrise mieux le contexte et s'adapte davantage à chaque utilisateur, simplifiant et accélérant les tâches quotidiennes. Siri peut comprendre les hésitations vocales et maintenir la cohérence du contexte entre différentes requêtes. Les utilisateurs peuvent aussi interagir avec Siri par écrit, et basculer librement entre texte et voix selon leurs besoins. Par ailleurs, Siri adopte un nouveau design : lorsqu'il est activé, un subtil effet lumineux apparaît autour des bords de l'écran.
Les utilisateurs peuvent désormais saisir du texte pour communiquer avec Siri, ou alterner entre texte et voix selon la situation.
Siri offre désormais un support complet de l'appareil, capable de répondre à des milliers de questions concernant l'utilisation de l'iPhone, de l'iPad ou du Mac, où que se trouve l'utilisateur. Par exemple, il peut expliquer comment programmer un courrier dans Mail ou passer du mode clair au mode sombre.
Avec la reconnaissance d'écran, Siri facilite l'exécution d'actions liées à l'information affichée, par exemple ajouter à un contact l'adresse reçue dans un message.
Grâce à Apple Intelligence, Siri peut exécuter des centaines de nouvelles actions dans les apps Apple et tierces. Par exemple, dire « Trouve-moi cet article sur les cigales dans ma liste de lecture » ou « Envoie les photos du barbecue de samedi à Malia », et Siri gère automatiquement la demande.
Siri peut désormais effectuer des centaines de nouvelles actions dans les applications ou entre elles, notamment retrouver une recommandation de livre envoyée par un ami dans Messages ou Mail.
Siri utilise les données de l'appareil pour fournir des services intelligents personnalisés. Par exemple, dire « Joue le podcast que Jamie a recommandé », et Siri le trouvera et lancera la lecture, sans que l'utilisateur doive se souvenir s'il en avait été question par SMS ou mail. On peut aussi demander : « Quand arrive le vol de maman ? » Siri trouvera les détails du vol et croisera ces données avec le suivi en temps réel pour donner l'heure d'arrivée.
Siri fournit des services intelligents personnalisés grâce aux informations de l'utilisateur et de son appareil, par exemple en consultant les détails d'un vol imminent ou en suivant une réservation de dîner.
En réalité, Apple avait déjà laissé entrevoir cette mise à jour de Siri dans un article publié en avril, mais cela n'avait alors pas retenu suffisamment l'attention. Pour plus de détails, voir l'article de Machine Heart : « Faire comprendre à un grand modèle l'écran d'un téléphone, Apple et son modèle multimodal Ferret-UI contrôlent le téléphone par langage naturel ».
Apple a également rendu public certaines recherches connexes, voir : https://github.com/apple/ml-ferret?tab=readme-ov-file
Intégration transversale de ChatGPT sur la plateforme Apple
Comme prévu, l'une des grandes annonces de cette conférence fut la collaboration avec OpenAI.
Apple annonce l'intégration de ChatGPT dans les expériences d'iOS 18, iPadOS 18 et macOS Sequoia, permettant aux utilisateurs d'accéder à ChatGPT sans avoir à basculer entre applications, y compris les fonctions de compréhension d'images et de documents.
De plus, Siri pourra utiliser à tout moment les réponses expertes de ChatGPT. Avant d'envoyer toute question, document ou photo vers ChatGPT, Siri demandera systématiquement l'autorisation de l'utilisateur, puis fournira directement la réponse.
Une fois autorisé, Siri peut exploiter les réponses de ChatGPT.
En outre, l'outil d'écriture intégré au système Apple pourra tirer parti de ChatGPT pour aider à générer du contenu. Via Compose, les utilisateurs pourront aussi utiliser l'outil d'image de ChatGPT pour créer des images dans différents styles.
L'outil d'écriture utilise ChatGPT pour assister l'utilisateur dans l'écriture.
Quant à la date de sortie, Apple indique que ChatGPT sera disponible plus tard cette année sur iOS 18, iPadOS 18 et macOS Sequoia, alimenté par GPT-4o. Les utilisateurs pourront y accéder gratuitement sans création de compte ; les abonnés à ChatGPT pourront connecter leur compte et bénéficier directement des fonctionnalités payantes depuis ces interfaces.
Enfin, Apple Intelligence sera entièrement gratuit et sortira à l'automne sous forme de version bêta anglaise intégrée à iOS 18, iPadOS 18 et macOS Sequoia. Des fonctionnalités étendues, d'autres plateformes logicielles et d'autres langues seront lancées l'année prochaine. Apple Intelligence sera disponible sur iPhone 15 Pro, iPhone 15 Pro Max, ainsi que sur iPad et Mac équipés de puces M1 ou supérieures.
Autrement dit, pour bénéficier de ces capacités de grands modèles, il faudra investir dans les derniers appareils Apple.
De nouvelles capacités de compréhension et de création linguistique
Apple Intelligence ouvre de nouvelles voies pour améliorer l'écriture et communiquer plus efficacement.
Un nouvel outil d'écriture intégré au système est inclus dans iOS 18, iPadOS 18 et macOS Sequoia, permettant aux utilisateurs de réécrire, corriger et résumer du texte presque partout : mails, notes, pages ou apps tierces.
La fonction de réécriture propose plusieurs versions, ajustables en ton selon le destinataire et le contexte. Que ce soit pour renforcer la persuasion d'une lettre de motivation ou ajouter humour et créativité à une invitation à une fête, cette fonction aide à trouver l'expression idéale.
La correction approfondit l'analyse grammaticale, lexicale et syntaxique, proposant des suggestions d'édition accompagnées d'explications, facilitant la revue ou l'acceptation rapide. Par exemple, en rédigeant un e-mail, le menu de l'outil d'écriture apparaît, offrant options de correction et de réécriture selon les besoins.
La synthèse permet de sélectionner un texte et d'en générer automatiquement un paragraphe concis, une liste à puces, un tableau ou une checklist, rendant l'information immédiatement claire. Par exemple, en prenant des notes sur la santé globale dans l'app Notes, on peut utiliser « Résumé » pour extraire les points essentiels.
La gestion des e-mails est souvent fastidieuse, mais la nouvelle fonction « Courriers prioritaires » place les messages les plus urgents — comme une invitation à dîner ou une carte d'embarquement — en haut de la boîte de réception. Sans même ouvrir l'e-mail, l'utilisateur voit instantanément un résumé.
Face à un fil de discussion long, un simple toucher suffit pour obtenir les informations clés.
La fonction de réponse intelligente propose des réponses rapides et identifie précisément les questions dans les e-mails, garantissant que chacune soit correctement traitée, rendant la gestion bien plus fluide.
Cette compréhension approfondie du langage s'étend aussi aux notifications. Les alertes les plus importantes sont placées en haut de la liste, tandis que la fonction de synthèse permet de parcourir rapidement les notifications longues ou empilées sur l'écran verrouillé, en affichant les détails clés.
« Moins d'interruptions » est un nouveau mode de concentration. Quand un groupe de discussion devient très actif, cette fonction affiche uniquement les notifications nécessitant une action immédiate, comme un SMS urgent du centre de garde pour récupérer plus tôt l'enfant.
Les apps Notes et Téléphone disposent aussi d'une nouvelle fonction : enregistrer un appel, transcrire automatiquement la conversation en temps réel et en générer un résumé.
Durant l'appel, si l'utilisateur choisit d'enregistrer, tous les participants sont informés. Dès la fin de l'appel, Apple Intelligence génère immédiatement un résumé, permettant de revivre rapidement les points clés.
Image Playground
Apple Intelligence propose des fonctions passionnantes de génération d'images, permettant aux utilisateurs de communiquer et de s'exprimer différemment, principalement via la nouvelle application Image Playground. Avec celle-ci, les utilisateurs peuvent créer des images amusantes en quelques secondes, en choisissant parmi trois styles : animation, illustration ou dessin.
Image Playground est facile à utiliser, intégré directement dans des apps comme Messages, ou accessible via une application dédiée, idéal pour expérimenter divers concepts et styles. Toutes les images sont générées localement, et les utilisateurs peuvent en créer autant qu'ils le souhaitent.
Avec Image Playground, les utilisateurs peuvent :
-
choisir parmi une série de concepts catégorisés (thème, vêtements, accessoires, lieux) ;
-
saisir une description pour définir l'image ;
-
sélectionner quelqu'un depuis leur bibliothèque photo pour l'inclure dans l'image ;
-
et choisir leur style préféré.
Depuis Messages, la fonction Image Playground permet de créer rapidement des images amusantes pour ses amis, et même de recevoir des suggestions personnalisées liées à la conversation. Par exemple, en envoyant un message de groupe sur une randonnée, des suggestions d'images liées aux amis, à la destination et à l'activité apparaissent, rendant la création plus rapide et pertinente.
Dans Notes, les utilisateurs peuvent accéder à Image Playground via le nouvel outil Image Wand dans la palette Apple Pencil, rendant les notes plus visuelles. Un simple croquis peut devenir une image attrayante, et même un espace vide peut être comblé par une image générée à partir du fond environnant.
Image Playground est aussi disponible dans des apps comme Keynote, Freeform, Pages, et dans des applications tierces intégrant la nouvelle API Image Playground.
Genmoji : porter les émoticônes à un tout nouveau niveau
Les utilisateurs peuvent créer des Genmoji originaux pour exprimer leurs idées, simplement en saisissant une description ; les Genmoji correspondants apparaissent, accompagnés d'options alternatives.
Ils peuvent même créer des Genmoji à partir de photos pour leurs amis ou leur famille. Comme les émoticônes, les Genmoji peuvent être insérés directement dans un message ou partagés comme autocollants.
Il suffit de saisir une description pour générer des Genmoji et d'autres options
Comme les émoticônes, les Genmoji peuvent être intégrés directement aux messages
Nouvelles fonctions dans Photos, pour plus de contrôle
Grâce à Apple Intelligence, la recherche de photos et vidéos devient plus pratique. Les utilisateurs peuvent chercher une photo spécifique en langage naturel, par exemple « Maya en chemise tie-dye faisant du skateboard » ou « Katie avec un autocollant sur le visage ».
La recherche vidéo devient aussi plus puissante : les utilisateurs peuvent trouver un moment précis dans une séquence et sauter directement à cet extrait. Le nouvel outil « Nettoyer » permet d'identifier et supprimer des éléments gênants dans le fond d'une photo sans altérer le sujet principal.
Via la fonction « Souvenirs », il suffit de saisir une description pour créer automatiquement un film personnalisé. Grâce à la compréhension du langage et des images, Apple Intelligence sélectionne les meilleures photos et vidéos, construit un scénario selon les thèmes détectés, et les assemble en un film au récit unique. Les utilisateurs reçoivent même des suggestions de musique depuis Apple Music. Comme pour toutes les fonctionnalités Apple Intelligence, les photos et vidéos restent privées sur l'appareil, sans partage.
Un nouveau standard de confidentialité en IA
Pour être véritablement utile, Apple Intelligence doit comprendre des contextes personnels profonds, tout en protégeant la vie privée. Son socle repose sur le traitement local (on-device) : de nombreux modèles s'exécutent entièrement sur l'appareil. Pour les requêtes complexes nécessitant plus de puissance, Private Cloud Compute étend la confidentialité et la sécurité d'Apple au cloud, débloquant des fonctionnalités intelligentes supplémentaires.
Grâce à Private Cloud Compute, Apple Intelligence peut étendre dynamiquement sa puissance de calcul et utiliser des modèles serveur plus grands pour les requêtes complexes. Ces modèles tournent sur des serveurs équipés de puces Apple, garantissant que les données ne soient jamais conservées ni exposées.
Des experts indépendants peuvent inspecter le code exécuté sur les serveurs aux puces Apple afin de vérifier les mesures de confidentialité. Private Cloud Compute assure, par cryptage, que l'iPhone, l'iPad ou le Mac ne communiquent pas avec les serveurs à moins que leur logiciel ait été publiquement documenté pour examen. Avec Private Cloud Compute, Apple Intelligence établit une nouvelle norme de confidentialité en IA, offrant un service intelligent digne de confiance.
Andrej Karpathy : Apple Intelligence est très excitant
Apple Intelligence attire l'attention mondiale des professionnels de la tech. Andrej Karpathy, cofondateur d'OpenAI, a posté un résumé enthousiaste : « J'aime beaucoup "Apple Intelligence". Voici quelques thèmes que j'ai observés : »
-
Entrées/sorties multimodales. Apple active la lecture/écriture de texte/audio/image/vidéo. Ce sont, pourrait-on dire, des API humaines natives.
-
Approche agente. Apple permet à toutes les parties du système et des apps d'interagir via des « appels de fonction » ; un processus noyau LLM peut organiser et coordonner ces interactions selon la requête utilisateur.
-
Sans friction. Apple intègre ces fonctions de façon fluide, rapide, permanente et contextuelle. Plus besoin de copier-coller d'informations ou d'ingénierie de prompts. L'interface utilisateur est aussi adaptée en conséquence.
-
Proactivité. Apple ne se contente pas d'exécuter des tâches sur prompt, mais anticipe les besoins, fait des suggestions et agit de façon proactive.
-
Autorisation hiérarchisée. Déplacer autant d'intelligence que possible sur l'appareil (les puces Apple étant très utiles et adaptées), tout en permettant d'externaliser optionnellement certaines tâches vers le cloud.
-
Modularité. Permettre au système d'accéder et de soutenir tout l'écosystème croissant des LLM (par exemple, l'annonce de ChatGPT).
-
Confidentialité.
Karpathy conclut : « Nous entrons rapidement dans un monde où tu peux simplement parler à ton téléphone, il te répond, te comprend, et fonctionne bien. C’est très excitant. »
Un nouveau système macOS rapprochant Mac et iPhone
Cette année, le système macOS connaît une mise à jour majeure, incluant un changement de nom et de nombreuses nouvelles fonctionnalités.
macOS 15 est rebaptisé macOS Sequoia, dont la version bêta publique sortira le mois prochain, suivie de la version complète à l'automne. Parmi les nouveautés notables figurent le miroir iPhone (mirroring), les notifications et une mise à jour de Safari.
Examinons surtout la fonction de miroir iPhone, qui permet d'accéder et d'utiliser complètement l'iPhone directement sur le Mac. L'utilisateur peut lancer et naviguer dans n'importe quelle app iPhone sur son Mac, interagir avec son téléphone via clavier, pavé tactile ou souris.
Faire défiler l'écran iPhone.
Ouvrir une application iPhone.
Grâce aux notifications iPhone sur Mac, l'utilisateur reçoit les alertes iPhone directement sur Mac, et peut cliquer pour accéder à l'app correspondante.
Quand l'utilisateur travaille sur Mac, l'écran iPhone passe en veille verrouillée, empêchant toute consultation extérieure.
Transfert facile de fichiers entre Mac et iPhone par glisser-déposer.
Bien que le Mac puisse déjà exécuter des apps iOS, manipuler directement l'interface du téléphone est clairement plus intuititif. Sur ce point, le Mac rejoint enfin Android et HarmonyOS.
macOS Sequoia ajoute aussi un nouvel outil d'organisation des fenêtres similaire à Windows, ajustant automatiquement les fenêtres pour les disposer en mosaïque et remplir l'écran. En glissant une fenêtre vers le bord, le système suggère automatiquement une position sur le bureau, gardant ainsi l'espace ordonné.
L'utilisateur peut choisir de placer les fenêtres côte à côte ou dans les coins pour voir plus d'applications, tandis que de nouveaux raccourcis clavier et menu accélèrent le placement en mosaïque.
Le navigateur Safari intègre aussi une nouvelle fonction « Highlights » (Mises en évidence) qui facilite la découverte d'informations, comme des itinéraires, des résumés ou des liens rapides. Cette fonction utilise le machine learning pour détecter automatiquement les informations pertinentes pendant la navigation et les mettre en valeur.
Mise en évidence lors de la planification d'un itinéraire.
On le voit, l'expérience Mac avec le nouveau système macOS devient plus légère, pratique et efficace.
Braver la tradition : doter l'iPad d'une calculatrice
Pour les utilisateurs d'iPad, la plus grande avancée est enfin l'arrivée d'une application Calculatrice native. Steve Jobs avait déclaré que mettre une calculatrice dans l'iPad était « contre-intuitif », raison pour laquelle cet appareil tablette le plus populaire au monde n'en avait jamais eu pendant des années.
Mais à l'ère de l'IA générative, Apple brise vite cette tradition.
Apple présente une nouvelle Calculatrice « Notes mathématiques » (Math Notes), permettant de saisir ou d'écrire à la main une expression mathématique et d'obtenir immédiatement le résultat affiché dans son propre style d'écriture. En apprenant un nouveau concept ou en calculant un budget, l'utilisateur peut aussi assigner des valeurs à des variables. La nouvelle fonction de tracé permet d'écrire ou taper une équation, puis d'insérer un graphique d'un simple toucher, et même d'ajouter plusieurs équations sur le même graphique pour visualiser leurs relations.
L'app Calculatrice est conçue spécifiquement pour les capacités uniques de l'iPad, offrant une nouvelle manière de résoudre des expressions grâce au Apple Pencil.
Bien sûr, tout cela suppose d'avoir un Apple Pencil.
Cette calculatrice scientifique de base sur iPad permet de voir facilement l'expression complète avant de terminer le calcul. L'historique permet de suivre les résultats précédents, et la conversion d'unités facilite les changements de longueur, poids, monnaie, etc.
Avec Math Notes, la calculatrice permet de saisir ou écrire une expression mathématique et d'en voir immédiatement la solution, tout en pouvant attribuer des valeurs aux variables pour les utiliser dans les expressions.
One More Thing
Outre les majeures mises à jour de macOS et iPadOS, Apple a aussi annoncé des nouveautés sur d'autres appareils. Notamment, le casque de réalité mixte Vision Pro obtient un nouveau système, visionOS 2, avec de nombreuses fonctions inédites, comme l'utilisation d'un apprentissage avancé pour extraire des vues gauche et droite à partir d'images 2D, créant ainsi des photos spatiales avec une profondeur naturelle.
Le 28 juin, Vision Pro sera lancé en Chine, au Japon et à Singapour. Prix en Chine : à partir de 29 999 yuans pour 256 Go, 31 499 yuans pour 512 Go, et 32 999 yuans pour 1 To. À ce prix-là, allez-vous craquer ?
Les annonces d'Apple montrent qu'il suit le rythme tout en exploitant pleinement son avantage vertical intégré matériel-logiciel. Après tout, dans l'écosystème Android, il est difficile d'imaginer rapidement des téléphones et serveurs utilisant la même architecture de puce. D'autre part, la profonde collaboration avec OpenAI, leader technologique, est perçue comme un signe d'ouverture.
Mais l'avenir de l'IA chez Apple est-il forcément brillant ? Pas nécessairement. La bourse a encore baissé aujourd'hui.
À la fin du keynote de WWDC, Apple a de nouveau été dépassé en capitalisation boursière par Nvidia.
Et Elon Musk a déclaré que l'intégration système d'OpenAI par Apple était inacceptable et non sécurisée, et qu
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
@Synced_Global
