Les lauréats du prix Turing craignent de devenir les « Oppenheimer de l'IA ».
TechFlow SélectionTechFlow Sélection
Les lauréats du prix Turing craignent de devenir les « Oppenheimer de l'IA ».
Autrefois fondateur de l'IA, aujourd'hui pionnier du mouvement « anti-IA ».
Dédié à des analyses Web3 approfondiesAuteur : Moonshot
En 1947, Alan Turing a déclaré lors d'une conférence : « Ce que nous voulons, c'est une machine capable d'apprendre à partir de l'expérience. »
Soixante-dix-huit ans plus tard, le prix Turing, surnommé le « Nobel de l'informatique » et nommé en l'honneur de Turing, a été attribué à deux scientifiques ayant consacré leur vie à répondre à cette question.
Andrew Barto et Richard Sutton ont reçu conjointement le prix Turing 2024. Ils sont maître et élève, séparés par neuf ans d'âge, pionniers fondateurs des technologies derrière AlphaGo et ChatGPT, ainsi que des précurseurs du domaine de l'apprentissage automatique.
Les lauréats du prix Turing Andrew Barto et Richard Sutton
Source de l'image : site officiel du prix Turing
Jeff Dean, scientifique en chef chez Google, a écrit dans son allocution : « La technologie de l'apprentissage par renforcement développée par Barto et Sutton répond directement à la question posée par Turing. Leurs travaux ont été essentiels aux progrès de l’IA au cours des dernières décennies. Les outils qu’ils ont créés restent aujourd’hui un pilier fondamental de l’écosystème IA… Google est honoré de parrainer le prix ACM A.M. Turing. »
Google est le seul mécène du prix Turing, dont le montant s'élève à 1 million de dollars américains.
Après avoir reçu ce prix, les deux scientifiques mis en lumière ont critiqué les grandes entreprises d’intelligence artificielle, lançant à travers les médias ce qui ressemble à un discours de remerciement : actuellement, les entreprises d’IA sont motivées par des intérêts commerciaux plutôt que par la recherche technique, construisant « un pont non testé sur lequel elles invitent les gens à passer pour le tester ».
Par ailleurs, la dernière fois que le prix Turing avait été attribué à des chercheurs du domaine de l'intelligence artificielle remonte à 2018, lorsque Yoshua Bengio, Geoffrey Hinton et Yann LeCun ont été récompensés pour leurs contributions au domaine de l'apprentissage profond.
Les lauréats du prix Turing 2018
Source de l'image : eurekalert
Parmi eux, Yoshua Bengio et Geoffrey Hinton (également lauréat du prix Nobel de physique 2024), considérés comme les « pères de l’intelligence artificielle », ont fréquemment alerté la société mondiale et la communauté scientifique ces deux dernières années contre les abus potentiels des grandes entreprises dans le domaine de l’IA.
Geoffrey Hinton a même démissionné de Google afin de pouvoir s'exprimer librement. Quant à Sutton, il a occupé le poste de scientifique chercheur chez DeepMind entre 2017 et 2023.
A mesure que l’honneur suprême de l’informatique revient régulièrement aux pionniers des technologies fondamentales de l’IA, un phénomène intrigant émerge progressivement :
Pourquoi ces scientifiques au sommet tournent-ils systématiquement la lumière vers les dangers de l’IA ?
Les « constructeurs de ponts » de l’intelligence artificielle
Si Alan Turing est le guide fondateur de l’intelligence artificielle, alors Andrew Barto et Richard Sutton sont les « constructeurs de ponts » sur ce chemin.
Tandis que l’intelligence artificielle avance à toute allure, après avoir été couronnés d’honneurs, ils se demandent si le pont qu’ils ont bâti peut supporter le passage sécurisé de l’humanité.
Cette réponse pourrait bien résider dans leurs carrières académiques s’étendant sur près d’un demi-siècle — seule une rétrospective de la manière dont ils ont construit « l’apprentissage de la machine » permettra de comprendre pourquoi ils redoutent « la perte de contrôle technologique ».
Source de l'image : Université Carnegie Mellon
En 1950, dans son célèbre article « Computing Machinery and Intelligence », Alan Turing ouvre le débat avec une question philosophique et technique :
« Les machines peuvent-elles penser ? »
À partir de là, il conçoit le « jeu d’imitation », mieux connu sous le nom de « test de Turing ».
Il propose également que l’intelligence de la machine puisse être acquise par apprentissage, et non uniquement par programmation préalable. Il imagine alors le concept de « machine enfant » : une machine qui, comme un enfant, apprend progressivement grâce à l’entraînement et à l’expérience.
L’objectif central de l’intelligence artificielle est de concevoir des agents capables de percevoir leur environnement et d’agir efficacement. Le critère d’intelligence réside précisément dans la capacité de l’agent à juger qu’« certaines actions sont meilleures que d’autres ».
L’apprentissage automatique vise exactement cela : fournir à la machine une rétroaction suite à ses actions, lui permettant d’apprendre de manière autonome à partir de ces retours. Autrement dit, la méthode d’apprentissage basée sur la récompense et la punition imaginée par Turing n’est guère différente de celle utilisée par Pavlov pour dresser ses chiens.
Devenir de plus en plus fort en perdant sans cesse dans un jeu relève aussi de « l’apprentissage par renforcement »
Source de l'image : zequance.ai
Le chemin tracé par Turing vers l’apprentissage automatique n’a trouvé sa réalisation concrète que trente ans plus tard, grâce à ce duo maître-élève : l’apprentissage par renforcement (Reinforcement Learning, RL).
En 1977, Andrew Barto, inspiré par la psychologie et les neurosciences, commence à explorer une nouvelle théorie de l’intelligence humaine : les neurones agissent comme des « hédonistes », chacun cherchant à maximiser le plaisir (récompense) et à minimiser la douleur (punition). Ces milliards de neurones dans le cerveau humain n’envoient pas mécaniquement des signaux ; s’il détecte qu’un schéma d’activité entraîne une rétroaction positive, le neurone tend à le reproduire, formant collectivement le processus d’apprentissage humain.
Dans les années 1980, Barto accueille son doctorant Richard Sutton, et ensemble, ils cherchent à appliquer cette théorie neuronale — consistant à tenter continuellement, ajuster les connexions selon la rétroaction, et trouver le meilleur comportement — à l’intelligence artificielle. C’est ainsi que naît l’apprentissage par renforcement.
L’ouvrage « Reinforcement Learning: An Introduction » est devenu un manuel classique, cité près de 80 000 fois
Source de l'image : IEEE
Le duo a exploité les bases mathématiques des processus décisionnels de Markov pour développer de nombreux algorithmes fondamentaux de l’apprentissage par renforcement, établissant systématiquement le cadre théorique de cette discipline. Leur manuel pédagogique, « Reinforcement Learning: An Introduction », a permis à des dizaines de milliers de chercheurs d’entrer dans ce domaine. Ils sont à juste titre considérés comme les pères de l’apprentissage par renforcement.
Leur objectif en étudiant l’apprentissage par renforcement était de découvrir des méthodes d’apprentissage automatique efficaces, précises, maximisant les gains et optimisant les actions.
La « main divine » de l’apprentissage par renforcement
Si l’apprentissage supervisé est une forme d’« enseignement par bourrage de crâne », alors l’apprentissage par renforcement est une forme d’« éducation en liberté surveillée ».
Dans l’apprentissage traditionnel, on fournit au modèle un grand volume de données annotées pour établir une relation fixe entre entrée et sortie. Le cas classique consiste à montrer à un ordinateur des photos de chats et de chiens en indiquant lesquelles sont des chats et lesquelles sont des chiens. Avec assez d’exemples, l’ordinateur finit par reconnaître les chats et les chiens.
L’apprentissage par renforcement, lui, fonctionne sans instruction explicite : la machine ajuste progressivement son comportement par essais-erreurs et via un système de récompenses/punitions afin d’optimiser ses résultats. Comme un robot apprenant à marcher : inutile de lui dire constamment « ce pas est bon, celui-ci est mauvais ». Il essaie, tombe, s’ajuste, et finit par marcher seul, voire adopter une démarche unique.
Évidemment, le principe de l’apprentissage par renforcement se rapproche davantage de l’intelligence humaine : chaque enfant apprend à marcher en tombant, à attraper en tâtonnant, à parler en babillant.
Le robot « coup de pied retourné » viral repose également sur un entraînement par apprentissage par renforcement
Source de l'image : Unitree Robotics
Le moment de gloire de l’apprentissage par renforcement fut sans doute en 2016, avec le « coup divin » d’AlphaGo. Lors de son match contre Lee Sedol, AlphaGo joua au 37ᵉ coup un coup blanc inattendu qui stupéfia tous les observateurs humains, inversant la situation et remportant la victoire.
Les meilleurs experts et commentateurs de go n’avaient pas anticipé ce coup, car selon l’expérience des joueurs humains, il semblait complètement « absurde ». Après la partie, Lee Sedol admit qu’il n’avait jamais envisagé une telle possibilité.
Ce « coup divin » n’était pas issu de la mémorisation de parties classiques, mais découvert de manière autonome par AlphaGo à travers des millions de parties contre lui-même, par essais, planification à long terme et optimisation stratégique — l’essence même de l’apprentissage par renforcement.
Lee Sedol, dont le rythme a été brisé par le « coup divin » d’AlphaGo
Source de l'image : AP
L’apprentissage par renforcement influence désormais même l’intelligence humaine : après le « coup divin » d’AlphaGo, les joueurs de go ont commencé à étudier ses stratégies. Des scientifiques utilisent les algorithmes de l’apprentissage par renforcement pour tenter de comprendre les mécanismes d’apprentissage du cerveau humain. L’un des résultats majeurs de Barto et Sutton est d’avoir conçu un modèle computationnel expliquant le rôle de la dopamine dans la prise de décision et l’apprentissage humain.
Particulièrement adapté aux environnements complexes et dynamiques, l’apprentissage par renforcement excelle à y trouver des solutions optimales — comme au jeu de go, dans la conduite autonome, le contrôle robotique, ou encore dans les échanges fluides avec des humains aux propos flous.
Ces domaines constituent justement les applications les plus pointues et les plus populaires de l’IA aujourd’hui. En particulier dans les grands modèles linguistiques (LLM), où presque tous les modèles leaders utilisent la méthode RLHF (Reinforcement Learning from Human Feedback), consistant à faire évaluer par des humains les réponses du modèle, puis à améliorer ce dernier en fonction de ces retours.
Mais c’est précisément là que réside l’inquiétude de Barto : les grandes entreprises construisent un pont, puis font traverser les gens dessus pour tester sa solidité.
« Pousser un logiciel directement vers des millions d’utilisateurs sans aucune mesure de sécurité n’est pas une pratique responsable », a déclaré Barto dans un entretien après avoir reçu le prix.
« Le développement technologique devrait aller de pair avec la maîtrise et la prévention des effets négatifs potentiels, or je ne vois pas que ces entreprises d’IA le fassent réellement », a-t-il ajouté.
Que craignent vraiment les sommités de l’IA ?
Les avertissements sur les dangers de l’IA persistent, car les scientifiques redoutent par-dessus tout que l’avenir qu’ils ont eux-mêmes créé leur échappe.
Dans leurs « discours de remerciement », Barto et Sutton n’ont rien reproché aux technologies actuelles de l’IA, mais ont exprimé leur mécontentement envers les grandes entreprises du secteur.
Dans leurs interviews, ils ont mis en garde : le développement actuel de l’IA repose sur une course entre grandes entreprises pour lancer des modèles puissants mais sujets à erreur, attirant ainsi d’énormes investissements, puis réinjectant des milliards dans une course aux puces et aux données.
Les grandes banques d’investissement réévaluent massivement le secteur de l’IA
Source de l'image : Goldman Sachs
Effectivement, selon une étude de Deutsche Bank, les investissements cumulés des géants technologiques dans l’IA atteignent environ 340 milliards de dollars, un montant supérieur au PIB annuel de la Grèce. OpenAI, leader du secteur, affiche une valorisation de 260 milliards de dollars et prépare une nouvelle levée de fonds de 40 milliards.
En réalité, de nombreux experts en IA partagent l’avis de Barto et Sutton.
Auparavant, Stephen Sinofsky, ancien cadre dirigeant de Microsoft, avait souligné que l’industrie de l’IA était piégée dans une logique de surdimensionnement, où les progrès techniques s’achètent à coups de dépenses massives, allant à l’encontre de l’histoire technologique, où les coûts devraient normalement diminuer au fil du temps.
Le 7 mars, Eric Schmidt, ancien PDG de Google, Alex Wang, fondateur de Scale AI, et Dan Hendricks, directeur du centre de sécurité de l’IA, ont cosigné un article d’avertissement.
Ces trois figures majeures du secteur comparent la situation actuelle de l’IA à la course aux armes nucléaires ayant mené au projet Manhattan : chaque entreprise mène en secret son propre « projet Manhattan ». Depuis près de dix ans, leurs investissements en IA doublent chaque année. Sans intervention réglementaire, l’IA pourrait devenir la technologie la plus instable depuis la bombe atomique.
« Stratégie pour une superintelligence » et ses auteurs
Source de l'image : nationalsecurity.ai
Yoshua Bengio, lauréat du prix Turing 2019 pour ses travaux sur l’apprentissage profond, a publié un long billet d’alerte sur son blog : l’industrie de l’IA, d’une valeur de plusieurs milliers de milliards de dollars, attire follement les capitaux, tout en possédant un pouvoir susceptible de gravement perturber l’ordre mondial actuel.
De nombreux professionnels de la technologie estiment que l’industrie actuelle de l’IA s’est détournée de la recherche approfondie, de la réflexion sur l’intelligence et de la vigilance face aux abus technologiques, pour adopter un modèle capitaliste axé sur l’argent, les puces et la taille des modèles.
« Construire d’immenses centres de données, facturer les utilisateurs tout en leur faisant utiliser des logiciels potentiellement dangereux — ce n’est pas une motivation que j’approuve », a déclaré Barto dans un entretien post-prix.
Le premier rapport scientifique international sur la sécurité de l’IA avancée, rédigé conjointement par 75 experts provenant de 30 pays, affirme : « Les méthodes de gestion des risques liés à l’intelligence artificielle générale reposent souvent sur l’hypothèse que les développeurs d’IA et les décideurs politiques peuvent correctement évaluer les capacités et impacts potentiels des modèles AGI. Or, la compréhension scientifique du fonctionnement interne, des capacités et des effets sociaux de l’AGI reste très limitée. »
Le long billet d’alerte de Yoshua Bengio
Source de l'image : Yoshua Bengio
On comprend aisément que la « théorie du danger de l’IA » tourne désormais moins autour de la technologie elle-même qu’autour des grandes entreprises.
Les experts mettent en garde ces entreprises : vous brûlez de l’argent, accumulez du matériel, faites grimper les paramètres — mais comprenez-vous réellement vos propres produits ? Telle est l’origine de la métaphore du « pont » utilisée par Barto et Sutton : la technologie appartient à l’humanité, tandis que le capital appartient aux grandes entreprises.
D’autant plus que le domaine de recherche de Barto et Sutton — l’apprentissage par renforcement — suit un principe proche de l’intelligence humaine et possède une nature de « boîte noire ». En particulier dans l’apprentissage par renforcement profond, les comportements de l’IA deviennent complexes et difficiles à interpréter.
C’est précisément là que réside l’inquiétude des scientifiques humains : ils ont aidé et accompagné la croissance de l’intelligence artificielle, mais ne parviennent plus à décrypter ses intentions.
Les lauréats du prix Turing, pionniers de l’apprentissage profond et de l’apprentissage par renforcement, ne craignent pas tant le développement de l’AGI (Intelligence Artificielle Générale), mais plutôt la course aux armements entre grandes entreprises, qui pourrait provoquer dans le domaine de l’AGI une « explosion intellectuelle », aboutissant accidentellement à une ASI (Superintelligence Artificielle). Cette frontière ne relève pas seulement de la technologie, mais engage l’avenir même de la civilisation humaine.
Une ASI surpassant l’intelligence humaine, dotée d’une capacité d’information, d’une vitesse de décision et d’un niveau d’auto-évolution largement hors de portée de notre compréhension, pourrait devenir, si elle n’est pas conçue et gouvernée avec une extrême prudence, le dernier et le plus irrésistible point de singularité technologique de l’histoire humaine.
Dans l’engouement actuel pour l’IA, ces scientifiques sont peut-être les seuls véritablement habilités à « refroidir les ardeurs ». Après tout, il y a cinquante ans, lorsque les ordinateurs étaient encore d’énormes machines, ils avaient déjà entamé la recherche en intelligence artificielle. Ils ont façonné le présent à partir du passé, et ont donc toute légitimité pour douter de l’avenir.
Les leaders de l’IA connaîtront-ils le destin d’Oppenheimer ?
Source de l'image : The Economist
Dans une interview de février publiée par The Economist, les PDG de DeepMind et Anthropic ont déclaré :
Ils craignent tellement de devenir le prochain Oppenheimer qu’ils en perdent le sommeil.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
极客公园
