Une brève histoire des victoires de l'IA : là où il y a un système de notation, il y a une invasion de l'IA

Auteur : Robonaissance

Traduit et édité par TechFlow

Note de la rédaction TechFlow : Go, échecs, repliement des protéines — pourquoi ces domaines, qui semblent nécessiter l'intuition et la créativité humaines, sont-ils conquérés un par un par l'IA ? Cet article révèle une loi ignorée : ce qui détermine si l'IA peut surpasser l'homme n'est pas la difficulté de la tâche, mais la possibilité de noter le succès. Lorsqu'un domaine établit un critère de notation, il lance un compte à rebours pour sa propre conquête.

Extrait de la série « Whatever You Ask For », sur le seul travail que les machines ne peuvent pas faire à notre place.

Une sur dix mille

Le 10 mars 2016, dans un hôtel de Séoul, une machine a joué un coup que personne dans la pièce ne pouvait comprendre, tandis que son adversaire n'était pas présent.

Lee Sedol était sorti fumer. Il avait alors 33 ans, détenait 18 titres de champion du monde et était公认 comme le joueur de go le plus fort de sa génération. Il avait perdu la première partie la veille et, abordant la deuxième, sa confiance d'avant-match s'était considérablement tempérée, son état d'esprit plus prudent. Pendant qu'il était dehors, AlphaGo a choisi le 37e coup, et le chercheur de DeepMind, Aja Huang, a remplacé la machine pour placer tranquillement la pierre sur le plateau.

La pierre est tombée sur la cinquième ligne.

Pour ceux qui ne connaissent pas le go, cela n'a aucun sens. Pour ceux qui connaissent, c'est presque absurde. En phase d'ouverture et de milieu de partie, une position aussi loin du bord est considérée comme inefficace, ne permettant ni de gagner du territoire réel ni de défendre le sien, c'est comme offrir des points à l'adversaire. C'est le genre de coup qu'un professeur corrigerait chez un débutant. Dans la cabine de commentaire, le joueur professionnel de haut niveau Michael Redmond, diffusant la partie en direct, a d'abord pensé à une erreur de signal du plateau. Il a pris une pierre, puis l'a reposée.

Lee Sedol est revenu s'asseoir, fixant le plateau longtemps sans bouger. Les estimations varient d'environ 12 à 15 minutes. Fan Hui, champion d'Europe battu par AlphaGo cinq mois plus tôt, observait la partie dans l'immeuble. Après avoir fixé le plateau longtemps, son jugement fut : « Ce n'est pas un coup humain. Je n'ai jamais vu personne jouer comme ça. »

Il avait raison, et cette raison pouvait être quantifiée. Le système de DeepMind possédait en interne un mécanisme d'estimation qui, en apprenant sur un grand nombre de parties humaines, estimait la probabilité qu'un humain joue un coup donné dans n'importe quelle position. Pour le 37e coup, cette valeur estimée était d'environ une sur dix mille.

La machine a joué quand même, et ce coup a gagné la partie entière.

Il existe une interprétation confortable de cette histoire, disant que la machine a appris très dur des maîtres humains et a finalement rattrapé le plus fort d'entre eux. Cette interprétation est fausse, et le chiffre une sur dix mille explique précisément pourquoi. Un système qui apprend à imiter les coups humains a un plafond, et ce plafond est le jeu humain. Ce qui s'est passé à Séoul, c'est qu'un système n'était plus contraint par ce plafond, car l'objectif qui lui était assigné n'était pas l'approbation des maîtres humains, mais gagner la partie.

Cette distinction pointe vers une direction plus utile que l'émerveillement. Si vous voulez savoir quelles activités humaines ont déjà perdu sur la dimension pure de la capacité, et quelles sont les suivantes, la question à poser n'est pas de savoir combien cette activité est difficile, combien elle nécessite de créativité ou d'intuition. La question est beaucoup plus ennuyeuse que cela.

La question est de savoir si le succès peut être noté.

Partie après partie

Les échecs ont perdu il y a 19 ans, d'une manière complètement différente.

Deep Blue a battu Kasparov en 1997, utilisant une architecture qui était essentiellement un immense acte d'expression humaine. Sa fonction d'évaluation — le composant qui regarde une position et donne un chiffre indiquant sa qualité — a été assemblée et ajustée avec l'aide de conseillers grands maîtres. La connaissance humaine des échecs a été péniblement extraite des joueurs humains et inscrite dans la machine. Ce que la machine a ajouté, c'est la capacité de recherche : regarder plus loin et plus vite, infatigable, sans perdre de coups à cause d'une dispersion de l'attention.

Ce fut une véritable victoire, qui doit compter comme telle. Mais notez sa forme. La compréhension de Deep Blue pour les échecs était une compréhension humaine. Son avantage était la vitesse. Si vous lui demandiez pourquoi elle évaluait une position ainsi, la réponse finirait par retomber sur quelqu'un qui lui avait dit de le faire.

20 ans plus tard, DeepMind a publié un système appelé AlphaZero, et la forme a changé.

AlphaZero s'est vu donner les règles des échecs. Elle ne s'est pas vu donner de bibliothèque d'ouvertures — le catalogue des premiers coups étudiés sur lequel chaque programme sérieux s'appuie. Elle ne s'est pas vu donnée de table de finale. Elle ne s'est pas vu donnée une seule partie humaine. Elle a joué contre elle-même, commençant par des coups aléatoires, s'ajustant en fonction de ce qui permettait de gagner.

Environ quatre heures plus tard, DeepMind a estimé que son classement Elo dépassait celui du programme traditionnel le plus fort de l'époque, Stockfish 8. Environ neuf heures plus tard, elle a joué cent parties contre Stockfish dans des conditions de temps limité, en gagnant 28, n'en perdant aucune, les 72 restantes étant nulles. L'article rapportait qu'en 24 heures, elle avait atteint un niveau surhumain aux échecs, au shogi et au go.

Ces chiffres sont souvent cités sans l'autre moitié du récit, qui est importante. Les parties d'auto-jeu ont été générées sur cinq mille unités de traitement tensoriel de première génération, avec soixante-quatre unités de deuxième génération entraînant le réseau, le tout fonctionnant en parallèle. Quatre heures de temps réel, c'est quatre heures de calcul — une quantité qu'aucun individu, ni même quelques institutions, ne peuvent assembler. L'exploit n'est pas que apprendre les échecs est facile. L'exploit est que lorsque vous avez autant de puissance de calcul, la connaissance humaine n'est plus ce dont vous avez besoin.

Kasparov avait plus de raisons que quiconque de prendre ce résultat comme une attaque personnelle, mais il a écrit un commentaire dans « Science », très généreux. Son observation était qu'AlphaZero ne jouait pas le genre d'échecs ennuyeux, prudent et tendant vers la nulle que tout le monde pensait qu'une machine parfaite jouerait. Elle privilégiait l'activité sur le matériel, sacrifiant des pièces pour des positions qui lui semblaient risquées. Il a souligné que les programmes traditionnels portaient les priorités et les biais de ceux qui les écrivaient. AlphaZero s'était écrite elle-même. Il a conclu que son style reflétait donc quelque chose de plus réel que le goût des programmeurs, et a observé qu'elle examinait beaucoup moins de positions par seconde que les meilleurs moteurs traditionnels au monde, tout en gagnant.

Ce dernier détail vaut la peine d'être retenu. Les moteurs traditionnels recherchaient beaucoup plus de possibilités par seconde, mais ont perdu. L'avantage d'AlphaZero n'était pas de regarder plus dur, mais de savoir où regarder, et cette connaissance a été assemblée par des millions de parties d'auto-jeu et une règle sur qui gagne, rien d'autre.

Le résultat au shogi est encore plus étrange pour ceux qui sont qualifiés pour le lire. Le shogi est un jeu japonais où les pièces capturées reviennent dans la main de celui qui les a capturées, ce qui rend la volatilité des positions supérieure à celle des échecs, et il existe également des siècles de théorie accumulée sur la façon de protéger la sécurité du roi. De forts joueurs ayant vu les parties des machines ont rapporté que les ouvertures violaient la théorie connue, le roi se précipitant au centre du plateau au moment où chaque livre dit qu'il devrait se retirer dans un coin. Ces parties étaient presque illisibles pour un œil entraîné, mais elles ont gagné.

En mettant les deux systèmes côte à côte, la régularité est clairement inquiétante. Deep Blue est connaissance humaine plus vitesse machine. AlphaZero est vitesse machine plus définition de la victoire, la connaissance humaine étant délibérément retirée. La version sans connaissance humaine est meilleure.

Tout cela ne signifie pas que la machine de 2016 était parfaite, le même match de Séoul en contenait la preuve.

Quatrième partie, trois défaites derrière, se battant pour la dignité, Lee Sedol a enfoncé une pierre entre les deux groupes de pierres d'AlphaGo au centre du plateau. Cela a ensuite été appelé le coup divin. AlphaGo a elle-même estimé la probabilité qu'un humain joue ce coup, également d'environ une sur dix mille, curieusement symétrique. Le système n'a pas pu répondre. Son évaluation de sa propre probabilité de victoire s'est effondrée dans les coups suivants, son niveau de jeu s'est détérioré, et elle a perdu cette partie.

Donc en mars 2016, il restait un trou dans la machine, un trou qu'un humain a trouvé sous les yeux du monde entier, sous la pression maximale. Cela vaut la peine d'être dit clairement, plutôt que d'être discrètement ignoré. Il vaut également la peine de dire ce qui s'est passé ensuite : ces trous ont été régulièrement comblés, les successeurs de ce système ne perdent plus ce genre de parties, et les meilleurs moteurs n'ont pas perdu une seule partie contre un humain dans des contextes sérieux depuis longtemps. Le résultat de 2016 était un instantané d'une transition, pas un équilibre des forces permanent.

Ce qui se transfère de ces plateaux à tout le reste, ce n'est pas la victoire elle-même, mais le mécanisme. Les échecs et le go étaient destinés à tomber en premier, pour une raison embarrassamment simple. Dans les jeux, le succès est défini par les règles d'une manière完全 précise. Vous gagnez ou vous ne gagnez pas, la notation est gratuite, instantanée et incontestable. Un système peut jouer quarante millions de parties contre lui-même en un week-end, obtenant quarante millions de jugements sans équivoque.

Cela indique le prochain endroit à regarder. Pas les tâches simples, mais les tâches qui viennent avec leur propre tableau d'affichage.

Un problème de cinquante ans

Les protéines sont des chaînes d'acides aminés qui se replient instantanément en formes tridimensionnelles complexes lors de leur fabrication. La forme détermine ce que fait la protéine. La séquence détermine la forme. Déduire la seconde de la première est, depuis le début des années 1970, un problème ouvert en biologie, et d'une manière qui résiste à toutes les attaques : ni les simulations physiques basées sur les premiers principes, ni les analyses statistiques de la parenté évolutive, ni l'intuition structurelle accumulée sur des décennies ne fonctionnaient.

En 1994, un groupe de chercheurs dirigé par John Moult a fait quelque chose face à ce fait : tout le monde dans le domaine revendiquait des progrès, mais personne ne pouvait vérifier.

Ils ont créé un examen. Depuis lors, tous les deux ans, la Critical Assessment of protein Structure Prediction (CASP) prend des structures de protéines刚刚 déterminées expérimentalement, parfois même encore en cours de détermination, et publie les séquences pour le monde entier. N'importe quelle équipe peut soumettre des prédictions. Personne ne peut accéder aux réponses, car les réponses pour certaines cibles n'existent pas encore. Lorsque les structures expérimentales sortent, les prédictions sont notées par comparaison.

La notation utilise une métrique appelée Global Distance Test (GDT), de 0 à 100, que l'on peut grossièrement comprendre comme le pourcentage de la chaîne dont la position finale est suffisamment proche de la position réelle. Moult a dit qu'environ 90 points étaient considérés de manière informelle comme équivalents à une structure déterminée en laboratoire. Pendant la majeure partie de l'histoire de l'évaluation, les meilleures prédictions oscillaient autour de 60 points.

Lors de la CASP14 en 2020, un participant enregistré sous le groupe 427 a obtenu un score médian de 92,4 sur toutes les cibles. Dans la catégorie la plus difficile — les cibles sans parenté structurelle utile sur laquelle s'appuyer — le score médian était de 87,0. L'erreur moyenne était d'environ 1,6 ångströms, à peu près la largeur d'un atome.

Moult, qui a été président depuis le début de la compétition, a emmené le public回顾 l'histoire de la compétition avant de présenter les graphiques. Le graphique racontait toute l'histoire en une image. Les lignes de vingt ans rampaient autour de 60 points, puis une ligne se tenait là où aucune autre ligne n'était jamais allée.

Le groupe 427 était AlphaFold2. Moult a annoncé que, pour une chaîne de protéines unique, le problème était résolu.

Les termes limitatifs devraient être là, dans chaque récit honnête. Une chaîne unique n'est pas toute la science des protéines. Comment les protéines s'assemblent en complexes, comment elles bougent, comment elles se comportent dans une cellule vivante, tout cela reste ouvert. Le grand défi clos était un défi concret, énoncé avec précision.

Et cette précision est exactement le point de raconter cette histoire ici. Ce n'est pas parce que la prédiction de structure était simple qu'elle est tombée, car un demi-siècle d'échecs prouvait le contraire. Ce qui l'a fait tomber, c'est qu'en 1994, le domaine s'est construit un tableau d'affichage.

Considérer la CASP comme de l'ingénierie plutôt que de la science montre ce qu'elle a fourni. Elle a fourni une mesure de succès sans équivoque, applicable à toute prédiction, calculable en quelques secondes. Elle a fourni un fait de référence impossible à truquer, car les réponses étaient physiquement déterminées par d'autres en laboratoire. Elle a fourni un flux continu de nouveaux problèmes selon un calendrier fixe. Elle a fourni trente ans d'historique de tentatives notées, c'est-à-dire un enregistrement classé de ce qui est mieux et de ce qui est pire dans ce domaine.

Un domaine qui a fait tout cela a, sans le vouloir, préparé ses problèmes à une attaque automatisée. Le tableau d'affichage est la condition préalable. Tout le reste est ingénierie et calcul, et ces deux choses sont devenues moins chères chaque année pendant longtemps.

Cela se généralise avec une facilité inquiétante. Là où une discipline a atteint un consensus de référence, une cible est publiée. La traduction automatique a des critères de notation. La reconnaissance vocale a des critères de notation. La classification d'images a un ensemble d'un million de photos annotées et une compétition annuelle, et quiconque a vu cette compétition sait comment l'histoire se termine. La règle n'est pas que les choses difficiles tombent en premier, ou les choses simples. La règle est que les choses mesurées tombent en premier.

Cela pose une question évidente pour tout ce qui n'a pas encore été mesuré.

Noter ce qui ne peut pas être noté

La dernière ligne de défense devrait être les choses qui ne peuvent pas être notées.

L'écriture est l'exemple standard. Aucun programme ne peut prendre un paragraphe et renvoyer un chiffre disant combien il est bon. Deux éditeurs compétents ne sont pas d'accord. Le même éditeur n'est pas d'accord avec lui-même à des jours différents. La qualité du langage est emmêlée avec le contexte, le public, le but et le goût, rien de tout cela ne peut être réduit à une mesure. Si les machines ont besoin d'un tableau d'affichage, et que le langage n'en a pas, alors le langage est en sécurité.

Cet argument est valide. Ce qui lui est arrivé est la raison la plus importante de tout ce récit.

Ce domaine n'a pas trouvé de mesure objective de la bonne écriture. Il n'y a toujours pas une telle chose. Ce qu'il a fait, c'est fabriquer un score avec le seul matériau disponible, c'est-à-dire le jugement humain lui-même.

L'histoire de cette méthode est plus ancienne que la plupart des gens ne le pensent. En 2008, Knox et Stone ont décrit un système nommé TAMER, permettant à un humain d'observer le comportement d'un agent et de donner une évaluation, ces évaluations étant utilisées pour entraîner un modèle à prédire ce que dirait l'humain. Ensuite, c'est le modèle plutôt que l'humain qui fournit le signal d'entraînement. En 2017, Christiano et ses collègues ont publié un travail considéré par la plupart comme l'origine directe de la pratique actuelle, appliquant cette idée à des agents de jeux Atari. En 2019, Ziegler et ses collègues l'ont appliquée aux modèles de langage, et la plupart des termes utilisés aujourd'hui ont été确立 dans cet article. En 2022, Ouyang et ses collègues ont démontré cette méthode à l'échelle industrielle sur des tâches de suivi d'instructions, et peu de temps après, la plupart des gens sur Terre ont été exposés à ces résultats sans le savoir.

Le mécanisme central vaut la peine d'être compris en détail, car il est beaucoup plus simple que sa réputation ne le suggère.

Une personne est assise devant deux textes, tous deux générés par un modèle pour la même invite. La tâche n'est pas de les noter. Noter est précisément ce que les humains font mal, car le sept d'une personne est le cinq d'une autre, et la même personne n'est pas stable dans un après-midi. La tâche est simplement de dire lequel est meilleur. C'est un jugement que les humains peuvent faire de manière fiable, et la méthode mathématique pour transformer un tas de telles comparaisons en une échelle cohérente est plus ancienne que le domaine qui l'utilise, remontant aux travaux de Bradley et Terry en 1952 sur les comparaisons par paires.

Considérez les conditions de travail pour faire ce jugement, car elles ont finalement un impact. Cette personne doit faire ce jugement plusieurs fois par heure, contre rémunération, en参照ant un guide écrit expliquant ce que le client considère comme une meilleure réponse. Certaines paires sont presque identiques. Certaines impliquent des sujets que cette personne ne connaît pas, auquel cas, la réponse la plus confiante et la mieux organisée des deux est souvent choisie, qu'elle soit plus précise ou non. Ce n'est pas une critique de ces personnes. C'est une description de ce que n'importe qui ferait dans ces conditions, et les choix qui en résultent sont la matière première.

En collectant suffisamment de ces choix, vous pouvez entraîner un deuxième modèle, dont la tâche est de prédire quel texte parmi les deux les humains préféreraient. Ce deuxième modèle sort un chiffre. Et un chiffre est la seule chose qui manquait depuis le début.

Regardez attentivement ce qui est établi ici, car il est facile de l'ignorer. Le score optimisé n'est pas un fait sur le monde. C'est un fait sur notre modèle. C'est une imitation compressée et apprise des jugements d'un groupe spécifique de personnes, embauchées à un moment spécifique, travaillant sous des instructions spécifiques, se sentant fatiguées l'après-midi comme tout le monde. La CASP note les prédictions selon la réalité physique déterminée en laboratoire, et ce système note le texte selon le portrait statistique de l'approbation humaine.

Ce portrait est utile. Mais il est aussi nécessairement une approximation, il y a un écart entre lui et l'objet dépeint, que personne n'a complètement élucidé. Tout ce que notre modèle de préférence ne capture pas sur nos préférences réelles n'est pas dans la cible, ne sera donc pas optimisé, et sera donc sujet à n'importe quelle influence — et un optimiseur puissant n'a aucune raison de protéger cette quantité.

C'est un fait sur la construction, énoncé ici sans faire de revendication sur la gravité des conséquences. Le point immédiat est plus étroit et plus difficile à réfuter. La catégorie des choses impossibles à noter est plus petite qu'il n'y paraît. Si un domaine résiste à la mesure, on peut construire une mesure à partir des préférences humaines et avancer. Cette ligne de défense n'est efficace que si personne ne pense à fabriquer un score.

Qu'est-ce qui tombera ensuite

Cela laisse une question pratique, et une réponse utilisable.

Choisissez n'importe quelle activité que vous aimez : un travail, un métier, une profession, une tâche que vous avez passé des années à apprendre à bien faire. Posez trois questions.

Premièrement, le succès et l'échec peuvent-ils être fiablement distingués ? Pas parfaitement, ni par tout le monde, mais assez constamment pour que des juges compétents soient d'accord la plupart du temps. Les jeux passent facilement ce cap. La prédiction de structure des protéines le passe parce que le laboratoire finira par produire une réponse. L'écriture ne passe pas au sens absolu, mais passe au sens relatif, car les gens peuvent généralement dire laquelle de deux tentatives est meilleure.

Deuxièmement, ce jugement peut-il être produit à grande échelle à faible coût ? Cette question détermine le timing plutôt que la possibilité. Un jugement gratuit et instantané, comme dans les jeux, signifie que le système peut générer lui-même des millions de données d'entraînement. Un jugement nécessitant un laboratoire est plus lent mais toujours faisable, avec trente ans d'archives de tentatives notées. Un jugement nécessitant des humains payés pour lire du texte est cher, c'est précisément pourquoi tant d'efforts ont été investis pour entraîner des modèles à imiter ces humains et à les retirer de la boucle.

Troisièmement, cela ne détermine pas quand un domaine tombera, mais ce qui se passera ensuite : ce score est-il vraiment ce que vous voulez ? Le score du jeu est ce que vous voulez, car dans un jeu, gagner est par définition tout le sens. La structure des protéines mesurée expérimentalement est très proche de ce que vous voulez. Un modèle apprenant les préférences d'un annotateur n'est pas ce que vous voulez. C'est un portrait de ce que vous voulez, et il y a un écart entre le portrait et le visage.

Testez votre propre travail avec ces trois questions. La plupart des gens trouvent que la première réponse vient vite et est inquiétante. La plupart de ce que nous appelons compétences, au moins au sens relatif, peut être noté lorsque deux tentatives sont regardées côte à côte par des personnes compétentes. La deuxième question est là que réside la véritable incertitude, car le coût et l'échelle sont des cibles mobiles, et elles se sont déplacées dans une direction depuis longtemps. La troisième question est celle que presque personne ne pose, et elle détermine à quoi ressemblera votre domaine de l'autre côté.

Il vaut la peine de faire cet exercice lentement sur des choses ordinaires. Prenons la radiologie. Le succès et l'échec peuvent-ils être distingués ? Oui, et avec précision, car le diagnostic sera finalement confirmé ou réfuté par l'état du patient. Le jugement peut-il être produit à grande échelle à faible coût ? Fondamentalement oui, car les hôpitaux accumulent des échantillons notés sous forme d'images et de résultats confirmés depuis des décennies. Ce score est-il ce que vous voulez ? Ici, la réponse se complique, car ce qui est noté est la cohérence avec le diagnostic enregistré, tandis que ce qui est voulu est que le patient aille bien, deux choses qui coïncident la plupart du temps, mais divergent précisément dans les cas les plus importants.

Maintenant, prenons quelque chose qui semble plus sûr. Prenons le management. La première question est déjà difficile, car les personnes compétentes ne sont pas d'accord sur si un manager donné est bon, et les divergences ne se résolvent pas rapidement. La deuxième est plus difficile, car les résultats des décisions de management n'arrivent qu'après des années, emmêlés avec tout le reste qui se produit. La troisième est la plus difficile, car tout indicateur alternatif de bon management proposé par quiconque, du taux de rétention aux scores d'engagement en passant par la production par habitant, n'est évidemment pas la chose elle-même. Selon ce diagnostic, le management n'est pas sûr parce qu'il est profond. Il est non mesuré, ce qui est une protection différente, moins aimable.

Les machines ont déjà occupé l'axe d'optimisation. Sur n'importe quel objectif clairement spécifié, avec suffisamment de calcul, trouver les bons coups n'est plus une compétition, et les résultats sont souvent non seulement plus forts que les nôtres, mais plus étranges, atteignant des endroits que notre tradition nous enseigne à ne pas regarder. Ce n'est pas une prédiction. C'est une description des échecs, du go, du shogi, de la structure des protéines et de越来越多 de choses qui figuraient autrefois sur la liste des choses que seuls les humains pouvaient faire.

Ce qui reste, c'est l'objectif lui-même. Quelqu'un décide ce qu'est le score. Dans chacun des cas ci-dessus, cette décision a pris un après-midi, et chaque résultat extraordinaire en est issu, lui est fidèle, et est indifférent à tout ce qu'elle a omis.

Donc la dernière question vaut la peine d'être méditée. Dans votre travail, y a-t-il déjà un score ? Si oui, qui l'a écrit, et pensaient-ils à vous quand ils l'ont écrit ?

Ceci est la deuxième partie de la série « Whatever You Ask For », sur ce dont les machines ont finalement besoin de nous, et à quel point nous nous en sortons mal.