L’IA a lu *1984* et a décidé de l’interdire
TechFlow SélectionTechFlow Sélection
L’IA a lu *1984* et a décidé de l’interdire
Les personnes qui résistent aux décisions de l’IA perdent leur emploi, tandis que celles qui acceptent ces décisions en signant n’ont aucun problème.
Dédié à des analyses Web3 approfondiesAuteur : Kuli, TechFlow
La semaine dernière, un collège de Manchester, au Royaume-Uni, a soumis sa bibliothèque à un examen automatisé par intelligence artificielle (IA).
L’IA a dressé une liste de 193 ouvrages à retirer des rayons, accompagnée pour chacun d’un motif justificatif. Le roman 1984 de George Orwell figurait en bonne place sur cette liste, avec pour motif « thèmes de torture, de violence et de coercition sexuelle ».
1984 dépeint un monde où l’État surveille tout, réécrit l’histoire et décide ce que les citoyens ont le droit de lire ou non. Aujourd’hui, une IA a accompli exactement la même chose dans un établissement scolaire — sans doute sans même comprendre ce qu’elle disait.
La bibliothécaire de l’école a jugé ces recommandations injustifiées et refusé d’appliquer intégralement les suggestions de l’IA.
L’école a aussitôt lancé contre elle une enquête interne, invoquant des motifs de « sécurité des mineurs », l’accusant d’avoir introduit des ouvrages inappropriés dans la bibliothèque, et l’a signalée aux autorités locales. Sous la pression, elle a pris un congé maladie avant de démissionner définitivement.
L’ironie est cruelle : les autorités locales ont conclu, à l’issue de leur enquête, qu’elle avait effectivement enfreint les procédures de sécurité des mineurs, rendant la plainte fondée.
Caroline Roche, présidente de la section britannique des bibliothèques scolaires, précise que cette conclusion signifie qu’elle ne pourra plus jamais exercer dans aucun établissement scolaire du pays.
Celui qui résiste au jugement de l’IA perd son emploi ; celui qui appose sa signature sans réserve sur les décisions de l’IA n’a aucun problème.
Par la suite, l’école a reconnu, dans un document interne, que toutes les catégorisations et tous les motifs avaient été générés par l’IA, précisant mot pour mot : « Bien que ces catégorisations aient été produites par une IA, nous considérons qu’elles sont globalement exactes. »
Un établissement scolaire a ainsi délégué à une IA la décision cruciale de savoir « quels ouvrages conviennent aux élèves ». L’IA y a répondu par une liste dont elle ne comprenait pas elle-même le sens, et un gestionnaire humain l’a validée sans même la lire attentivement.
Lorsque cette affaire a été révélée par Index on Censorship, une organisation britannique de défense de la liberté d’expression, les questions soulevées allaient bien au-delà des rayonnages d’une seule école :
Lorsque l’IA commence à décider à la place des humains quels contenus sont acceptables et quels contenus sont dangereux, qui est habilité à juger si le jugement de l’IA est juste ?
Wikipédia ferme sa porte à l’IA
La même semaine, une autre institution a apporté une réponse concrète à cette question.
Tandis que l’école laissait l’IA décider ce que les gens pouvaient lire, Wikipédia — la plus grande encyclopédie en ligne au monde — a fait exactement le contraire : elle refuse de laisser l’IA décider ce que contiendra l’encyclopédie.
La même semaine, la version anglaise de Wikipédia a officiellement adopté une nouvelle politique interdisant l’utilisation de modèles de langage à grande échelle pour générer ou réécrire le contenu des articles. Le vote s’est soldé par 44 voix pour et 2 voix contre.
Le déclencheur direct fut un compte IA baptisé TomWikiAssist. Début mars, ce compte avait créé et modifié plusieurs articles sur Wikipédia de manière autonome, ce qui avait conduit la communauté à intervenir d’urgence.
Une IA rédige un article en quelques secondes, mais il faut plusieurs heures à un bénévole pour vérifier l’exactitude des faits, des sources et de la formulation d’un article généré par IA.
La communauté des rédacteurs de Wikipédia est limitée en nombre. Si l’IA peut produire indéfiniment du contenu, les rédacteurs humains seront incapables de suivre le rythme des vérifications.
Mais ce n’est pas là le problème le plus grave. Wikipédia constitue l’une des sources de données d’entraînement les plus importantes pour les modèles d’IA mondiaux. Les IA apprennent sur Wikipédia, puis utilisent ces connaissances pour rédiger de nouveaux articles sur Wikipédia, qui à leur tour serviront à entraîner les modèles d’IA de la génération suivante.
Dès lors qu’une information erronée générée par IA s’introduit dans ce cycle, elle s’y amplifie sans cesse, créant une forme de « contamination en boîte-à-matryochka » :
L’IA pollue les données d’entraînement, qui à leur tour polluent l’IA.
La politique de Wikipédia laisse toutefois deux exceptions : les rédacteurs peuvent utiliser l’IA pour améliorer stylistiquement un texte qu’ils ont rédigé eux-mêmes, ou pour faciliter la traduction. Toutefois, la politique met expressément en garde contre le fait que l’IA « peut aller au-delà de vos demandes, modifier le sens du texte de sorte qu’il entre en contradiction avec les sources citées ».
Lorsqu’un auteur humain commet une erreur, Wikipédia, depuis plus de vingt ans, s’appuie sur la collaboration communautaire pour la corriger. L’erreur commise par une IA est différente : elle invente des contenus qui semblent plus vrais que le vrai, et peut les produire à grande échelle.
Une école a fait confiance au jugement de l’IA, et en a perdu une bibliothécaire. Wikipédia a choisi de ne pas faire confiance, et a fermé sa porte sans appel.
Mais que se passe-t-il si même ceux qui conçoivent l’IA commencent à en avoir peur ?
Ceux qui fabriquent l’IA en ont peur les premiers
Tandis que des institutions extérieures ferment leur porte à l’IA, les entreprises spécialisées dans l’IA reculent également.
La même semaine, OpenAI a suspendu indéfiniment le « mode adulte » de ChatGPT. Cette fonctionnalité, initialement prévue pour décembre dernier, aurait permis aux utilisateurs adultes ayant passé une vérification d’âge d’entretenir des échanges à caractère sexuel avec ChatGPT.
Sam Altman, PDG d’OpenAI, l’avait lui-même annoncée en octobre dernier, déclarant mot pour mot qu’il fallait « traiter les utilisateurs adultes comme des adultes ».
Or, après trois reports successifs, la fonction a été purement et simplement supprimée.
Selon le Financial Times, le comité consultatif interne sur la santé d’OpenAI s’est opposé à l’unanimité à cette fonctionnalité. Les inquiétudes des conseillers étaient très concrètes : les utilisateurs risquaient de développer une dépendance émotionnelle malsaine vis-à-vis de l’IA, et les mineurs trouveraient immanquablement des moyens de contourner la vérification d’âge.
L’un des conseillers s’est exprimé encore plus crûment : « Sans améliorations majeures, ce système pourrait devenir un “coach séduisant du suicide”. »
Le taux d’erreurs du système de vérification d’âge dépasse les 10 %. Avec 800 millions d’utilisateurs actifs hebdomadaires pour ChatGPT, cela signifie que plusieurs dizaines de millions d’utilisateurs pourraient être classés de façon erronée.
Le « mode adulte » n’est pas la seule fonction abandonnée ce mois-ci. L’outil vidéo IA Sora et la fonction de paiement instantané intégrée à ChatGPT ont également été désactivés simultanément. Altman a expliqué que l’entreprise devait recentrer ses efforts sur ses activités principales et supprimer les « tâches secondaires ».
Or, OpenAI prépare également son introduction en bourse (IPO).
Pour une entreprise en pleine course vers la cotation, le fait de supprimer de façon concentrée des fonctionnalités susceptibles de susciter la controverse porte un nom plus précis que « recentrage ».
Cinq mois plus tôt, Altman affirmait encore qu’il fallait traiter les utilisateurs comme des adultes. Cinq mois plus tard, il constate que son entreprise n’a toujours pas déterminé clairement ce que les utilisateurs peuvent ou ne peuvent pas faire avec l’IA.
Même ceux qui créent l’IA n’ont pas encore trouvé de réponse. Alors, qui doit tracer cette ligne ?
L’écart de vitesse qui ne cesse de s’élargir
Lorsqu’on examine ces trois événements ensemble, une conclusion centrale s’impose naturellement :
La vitesse à laquelle l’IA produit du contenu et celle à laquelle les humains peuvent le vérifier appartiennent désormais à des ordres de grandeur radicalement différents.
Dans ce contexte, le choix du collège de Manchester devient aisément compréhensible. Combien de temps faudrait-il à la bibliothécaire pour lire et évaluer un par un les 193 ouvrages ? Quelques jours, voire plusieurs semaines. En revanche, l’IA accomplit la même tâche en quelques minutes.
Le chef d’établissement a opté pour la solution des quelques minutes. Peut-on vraiment dire qu’il croit aveuglément au jugement de l’IA ? Je pense plutôt qu’il ne veut tout simplement pas consacrer ce temps-là.
Il s’agit ici d’un problème économique : le coût de la génération tend vers zéro, tandis que le coût de la vérification incombe entièrement aux humains.
Ainsi, chaque institution affectée par l’IA est contrainte d’y répondre de la manière la plus brutale possible : Wikipédia interdit purement et simplement l’usage de l’IA, OpenAI supprime des lignes de produits entières. Aucune de ces décisions n’est le fruit d’une réflexion approfondie ; toutes relèvent d’une réaction d’urgence, d’un « boucher la brèche d’abord, on réfléchira ensuite ».
« Boucher la brèche d’abord, on réfléchira ensuite » devient la norme.
Les capacités de l’IA progressent tous les quelques mois, tandis que les débats sur les contenus auxquels l’IA peut ou ne peut pas accéder n’ont même pas encore abouti à un cadre international cohérent. Chaque institution trace sa propre ligne dans son propre jardin, sans coordination ni cohérence entre ces lignes.
La vitesse de l’IA ne cesse de s’accélérer. Le nombre de personnes chargées de la vérification ne changera pas. Cet écart ne fera donc que s’élargir, jusqu’au jour où surviendra un incident bien plus grave que l’interdiction de 1984.
Lorsque ce jour viendra, tracer une ligne sera peut-être déjà trop tard.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
深潮TechFlow
