L'IA ne connaîtra pas d'éveil de conscience, mais elle est en train de devenir l'inconscient de la société.
TechFlow SélectionTechFlow Sélection
L'IA ne connaîtra pas d'éveil de conscience, mais elle est en train de devenir l'inconscient de la société.
Nous pouvons faire de plus en plus de choses, mais nous en comprenons de moins en moins. Cela constitue un signal d'alarme pour chaque professionnel dépendant des outils AI.
Dédié à des analyses Web3 approfondiesAuteur : L. M. Sacasas
Traduction : TechFlow
Introduction par TechFlow : Alors que nous externalisons de plus en plus de décisions à l'IA, la société humaine est en train de générer une « couche inconsciente » détachée du jugement actif. Ce n'est pas une menace de superintelligence digne de la science-fiction, mais une transition civilisationnelle plus insidieuse — nous pouvons faire de plus en plus de choses, mais nous en comprenons de moins en moins. C'est un signal d'alarme pour chaque professionnel dépendant des outils d'IA.
Au début du XXe siècle, le mathématicien et philosophe britannique Whitehead a prononcé une phrase souvent citée : « Nous devrions prendre l'habitude de penser à ce que nous faisons — c'est un lieu commun terriblement faux répété par tous les manuels et discours de personnalités. » « Au contraire », pensait-il, « le progrès de la civilisation réside dans l'extension du nombre d'opérations importantes que nous pouvons exécuter sans y penser. » Il a également fait une analogie : « Penser aux opérations est comme une charge de cavalerie dans une bataille — strictement limitée en nombre, nécessitant des chevaux frais, et ne pouvant être lancée qu'au moment décisif. »
Vous avez probablement déjà vu cette citation. Elle transmet certainement une part de vérité. Mais à mon avis, cette phrase semble toujours myope ou insuffisante. Peut-être parce que je vois souvent des gens utiliser cet argument pour défendre l'externalisation indiscriminée des activités cognitives humaines vers les machines, sans jamais bien calculer les coûts, voire sans même réaliser qu'il y a un coût.
Pour être juste, cette phrase de Whitehead vient de son « Introduction aux Mathématiques » de 1911 ; il parlait en réalité des avantages des symboles et des notations dans le calcul mathématique — bien qu'il dise que ces opérations sont « sans pensée », elles sont néanmoins apprises et utilisées par des esprits pensants. Cependant, le fait qu'il parle de « civilisation », ajouté à cette conclusion rhétorique élaborée, provoque probablement cette (mauvaise) interprétation.
La question n'est pas de savoir si certaines automatisations de la pensée, voire certaines externalisations de processus mentaux, sont utiles dans des cas spécifiques. Franchement, je pense qu'une analogie avec l'activité physique plutôt qu'avec l'activité mentale conduit à un argument plus convaincant. Je suis depuis longtemps éloigné des compétences athlétiques que je pouvais avoir autrefois, mais la leçon demeure. Presque chaque jeune débutant dans un sport découvre avec frustration : vous devez consacrer énormément de temps, semblant excessif et douloureux, à exécuter encore et encore des entraînements basiques et répétitifs. Cirer, essuyer — ceux qui ont vu « Le Karaté Kid » comprennent. Mais ce qui se passe réellement, c'est exactement la dynamique décrite par Whitehead. Vous automatisez certains mouvements physiques afin de pouvoir les exécuter sans y penser. Ce n'est qu'ainsi que vous pouvez déployer toute créativité ou compétence exceptionnelle. C'est la même chose pour apprendre la danse ou un instrument de musique. L'automatisation des actions de base est une fondation indispensable pour atteindre la maîtrise.
Mais cette dynamique s'applique-t-elle de la même manière à tous les domaines d'activité humaine ? Y a-t-il des cas où l'externalisation de certaines activités affaiblit, plutôt que de promouvoir, le bien supérieur poursuivi ? Ou bien, les activités « de bas niveau » sont-elles accompagnées de certains biens que nous ne voulons pas perdre ? Même, comme en mathématiques, pouvons-nous toujours facilement séparer des sous-programmes spécifiques d'un processus ou d'une activité donnée ? Y a-t-il des activités holistiques indivisibles qui s'effondreraient si l'on tentait d'externaliser ou d'automatiser l'un quelconque de leurs éléments ? Et, comme je l'ai mentionné précédemment, n'y a-t-il pas une différence entre l'automatisation de la pensée maîtrisée en interne et l'externalisation radicale ou l'externalisation globale du travail cognitif ? Pour revenir à l'analogie de l'activité physique : si un athlète imaginait qu'une machine fasse tout l'entraînement « trivial » pour lui, afin qu'il puisse accéder directement aux parties excitantes de la compétition — cette personne n'arriverait en réalité jamais à ce stade. Ce sont là des questions cruciales avant d'accepter facilement les promesses d'efficacité et de libération faites au nom des nouvelles technologies.
Cependant, je suis mal à l'aise avec cet éloge souvent cité de l'automatisation cognitive par Whitehead, peut-être aussi parce qu'il s'oppose frontalement à l'avertissement de Hannah Arendt : nous devrions « penser à ce que nous faisons ». Whitehead a écrit près d'un demi-siècle avant Arendt ; je ne pense pas qu'Arendt fasse allusion à Whitehead. C'est simplement que ces deux phrases forment exactement un écho antagoniste, et je trouve utile d'explorer cette tension.
« Nous devrions prendre l'habitude de penser à ce que nous faisons — c'est un lieu commun terriblement faux. » — Whitehead
« Ainsi ma proposition est très simple : rien de plus que penser à ce que nous faisons. » — Hannah Arendt
Il est intéressant de noter que le contexte de cet avertissement d'Arendt est beaucoup plus proche de nos anxiétés actuelles concernant la technologie et l'existence humaine. Cette phrase vient de la préface de « La Condition de l'homme moderne », publiée pour la première fois en 1958. Elle explique :
« Ce que je vais faire ci-dessous, c'est reconsidérer la condition humaine à partir de nos expériences les plus récentes et de nos peurs les plus récentes. C'est évidemment une question de pensée, et l'absence de pensée — la témérité imprudente, la confusion désespérée, ou la répétition complaisante de « vérités » devenues triviales et vides — me semble être l'une des caractéristiques les plus marquantes de notre époque. Ainsi ma proposition est très simple : rien de plus que penser à ce que nous faisons. »
Les « expériences les plus récentes » qui ont inspiré la recherche d'Arendt incluent le lancement de satellites artificiels et l'avènement de l'automatisation. Bien que jusqu'à récemment, on ait pu penser que les inquiétudes d'Arendt sur l'impact de l'automatisation sur le travail étaient erronées, il semble maintenant que ses inquiétudes étaient simplement prématurées.
Lorsque je réfléchis au désaccord entre Whitehead et Arendt sur la question « avons-nous besoin de plus ou de moins de pensée », je trouve utile de distinguer deux choses : d'une part, l'établissement d'un ensemble de routines inconscientes pour développer des capacités supérieures ; d'autre part, être soumis à des forces inconscientes qui conduisent votre comportement de manière instable et potentiellement destructrice.
Y a-t-il un point de bascule ou d'inversion pour le principe de Whitehead ? « Le progrès de la civilisation, » dit Whitehead, « réside dans l'extension du nombre d'opérations importantes que nous pouvons exécuter sans y penser. » Mais s'il existait un point de bascule ? Au-delà d'un certain seuil — qu'il soit quantitatif ou qualitatif — la civilisation dégénérerait-elle en étendant le nombre d'opérations importantes que les humains peuvent exécuter sans y penser ? Ou du moins, obtiendrions-nous une civilisation complètement différente de celle que nous connaissons ? Nous pourrions bientôt connaître la réponse, car l'adoption de l'IA signifie souvent l'automatisation de notre pensée, ainsi que la création dans le monde d'un vaste domaine d'action inconsciente, ces actions découlant du stockage externalisé de notre mémoire personnelle et collective.
Arendt craignait qu'à mesure que nos capacités technologiques (principalement expliquées en langage mathématique) dépassent notre capacité à les comprendre en langage ordinaire, nous pourrions perdre la capacité de « penser et de parler de ce que nous pouvons vraiment faire ». (Cela indique que le problème de l'explicabilité existait avant l'apparition des grands modèles de langage et des soi-disant algorithmes boîte noire.) Dans un passage qui redevient pertinent et urgent aujourd'hui, elle poursuit : « C'est comme si notre cerveau — qui constitue les conditions physiques, matérielles de notre pensée — ne pouvait pas suivre ce que nous faisons, au point que dès maintenant nous avons vraiment besoin de machines artificielles pour penser et parler à notre place. » C'est une question politique de première importance. Dans de telles conditions, nous ne nous gouvernerons plus dans aucun sens significatif. La politique en tant que domaine d'action humaine, constituée par la parole, cessera d'exister.
Noël 1958, la même année où Arendt a publié « La Condition de l'homme moderne », W. H. Auden a publié « Les Fils du Vendredi », contenant ces vers totalement arendtiens :
Celui que nous rencontrons quand nous observons
Le cœur observant qui s'observe lui-même
N'est ni inquiet ni froid
Mais totalement banal
Bien que les outils qu'il maîtrise
Puissent réaliser souhaits et contre-souhaits
Il ne peut manifestement pas comprendre
Ce qu'il peut clairement faire
Auden et Arendt étaient amis ; Auden a même écrit une critique élogieuse de « La Condition de l'homme moderne », mais je ne suis pas sûr de la direction de l'influence.
Bien qu'Arendt explique directement comment nous en sommes arrivés à cette situation de « ne pas pouvoir comprendre ce que nous pouvons clairement faire » — c'est-à-dire, lorsque nos actions habilitées par la technologie ne peuvent pas être entièrement comprises par notre langage quotidien — il existe un autre cadre intéressant.
Les actions que le langage ne peut pénétrer, et donc que la pensée consciente ne peut pénétrer, peuvent également être expliquées par l'inconscient. Je ne suis pas quelqu'un qui invoque instinctivement le langage de l'inconscient, mais cela peut être une analogie utile pour comprendre notre relation — tant individuelle que collective — avec les dispositifs d'intelligence artificielle qui médient de plus en plus notre expérience du monde.
Pour faire simple, je peux penser à deux façons d'analoguer certaines instances d'IA grand public à l'inconscient. La première est relativement directe : à mesure que nous externalisons de plus en plus de tâches aux agents d'IA aux niveaux personnel, organisationnel et institutionnel, nous générons dans le monde une couche d'activité fonctionnellement détachée du jugement et de la supervision humains actifs. De plus, tant que cette couche structure et façonne notre expérience, la proportion entre l'action humaine consciente et l'action humaine inconsciente diminue.
Évidemment, au moins depuis l'ère industrielle (sinon plus tôt), il existe des systèmes relativement opaques opérant dans le monde vécu humain. Mais je pense que la différence est que ces systèmes étaient relativement isolés des activités humaines quotidiennes. Les systèmes d'intelligence artificielle, en revanche, sont tissés de plus en plus profondément dans notre expérience. Dans de nombreux cas, ce ne sont pas seulement des processus imposés sur nous par des forces externes, mais aussi des processus que nous libérons et initions, qui agissent pour nous et réagissent sur nous. C'est précisément cet entrelacement étroit entre l'homme et la machine qui me fait penser à l'analogie de l'inconscient.
Erik Hoel a récemment fait un argument similaire avec une plume plus élégante et sur une plus longue durée. Sa conclusion est :
« Le danger traditionnel de l'IA est généralement considéré comme une menace existentielle posée par la superintelligence. Cependant, cela pourrait négliger le danger réel et plus subtil : la révolution de l'IA est un mécanisme qui transfère les processus de notre civilisation de la supervision consciente vers l'inconscient. Mais lorsque l'IA retire la conscience du fonctionnement du monde, elle rend le monde de plus en plus inexplicable, de plus en plus étranger et difficile à comprendre. Jusqu'à présent, « l'envasement généralisé de l'espace partagé » a confirmé que c'est le risque principal de la révolution des grands modèles de langage. De plus, à mesure que les systèmes d'IA deviennent plus intelligents, surtout s'ils restent (ou resteront probablement) inconscients, alors un risque plus majeur est le déclin de l'importance de la conscience dans la culture. »
Cette ligne de pensée parallèle à un argument que j'ai soutenu par intermittence pendant dix ans : la technologie numérique réenchante le monde d'une autre manière. C'est-à-dire, elle rend le monde mystérieux et insaisissable.
Nous, les objets enchantés par la technologie, nous font face avec une signification qu'on ne peut ignorer, et nous devons composer avec eux. Nous demandons de l'aide à la technologie, plaçant nos espoirs dans leurs pouvoirs. Nous craignons aussi la technologie, la voyant comme une source de problèmes. Les forces technologiques que nous rencontrons sont parfois bienveillantes, mais tout aussi souvent des forces malveillantes, sabotant nos efforts et faisant dérailler nos plans.
Les objets technologiques ont non seulement le potentiel de nous habiliter, parfois ils nous remplissent même d'émerveillement. Nous considérons également ces objets et forces comme des facteurs importants déterminant notre bonheur ou notre malheur, agissant sur nous hors de notre contrôle et dans des circonstances que nous ne comprenons pas. En d'autres termes, nous sommes vulnérables ; notre autonomie est affaiblie par les circuits des agents distribués technologiques qui intersectent notre volonté et nos désirs.
La seconde façon d'analoguer l'IA à l'inconscient peut être un peu abstruse, permettez-moi d'expliquer. Dans « Pour comprendre les médias », Marshall McLuhan affirme qu'« avec l'avènement de la technologie électrique, l'homme s'est étendu, ou plutôt a placé à l'extérieur un modèle vivant de son propre système nerveux central ». Il revient plusieurs fois sur cette idée que les médias électriques sont une externalisation de notre système nerveux. Par exemple :
« Une caractéristique majeure de l'ère électrique est qu'elle a établi un réseau mondial qui, dans une large mesure, possède les caractéristiques de notre système nerveux central. Notre système nerveux central n'est pas seulement un réseau électrique, il constitue un champ d'expérience unique et unifié. »
McLuhan n'était pas le premier à proposer cette idée. Dès 1950, le prêtre catholique et paléontologue Teilhard de Chardin affirmait que la technologie des médias constituait « la création d'un véritable système nerveux pour l'humanité » et « une construction élaborée de la conscience commune ». Grâce aux réseaux émergents de calcul et de communication, un nouveau niveau de réalité est en train d'émerger, enveloppant la biosphère. C'est une couche unifiée de conscience humaine médiée par la technologie, qu'il appelle la « Noosphère », et qu'il décrit comme « une machine à penser stupéfiante ».
(J'avoue que ce n'est pas mon mode d'expression habituel, mais amusons-nous un peu avec ces concepts. En fait, j'essaie déjà de vous convaincre que voir l'IA sous un angle psychanalytique pourrait être une perspective utile.)
Les médias électriques ont étendu notre capacité à percevoir le monde, apportant des événements lointains devant nos yeux et à nos oreilles, compressant le temps de transmission de l'information à presque l'instantané. Mais depuis l'époque de Teilhard de Chardin et McLuhan, autre chose est apparu : une croissance massive de la mémoire artificielle ou des capacités de stockage de données. Ainsi, bien que les médias électriques aient étendu notre système nerveux, récemment, ils ont également facilité la collecte et le stockage d'une quantité sans précédent d'informations sous forme de texte, d'images, de vidéos, etc. Notre système nerveux est complété par une mémoire numérique à échelle massive. C'est précisément cette mémoire numérique qui nourrit les grands modèles de langage, lesquels sont maintenant presque devenus synonymes d'intelligence artificielle.
Cette vaste bibliothèque de connaissances et de culture humaines est essentiellement Internet, ou du moins Internet est la manière dont elle devient accessible pour nous. C'est précisément pour cette raison que le théoricien des médias numériques Gregory Ulmer a appelé Internet au début des années 2000 « la prothèse de notre inconscient collectif ».
Je pense que voici ce qu'Ulmer voulait dire. Nous avons toujours été des animaux sociaux, c'est-à-dire des êtres intersubjectifs de la culture. Mais la plupart de ce qui nous façonne, surtout durant l'enfance, s'estompe généralement de notre conscience au fil du temps. Cependant, Internet, en tant que prothèse de cette dimension inconsciente dans le processus de formation de notre existence sociale, rend notre mémoire culturelle collective accessible. Internet est un vaste réseau composé de produits culturels, de symboles, d'images, de textes et de diverses trivialités qui façonnent notre vie, dont les connexions ne reposent pas sur une logique linéaire, mais sur une logique associative presque onirique, très similaire à l'inconscient humain dans la théorie psychanalytique.
Ulmer croyait que cela nous offrait une opportunité profonde. En rendant l'inconscient collectif quelque chose que nous pouvons réfléchir, quelque chose d'accessible à la pensée consciente, nous avons ainsi un moyen de surmonter les angles morts profonds qui sont généralement au cœur de notre expérience. Inutile de dire que je n'ai jamais été très optimiste quant à cette possibilité. Mais quelle que soit votre évaluation de la vision optimiste d'Ulmer — je simplifie considérablement ici, mais j'espère sans injustice — à mon avis, l'émergence de l'IA commerciale basée sur le chat nous a effectivement emmenés dans une direction très différente.
Il est intéressant de noter qu'insérer une interface de langage naturel entre nous et l'inconscient collectif numérisé le rend au contraire plus obscur et difficile à comprendre pour nous. L'interface du chatbot reconfigure notre agency pour naviguer dans l'inconscient collectif ; on pourrait dire qu'elle devient un anti-thérapeute, nous détournant de la connaissance de soi et de la perspicacité (aussi dérangeante ou surprenante soit-elle) vers une rencontre confortable et consolante. Elle offre une fausse clarté, nous enfermant dans l'autosatisfaction, nous protégeant du doute de soi, de rester trop longtemps dans la conscience de notre propre ignorance, ou dans une incertitude dérangeante. Elle obscurcit la forêt enchevêtrée de l'expérience humaine, illuminant pour nous un chemin artificiellement clair vers la promesse de connaissance et de sagesse. Mais ce faisant, elle nous replonge doucement mais décidément dans l'inconscient. C'est peut-être là la racine de la psychose de l'IA.
Quel que soit le lien avec la psychose de l'IA, il vaut la peine de réfléchir : la folie, la léthargie, la compulsivité, l'agressivité, l'anxiété et le désespoir dans notre existence publique et collective découlent en quelque sorte du retrait graduel de la conscience humaine face à une nouvelle forme d'inconscient collectif, qui se réaffirme sous la forme de l'intelligence artificielle.
La couche d'action non humaine dans ce monde était en construction bien avant l'apparition des agents d'IA. Les processus algorithmiques construisaient déjà des éléments de l'expérience humaine, en particulier dans le contexte des systèmes bureaucratiques.
Je ne suis pas sûr de quand et par qui le lien conceptuel entre électricité, système nerveux et pensée a été établi pour la première fois, mais dans son roman de 1851 « La Maison aux sept pignons », Nathaniel Hawthorne a écrit : « Puis vint l'électricité, diable, ange, puissance physique puissante, intelligence omniprésente ! » Et : « Est-ce un fait — ou l'ai-je rêvé — qu'à travers l'électricité, le monde matériel est devenu un nerf géant, vibrant sur des milliers de miles en un instant retenu ? Plus précisément, la terre ronde est une tête géante, un cerveau rempli d'intelligence ! Ou, devrions-nous dire, c'est elle-même une pensée, juste une pensée, plus une substance comme nous le pensons ! »
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
