Table ronde avec les sept cofondateurs : comment Anthropic est née ?
TechFlow SélectionTechFlow Sélection
Table ronde avec les sept cofondateurs : comment Anthropic est née ?
« Personne ne veut créer d’entreprise, mais tout le monde estime que c’est une nécessité. »
Dédié à des analyses Web3 approfondiesRédaction et traduction : TechFlow
Invités : Chris Olah, Jack Clark, Daniela Amodei, Sam McCandlish, Tom Brown, Dario Amodei et Jared Kaplan, cofondateurs d’Anthropic
Source du podcast : Anthropic
Titre original : « Building Anthropic | A conversation with our co-founders »
Date de diffusion : 20 décembre 2024
Synthèse des points clés
Ces derniers jours, Anthropic a connu deux incidents consécutifs :
D’abord, près de 3 000 documents internes ont été rendus accessibles publiquement en raison d’une erreur de configuration de son système de gestion de contenu (CMS). Puis, lors de la publication de Claude Code v2.1.88 sur npm, un fichier source map de 59,8 Mo — contenant 510 000 lignes de code source — a été inclus par inadvertance, exposant ainsi le code source en clair.
Une entreprise dont la « sécurité » est inscrite dans ses gènes s’est ainsi révélée défaillante à deux reprises sur sa propre infrastructure opérationnelle — une ironie saisissante.
Mais avant de se précipiter vers la moquerie, il vaut la peine de revenir sur une discussion interne menée il y a plus d’un an par les sept cofondateurs d’Anthropic. Ce podcast, enregistré en décembre 2024, rassemble ces sept personnes autour de questions fondamentales : comment l’entreprise a-t-elle été créée ? Comment la politique d’expansion responsable (Responsible Scaling Policy, RSP) a-t-elle été élaborée ? Pourquoi le mot « sécurité » ne doit-il pas être utilisé à la légère ? Et quelle est la signification profonde de cette phrase, souvent citée du PDG Dario Amodei :
« Si une alarme incendie retentit chaque semaine dans un immeuble, cela signifie en réalité qu’il s’agit d’un bâtiment extrêmement dangereux. »
Aujourd’hui, entendre à nouveau cette phrase prend effectivement une saveur toute différente.
Les sept cofondateurs, présentation rapide
Dario Amodei｜PDG, ancien vice-président de la recherche chez OpenAI, formé en neurosciences, décideur final de la stratégie et de la ligne de sécurité d’Anthropic. Il intervient le plus souvent dans cet échange.
Daniela Amodei｜Présidente, sœur de Dario. Elle a passé cinq ans et demi chez Stripe, où elle dirigeait l’équipe « confiance et sécurité », après avoir travaillé dans des organisations à but non lucratif et dans le domaine du développement international. Elle supervise principalement la structuration organisationnelle d’Anthropic ainsi que ses relations extérieures.
Jared Kaplan｜Professeur de physique devenu chercheur en IA, coauteur fondateur des lois d’échelle (scaling laws). Il apporte fréquemment un regard extérieur et objectif, affirmant avoir choisi l’IA parce qu’il « s’était lassé de la physique ».
Chris Olah｜Figure emblématique de la recherche en interprétabilité (interpretability), entré à 19 ans dans l’écosystème de l’IA de la Baie de San Francisco, ayant travaillé successivement chez Google Brain puis chez OpenAI. Il incarne au sein d’Anthropic l’idéalisme technique le plus marqué.
Tom Brown｜Premier auteur de l’article GPT-3, aujourd’hui responsable des ressources informatiques chez Anthropic. Son point de vue est orienté vers l’ingénierie et les infrastructures ; dans ce podcast, il relate notamment son évolution d’un scepticisme initial face à la rapidité du développement de l’IA vers une vision radicalement renouvelée.
Jack Clark｜Ancien journaliste technologique chez Bloomberg, responsable des politiques publiques et des affaires publiques chez Anthropic. Il anime cette discussion, assurant la transition entre les sujets et posant des questions approfondies.
Sam McCandlish｜Cofondateur chercheur, intervenant le moins fréquemment mais dont chaque remarque va droit au cœur du sujet — véritable « finisseur ».
Résumé des idées fortes
Pourquoi faire de l’IA ? De l’ennui de la physique à la conviction acquise par observation
Jared Kaplan : « J’ai longtemps fait de la physique, ce qui commençait à me lasser, et je souhaitais aussi travailler plus étroitement avec des amis. C’est pourquoi j’ai choisi l’IA. »
Dario Amodei : « Je ne crois pas t’avoir jamais explicitement convaincu. Je t’ai simplement montré sans cesse les résultats des modèles d’IA, pour illustrer leur caractère universel, bien au-delà d’un seul problème spécifique. À un moment donné, après t’en avoir montré suffisamment, tu as dit : “Oui, ça semble juste.” »
Parier contre le consensus : la plupart des consensus ne sont que des effets de troupeau déguisés en maturité
Jared Kaplan : « De nombreux chercheurs en IA ont été psychologiquement marqués par les hivers de l’IA, comme si l’ambition était interdite. »
Dario Amodei : « La leçon la plus profonde que j’ai tirée de ces dix dernières années est la suivante : beaucoup de ce que l’on appelle “consensus général” n’est en réalité qu’un effet de troupeau déguisé en maturité. Une fois que vous avez vu plusieurs fois un consensus renversé du jour au lendemain, vous décidez fermement : “Non, nous parions là-dessus.” Même si votre probabilité de réussite n’est que de 50 %, vous contribuez alors à quelque chose que personne d’autre n’a apporté. »
Sécurité et mise à l’échelle sont intrinsèquement liées
Dario Amodei : « L’un des motifs qui nous poussaient à augmenter la taille des modèles était qu’ils devaient d’abord atteindre un niveau suffisant d’intelligence pour permettre l’application efficace de l’apprentissage par renforcement avec feedback humain (RLHF). C’est une conviction que nous conservons encore aujourd’hui : sécurité et mise à l’échelle sont inextricablement liées. »
La RSP, ou Politique d’expansion responsable, est la « Constitution » d’Anthropic
Tom Brown : « Pour Anthropic, la RSP joue le rôle d’une Constitution. Il s’agit d’un document central directeur, auquel nous consacrons donc volontiers un temps et des efforts considérables afin de l’affiner sans cesse. »
Dario Amodei : « La RSP empêche tout projet ne répondant pas aux normes de sécurité de progresser davantage. Nous ne faisons pas que brandir des slogans : nous intégrons concrètement la sécurité à chaque étape du processus. »
Lorsque les alarmes incendie retentissent trop souvent, personne ne fuit plus quand le feu se déclare vraiment
Daniela Amodei : « Nous ne pouvons pas utiliser le mot “sécurité” à la légère pour justifier ou bloquer des avancées opérationnelles. Notre véritable objectif est de rendre parfaitement clair, pour tous, ce que nous entendons exactement par ce terme. »
Dario Amodei : « Ce qui nuit réellement à la sécurité, ce sont précisément ces “exercices de sécurité” trop fréquents. Si un immeuble déclenche une alarme incendie chaque semaine, cela signifie en réalité qu’il s’agit d’un bâtiment extrêmement dangereux. »
Le “noble échec” est un piège
Chris Olah : « Certains pensent que l’acte le plus moral consiste à sacrifier d’autres objectifs au nom de la sécurité, afin de démontrer la pureté de son engagement. Or cette posture est en réalité autodestructrice, car elle conduit à transférer le pouvoir décisionnel à ceux qui ne considèrent pas la sécurité comme une priorité. »
Les cofondateurs s’engagent à reverser 80 % de leurs revenus
Tom Brown : « Nous nous sommes engagés collectivement à reverser 80 % de nos revenus à des causes capables de faire progresser la société — une décision soutenue sans hésitation par chacun d’entre nous. »
Nul n’avait envie de créer une entreprise, mais tous sentaient qu’ils n’avaient pas le choix
Sam McCandlish : « En réalité, aucun d’entre nous n’avait initialement l’intention de fonder une entreprise. Nous avons simplement estimé qu’il s’agissait de notre responsabilité, car c’était la seule voie pour garantir que le développement de l’IA suive la bonne direction. »
Daniela Amodei : « Notre mission est à la fois claire et pure — une situation rare dans le secteur technologique. »
L’interprétabilité : les réseaux de neurones abritent une véritable « biologie artificielle »
Chris Olah : « Les réseaux de neurones sont magnifiques, et recèlent bien des beautés que nous n’avons pas encore découvertes. Parfois, j’imagine entrer dans une librairie dans dix ans, acheter un manuel intitulé “Biologie des réseaux de neurones”, et y découvrir des contenus absolument époustouflants. »
L’IA au service de la démocratie, non de la dictature
Dario Amodei : « Nous craignons que, si l’IA est mal développée, elle ne devienne un outil au service du totalitarisme. Comment faire de l’IA un instrument de promotion de la liberté et de l’autodétermination ? L’importance de ce champ est tout à fait égale à celle de la biologie ou de l’interprétabilité. »
De la Maison Blanche au prix Nobel : l’impact de l’IA dépasse depuis longtemps le cercle des spécialistes
Jared Kaplan : « En 2018, personne n’aurait imaginé que le président vous convoquerait à la Maison Blanche pour vous dire qu’il suit de très près les modèles de langage. »
Dario Amodei : « Nous avons déjà vu le prix Nobel de chimie attribué à AlphaFold. Nous devrions maintenant nous atteler à développer des outils capables de nous aider à créer des centaines d’AlphaFold. »
Pourquoi étudier l’IA ?
Jack Clark : Pourquoi avons-nous décidé, dès le départ, de nous lancer dans l’IA ? Jared, pourquoi toi en particulier ?
Jared Kaplan :
J’ai longtemps fait de la physique, ce qui commençait à me lasser, et je souhaitais aussi travailler plus étroitement avec des amis. C’est pourquoi j’ai choisi l’IA.
Tom Brown :
Je pensais que c’était Dario qui t’avait convaincu.
Dario Amodei :
Je ne crois pas t’avoir jamais explicitement « convaincu ». Je t’ai simplement montré sans cesse les résultats des modèles d’IA, pour illustrer leur caractère universel, bien au-delà d’un seul problème spécifique. À un moment donné, après t’en avoir montré suffisamment, tu as dit : « Oui, ça semble juste. »
Jack Clark : Chris, c’est chez Google que tu as rencontré les autres, lors de tes recherches sur l’interprétabilité ?
Chris Olah :
Non. En fait, j’ai rencontré plusieurs d’entre vous dès ma première venue dans la Baie de San Francisco, à l’âge de 19 ans. J’ai alors croisé Dario et Jared, alors post-doctorants, et j’ai trouvé cela particulièrement impressionnant. Plus tard, chez Google Brain, Dario est arrivé et nous avons même partagé un bureau pendant un certain temps. J’ai également collaboré avec Tom. Ensuite, chez OpenAI, j’ai travaillé avec vous tous.
Jack Clark :
Je me souviens d’avoir rencontré Dario en 2015 lors d’une conférence, pour l’interviewer. Le service de presse de Google m’avait demandé de lire tous ses articles avant de le rencontrer.
Dario Amodei :
J’écrivais alors chez Google l’article « Concrete Problems in AI Safety ».
Sam McCandlish :
Avant que nous ne commencions à travailler ensemble, tu m’as invité à ton bureau pour me présenter l’ensemble du domaine de l’IA. Après notre entretien, je me suis dit : « C’est bien plus sérieux que je ne l’imaginais. » Tu avais parlé de ce « gros bloc de puissance de calcul », du nombre de paramètres, de l’échelle des neurones du cerveau humain…
L’expansion révolutionnaire
Jack Clark : Je me souviens qu’à OpenAI, lors de nos travaux sur les lois d’échelle (scaling laws), augmenter la taille des modèles s’est révélé réellement efficace, et de façon continue, presque mystérieuse, sur de nombreux projets — de GPT-2 aux lois d’échelle, puis à GPT-3 — nous nous rapprochions ainsi progressivement de l’objectif.
Dario Amodei : Nous étions ce groupe de personnes qui « faisait avancer les choses ».
Jared Kaplan : Nous étions également très enthousiastes à l’idée de la sécurité. À l’époque, une hypothèse émergeait : l’IA serait très puissante, mais pourrait ne pas comprendre les valeurs humaines, ni même communiquer avec nous. Or les modèles de langage, dans une certaine mesure, garantissent qu’ils doivent intégrer une grande quantité de connaissances implicites.
Dario Amodei :
Et au-delà des modèles de langage, il y avait l’apprentissage par renforcement avec feedback humain (RLHF). L’un des motifs qui nous poussaient à augmenter la taille des modèles était qu’ils devaient d’abord atteindre un niveau suffisant d’intelligence pour permettre l’application efficace de l’RLHF. C’est une conviction que nous conservons encore aujourd’hui : sécurité et mise à l’échelle sont inextricablement liées.
Chris Olah :
Oui, à l’époque, les travaux sur la mise à l’échelle faisaient partie intégrante de l’équipe sécurité. Car nous pensions qu’il fallait d’abord pouvoir prédire les tendances de l’IA pour que la sécurité soit prise au sérieux.
Jack Clark : Je me souviens d’avoir généré, dans un aéroport britannique, de fausses nouvelles à partir d’échantillons de GPT-2, puis de les avoir envoyées sur Slack à Dario avec ce commentaire : « Ça fonctionne vraiment, et cela pourrait avoir un impact politique considérable. » Je me souviens que Dario avait simplement répondu : « Oui. »
Ensuite, nous avons mené de nombreux travaux liés aux publications — cela a été totalement fou.
Daniela Amodei :
Je me souviens de cette période de lancement — c’était la première fois que nous collaborions réellement, avec le lancement de GPT-2.
Jack Clark :
Je pense que cela nous a beaucoup aidés : nous avions d’abord réalisé ensemble une initiative « un peu étrange, mais guidée par la sécurité », puis nous avons fondé Anthropic — une initiative plus ambitieuse, tout aussi « un peu étrange », mais toujours guidée par la sécurité.
Les débuts de l’IA
Tom Brown : Revenons sur l’article « Concrete Problems ». J’ai rejoint OpenAI en 2016, et nous étions tous deux parmi les premiers membres. À l’époque, j’avais l’impression que cet article constituait le premier article académique majeur sur la sécurité de l’IA. Comment est-il né ?
Dario Amodei :
Chris le sait, il y a participé. Nous étions alors chez Google, et j’ai oublié quel était mon projet principal à l’époque — cet article était plutôt le fruit d’une procrastination.
Nous souhaitions dresser une liste des problèmes ouverts en matière de sécurité de l’IA. À l’époque, ce sujet était toujours traité de façon très abstraite. Nous voulions le relier aux méthodes d’apprentissage automatique réellement utilisées. Cette ligne de travail existe désormais depuis six ou sept ans, mais à l’époque, c’était une idée jugée étrange.
Chris Olah :
Je considère que, d’une certaine manière, il s’agissait presque d’un projet politique. Beaucoup ne prenaient pas la sécurité au sérieux. Nous voulions compiler une liste de questions largement reconnues comme légitimes, issues de la littérature existante, et obtenir la signature conjointe de personnalités crédibles provenant de diverses institutions.
Je me souviens avoir passé beaucoup de temps à discuter avec plus de vingt chercheurs de Google Brain afin de recueillir leur soutien à la publication. Si l’on examine uniquement les questions elles-mêmes, certaines ne tiennent peut-être plus aujourd’hui, ou ne sont pas les plus pertinentes. Mais si l’on considère cet article comme un acte de construction d’un consensus — prouvant qu’« il existe ici des problèmes réels, dignes d’être pris au sérieux » — alors il s’agit d’un moment historique important.
Jack Clark :
Vous allez finir par pénétrer dans un monde de science-fiction tout à fait singulier. Je me souviens qu’au début d’Anthropic, vous parliez de « Constitution IA » (Constitutional AI). Jared disait alors : « Nous rédigeons une constitution pour les modèles de langage, et cela transforme leur comportement. » À l’époque, cela semblait complètement fou. Pourquoi pensiez-vous que cela pouvait fonctionner ?
Jared Kaplan :
J’ai longuement discuté avec Dario. Je crois que, dans le domaine de l’IA, les méthodes simples donnent souvent des résultats remarquables. La première version était assez complexe, mais nous l’avons constamment simplifiée jusqu’à ce qu’elle repose sur ce principe : exploiter le fait que les modèles excellent dans les exercices à choix multiples, leur fournir des instructions explicites sur ce qu’ils doivent rechercher, et rien de plus — puis nous pouvons rédiger directement les principes à appliquer.
Dario Amodei :
Cela renvoie aux notions de « gros bloc de puissance de calcul » (The Big Blob of Compute), de « leçon amère » (The Bitter Lesson) et d’« hypothèse de mise à l’échelle » (Scaling Hypothesis) : si vous donnez à l’IA une cible claire et des données adéquates, elle apprendra. Un ensemble d’instructions, un ensemble de principes — le modèle de langage peut les lire, les comparer à son propre comportement, et l’objectif d’entraînement est alors clairement défini. C’est pourquoi Jared et moi sommes convaincus qu’il est possible de réussir, à condition d’ajuster méticuleusement les détails.
Jared Kaplan :
Pour moi, cela paraissait étrange au début. Venant de la physique, je constate aujourd’hui que tout le monde est enthousiaste à propos de l’IA, mais on oublie facilement l’atmosphère qui régnait alors. Quand je discutais de ces sujets avec Dario, j’avais l’impression que de nombreux chercheurs en IA avaient été psychologiquement traumatisés par les « hivers de l’IA », comme si l’ambition était interdite. Pour parler de sécurité, il faut d’abord croire que l’IA pourrait devenir extrêmement puissante et utile, mais à l’époque, une sorte d’interdit de l’ambition prévalait. Un avantage des physiciens est leur « arrogance » : ils entreprennent régulièrement des projets hautement ambitieux et sont habitués à envisager des perspectives globales.
Dario Amodei :
Je pense que c’est vrai : en 2014, beaucoup de choses ne pouvaient tout simplement pas être dites. Cela reflète un problème généralisé dans le monde universitaire : hors de certains domaines, les institutions redoutent de plus en plus le risque, et le secteur industriel de l’IA a hérité de cette mentalité. Je crois que ce n’est qu’aux alentours de 2022 que cela a commencé à changer.
Chris Olah :
Il existe aussi deux formes de « conservatisme » : l’une consiste à prendre les risques au sérieux, l’autre à considérer comme arrogant le fait de prendre au sérieux une idée tout en croyant à sa viabilité. Nous étions alors dominés par cette deuxième forme. Historiquement, on retrouve un phénomène similaire dans les débats sur la physique nucléaire en 1939 : Fermi était réticent, tandis que Szilard ou Teller prenaient les risques beaucoup plus au sérieux.
Dario Amodei :
La leçon la plus profonde que j’ai tirée de ces dix dernières années est la suivante : beaucoup de ce que l’on appelle “consensus général” n’est en réalité qu’un effet de troupeau déguisé en maturité. Une fois que vous avez vu plusieurs fois un consensus renversé du jour au lendemain, vous décidez fermement : « Non, nous parions là-dessus. » Peut-être n’avez-vous pas raison à 100 %, mais vous ignorez alors le bruit pour placer votre pari. Même si votre probabilité de réussite n’est que de 50 %, vous contribuez alors à quelque chose que personne d’autre n’a apporté.
L’évolution de l’attitude du public face à l’intelligence artificielle
Jared Kaplan : Aujourd’hui, on observe un phénomène similaire sur certains sujets de sécurité : le consensus extérieur estime que de nombreux problèmes de sécurité ne surgiront pas naturellement à partir de la technologie, mais nos recherches chez Anthropic montrent qu’ils apparaissent bel et bien de façon spontanée.
Daniela Amodei :
Cependant, au cours des 18 derniers mois, cela a commencé à changer. Parallèlement, l’opinion mondiale sur l’IA évolue nettement : dans nos études utilisateurs, nous entendons de plus en plus souvent des personnes ordinaires exprimer des inquiétudes quant à l’impact global de l’IA sur le monde.
Il s’agit parfois de questions liées à l’emploi, aux biais ou à la toxicité ; parfois, les interrogations portent sur « la capacité de l’IA à bouleverser le monde ou à transformer les modes de collaboration humaine » — ce dernier aspect, je ne l’avais pas pleinement anticipé.
Sam McCandlish :
Pour une raison obscure, la communauté de recherche en apprentissage automatique (ML) est souvent plus pessimiste que le grand public quant à la possibilité que l’IA devienne extrêmement puissante.
Jared Kaplan :
En 2023, Dario et moi avons été reçus à la Maison Blanche. Dans cette réunion, Harris et Raimondo ont essentiellement déclaré : « Nous vous observons de très près. L’IA est une question majeure, nous la suivons attentivement. » Or, en 2018, personne n’aurait imaginé que « le président vous convoquerait à la Maison Blanche pour vous dire qu’il suit de très près les modèles de langage ».
Tom Brown :
Ce qui est intéressant, c’est que beaucoup d’entre nous sont entrés dans ce domaine alors que l’issue paraissait encore incertaine — comme Fermi, qui doutait de la possibilité de construire une bombe atomique. Des indices suggéraient qu’elle pourrait être réalisée, mais d’autres indiquaient le contraire. Pourtant, il a finalement décidé de tenter l’expérience, car, si elle réussissait, son impact serait considérable — ce qui justifiait pleinement l’effort.
Entre 2015 et 2017, des indices, de plus en plus nombreux, ont montré que l’IA pourrait constituer un événement majeur. En 2016, j’ai discuté avec mon directeur de thèse : « J’ai déjà lancé une startup, je veux me consacrer à la sécurité de l’IA, mais je ne maîtrise pas suffisamment les mathématiques — que dois-je faire ? » Certains m’ont répondu qu’il fallait maîtriser la théorie de la décision ; d’autres ont affirmé qu’aucun événement catastrophique lié à l’IA ne se produirait jamais. Très peu de personnes soutenaient alors réellement cette cause.
Jack Clark :
En 2014, j’étais considéré comme fou pour avoir couvert les tendances d’ImageNet. En 2015, j’ai voulu écrire sur NVIDIA, soulignant que tous les articles mentionnaient les GPU — on m’a de nouveau traité de fou. En 2016, lorsque j’ai quitté le journalisme pour rejoindre le secteur de l’IA, on m’a écrit : « Tu commets la plus grosse erreur de ta vie. » À bien des égards, parier fermement sur la réussite de la mise à l’échelle semblait alors une folie.
Jared Kaplan : Comment as-tu pris ta décision ? As-tu hésité ?
Jack Clark :
J’ai adopté une stratégie inverse : j’ai exigé d’être embauché à plein temps comme journaliste spécialisé en IA, avec un salaire doublé — sachant pertinemment qu’ils refuseraient. Puis, après une bonne nuit de sommeil, j’ai démissionné. Chaque jour, je lisais des documents techniques, et j’avais la certitude qu’un événement extraordinaire était en train de se produire — à un moment donné, il faut parier avec une forte conviction.
Tom Brown :
Moi, je n’ai pas été aussi résolu : j’ai hésité pendant six mois.
Daniela Amodei :
Et à l’époque, l’idée qu’un « ingénieur puisse influencer significativement le développement de l’IA » n’était pas courante. On pensait alors que « seuls les chercheurs pouvaient faire de l’IA », donc ton hésitation était tout à fait compréhensible.
Tom Brown :
Plus tard, OpenAI a annoncé qu’« un ingénieur pouvait contribuer à la sécurité de l’IA », ce qui m’a finalement convaincu de les rejoindre. Daniela, tu étais mon manager chez OpenAI — pourquoi y as-tu toi-même rejoint ?
Daniela Amodei :
J’ai passé cinq ans et demi chez Stripe, où Greg était mon manager. J’ai d’ailleurs présenté Greg à Dario. À l’époque, Greg lançait OpenAI, et je lui ai dit : « La personne la plus intelligente que je connaisse est Dario. S’il rejoint ton équipe, ce sera une chance exceptionnelle pour toi. » Dario a ensuite rejoint OpenAI.
Comme toi, je réfléchissais également à ce que je voulais faire après Stripe. J’y avais rejoint parce que, après avoir travaillé dans des organisations à but non lucratif et dans le domaine du développement international, j’avais estimé avoir besoin d’acquérir davantage de compétences — j’imaginais même revenir un jour dans ce domaine.
Avant de rejoindre Stripe, j’avais le sentiment de ne pas posséder suffisamment de moyens pour aider efficacement les personnes moins favorisées que moi. J’ai donc commencé à observer d’autres entreprises technologiques, à la recherche d’un moyen d’agir à plus grande échelle. OpenAI m’a alors semblé un excellent choix : une organisation à but non lucratif poursuivant un objectif extrêmement important et ambitieux.
J’ai toujours cru au potentiel de l’IA, notamment grâce à ma connaissance de Dario, et parce qu’ils avaient manifestement besoin de quelqu’un pour les aider à gérer leurs activités. Cette opportunité correspondait parfaitement à mon parcours. J’ai pensé : « Voici une organisation à but non lucratif rassemblant des personnes exceptionnelles, animées par des visions magnifiques, mais dont le fonctionnement semble encore chaotique. » Ce défi m’a passionnée, car j’ai eu envie d’y participer activement.
À l’époque, je me sentais comme une « femme-orchestre » : je gérais des équipes, j’encadrais des équipes techniques, je supervisais l’expansion organisationnelle, j’ai travaillé au sein de l’équipe langage, puis j’ai pris en charge d’autres missions. J’ai également participé à des travaux politiques et collaboré avec Chris. La présence de tant de talents exceptionnels m’a particulièrement motivée à rejoindre l’entreprise, afin d’aider à la rendre plus efficace et mieux organisée.
Jack Clark : Je me souviens que, après la sortie de GPT-3, tu avais demandé : « Vous avez déjà entendu parler de “confiance et sécurité” ? »
Daniela Amodei :
J’ai dirigé l’équipe « confiance et sécurité » chez Stripe. Pour une technologie comme celle-ci, vous devriez probablement examiner la question de la confiance et de la sécurité. Cela constitue un pont entre la recherche en sécurité de l’IA (AI Safety Research) et le travail quotidien plus pragmatique : comment rendre réellement sûr un modèle.
Il est crucial d’affirmer que « cette technologie aura un impact majeur à l’avenir ». Parallèlement, nous devons mener des travaux pratiques quotidiens afin de préparer l’avenir et de nous doter d’une base solide pour faire face à des scénarios à haut risque.
La politique d’expansion responsable : garantir un développement sécurisé de l’IA
Jack Clark : Cela nous amène naturellement à aborder la « politique d’expansion responsable » (RSP, Responsible Scaling Policy) : comment est-elle née ? Pourquoi l’avons-nous imaginée ? Et comment l’appliquons-nous aujourd’hui, notamment dans le cadre de nos travaux actuels sur la confiance et la sécurité des modèles ? Qui a formulé la RSP en premier lieu ?
Dario Amodei :
C’est moi et Paul Christiano qui en avons eu l’idée, vers la fin de l’année 2022. L’idée initiale était la suivante : devrions-nous temporairement limiter l’expansion des modèles jusqu’à ce que nous ayons trouvé des solutions à certains problèmes de sécurité ?
Mais nous avons rapidement jugé étrange de simplement bloquer l’expansion à un seuil donné, puis de la lever à nouveau. Nous avons donc décidé d’établir une série de seuils : chaque fois qu’un modèle atteint un seuil, une batterie de tests doit être réalisée pour évaluer ses capacités en matière de sécurité.
À chaque franchissement d’un seuil, nous devons mettre en œuvre des mesures de sécurité et de protection plus rigoureuses. Toutefois, dès le départ, nous avions une idée précise : il serait préférable que cette politique soit appliquée par un tiers. Autrement dit, elle ne devrait pas être la responsabilité exclusive d’une seule entreprise, sinon les autres sociétés pourraient refuser de l’adopter. C’est pourquoi Paul a personnellement conçu cette politique. Bien entendu, de nombreux détails ont évolué au fil du temps. Notre équipe, de son côté, a travaillé sans relâche pour optimiser son application.
Lorsque Paul a finalisé ce concept, il l’a quasi simultanément annoncé, et nous avons publié notre propre version dans les un ou deux mois suivants. En réalité, de nombreux membres de notre équipe ont profondément contribué à ce processus. Je me souviens avoir rédigé au moins une première version, mais l’ensemble du document a subi de multiples révisions.
Tom Brown :
Pour Anthropic, la RSP joue le rôle d’une « Constitution ». Il s’agit d’un document central directeur, auquel nous consacrons donc volontiers un temps et des efforts considérables afin de l’affiner sans cesse, garantissant ainsi sa précision et son exhaustivité.
Daniela Amodei :
Je trouve que l’évolution de la RSP au sein d’Anthropic est véritablement fascinante. Elle a traversé plusieurs phases et nécessite différentes compétences pour être mise en œuvre. Certaines parties relèvent de grandes idées directrices, principalement portées par Dario, Paul, Sam et Jared, qui réfléchissent à la question : « Quels sont nos principes fondamentaux ? Quel message souhaitons-nous transmettre ? Comment pouvons-nous nous assurer que notre orientation est la bonne ? »
Mais il existe également une dimension très concrète et opérationnelle : au fur et à mesure des itérations, nous évaluons et ajustons certains détails. Par exemple, nous avions prévu d’atteindre certains objectifs à un niveau de sécurité donné, mais si cela ne se produit pas, nous procédons à une réévaluation et nous nous engageons à assumer pleinement les résultats de notre travail.
En outre, de nombreux ajustements concernent la structure organisationnelle. Par exemple, nous avons décidé de repenser la structure de la RSP afin de clarifier la répartition des responsabilités. J’apprécie particulièrement l’analogie avec la Constitution. Aux États-Unis, afin d’assurer l’application de la Constitution, un ensemble complet d’institutions a été mis en place — tribunaux, Cour suprême, président, Sénat et Chambre des représentants. Bien que ces institutions remplissent d’autres fonctions, leur existence vise largement à préserver la Constitution. Chez Anthropic, la RSP connaît un processus similaire.
Sam McCandlish :
Cela reflète en réalité notre vision fondamentale de la sécurité : les problèmes de sécurité peuvent être résolus. Il s’agit d’une tâche extrêmement complexe et exigeante, nécessitant un investissement massif de temps et d’efforts.
Comme dans le domaine de la sécurité automobile, les institutions et réglementations correspondantes ont mis des décennies à se constituer. Or, notre défi actuel est le suivant : disposons-nous du temps nécessaire pour accomplir ce travail ? Nous devons donc identifier le plus rapidement possible les institutions clés requises pour la sécurité de l’IA, les instaurer en premier lieu au sein de notre entreprise, et veiller à ce qu’elles puissent être reproduites ailleurs.
Dario Amodei :
Cela favorise également la cohésion interne de l’organisation, car si une partie de l’organisation agit en contradiction avec nos valeurs de sécurité, la RSP permettra de le révéler d’une manière ou d’une autre, n’est-ce pas ? Elle bloquera tout projet ne respectant pas les normes de sécurité. Elle devient ainsi un rappel constant pour chacun, garantissant que la sécurité soit une exigence fondamentale intégrée à chaque étape du développement produit et de la planification. Nous ne nous contentons pas de slogans creux, mais intégrons concrètement la sécurité à chaque étape du processus. Si une personne rejoint l’équipe sans adhérer à ces principes, elle découvrira rapidement qu’elle ne peut pas s’y intégrer. Soit elle s’aligne sur cette orientation, soit elle réalise qu’elle ne pourra pas continuer.
Jack Clark :
Au fil du temps, la RSP est devenue de plus en plus cruciale. Nous y avons consacré des milliers d’heures de travail, et lorsque j’explique la RSP à des sénateurs, je dis : « Nous avons mis en place des mesures garantissant que notre technologie ne peut pas être facilement détournée, tout en restant sûre. » Leur réaction est généralement : « Cela semble tout à fait normal. Est-ce que toutes les entreprises ne font pas cela ? » Ce à quoi je ne peux que sourire — car ce n’est pas le cas.
Daniela Amodei :
Je pense que, au-delà de la consolidation des valeurs internes, la RSP renforce également la transparence de l’entreprise. En effet, elle définit clairement nos objectifs, ce que chaque membre de l’organisation peut facilement comprendre, et ce que les observateurs externes peuvent également appréhender sans ambiguïté : nos ambitions et notre orientation en matière de sécurité. Bien qu’elle ne soit pas encore parfaite, nous la perfectionnons continuellement.
Je pense qu’il est essentiel de définir clairement « quelles sont les questions centrales que nous suivons », et de ne pas utiliser le mot « sécurité » à la légère pour justifier ou bloquer des avancées opérationnelles — par exemple, en disant « à cause de la sécurité, nous ne pouvons pas faire ceci » ou « à cause de la sécurité, nous devons impérativement faire cela ». Notre véritable objectif est de rendre parfaitement clair, pour tous, ce que nous entendons exactement par ce terme.
Dario Amodei :
À long terme, ce qui nuit réellement à la sécurité, ce sont précisément ces « exercices de sécurité » trop fréquents. J’ai déjà dit : « Si un immeuble déclenche une alarme incendie chaque semaine, cela signifie en réalité qu’il s’agit d’un bâtiment extrêmement dangereux », car personne ne prêtera attention à l’alarme en cas d’incendie réel. Nous devons donc accorder une attention extrême à la précision et à la calibration des alertes.
Chris Olah :
Autre perspective : je pense que la RSP crée, à de nombreux niveaux, des incitations saines. Au sein de l’entreprise, par exemple, elle aligne les incitations de chaque équipe sur les objectifs de sécurité — ce qui signifie que, si nous n’obtenons pas des progrès suffisants en matière de sécurité, les travaux correspondants seront suspendus.
À l’extérieur, la RSP crée également des incitations plus saines que d’autres approches. Par exemple, si un jour nous devons prendre une décision majeure — comme reconnaître que « notre modèle a atteint un stade avancé, mais que nous ne pouvons pas encore garantir sa sécurité » — la RSP fournit un cadre clair et des éléments factuels pour étayer cette décision. Ce cadre existe déjà, et il est limpide. Lorsque nous discutions des premières versions de la RSP, je n’avais pas pleinement conscience de son potentiel, mais aujourd’hui, je la considère comme plus efficace que toute autre méthode que j’aurais pu imaginer.
Jared Kaplan :
Je partage ces points de vue, mais je pense qu’ils sous-estiment peut-être les défis que nous rencontrons dans la formulation de politiques adéquates, l’évaluation des critères et la définition des limites. Nous avons déjà mené de nombreuses itérations dans ces domaines, et continuons à les améliorer. Une difficulté majeure réside dans le fait que, pour de nouvelles technologies, il est souvent difficile de déterminer clairement si elles sont dangereuses ou sûres. Nous sommes fréquemment confrontés à une vaste zone grise. Ces défis m’ont passionné dès les débuts du développement de la RSP, et cela demeure vrai aujourd’hui. Toutefois, je réalise aussi que la mise en œuvre claire et efficace de cette stratégie est plus complexe et plus ardue que je ne l’avais initialement imaginé.
Sam McCandlish :
La zone grise ne peut pas être entièrement prévue, car elle est omniprésente. Ce n’est qu’au moment de la mise en œuvre concrète que l’on identifie les problèmes réels. Notre objectif est donc de tout mettre en œuvre dès que possible, afin de détecter rapidement les difficultés potentielles.
Dario Amodei :
Il faut trois ou quatre itérations pour atteindre la perfection. L’itération est un outil extrêmement puissant : il est presque impossible de réussir du premier coup. Si donc les risques augmentent constamment, il faut réaliser ces itérations le plus tôt possible, et non attendre la dernière minute.
Jack Clark :
Parallèlement, vous devez aussi créer des procédures et des institutions internes. Bien que les détails spécifiques puissent évoluer avec le temps, ce qui compte avant tout est de développer la capacité d’exécution de l’équipe.
Tom Brown :
Je suis responsable des ressources informatiques chez Anthropic. Pour moi, il est essentiel de communiquer avec les parties prenantes externes, dont les perceptions de la vitesse de développement technologique diffèrent fortement. Initialement, je pensais que la technologie ne progresserait pas aussi vite, mais mon opinion a changé — je comprends donc parfaitement ce point de vue. Pour moi, la RSP est particulièrement utile, notamment dans mes échanges avec ceux qui pensent que la technologie évoluera lentement. Nous pouvons leur expliquer : « Nous n’avons pas besoin de mesures de sécurité extrêmes tant que la technologie n’a pas atteint un stade critique. » Si quelqu’un déclare : « Je pense que cela ne deviendra critique que dans très longtemps », je peux répondre : « Très bien, nous n’avons donc pas besoin de mesures extrêmes pour le moment. » Cela rend les échanges avec l’extérieur bien plus fluides.
Jack Clark :
La RSP exerce-t-elle d’autres influences sur vous ?
Sam McCandlish :
Tout tourne autour de l’évaluation : chaque équipe procède à des évaluations. Par exemple, votre équipe d’entraînement effectue constamment des évaluations, afin de déterminer si le modèle est devenu suffisamment puissant pour présenter un danger potentiel.
Daniela Amodei :
Cela signifie que nous devons évaluer les performances des modèles selon les critères définis par la RSP, y compris la détection de signaux susceptibles de susciter nos inquiétudes.
Sam McCandlish :
L’évaluation des capacités minimales d’un modèle est relativement simple, mais celle de ses capacités maximales est extrêmement difficile. Nous consacrons donc d’importantes ressources de recherche à des questions telles que : « Ce modèle est-il capable d’exécuter certaines tâches dangereuses ? Existe-t-il des méthodes que nous n’avons pas encore envisagées — comme les cartes mentales, les « meilleurs événements » (best event) ou l’utilisation d’outils spécifiques — qui pourraient lui permettre d’accomplir des actes extrêmement dangereux ? »
Jack Clark :
Dans l’élaboration des politiques publiques, ces outils d’évaluation sont extrêmement utiles. Le terme « sécurité » étant très abstrait, lorsqu’on déclare : « Nous disposons d’un outil d’évaluation qui détermine si nous pouvons déployer ce modèle », il devient possible de collaborer avec des décideurs politiques, des experts en sécurité nationale, ainsi que des spécialistes des domaines CBRN (chimique, biologique, radiologique et nucléaire), afin de définir des critères d’évaluation précis. Sans ces outils concrets, une telle coopération serait impossible. Mais dès que des critères clairs sont établis, les acteurs concernés sont bien plus enclins à participer, afin de garantir leur exactitude. Sur ce point, l’impact de la RSP est donc considérable.
Daniela Amodei :
La RSP est également extrêmement importante pour moi, et influence fréquemment mon travail. Ce qui est intéressant, c’est que j’aborde la RSP d’une manière particulière, axée sur son « ton », c’est-à-dire sur sa formulation. Récemment, nous avons profondément reformulé le ton de la RSP, car il était auparavant trop technique, voire parfois conflictuel. J’ai beaucoup réfléchi à la manière de concevoir un système qui incite les gens à y participer activement.
Si la RSP est un document que chaque membre de l’entreprise peut facilement comprendre, cela serait bien plus efficace. Comme nos OKR (Objectifs et Résultats Clés), par exemple. Quel est l’objectif principal de la RSP ? Comment savons-nous si nous l’avons atteint ? Quel est le niveau actuel de sécurité de l’IA (ASL) ? ASL-2 ou ASL-3 ? Si chacun connaît les points d’attention prioritaires, il devient plus facile de détecter les problèmes potentiels. À l’inverse, si la RSP est trop technique, et ne peut être comprise que par une poignée de personnes, son utilité pratique s’en trouve fortement réduite.
Il est encourageant de voir la RSP évoluer vers une formulation plus accessible. Aujourd’hui, je pense que la majorité, voire l’ensemble des employés d’Anthropic — quelle que soit leur fonction — peuvent lire ce document et se dire : « Cela me semble tout à fait raisonnable. Je souhaite que nous développons l’IA selon ces principes, et je comprends pourquoi ces questions méritent notre attention. Si je rencontre un problème dans mon travail, je sais approximativement sur quoi porter mon attention. » Nous voulons que la RSP soit suffisamment simple, comme lorsqu’un ouvrier dans une usine peut immédiatement juger : « La ceinture de sécurité doit être fixée ici, or elle ne l’est pas. » Cela permet de détecter rapidement les anomalies.
L’enjeu est de créer un mécanisme de retour sain, permettant des échanges fluides entre la direction, le conseil d’administration, les autres départements de l’entreprise et les équipes de recherche et développement. Je pense que la plupart des problèmes naissent d’une mauvaise communication ou d’une distorsion dans la transmission de l’information. Si des problèmes surviennent uniquement pour ces raisons, ce serait vraiment regrettable, n’est-ce pas ? En fin de compte, nous devons concrétiser ces idées, en veillant à ce qu’elles soient simples, claires et compréhensibles par tous.
L’histoire de la création d’Anthropic
Sam McCandlish : En réalité, aucun d’entre nous n’avait initialement l’intention de fonder une entreprise. Nous avons simplement estimé qu’il s’agissait de notre responsabilité, que nous devions passer à l’action, car c’était la seule voie pour garantir que le développement de l’IA suive la bonne direction — c’est précisément la raison de cet engagement.
Dario Amodei :
Mon idée initiale était très simple : je souhaitais inventer et explorer de nouvelles choses d’une manière bénéfique. Cette aspiration m’a conduit vers l’IA, domaine qui exige un soutien technique massif, et finalement des ressources financières importantes.
Cependant, j’ai réalisé que, sans un objectif clair et une structure organisationnelle adéquate, bien des choses seraient certes accomplies, mais elles reproduiraient les erreurs du secteur technologique qui m’avaient toujours éloigné de celui-ci. Ces erreurs proviennent souvent des mêmes personnes, des mêmes attitudes et des mêmes schémas de pensée. À un moment donné, j’ai donc compris que nous devions procéder différemment — ce fut presque inévitable.
Jared Kaplan :
Je me souviens qu’à l’école doctorale, tu avais un projet complet visant à explorer comment la recherche scientifique pouvait servir l’intérêt général. Cela ressemble beaucoup à notre démarche actuelle. Je me souviens d’un projet que tu avais appelé « Project Vannevar », précisément destiné à concrétiser cet objectif. J’étais alors professeur, j’observais la situation, et j’étais profondément convaincu que l’impact de l’IA croissait à une vitesse fulgurante.
Cependant, la recherche en IA exige des financements importants, et en tant que professeur de physique, j’ai réalisé que je ne pourrais pas, seul, faire avancer ces recherches par la voie académique. Je souhaitais donc collaborer avec des personnes de confiance, afin de créer une institution garantissant que l’IA se développe dans la bonne direction. Honnêtement, je ne conseillerais jamais à personne de fonder une entreprise, ni n’ai jamais nourri ce désir moi-même. Pour moi, ce n’était qu’un moyen d’atteindre un objectif. Je pense qu’en général, la clé du succès réside dans le fait de s’investir profondément dans un objectif significatif pour le monde, puis de trouver le meilleur moyen d’y parvenir.
Comment cultiver une culture de confiance
Daniela Amodei : Je réfléchis souvent à nos atouts stratégiques en tant qu’équipe, et l’un d’eux — qui peut sembler surprenant, mais est extrêmement important — est notre confiance mutuelle élevée. Il est très difficile de faire partager une mission commune à un grand groupe de personnes, mais chez Anthropic, nous parvenons à transmettre cette mission à un nombre croissant d’individus. Dans cette équipe, du niveau de la direction à celui de chaque membre, tous sont réunis par une mission commune. Notre mission est à la fois claire et pure — une situation rare dans le secteur technologique.
Je pense que notre objectif est empreint d’un sens profond et pur. Personne d’entre nous n’a fondé cette entreprise par désir entrepreneurial. Nous avons simplement senti que c’était une nécessité. Nous ne pouvions pas poursuivre notre action dans nos anciens environnements — nous devions le faire nous-mêmes.
Jack Clark :
À l’époque, avec l’apparition de GPT-3 et les projets auxquels nous avions tous participé ou auxquels nous avions été exposés — comme les lois d’échelle (scaling laws), etc. — nous avions déjà clairement identifié, en 2020, la trajectoire du développement de l’IA. Nous avons compris qu’il fallait agir sans délai, car nous risquions rapidement d’atteindre un point de non-retour. Nous devions agir pour influencer cet environnement.
Tom Brown :
Je voudrais prolonger la réflexion de Daniela : je crois effectivement en une confiance mutuelle très forte au sein de l’équipe. Chacun sait qu’il a rejoint cette équipe pour contribuer au bien commun. Nous nous sommes également engagés collectivement à reverser 80 % de nos revenus à des causes capables de faire progresser la société — une décision soutenue sans hésitation par chacun d’entre nous : « Oui, bien sûr, nous le ferons. » Cette confiance est extrêmement particulière et rare.
Daniela Amodei :
Je pense qu’Anthropic est une entreprise très peu teintée de considérations politiques. Bien entendu, notre point de vue peut différer de celui du grand public, et je m’efforce constamment de garder cela à l’esprit. Je pense que notre processus de recrutement et les traits de caractère de nos collaborateurs rendent notre culture presque naturellement imperméable à la « politique de bureau ».
Dario Amodei :
Il y a aussi la cohésion de l’équipe, qui est primordiale. Que ce soit l’équipe produit, l’équipe recherche, l’équipe « confiance et sécurité », l’équipe marketing ou l’équipe politique, tous travaillent ensemble pour atteindre un même objectif. Lorsque différents départements d’une entreprise poursuivent des objectifs totalement divergents, cela entraîne inévitablement le chaos. Si l’un d’eux estime que les autres entravent son travail, cela devient carrément pathologique.
Je pense que notre plus grande réussite réside dans notre capacité à maintenir une cohérence globale au sein de l’entreprise. Des mécanismes comme la RSP y ont joué un rôle essentiel. Ils garantissent que, dans l’entreprise, ce ne sont pas certains départements qui créent des problèmes tandis que d’autres tentent de les résoudre, mais que tous remplissent leurs fonctions respectives dans un cadre théorique unifié de transformation (theory of change).
Chris Olah :
J’ai initialement rejoint OpenAI parce que c’était une organisation à but non lucratif, où je pouvais me concentrer sur la recherche en sécurité de l’IA. Mais avec le temps, j’ai progressivement réalisé que ce modèle ne me convenait pas pleinement, ce qui m’a contraint à prendre des décisions difficiles. Dans ce processus, j’ai eu une confiance totale dans le jugement de Dario et Daniela, mais je ne voulais pas partir. Car je ne pensais pas qu’augmenter le nombre de laboratoires d’IA bénéficierait nécessairement au monde — ce qui rendait mon départ très hésitant.
Lorsque nous avons finalement décidé de quitter OpenAI, j’étais encore réticent à l’idée de fonder une entreprise. J’avais plaidé pour la création d’une organisation à but non lucratif, exclusivement dédiée à la recherche en sécurité. Mais la prise en compte réaliste des contraintes concrètes nous a finalement convaincus que la fondation d’Anthropic était la meilleure voie pour atteindre nos objectifs.
Dario Amodei :
Un des premiers enseignements que nous avons tirés est le suivant : moins promettre, plus tenir ses promesses. Être réaliste, faire face aux compromis, car la confiance et la crédibilité comptent bien plus que toute politique spécifique.
Daniela Amodei :
L’une des singularités d’Anthropic réside dans la haute confiance et la cohésion de l’équipe. Par exemple, lorsque je vois Mike Krieger refuser, pour des raisons de sécurité, de lancer certains produits, et que je vois Vinay discuter de la manière d’équilibrer les impératifs commerciaux pour mener à bien un projet, je ressens une grande fierté. De même, les ingénieurs des équipes de sécurité technique et de raisonnement débattent de la manière d’assurer à la fois la sécurité et l’utilité pratique des produits. Cette unité d’objectif et cette attitude pragmatique constituent l’un des aspects les plus attractifs de l’environnement de travail chez Anthropic.
Dario Amodei :
Une culture organisationnelle saine repose sur la capacité de chacun à comprendre et à accepter les compromis auxquels nous sommes tous confrontés. Notre monde n’est pas parfait, chaque décision implique un équilibre entre des intérêts divergents, et cet équilibre ne peut jamais satisfaire pleinement tout le monde. Toutefois, tant que toute l’équipe partage un objectif commun, fait face ensemble à ces compromis, et contribue, depuis sa position spécifique, à l’objectif global, alors nous cultivons un écosystème sain.
Sam McCandlish :
En un sens, il s’agit d’une « course ascendante ». Oui, c’est bien une « course ascendante ». Bien qu’il ne s’agisse pas d’un choix totalement exempt de risques — les choses peuvent mal tourner — nous sommes tous d’accord : « C’est bien là notre choix. »
La course vers le sommet de l’IA
Jack Clark : Mais le marché est fondamentalement pragmatique : plus Anthropic réussit en tant qu’entreprise, plus les autres acteurs sont motivés à imiter les pratiques qui ont assuré notre succès. Et lorsque ce succès est étroitement lié à notre travail concret en matière de sécurité, il exerce une « attraction » sur l’ensemble du secteur, incitant les autres entreprises à s’engager dans cette course. Comme si nous avions inventé la ceinture de sécurité, et que d’autres entreprises pouvaient l’imiter — c’est là une dynamique saine.
Dario Amodei :
Mais dire : « Nous ne développerons pas cette technologie, et personne ne pourra la développer mieux que nous » ne fonctionne pas, car cela ne démontre pas la voie praticable entre la situation actuelle et l’avenir. Ce dont le monde a besoin, que ce soit au niveau sectoriel ou d’une entreprise individuelle, c’est une méthode permettant à la société de passer d’un état où « la technologie n’existe pas » à un état où « la technologie existe sous une forme puissante et est efficacement régulée par la société ». Je pense que la seule manière d’y parvenir est de faire face à ces compromis, d’abord au niveau d’une entreprise unique, puis, à terme, au niveau de l’ensemble du secteur.
Vous devez trouver une méthode vous permettant de rester compétitif, voire de jouer un rôle de leader dans certains domaines, tout en garantissant la sécurité de la technologie. Si vous y parvenez, votre influence sur le secteur sera considérable. Du point de vue du cadre réglementaire, de l’attraction des talents exceptionnels souhaitant rejoindre différentes entreprises, ou encore de la perception des clients, tous ces facteurs pousseront l’ensemble du secteur dans la même direction. Si vous pouvez démontrer que la sécurité est compatible avec la compétitivité — c’est-à-dire trouver des solutions gagnant-gagnant — alors d’autres entreprises seront motivées à vous imiter.
Jared Kaplan :
C’est précisément pourquoi des mécanismes comme la RSP sont si importants. Nous pouvons clairement identifier la trajectoire de développement technologique, et nous devons rester extrêmement vigilants face à certains risques, tout en évitant soigneusement les fausses alertes du type « le loup est aux portes ». Nous ne pouvons pas simplement déclarer : « L’innovation doit s’arrêter ici. » Nous devons trouver une méthode permettant à l’IA d’offrir aux clients une expérience utile, innovante et agréable, tout en définissant clairement les contraintes auxquelles nous nous engageons — contraintes garantissant la sécurité du système, et convainquant les autres entreprises qu’elles aussi peuvent réussir, en toute sécurité, et nous concurrencer.
Dario Amodei :
Quelques mois après le lancement de notre RSP, trois des entreprises d’IA les plus connues ont elles aussi lancé des mécanismes similaires. La recherche en interprétabilité constitue un autre domaine dans lequel nous avons obtenu des percées remarquables. En outre, nous collaborons avec des instituts de recherche en sécurité de l’IA — cette attention globale portée à la sécurité commence à produire des effets profonds.
Jack Clark :
Oui, l’équipe « Frontier Red Team » a été presque immédiatement imitée par d’autres entreprises. C’est une excellente nouvelle : nous espérons que tous les laboratoires testeront les vulnérabilités potentiellement critiques.
Daniela Amodei :
Jack l’a déjà mentionné : les clients se soucient également beaucoup de la sécurité. Ils ne veulent pas que les modèles génèrent des informations erronées, ni qu’ils soient faciles à contourner. Ils souhaitent des modèles utiles et inoffensifs — nous entendons fréquemment, dans nos échanges clients : « Nous choisissons Claude, car nous savons qu’il est plus sûr. » Je pense que l’impact sur le marché est considérable. Nous offrons des modèles fiables et dignes de confiance, ce qui exerce une pression concurrentielle notable sur nos rivaux.
Chris Olah :
On pourrait aller plus loin sur le point sou
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
深潮TechFlow
