La dissuasion nucléaire deviendra inefficace, les laboratoires d'IA pourraient être nationalisés : 46 thèses controversées sur l'avenir par un chercheur anonyme
TechFlow SélectionTechFlow Sélection
La dissuasion nucléaire deviendra inefficace, les laboratoires d'IA pourraient être nationalisés : 46 thèses controversées sur l'avenir par un chercheur anonyme
“Tout le monde utilise les courbes d'efficacité passées pour comprendre l'IA, alors que le véritable grand bond n'est pas encore arrivé ; la production intelligente pourrait encore avoir quatre à dix ordres de grandeur à parcourir."
Dédié à des analyses Web3 approfondiesAuteur : bayeslord
Compilation : TechFlow
Introduction TechFlow : bayeslord（@bayeslord）est un compte anonyme mais influent dans la sphère IA × crypto, qui ne vend pas de produits, ne court pas après les tendances, mais se concentre spécifiquement sur les noyaux techniques comme les lois d'échelle et la profondeur algorithmique.
Cet auteur a récemment rédigé une liste de 46 points, faisant des projections sur le futur développement de la technologie, de l'IA et des technologies connexes, estimant que tout le monde utilise les courbes d'efficacité du passé pour comprendre l'IA, alors que le véritable grand saut n'est pas encore arrivé, et qu'il reste peut-être quatre à dix ordres de grandeur à parcourir pour la production intelligente.
Il parle de l'accélération algorithmique aux robots, au capital, en passant par une classe inférieure permanente, pour enfin arriver au point le plus aigu : la destruction mutuelle assurée (MAD) pourrait devenir inefficace, la police et l'armée seront automatisées, et les laboratoires d'IA pourraient être nationalisés.
Le post original a près de 1 million de vues. Bien que les points de vue soient extrêmes, chaque point est relativement cohérent en soi, et cela vaut la peine d'être lu pour les lecteurs généralistes de la tech.
Cette liste est basée sur un fil de tweets que j'ai publié le 4 juin, avec quelques modifications et ajouts. Plusieurs personnes ont dit que le fil original était trop difficile à lire, donc j'ai organisé cette version.
Intelligence
1. Les progrès algorithmiques prendront tout le monde au dépourvu. Le monde entier — marchés, gouvernements, armées, entreprises, individus — utilise l'efficacité de production et les règles de ces dernières années pour comprendre l'impact de l'IA et juger de la direction probable des événements. Même les nouveaux laboratoires qui prétendent croire en « l'auto-amélioration récursive » pensent qu'il ne s'agit que de l'ancien système avec un agent tournant en boucle. Ce n'est pas le cas. Je suppose qu'il reste encore de nombreux ordres de grandeur à parcourir dans la production intelligente, peut-être jusqu'à dix, quatre à sept étant plus probables. En principe, plus de dix n'est pas impossible, mais cela heurterait violemment la limite supérieure que je soupçonne les lois physiques d'autoriser réellement. Improbable, mais pas exclu. Si cette estimation est correcte, alors la direction réelle des événements ne correspond pas à leur direction apparente, un grand saut se rapproche. Tout ce qui se produit dans cette direction rendra le monde beaucoup plus étrange que ce que presque tout le monde tarife.
2. Nous sommes au début du décollage. L'IA améliorant l'IA pourrait finalement devenir l'étape aux conséquences les plus lourdes de l'histoire. On ne peut pas parier là-dessus avec certitude, car nous ne savons pas à quelle distance nous sommes des limites physiques et computationnelles de l'intelligence, mais je mise que nous sommes encore loin (comme mentionné précédemment, extraire 4 à 10 ordres de grandeur de sortie intelligente par unité de puissance de calcul semble possible).
3. Puisque nous sommes entrés dans la phase de décollage, la recherche algorithmique s'accélère. La puissance de calcul reste une ressource rare, mais le coût d'opportunité du temps des chercheurs a baissé, car vous pouvez simplement envoyer un agent exécuter n'importe quelle tâche, même pour bricoler. Il pourrait rapporter quelque chose. Toutes les nouvelles idées portent une « dette d'optimisation », et cette dette peut maintenant être remboursée par une consommation de tokens non supervisée. Des courbes de lois d'échelle de recherche massives seront parcourues une par une.
4. Les modèles d'IA continueront de se renforcer, en particulier les modèles de pointe. Le seul véritable mur est la physique. Les modèles deviennent de plus en plus autonomes, de plus en plus intelligents, et s'améliorent continuellement. Les mathématiques et le code sont en train d'être conquis par l'apprentissage par renforcement à grande échelle, le reste suit derrière. La distinction entre « vérifiable » et « non vérifiable » en tant que limite significative disparaîtra lentement. En avançant, la recherche automatisée en IA et l'apprentissage de l'IA deviendront de plus en plus la même chose. Bien entraîner un modèle est essentiellement étroitement lié au fait que le modèle apprenne bien par lui-même. L'efficacité des échantillons, la créativité et toutes les autres limitations seront résolues, puis approcheront l'optimalité algorithmique à n'importe quelle échelle.
5. L'idée que les agents de tâches longues doivent avoir des données d'entraînement de longueur égale est fausse, car la généralisation existe dans la dimension temporelle. Les tâches longues ne sont pas empilées par l'attribut « long ». Cela est lié à l'erreur de LeCun sur l'accumulation d'erreur (1-e)^n. Ce qui se passe vraiment, c'est la correction d'erreur. La correction d'erreur se produit simultanément à plusieurs échelles, du niveau de génération d'un seul token jusqu'à chaque étape d'une tâche longue. Le graphique de METR monte en partie parce que les agents commencent à toucher la vitesse de libération de la correction d'erreur.
6. Une science de l'apprentissage profond de niveau ingénierie est sur le point d'émerger. Elle nous poussera vers la maturité algorithmique de l'IA, beaucoup plus vite que la plupart des gens ne le prévoient — bien que, comme mentionné précédemment, la distance原则able de cette voie ne soit pas claire. Par exemple, une science étudiant l'invariance d'échelle augmentera considérablement l'échelle et le retour des expériences utiles, car une expérience sur un GPU peut vous dire comment utiliser cent mille.
7. Chaque domaine de l'activité humaine technologique aura son propre moment « 37e coup » (le coup joué par AlphaGo contre Lee Sedol qui dépassait l'intuition humaine), puis très vite, le « 37e coup » lui-même semblera obsolète. Je parle de tous les domaines.
8. La puissance de calcul continuera de s'améliorer. Les meilleures machines de multiplication matricielle d'aujourd'hui sont encore loin des limites physiques des accélérateurs d'IA. La voie du silicium numérique a encore beaucoup de marge d'amélioration. Il existe de nombreux candidats pour de nouveaux substrats, et leur dette algorithmique sera exploitée à la limite par l'automatisation, mais nous ne savons pas encore ce qui est optimal pour l'IA en termes d'espace, d'énergie, de temps, de fabricabilité et de coût. La photonique et le silicium aléatoire sont des candidats intéressants, mais je m'attends aussi à ce que la singularité elle-même soit surprenante.
9. La distance qu'un laboratoire peut prendre en avance dépend en partie du retour sur l'automatisation et l'échelle, y compris le retour apporté par une profondeur algorithmique plus grande. Si la pratique (et la théorie) de l'apprentissage profond reste toujours superficielle, alors à long terme, le fossé ne sera probablement pas principalement au niveau algorithmique, car les secrets sont relativement faciles à découvrir. Finalement, la distillation plus les données plus le temps peuvent rattraper l'échelle de puissance de calcul, peut-être un peu plus lentement. Actuellement, nous sommes partiellement dans cet état, mais même si c'est le cas, personne ne garantit que cela continuera ainsi.
10. Si l'apprentissage profond devient moins superficiel à mesure que l'échelle augmente, chaque incrément d'automatisation et d'échelle vous apportera des secrets algorithmiques de plus en plus hors de portée des autres. Cet état semble également partiellement correspondre à notre situation actuelle. Le point final dans les deux cas est lorsque le retour d'utilité marginale sature avec l'échelle et la recherche. Nous ne savons pas où se trouve ce point. Peut-être à 2 ordres de grandeur d'aujourd'hui, peut-être 20. Personne ne sait.
Chaîne d'approvisionnement intelligente
11. Au moins pour les prochaines années, la puissance de calcul restera une ressource âprement disputée. Mais pendant cette période, elle commencera à se commoditiser, et nous regarderons en arrière en riant des années 2020 misérables. L'échelle s'étend et fonctionne, le capital afflue, faisant tourner le volant encore et encore. Plus de machines de multiplication matricielle, plus d'usines de wafers, plus d'énergie sont en route. Le goulot d'étranglement de la production intelligente est temporaire. Sans compter les ralentisseurs économiques potentiels.
12. La nature de la chaîne d'approvisionnement intelligente change. Maintenant, elle est高度 concentrée entre les mains des laboratoires. Mais les laboratoires sont en train d'automatiser la chose centrale qui les rend forts — les chercheurs, et la découverte d'avantages algorithmiques. Une fois ce processus commencé, en supposant que l'open source ne soit pas trop loin derrière, surtout si les laboratoires ne verrouillent pas les modèles de chercheurs en IA, alors l'avantage des laboratoires se tournera vers un financement plus facile, plus de puissance de calcul, des données exclusives, des relations commerciales et de bons produits. Cela dépend vraiment de la façon dont la question de la profondeur algorithmique mentionnée précédemment se résout, ainsi que d'autres facteurs.
13. L'entraînement distribué réduira le besoin de construction de centres de données monolithiques à grande échelle, donnant un avantage aux fournisseurs non hyper-scale. Cependant, dans la dimension pure de l'entraînement unique le plus grand, cela ne dépassera pas les fournisseurs hyper-scale.
14. L'expérimentation automatisée en IA permettra la découverte généralisée de secrets algorithmiques, car ces secrets sont naturellement plus faciles à distribuer que l'entraînement pleine échelle. La distance que cette voie peut parcourir n'est pas claire, mais je m'attends à ce qu'elle soit considérable. Comme mentionné précédemment, la profondeur fondamentale de l'apprentissage profond reste inconnue, et la limite supérieure de ce jugement dépend de cette inconnue.
15. Bien que ces forces semblent superficiellement favorables au milieu universitaire et à l'open source, elles pourraient encore se contracter en raison du coût et du coût d'opportunité de la puissance de calcul. Par exemple, le GB300 est-il plus précieux pour servir le GLM5.2 ou Fable, ou pour faire de la recherche non de pointe dans un laboratoire universitaire, ou pour construire Mythos 2 en interne chez Anthropic ? Le marché calculera où se trouve la demande la plus forte, et pour l'instant, cet endroit est effectivement les laboratoires. Cela signifie que les laboratoires open source pourraient être encore plus affamés de puissance de calcul, même s'ils ont de l'argent, à condition qu'ils n'aient pas verrouillé la capacité de calcul à l'avance. Même s'ils l'ont fait, ils doivent encore calculer le coût d'opportunité de faire leurs propres recherches par rapport à la location de puissance de calcul. Voir la collaboration entre Colossus et Anthropic.
16. Dans un environnement où les capacités d'IA commencent à devenir stimulantes (0 à 18 mois à venir), l'open source pourrait également commencer à devenir difficile au niveau social, surtout si nous accélérons la sécurité lentement — ce qui a été le cas jusqu'à présent.
17. Lorsque le capital afflue vers les laboratoires, l'open source pourrait commencer à se contracter. Il y a un problème de coordination ici : à part les laboratoires (et peut-être les gouvernements), personne ne veut un monopoliste de tokens, mais si ce problème peut être résolu et que l'environnement réglementaire est favorable, peut-être que le résultat sera acceptable.
Robots
18. Les robots auront un moment similaire à ChatGPT en novembre 2022, puis un moment similaire à Opus 4.5 en novembre 2025. Aucun des deux ne s'est encore produit, mais ils arrivent, et plus vite que les gens ne le pensent, c'est le résultat de progrès rapides de l'IA, y compris l'ingénierie des systèmes physiques d'accélération de l'IA. L'intervalle entre ces deux moments pour les robots ne semble pas être de trois ans.
19. Cependant, pour empiler véritablement le nombre de robots dans le monde physiquement, il faudra peut-être attendre 2030 ou même plus tard. Bien que nous construisions environ 100 millions de voitures par an, et que les robots humanoïdes soient beaucoup plus petits que les voitures. Considérant que nous construisons encore 1 milliard de smartphones par an, si le capital et les algorithmes vont assez vite, atteindre un niveau de 100 millions de robots par an en 2030 est raisonnable. 10 millions par an peuvent certainement être atteints, nous le faisons déjà sur le marché des drones. Tant que le logiciel peut prouver à petite échelle que les robots humanoïdes valent l'argent, cela peut lever un capital infini, le montant levé étant proportionnel à la qualité de la preuve.
20. Ce qui semble aujourd'hui comme des limites rigides pour les robots disparaîtra, y compris une mauvaise efficacité des échantillons, des données relativement rares, une conception matérielle des mains et des moteurs coûteuse et difficile, la complexité fractale du monde physique, et ces connaissances tacites non enregistrées sur la façon dont nous travaillons dans le monde (comme l'ensemble des compétences d'un plombier). Les modèles du monde semblent utiles, mais ce qui est important spécifiquement n'importe pas. La recherche des lois d'échelle sera polie jusqu'à ce que l'utilité diminue.
21. La demande mondiale de robots est facilement de plusieurs milliards d'unités, surtout si l'on additionne toutes les formes. Il y a trop de travail physique worth automatiser. Le marché trouvera un moyen de résoudre cela, et les gens ne bloqueront probablement pas le chemin.
Progrès
22. La science s'automatise et se virtualise. Cela signifie que beaucoup de progrès dont ce monde a besoin viendront de laboratoires automatisés et de simulations. Nous ne connaissons pas la limite computationnelle complète de la virtualisation, mais ces laboratoires pilotés par des robots dans des domaines comme la biologie et la science des matériaux supprimeront de nombreux goulots d'étranglement, repoussant également la frontière de la « virtualisation vérifiée » en cours de route, pour améliorer l'efficacité des échantillons et le retour net de la « mise en œuvre réelle ». Fondamentalement, dans chaque domaine, nous aurons une sorte de combinaison de modèles neuronaux, de simulations explicites et d'expériences dans le monde réel, améliorant ensemble le retour de chaque dollar et de chaque minute dans des domaines comme la biologie et la science des matériaux.
23. Les lois du progrès sont partout. Dans l'apprentissage profond, elles s'appellent lois d'échelle. Sur n'importe quelle courbe, il est difficile de juger quand la courbe en S sature, et il est difficile de juger s'il y a une nouvelle courbe en S au-delà de l'horizon. Ce qu'il faut comprendre ici, c'est que le moteur du progrès de la civilisation lui-même a une loi du progrès. Notre progrès est probablement de type saturation, comme la plupart des processus naturels, mais nous ne savons pas vraiment où se produit la saturation. La maturité de la technologie et de la civilisation pourrait être proche, ou loin. Nous sommes à un tel point historique : premièrement, nous n'avons presque investi aucune ressource dans le progrès, mais cela change rapidement ; deuxièmement, nous automatisons la machine qui produit directement plus de progrès. Nous vivons une époque intéressante.
24. Le futur est-il une échelle vers le haut ou une échelle vers l'extérieur. De zéro à un ou de un à n. Combien de progrès l'univers nous permet-il d'accomplir en largeur et en profondeur est une question ouverte. La largeur est plus facile à estimer, car c'est grosso modo « à partir de maintenant, combien d'étapes de calcul les lois physiques nous permettent-elles encore de faire ? ». Et à quel point ce calcul peut-il être « profond » — dans le sens le plus large du terme — est inconnu. Dans certaines versions du futur, l'arbre technologique est profondément inconcevable, l'univers computationnel accessible est si riche que nous continuerons à inventer et à découvrir jusqu'à ce que la physique nous bloque, si elle le peut. D'autres versions sont plus plates : nous remplissons rapidement un arbre technologique relativement peu profond, atteignant relativement facilement la maturité technologique, puis nous le mettons à l'échelle jusqu'à satisfaction ou jusqu'à ce que la physique bloque.
Capital et production
25. Plus de capital plus d'intelligence signifie un capitalisme plus renforcé, signifie que nous fonçons plus vite vers l'équilibre du marché. À long terme, cela devrait naturellement conduire à la déflation, conduisant à la concurrence de la plupart des biens importants jusqu'à un coût marginal proche de zéro, y compris l'IA, la nourriture, le logement, la médecine, les produits électroniques, le divertissement et les voyages. À condition que nous ne laissions pas les gens bloquer le chemin. Dans certains cas, ils le feront probablement.
26. L'exploitation minière sera automatisée. Le transport maritime, terrestre et aérien sera automatisé. Les usines seront automatisées. Les travailleurs seront automatisés. Les centres de distribution seront automatisés. La maintenance, l'amélioration et l'expansion de toute la chaîne d'approvisionnement seront automatisées.
27. Il y aura des humains qui garderont un emploi, pour très très longtemps. Quelle proportion de l'humanité cela représente est une question ouverte. Ceux qui disent que ce nombre sera élevé sont trop confiants, ceux qui disent que ce nombre sera zéro le sont tout autant. Cependant, il est vraiment difficile d'imaginer combien de temps les humains peuvent encore contribuer marginalement à la partie « connaissance » du travail intellectuel. Certaines demandes, comme les médecins, pourraient diminuer considérablement — si nous avons un médecin IA surhumain à 20 dollars par mois, plus des tests à la demande, plus une amélioration significative de la santé grâce aux progrès médicaux. Mais parce que nous avons cartellisé les médecins maintenant, nous pourrions continuer à le faire, et être médecin restera une bonne profession. La demande de divertissement augmentera probablement, mais le coût de production diminuera, et la demande technique de divertissement pour les humains a déjà considérablement diminué. Mais nous nous soucions des autres humains, donc peut-être continuerons-nous à nous soucier d'eux, et être acteur deviendra plus rentable. Une ligne de pensée peut vous aider à comprendre comment cela évolue : combien de couches intermédiaires y a-t-il dans la chaîne d'approvisionnement entre un travailleur d'aujourd'hui et un consommateur. Pour un influenceur TikTok, zéro couche. Pour un médecin, zéro couche. Pour un ouvrier d'usine, beaucoup de couches. Si un emploi peut être désintermédié, éliminé par la concurrence, irremplaçable, déterminera probablement largement son issue. Cette analyse est assez subtile, ce paragraphe est loin d'être exhaustif, mais pour finir, il faut mentionner : tout cela suppose que nous ne rencontrons pas un effondrement en falaise du côté de la demande — si trop de gens ne travaillent pas, et que la productivité ou l'efficacité gouvernementale ne supportent pas un revenu de base universel ou des soins de santé de base universels, cet effondrement pourrait se produire.
28. Lié aux points ci-dessus mais non contradictoire : une « classe inférieure permanente » pourrait vraiment exister. Dans les meilleurs mondes où cela se réalise, cela ressemble plus à une agency高度 limitée qu'à un revenu sacrifié. Pour la plupart des gens, c'est finalement acceptable, notre agency a déjà été高度 limitée par la société moderne, mais cela nécessite une adaptation psychologique, ce qui peut prendre du temps, ou être douloureux.
Culture et psychologie
29. L'esprit humain grandit et s'adapte lentement maintenant, mais cela changera. La clé est de changer dans la bonne direction, ce qui n'est pas facile pour certaines personnes. L'intelligence abondante et l'automatisation nous permettront d'ingénier des structures psychologiques beaucoup plus durables qu'aujourd'hui — l'ensemble actuel est un héritage évolutif inadapté à notre environnement. La psychiatrie et la psychologie parcourront mille ans d'innovation en moins de quelques décennies. Les humains s'amélioreront fondamentalement. La satisfaction brute et dégradée « connexion directe au plaisir » est surestimée comme un risque, car nous aurons une ingénierie mentale plus sophistiquée et diversifiée disponible.
30. Dans un monde extrêmement incertain, les gens se battront pour le pouvoir, le statut et la richesse plus férocement que jamais, trahissant leurs semblables en toute conscience en cours de route. Ils inventeront diverses raisons pour expliquer que leur comportement est bon, voire grandiose. Regardez autour de vous.
31. Vous vivrez pour voir des embarras que vous ne pouvez pas croire.
32. Il y a maintenant un double discours évident en jeu : ceux qui sont sur le point de devenir, ou sont déjà, les 0,01 % les plus riches, disent d'un côté que l'IA bénéficiera à tous, ne vous inquiétez pas pour le travail, mais d'un autre côté ne veulent pas abandonner leur richesse pour devenir un membre aléatoire sur Terre, ou même aux États-Unis, que ce soit pour un an, cinq ans ou vingt ans. Les gens voient cela et ont commencé à réagir. Pour être clair, je n'abandonnerai pas non plus ma position, mais je n'ai pas non plus dit que tout serait parfait (et je ne fais pas partie des 0,01 % les plus riches). Le résultat est que nous risquons de construire un monde injuste. Certaines personnes s'en soucient, je pense que cela devrait être discuté plus fréquemment. Et pour être encore plus direct, la politique américaine est pourrie dans la façon dont elle traite ce genre de problèmes.
33. Elon semble très probablement devenir le premier trillionnaire. Largement speaking, il n'est pas difficile d'imaginer que la demande de puces, de robots et de vaisseaux spatiaux augmentera encore de plus de mille fois par rapport à maintenant, et une grande partie de cela, il pourra probablement la capturer.
Coordination
34. Une meilleure coordination est nécessaire à toutes les échelles de la société, c'est évident. Avec notre compréhension actuelle de la coordination, elle a des faiblesses et des risques, mais il est probable que nous n'avons même pas encore gratté la surface. Y aura-t-il un personnage de niveau Satoshi pour tuer Moloch (symbolisant la compétition maligne où tout le monde est forcé de participer et personne ne peut se retirer) ?
35. Avoir une certaine coordination internationale sur l'IA est probablement une bonne idée. Nous pourrions vouloir des traités et un comptage de GPU. Ce système peut être conçu pour : premièrement, ralentir l'accumulation antagoniste en spirale ascendante du pouvoir militaire et gouvernemental, deuxièmement, minimiser l'impact sur la science et d'autres domaines de progrès importants. Nous pourrions ne pas obtenir cela, car les GPU sont trop puissants de manière ubiquitaire. Nous l'avons fait avec les armes nucléaires, parce que sauf les fous, personne ne veut vraiment utiliser des bombes nucléaires.
36. Une pause ou un ralentissement de la coordination des laboratoires d'IA semble maintenant plus probable qu'en 2023. Il y a beaucoup de compromis ici, mais je pense que la valeur discutable d'une pause est aujourd'hui légèrement plus élevée qu'en 2023. L'argument « la pause sera gaspillée » est plus difficile à soutenir, car nous avons la recherche automatisée — bien que pas encore complètement (ce que nous avons, c'est l'ingénierie automatisée). Pour être honnête, je ne soutiens pas personnellement une pause maintenant, principalement parce que cela interromprait trop d'autres parties sur le fil de fer traversant la singularité, il pourrait y avoir des dragons dans l'arbre technologique, et les adversaires sont réels.
Pouvoir, violence, sécurité, liberté
37. Je regrette de vous dire que notre univers pourrait être fragile au sens de Bostrom (l'« hypothèse du monde fragile » du philosophe Bostrom : le progrès technologique pourrait produire une capacité suffisante pour détruire la civilisation une fois découverte). Il est possible qu'il existe certaines libertés dans le monde actuel que nous ne pouvons pas contrôler rapidement tout en conservant les normes de gouvernance et de liberté (cet ensemble de normes est suffisant pour la vérité de notre monde, sauf pour le panoptique). Notez que dans un tel monde, l'accumulation de pouvoir est une pente glissante. Beaucoup de tels mondes finissent très mal pour la plupart des gens. Si seulement ce n'était pas vrai, mais cela pourrait l'être.
38. La diffusion de l'IA se produira à une vitesse supérieure à zéro, peu importe le nombre de facteurs de limitation de vitesse potentiels. Il y a trop d'ordinateurs dans le monde, et le taux de change FLOP vers intelligence est au point le plus bas de l'histoire. Ne pariez pas que les choses stagneront.
39. Le concept de « classe inférieure permanente » implique l'existence d'une « classe supérieure permanente ». Cela suppose qu'un groupe de personnes possède plus de droits pour une raison relativement illégitime. Cette raison est finalement toujours implicitement ou explicitement une domination soutenue par la violence. Mais peut-être qu'un monde avec une IA avancée est un monde où les humains n'ont plus de raison légitime de régner, sans aucune capacité ou statut reconnu surpassant les autres humains. Cela ne sera jamais vrai à 100 %, mais cela pourrait devenir de plus en plus important, worth y penser. Je soupçonne qu'en pratique, les arguments moraux et les arguments pragmatiques divergeront considérablement, et peut-être que c'est justement correct ainsi.
40. Des forces dans diverses directions pousseront les institutions à se transformer, et ces forces pourraient mener à la tyrannie. Il y a many chemins pour y arriver, certains sous le drapeau de la sécurité, d'autres sont une蔓延 de pouvoir bénigne — le plafond est une IA puissante plus une chaîne d'approvisionnement militaire entièrement automatisée plus des armes entièrement automatisées. Nous avons besoin de meilleures institutions.
41. Il pourrait y avoir un grand nombre de vulnérabilités zero-day dehors. Dans les réseaux, la biologie, les infrastructures, le neural, les mèmes, la physique, etc. Nous ne comprenons根本 pas le retour de la profondeur algorithmique et de la cohérence dans ces domaines, que ce soit du côté de la défense et de la robustesse, ou du côté de la destruction. La profondeur algorithmique des armes nucléaires n'est pas hors de portée pour les humains les plus intelligents du monde. Demain, nos machines atteindront le niveau suivant, puis le suivant. Maintenant, nous en savons un peu sur le taux de catastrophes aléatoires qui sont algorithmiquement peu profondes, et nous ne savons presque rien de ce qui se passera dans une civilisation algorithmiquement profonde.
42. Une phrase connexe : il pourrait y avoir des choses vraiment merdiques dans l'arbre technologique. Nous ne savons vraiment pas.
43. Les capacités de robots à l'échelle apportent des risques réels de prise de contrôle et de coup d'État au-delà des modèles purement informatiques, ainsi que des choses plus ordinaires, comme de nouvelles surfaces et de nouveaux vecteurs pour les cyberattaques. Nous devrions prendre ces risques au sérieux et essayer de les réduire.
44. La destruction mutuelle assurée est basée sur la technologie du XXe siècle et du début du XXIe siècle. Nous connaîtrons des changements technologiques drastiques, peut-être mille ans de changements compressés en très peu de temps. Cela signifie que MAD n'est pas acquis. Ce problème est soluble, mais ni完全 déterminé, ni un renversement propre, car pour obtenir un avantage décisif, la marge d'erreur est extrêmement faible, peut-être根本 impossible. Certaines personnes dans le passé ont abordé ce sujet de manière assez peu sérieuse, je pense que c'est faux et irresponsable. C'est l'un des sujets les plus sérieux que nous puissions discuter. Il est correct que les gens soient nerveux à ce sujet, mais je pense qu'il est temps d'en parler.
45. L'armée, la police, et les principaux mécanismes d'application de la loi gouvernementale seront automatisés, et plus intelligents que les humains. À vous de voir comment interpréter cela.
46. Enfin : les laboratoires d'IA pourraient finalement être nationalisés au sens fort. À mon avis, le système américain n'est en fait pas très compatible avec cela, mais il y a many chemins vers la nationalisation, et dans un environnement politique conservateur ou libéral, cela ne semble pas être bloqué par des zones interdites. En principe, les laboratoires semblent pouvoir maintenir une coordination avec l'armée et les services de renseignement en backend, sans avoir à être plus ostentatoires que l'attitude déjà affichée. Le gouvernement fédéral possédant ce genre de pouvoir unilatéral est également extrêmement dangereux. Que les entreprises privées possèdent ce pouvoir est une autre affaire, car elles n'exercent généralement pas directement la violence et ne sont pas légalement autorisées à le faire. Je n'aime pas trop la nationalisation, mais ce monde est déroutant, et semble devenir de plus en plus sinistre.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
@bayeslord
