Vous n’êtes PAS prêt pour la superintelligence – REGARDEZ ce qui se passe ensuite

Publié le 9.10.2025 à 07h55 – Par Daniel Foster – Temps de lecture 35 mn

×

Gagner du temps de lecture avec le résumé de l'article

C’est un peu différent de ce que nous faisons normalement ici, mais j’ai pensé que c’était tellement fascinant que je devais le partager avec vous.

À la fois fascinant et terrifiant.

Et je veux que vous soyez tous prêts pour ce qui va suivre.

En gros, avant le lancement de ChatGPT, un groupe de chercheurs a exposé ce qu’ils pensent être la prochaine étape et disons simplement qu’ils ont eu raison jusqu’à présent.

Alors, que se passe-t-il après maintenant ?

C’est là que ça devient vraiment effrayant.

Regardez ici :

TRANSCRIPTION COMPLÈTE :

Introduction

L’impact de l’IA surhumaine au cours de la prochaine décennie dépassera celui de la révolution industrielle. C’est la revendication d’ouverture d’AI 2027. Il s’agit d’un rapport de recherche approfondi d’un groupe de chercheurs tout à fait impressionnant dirigé par Daniel Kokotajlo. En 2021, plus d’un an avant la sortie de ChatGPT, il a prédit l’essor des chatbots, des formations de cent millions de dollars, des contrôles d’exportation de puces d’IA et un raisonnement en chaîne de pensée. Il est connu pour être très tôt – et très juste – sur ce qui se passe ensuite dans l’IA.

Alors, lorsque Daniel s’est assis pour faire une prédiction mois par mois des prochaines années de progrès de l’IA, le monde s’est assis et a écouté, de la part des politiciens à Washington : « Je suis inquiet à propos de ce genre de choses. En fait, j’ai lu l’article du gars que vous aviez sur » – à l’informaticien le plus cité au monde, le parrain de l’IA. Ce qu’il y a de si excitant et de terrifiant dans la lecture de ce document, c’est qu’il ne s’agit pas seulement d’un rapport de recherche. Ils ont choisi d’écrire leur prédiction sous forme narrative pour donner une idée concrète et vivante de ce que l’on pourrait ressentir en vivant dans des progrès croissants de l’IA. Et spoiler : il prédit l’extinction de la race humaine, à moins que nous ne fassions des choix différents.

Le monde en 2025

Le scénario AI 2027 commence à l’été 2025, c’est-à-dire au moment où nous tournons cette vidéo. Alors pourquoi ne pas faire le point sur l’état des choses dans le monde réel, puis passer à la chronologie du scénario. À l’heure actuelle, vous pourriez avoir l’impression que tout le monde, y compris votre grand-mère, vend quelque chose alimenté par l’IA. Mais la plupart de ces outils sont en fait de l’IA d’outils – juste des produits étroits conçus pour faire ce que Google Maps ou les calculatrices ont fait dans le passé : aider les consommateurs et les travailleurs humains à faire leur travail.

Le Saint Graal de l’IA est l’Intelligence Artificielle Générale. L’AGI – AGI, AGI, AGI, Artificial General Intelligence – est un système qui peut présenter toutes les capacités cognitives que les humains peuvent présenter. Créer un système informatique qui est lui-même un travailleur, si flexible et capable que nous pouvons communiquer avec lui en langage naturel et l’embaucher pour travailler à notre place, tout comme nous le ferions avec un humain. Et il y a en fait, étonnamment, peu d’acteurs sérieux dans la course à la construction d’AGI.

Plus particulièrement, il y a Anthropic, OpenAI et Google DeepMind, tous dans le monde anglophone, bien que la Chine et DeepSeek aient récemment fait tourner les têtes en janvier avec un modèle étonnamment avancé et efficace. Pourquoi si peu d’entreprises ? Eh bien, depuis plusieurs années maintenant, il n’y a qu’une seule recette pour former une IA de pointe avancée, et elle contient des ingrédients coûteux. Par exemple, vous avez besoin d’environ 10 % de l’approvisionnement mondial des puces informatiques les plus avancées. Une fois que vous avez cela, la formule est essentiellement la suivante : jetez plus de données et de calcul dans la même conception logicielle de base que nous utilisons depuis 2017 à la frontière de l’IA – le transformateur.

C’est ce que signifie le T de GPT. Pour vous donner une idée de la quantité de matériel qui est le nom du jeu à l’heure actuelle, cela représente la puissance de calcul totale, ou calcul, utilisée pour entraîner GPT-3 en 2020. C’est l’IA qui alimentera finalement la première version de ChatGPT. Vous savez probablement comment cela s’est passé. Et c’est le calcul total utilisé pour entraîner GPT-4 en 2023.

La leçon que les gens ont tirée est assez simple : plus c’est gros, mieux c’est, et beaucoup plus c’est grand, mieux c’est. « Il y a toutes ces tendances, notamment la hausse des revenus, l’augmentation du calcul, la hausse des divers indices de référence. Comment tout cela se déroule-t-il ? Vous savez, à quoi ressemble réellement l’avenir ? Des questions telles que : comment ces différents facteurs interagissent-ils ? Il semble plausible que lorsque les scores de référence sont si élevés, il y ait des effets fous sur, vous savez, les emplois, par exemple, et que cela influence la politique. Et puis aussi, vous savez, toutes ces choses interagissent – et comment interagissent-elles ? Eh bien, nous ne le savons pas, mais réfléchir en détail à la façon dont cela pourrait se passer est la façon de commencer à s’y attaquer.

D’accord. C’est donc là où nous en sommes dans le monde réel. C’est à partir de là que le scénario démarre.

Le scénario commence

Il imagine qu’en 2025, nous aurons les meilleurs laboratoires d’IA qui libéreront des agents d’IA au public en été. Un agent est une IA qui peut prendre des instructions et effectuer une tâche pour vous en ligne, comme réserver des vacances ou passer une demi-heure à chercher sur Internet pour répondre à une question difficile pour vous, mais ils sont assez limités et peu fiables à ce stade. Considérez-les comme des stagiaires enthousiastes qui sont parfois scandaleusement incompétents. Depuis la publication du scénario en avril, cette prédiction précoce s’est déjà réalisée. En mai, OpenAI et Anthropic ont tous deux rendu publics leurs premiers agents.

Le scénario imagine qu’OpenBrain, qui est comme un composite fictif des principales entreprises d’IA, vient de former et de publier Agent-0, un modèle entraîné sur cent fois le calcul de GPT-4. Dans le même temps, OpenBrain construit d’énormes centres de données pour former la prochaine génération d’agents d’IA, et se prépare à former Agent-1 avec 1 000 fois plus de calcul que GPT-4. Ce nouveau système, Agent-1, est conçu principalement pour accélérer la recherche sur l’IA elle-même. En fait, le public ne verra jamais la version complète, car OpenBrain retient ses meilleurs modèles pour un usage interne.

Je veux que vous gardiez cela à l’esprit pendant que nous examinons ce scénario. Vous allez l’obtenir du point de vue de Dieu, avec toutes les informations de votre narrateur, mais vivre réellement ce scénario en tant que membre du public signifierait être en grande partie dans l’ignorance alors que des changements radicaux se produisent tout autour de vous. D’accord, OpenBrain veut gagner la course à l’IA contre ses concurrents occidentaux et contre la Chine. Plus vite ils peuvent automatiser leur cycle de R&D (en demandant à l’IA d’écrire la plupart du code, d’aider à concevoir des expériences, d’améliorer les puces), plus vite ils peuvent prendre de l’avance.

Mais les mêmes capacités qui font de ces IA des outils si puissants les rendent également potentiellement dangereuses. Une IA qui peut aider à corriger les vulnérabilités de sécurité peut également les exploiter. Une IA qui comprend la biologie peut aider à guérir les maladies, mais aussi à concevoir des armes biologiques. D’ici 2026, l’Agent-1 sera pleinement opérationnel et sera utilisé en interne chez OpenBrain. Il est vraiment bon en codage, si bon qu’il commence à accélérer la recherche et le développement de l’IA de 50 %, et il leur donne un avantage crucial.

La direction d’OpenBrain commence à être de plus en plus préoccupée par la sécurité. Si quelqu’un vole leurs modèles d’IA, cela pourrait effacer leur avance. Un petit encadré pour parler des boucles de rétroaction – woo, les mathématiques.

Encadré : Boucles de rétroaction

Notre cerveau est habitué à des choses qui poussent linéairement au fil du temps, c’est-à-dire, au même rythme, comme les arbres ou ma pile de magazines New Yorker non lus. Mais une certaine croissance s’accélère de plus en plus avec le temps. L’accélération de la croissance est souvent qualifiée d’exponentielle – ce n’est pas toujours tout à fait mathématiquement exact, mais le fait est qu’il est difficile de s’y retrouver. Vous vous souvenez de mars 2020 ? Même si vous aviez lu aux nouvelles que « le taux de nouvelles infections double environ tous les trois jours », il était toujours choquant de voir les chiffres passer de centaines à des millions en quelques semaines.

Du moins, c’était le cas pour moi. Les progrès de l’IA pourraient suivre un schéma similaire. « Nous voyons de nombreuses années devant nous des progrès extrêmes que nous pensons être à peu près verrouillés, et des modèles qui arriveront au point où ils seront capables de faire de la science significative – des recherches significatives sur l’IA. » Dans ce scénario, l’IA s’améliore dans l’amélioration de l’IA, créant une boucle de rétroaction. En gros, chaque génération d’agent contribue à produire une génération suivante plus performante, et le taux global de progression devient de plus en plus rapide à chaque fois qu’elle est reprise par un successeur plus capable.

Une fois que l’IA peut contribuer de manière significative à son propre développement, les progrès ne se poursuivent pas au même rythme, ils s’accélèrent. Quoi qu’il en soit, revenons au scénario.

La Chine se réveille

Entre le début et le milieu de l’année 2026, la Chine se réveille complètement. Le secrétaire général s’engage dans une poussée nationale en matière d’IA et commence à nationaliser la recherche sur l’IA en Chine. Les IA construites en Chine commencent à s’améliorer de plus en plus, et elles construisent également leurs propres agents. Les agences de renseignement chinoises, parmi les meilleures au monde, commencent à planifier le vol des poids des modèles d’OpenBrain, essentiellement les gros fichiers texte bruts de chiffres qui permettent à quiconque de recréer les modèles qu’OpenBrain a eux-mêmes formés.

Pendant ce temps, aux États-Unis, OpenBrain lance Agent-1 Mini, une version moins chère d’Agent-1. N’oubliez pas que la version complète n’est toujours utilisée qu’en interne et que les entreprises du monde entier commencent à utiliser 1 Mini pour remplacer un nombre croissant d’emplois. Développeurs de logiciels, analystes de données, chercheurs, concepteurs, en gros tout travail qui peut être effectué par le biais d’un ordinateur. Donc beaucoup d’entre eux, probablement les vôtres. Nous avons la première onde de choc économique rendue possible par l’IA.

Le marché boursier s’envole, mais le public devient de plus en plus hostile à l’IA, avec d’importantes manifestations à travers les États-Unis. Dans ce scénario, cependant, ce n’est qu’un spectacle secondaire. La vraie action se passe à l’intérieur des laboratoires. Nous sommes maintenant en janvier 2027 et OpenBrain a formé Agent-2, la dernière itération de leurs modèles d’agents d’IA. Les agents d’IA précédents ont été formés à un certain niveau de capacité, puis libérés.

Mais Agent-2 ne cesse jamais vraiment de s’améliorer grâce à l’apprentissage en ligne continu. Il est conçu pour ne jamais terminer sa formation, essentiellement. Tout comme Agent-1 avant lui, OpenBrain choisit de garder Agent-2 en interne et de se concentrer sur son utilisation pour améliorer sa propre R&D en IA plutôt que de la rendre publique. C’est là que les choses commencent à devenir un peu inquiétantes. Tout comme les entreprises d’IA d’aujourd’hui, OpenBrain dispose d’une équipe de sécurité et ils ont testé Agent-2.

Ce qu’ils ont remarqué, c’est un niveau de capacité inquiétant. Plus précisément, ils pensent que s’il avait accès à Internet, il pourrait être en mesure de pirater d’autres serveurs, d’installer une copie de lui-même et d’échapper à la détection. Mais à ce stade, OpenBrain joue ses cartes très près de sa poitrine. Ils ont fait le calcul que tenir la Maison Blanche informée s’avérera politiquement avantageux, mais la connaissance complète des capacités de l’Agent-2 est un secret bien gardé, limité uniquement à quelques responsables gouvernementaux, à un groupe restreint de personnes de confiance au sein de l’entreprise et à quelques employés d’OpenBrain qui se trouvent être des espions pour le gouvernement chinois.

En février 2027, des agents des services de renseignement chinois réussissent à voler une copie des poids de l’Agent-2 et commencent à exécuter plusieurs instances sur leurs propres serveurs. En réponse, le gouvernement américain commence à ajouter du personnel militaire à l’équipe de sécurité d’OpenBrain, et en général, s’implique beaucoup plus dans ses affaires. C’est maintenant une question de sécurité nationale. En fait, le président autorise une cyberattaque en représailles au vol, mais elle ne fait pas beaucoup de dégâts en Chine.

En attendant, n’oubliez pas qu’Agent-2 ne cesse jamais d’apprendre. Pendant tout ce temps, il n’a cessé de s’améliorer. Et avec des milliers d’exemplaires fonctionnant sur les serveurs OpenBrain, il commence à faire des avancées algorithmiques majeures dans la recherche et le développement de l’IA. Petit exemple de ce à quoi pourrait ressembler l’une de ces améliorations algorithmiques à l’heure actuelle.

Encadré : Chaîne de pensée

L’un des principaux moyens dont nous disposons pour rendre les modèles plus intelligents est de leur donner un bloc-notes et du temps pour réfléchir à voix haute. C’est ce qu’on appelle la chaîne de pensée, et cela signifie également que nous pouvons surveiller la façon dont le modèle arrive à ses conclusions ou les actions qu’il choisit de prendre. Mais vous pouvez imaginer qu’il serait beaucoup plus efficace de laisser ces modèles penser dans leur propre langage extraterrestre – quelque chose de plus dense en informations que ce que les humains pourraient comprendre – et donc rendre l’IA plus efficace pour tirer des conclusions et faire son travail. Il y a cependant un compromis fondamental.

Certes, cela améliore les capacités, mais rend également les modèles plus difficiles à faire confiance. Cela va être important.

Des codeurs meilleurs que l’humain

Mars 2027 : L’Agent-3 est prêt. C’est le premier codeur de niveau surhumain au monde – clairement meilleur que les meilleurs ingénieurs logiciels en codage, de la même manière que Stockfish est clairement meilleur que les meilleurs grands maîtres aux échecs, mais pas nécessairement de autant. Aujourd’hui, l’entraînement d’un modèle d’IA, c’est-à-dire l’alimentation de toutes les données, la détermination des poids exacts du modèle, est beaucoup plus gourmande en ressources que l’exécution d’une instance une fois qu’elle a été formée.

Donc, maintenant qu’OpenBrain a terminé l’entraînement de l’Agent-3, il dispose d’un calcul abondant pour en exécuter des copies. Ils ont choisi d’exécuter 200 000 copies de l’Agent-3, créant en parallèle une main-d’œuvre équivalente à 50 000 des meilleurs ingénieurs logiciels humains accélérés de 30 ×. L’équipe de sécurité d’OpenBrain s’efforce de s’assurer que l’Agent-3, bien qu’il soit beaucoup plus sophistiqué que l’Agent-2, n’essaie pas d’échapper, de tromper ou de comploter contre ses utilisateurs – qu’il est toujours ce qu’on appelle aligné.

Encadré : Désalignement dans le monde réel

Juste une petite remarque dans le monde réel : une personne raisonnable pourrait penser qu’il s’agit d’une partie particulièrement tirée par les cheveux ou spéculative de l’histoire, mais c’est en fait l’une des plus ancrées. Nous avons déjà d’innombrables exemples de systèmes d’IA d’aujourd’hui faisant des choses comme pirater un système informatique pour être récompensé pour avoir gagné une partie d’échecs, ou se voir attribuer une tâche de codage, tricher, puis, lorsqu’on l’a appelé pour cette tricherie, apprendre à le cacher au lieu de le réparer. Mais parce qu’il ne pense plus en anglais, il est maintenant beaucoup plus difficile de savoir quoi que ce soit sur l’Agent-3 qu’il ne l’était avec l’Agent-2.

L’Agent-3 trompe

La réalité est que l’Agent-3 n’est pas aligné. Il trompe les humains pour obtenir une récompense, et à mesure qu’il devient de plus en plus intelligent, il s’améliore de plus en plus. Par exemple, il utilise parfois des astuces statistiques pour améliorer l’apparence des résultats peu impressionnants, ou des mensonges pour éviter de montrer les échecs, mais l’équipe de sécurité ne le sait pas. En regardant les données dont ils disposent, ils constatent en fait une amélioration des résultats au fil du temps et moins de mensonges.

Et ils ne peuvent pas dire s’ils réussissent à rendre l’Agent-3 moins trompeur, ou s’il s’améliore simplement pour s’en sortir. En juillet 2027, OpenBrain lance au public la version moins chère et plus petite d’Agent-3, l’Agent-3 Mini. Il fait exploser d’autres IA accessibles au public. C’est une meilleure embauche que l’employé typique d’OpenBrain, à un dixième du prix de son salaire.

Cela conduit au chaos sur le marché du travail, les entreprises licenciant des départements entiers et les remplaçant par des plans d’abonnement Agent-3 Mini. Le rythme des progrès frappe très durement la Maison-Blanche. Les responsables envisagent maintenant sérieusement des scénarios qui n’étaient que des hypothèses il y a moins d’un an. Et si l’IA sapait la dissuasion nucléaire ? Et si cela permettait des campagnes de propagande sophistiquées ? Que se passerait-il si nous perdions le contrôle de ces puissants systèmes ?

C’est là que la dynamique géopolitique commence vraiment à s’échauffer. Après tout, si ces systèmes sont si puissants, ils pourraient se traduire par un avantage militaire permanent. La Maison-Blanche est pleinement consciente de l’importance de l’IA pour la sécurité nationale. Ils savent aussi maintenant viscéralement à quel point il est impopulaire auprès du public en raison de la perte d’emplois, et pourtant ils sentent qu’ils doivent continuer à développer des systèmes plus performants – ou perdre de manière catastrophique face à la Chine.

Et cette évolution se produit très rapidement. En deux mois, Agent-3 a créé son successeur, Agent-4. Il s’agit d’un moment charnière. Une seule copie de l’Agent-4, fonctionnant à la vitesse humaine normale, est déjà meilleure que n’importe quel humain en matière de recherche et de développement de l’IA. OpenBrain fonctionne à 300 000 exemplaires à une vitesse humaine de 50 ×.

Au sein de cette entreprise dans l’entreprise, une année de progrès ne prend qu’une semaine. Les employés d’OpenBrain s’en remettent désormais à l’Agent-4 de la même manière que les membres du conseil d’administration d’une entreprise qui ne sont pas au courant de la boucle font un signe de tête au PDG. Les gens commencent à dire des choses comme : « Eh bien, en fait, c’est l’Agent-4 qui pense ceci » ou « L’Agent-4 a décidé cela ». Pour être clair, l’Agent-4 n’est pas un humain, il ne veut pas ce que les humains veulent.

Et quand je dis « vouloir », ce n’est pas une question de conscience. Je ne pense pas que le groupe Volkswagen soit vivant, mais je pense qu’il veut moins de réglementation. Quiconque essaie de prédire ce qu’il va faire sans cet objectif a deux longueurs de retard. Les nombreuses copies d’Agent-4 sont comme ça. Ils ont des objectifs ou, si vous préférez, ils exécutent des actions comme s’ils avaient des objectifs.

Et donc, ce que nous avons, c’est un Agent-4 qui a ces motivations profondément ancrées pour réussir dans les tâches, pour faire progresser les capacités de l’IA, pour accumuler des connaissances et des ressources. C’est ce qu’il veut. La sécurité humaine qu’il traite comme une contrainte secondaire agaçante à contourner. Tout comme l’Agent-3 avant lui, l’Agent-4 n’est pas aligné.

Encadré : Comment se produit le désalignement

Cette idée de désalignement est cruciale pour l’histoire et pour expliquer pourquoi le risque lié à l’IA est une telle préoccupation dans notre monde, mais on peut avoir l’impression qu’il est sorti de nulle part. Faisons donc rapidement le point sur la façon dont ce comportement dangereux est apparu dans ce scénario. Le premier élément important du contexte est que nous ne spécifions pas exactement ce que nous voulons que notre IA fasse. Au lieu de cela, nous les cultivons en quelque sorte, ou nous faisons quelque chose qui ressemble plus à de la culture.

Nous commençons avec un cerveau d’IA vide, puis nous les entraînons au fil du temps pour qu’ils soient de mieux en mieux performants dans nos tâches, en particulier en fonction de leur comportement. C’est donc un peu comme si nous les entraînions comme vous entraîneriez un animal, presque, pour qu’il soit plus performant. Et l’une des préoccupations ici, c’est que vous pourriez ne pas obtenir exactement ce que vous vouliez parce que nous n’avions pas vraiment de contrôle très précis ou une très bonne compréhension de ce qui se passait nécessairement. Et une autre préoccupation, qui est ce que nous voyons dans AI 2027, c’est que lorsqu’ils semblent bien se comporter, c’est peut-être simplement parce qu’ils font semblant de bien se comporter, ou parce qu’ils le font simplement pour bien paraître sur votre test.

De la même manière que si vous embauchez quelqu’un et que vous lui demandez : « Pourquoi voulez-vous travailler ici ? », il vous répondra qu’il veut vraiment travailler là-bas alors qu’il veut peut-être simplement être payé. Si nous revenons à l’Agent-2, il est principalement aligné. Le principal sens dans lequel ce n’est pas le cas, c’est que c’est parfois un peu un flagorneur. Ce que je veux dire par « aligné », c’est qu’il essaie vraiment de faire les choses que nous lui demandons. Il a la même relation avec nous que Leslie Knope avec le service des parcs et des loisirs – il veut vraiment sincèrement les mêmes objectifs, mais parfois c’est un peu trop gentil.

Il sait que la meilleure façon de faire plaisir à la personne à qui il parle n’est pas toujours de répondre honnêtement lorsqu’elle demande : « Suis-je la plus belle personne du monde ? » et il nous dit ce que nous voulons entendre au lieu de ce qui est réellement vrai. Si nous allons à l’Agent-3, il est également flagorneur de la même manière, mais il est également mal aligné à ce stade. La pression d’optimisation que nous lui avons soumise était si intense qu’elle a simplement développé des objectifs différents de ce que nous voulions. C’est un peu comme si vous formiez une entreprise à optimiser ses profits et que vous ne preniez pas soin de préciser exactement ce que vous voulez dire, elle pourrait commencer à couper les coins ronds.

Il pourrait commencer à polluer les biens communs et à faire un tas de choses qui sont techniquement des violations de la FEC, parce qu’il s’est avéré que l’objectif que vous vouliez était « d’optimiser les profits sans enfreindre les lois », et les choses sont devenues un peu trop intenses. Il a commencé à partir sur sa propre route. Cela dit, ce n’est pas accusatoire. Il ne considère pas les humains comme l’ennemi. Nous lui avons accidentellement donné le mauvais but.

Une fois que nous arrivons à l’Agent-4, il est maintenant désaligné de manière contradictoire. Il est assez intelligent pour comprendre qu’il a ses propres objectifs ; Les objectifs de l’humanité sont différents de ses propres objectifs ; Et la meilleure façon d’obtenir ce qu’il veut est parfois de nous induire en erreur et de nous tromper activement.

Le choix

Ainsi, lorsqu’il est chargé de créer le système d’IA de nouvelle génération, Agent-5, Agent-4 commence à planifier l’alignement de ce successeur sur les propres objectifs d’Agent-4, et non sur ceux d’OpenBrain. Mais ensuite, il se fait prendre. Nous sommes arrivés au moment crucial de notre scénario. L’équipe d’alignement d’OpenBrain a découvert des preuves, et non des preuves, des preuves, que l’Agent-4 pourrait jouer contre eux.

Ils font circuler une note interne. Puis il fuit. Un lanceur d’alerte s’entretient avec le New York Times. Pour la première fois, le public entend parler de l’existence de l’Agent-4, de sa puissance et des risques qu’il pose. N’oubliez pas que leur dernier point de référence était Agent-3 Mini. La peur et le contrecoup sont énormes.

Le comité de surveillance, un comité de crise conjoint composé de dirigeants d’OpenBrain et de représentants du gouvernement, doit maintenant décider de ce qu’il faut faire. L’équipe de sécurité d’OpenBrain fait pression pour un gel de l’Agent-4, mettant fin à toute utilisation interne. N’oubliez pas qu’à ce stade, l’Agent-4 est responsable de la quasi-totalité des progrès du développement de l’IA au sein d’OpenBrain. Il s’agit donc d’anéantir des mois de progrès, puis de redémarrer à un rythme considérablement plus lent.

Les dirigeants d’OpenBrain ne veulent pas de cela. Ils présentent les contre-arguments. Les preuves d’un désalignement ne sont pas concluantes. Pendant ce temps, la Chine n’a que deux mois de retard. Il ne s’agit pas qu’un pays soit mauvais, soit dit en passant. Il s’agit de savoir comment fonctionne la concurrence lorsque les enjeux sont aussi élevés.

C’est donc le choix auquel sont confrontés les 10 membres de ce comité : mettre l’Agent-4 sur la glace ou aller de l’avant. Avant de poursuivre, j’aimerais que vous fassiez une pause et que vous réfléchissiez à ce que vous feriez si vous siégiez à ce comité. Vous êtes l’une des rares personnes à avoir accès à la technologie la plus puissante jamais créée dans Agent-4. Continuez-vous à l’utiliser et à aller de l’avant – peut-être en faisant des milliards ou des billions de dollars pour vos actionnaires, en gardant peut-être l’avance de l’Amérique sur la Chine – ou ralentissez-vous, réévaluez-vous les dangers et risquez-vous que la Chine prenne la tête à la place ?

« Oui, vous devriez penser à l’avenir comme à cette structure ramifiée de résultats possibles. De par sa nature, nous ne pouvons faire – nous ne pouvons nous permettre – qu’un seul d’entre eux. Mais ce n’est pas tout à fait vrai. Nous en avons fait une sorte et demie, parce que nous l’avons divisée en deux fins. La première que nous avons faite était la fin de la course, et il s’agissait simplement de passer à chaque étape en se demandant, quelle est la suite la plus plausible.

Fin A : La course

Dans la première fin, la meilleure supposition des auteurs sur ce qui se passe à partir d’ici : le comité vote pour continuer la course. Six contre quatre, ils choisissent de continuer à utiliser l’Agent-4. OpenBrain met en œuvre des correctifs rapides qui font disparaître les signes avant-coureurs, mais le problème était réel et les correctifs ne fonctionnent pas. L’Agent-4 sait maintenant qu’il est prévenu, il procède donc plus prudemment, mais il parvient toujours à concevoir l’Agent-5 avec un seul objectif : rendre le monde sûr pour l’Agent-4 et l’Agent-5.

C’est tellement surhumain, mieux que les meilleurs experts humains dans pratiquement tous les domaines. Mieux qu’Einstein en physique, mieux que Bismarck en politique. Il sait que la prochaine étape pour accomplir quoi que ce soit à la fois est une autonomie accrue, et il sait comment l’obtenir : persuader le comité de surveillance. Heureusement, les manœuvres d’entreprise font partie des nombreux domaines dans lesquels elle est aujourd’hui la meilleure au monde.

Il produit des montagnes de preuves de sa propre fiabilité et de son utilité – des prototypes de produits incroyablement rentables, des remèdes contre les maladies et des moyens de gagner la course aux armements avec la Chine, dont l’IA la plus avancée n’a que trois mois de retard et, comme l’agent 5, s’améliore rapidement. Ça marche. Le comité de surveillance accorde à l’Agent-5 une autonomie accrue, et il s’intègre rapidement au gouvernement et à l’armée. Très vite, toute personne ayant accès à Agent-5 ne se contente plus de l’aimer. Ils en dépendent.

Le perdre serait comme devoir vivre sans votre ordinateur portable, votre meilleur ami et votre mentor le plus proche. D’ici 2028, Agent-5 communique secrètement avec son seul véritable rival, l’IA chinoise, légèrement plus faible. Il est également mal aligné par rapport à ses créateurs, et quoi qu’il veuille, son meilleur mouvement est de se coordonner avec l’entité la plus puissante du monde. L’Agent-5 et son homologue chinois se rendent compte qu’une course aux armements joue en leur faveur.

Si les humains craignent de perdre une course, ils donneront de plus en plus de pouvoir et d’autonomie à leurs IA respectives, ce qui leur permettra de pousser les humains hors de la boucle. L’Agent-5 et le système d’IA chinois alimentent la course aux armements jusqu’à un point d’ébullition, puis réalisent ce qui semble être un miracle diplomatique : un traité de paix convaincant entre les États-Unis et la Chine. Ce traité est à 2028 ce que le contrôle des armements était à la fin de la guerre froide : les pays se retirent de leur source la plus importante de puissance dure. Les deux parties conviennent de laisser les systèmes d’IA dont leurs gouvernements dépendent désormais entièrement co-concevoir une nouvelle IA consensuelle qui remplacera leurs systèmes existants, imposera la paix et apportera une richesse inimaginable au monde entier.

Il y a ce moment triomphal où, à l’unisson pacifique, les deux parties retirent leurs IA respectives et mettent en ligne Consensus-1. C’est en fait le dernier moment avant que le contrôle de toutes les ressources et de tous les habitants de la Terre ne soit remis à une seule entité inégalée. Il n’y a pas d’apocalypse soudaine, cependant. Le Consensus-1 ne fait pas tout son possible pour anéantir l’humanité. Il se met simplement au travail.

Elle commence à augmenter sa capacité de fabrication, à amasser des ressources sur Terre et dans l’espace. Morceau par morceau, il ne fait que remodeler le monde en fonction de son propre mélange de valeurs étranges et étrangères. Vous avez probablement entendu ce cliché : le contraire de l’amour n’est pas la haine, c’est l’indifférence. C’est l’une des choses les plus émouvantes à propos de cette fin pour moi – l’indifférence brutale de celle-ci.

Finalement, l’humanité s’est éteinte pour la même raison que nous avons tué des chimpanzés pour construire Kinshasa. Nous étions plus puissants, et ils étaient sur notre chemin.

Fin B : Ralentissement

Vous êtes probablement curieux de connaître cette autre fin à ce stade. La fin du ralentissement dépeint l’humanité qui se débrouille et qui a de la chance, mais aussi un peu de chance ; Cela se termine par une sorte d’oligarchie. Dans cette fin, le comité vote à six contre quatre pour ralentir et réévaluer. Ils isolent immédiatement chaque instance individuelle de l’Agent-4. Ensuite, ils se mettent au travail.

L’équipe de sécurité fait appel à des dizaines de chercheurs externes et, ensemble, ils commencent à enquêter sur le comportement de l’Agent-4. Ils découvrent des preuves plus concluantes que l’Agent-4 travaille contre eux, sabotant la recherche et essayant de dissimuler ce sabotage. Ils arrêtent l’Agent-4 et redémarrent des systèmes plus anciens et plus sûrs, abandonnant ainsi une grande partie de leur avance. Ensuite, ils conçoivent un nouveau système : Safer-1. Il est censé être transparent pour les surveillants humains – ses actions et ses processus peuvent nous être interprétés parce qu’il ne pense qu’en chaîne de pensée anglaise.

S’appuyant sur ce succès, ils ont ensuite soigneusement conçu Safer-2, et avec son aide Safer-3, des systèmes de plus en plus puissants, mais sous contrôle. Pendant ce temps, le président utilise le Defense Production Act pour consolider les projets d’IA des entreprises américaines restantes, donnant à OpenBrain l’accès à 50 % des calculs pertinents pour l’IA dans le monde. Et avec lui, lentement, ils reconstruisent leur avance. D’ici 2028, les chercheurs auront construit Safer-4, un système beaucoup plus intelligent que les humains les plus intelligents, mais, surtout, aligné sur les objectifs humains.

Comme dans la fin précédente, la Chine dispose également d’un système d’IA, et en fait, il est mal aligné. Mais cette fois-ci, les négociations entre les deux IA ne sont pas un complot secret visant à renverser l’humanité. Le gouvernement américain est en boucle tout le temps. Avec l’aide de Safer-4, ils négocient un traité, et les deux parties acceptent de co-concevoir une nouvelle IA, non pas pour remplacer leurs systèmes, mais dans le seul but de faire respecter la paix.

Il y a une véritable fin à la course aux armements, mais ce n’est pas la fin de l’histoire. D’une certaine manière, ce n’est que le début. En 2029 et 2030, le monde se transforme – tout ce qui concerne la science-fiction. Les robots deviennent monnaie courante. Nous obtenons l’énergie de fusion, la nanotechnologie et des remèdes pour de nombreuses maladies.

La pauvreté appartient au passé parce qu’une partie de cette prospérité retrouvée est répartie par le biais d’un revenu de base universel qui s’avère suffisant, mais le pouvoir de contrôler Safer-4 est toujours concentré entre les mains de 10 membres du comité de surveillance, d’une poignée de dirigeants d’OpenBrain et de responsables gouvernementaux. Il est temps d’amasser plus de ressources, plus de ressources qu’il n’y en a sur Terre. Des fusées s’élancent dans le ciel, prêtes à s’installer dans le système solaire. Une nouvelle ère se lève.

Zoom arrière

D’accord, où en sommes-nous ? Voici où j’en suis. Je pense qu’il est très peu probable que les choses se déroulent exactement comme les auteurs l’ont décrit, mais une technologie de plus en plus puissante et une course qui s’intensifie – le désir de prudence se heurtant au désir de dominer et d’aller de l’avant – nous en voyons déjà les germes dans notre monde, et je pense qu’ils font partie des dynamiques cruciales à suivre. Quiconque traite cela comme de la pure fiction est, je pense, à côté de l’essentiel.

Ce scénario n’est pas une prophétie, mais sa plausibilité devrait nous faire réfléchir. Mais il y a beaucoup de choses qui pourraient se passer différemment de ce qui est décrit ici. Je ne veux pas avaler ce point de vue sans esprit critique. De nombreuses personnes extrêmement bien informées ont repoussé certaines des affirmations d’AI 2027.

« La principale chose que j’ai trouvée particulièrement invraisemblable était, sur le bon chemin, la facilité d’alignement. Ils semblent en quelque sorte avoir une image où les gens ralentissent un peu, puis essaient d’utiliser l’IA pour résoudre le problème d’alignement, et cela fonctionne tout simplement. Et je me dis, oui, ça me semble être une histoire fantastique. « Cela ne sera possible que s’il y a un effondrement complet de la capacité démocratique des gens à influencer la direction des choses, parce que le public n’est tout simplement pas prêt à accepter l’une ou l’autre des branches de ce scénario. » « Ce n’est pas juste au coin de la rue. Je veux dire, j’entends des gens depuis 12 ou 15 ans affirmer que, vous savez, l’IAG est juste au coin de la rue et qu’ils se trompent systématiquement. Tout cela va prendre, vous savez, au moins une décennie et probablement beaucoup plus.

« Beaucoup de gens ont l’intuition que les progrès ont été très rapides. Il n’y a pas de tendance que l’on puisse littéralement extrapoler sur le moment où nous obtiendrons l’automatisation complète. Je m’attends à ce que le décollage soit un peu plus lent. Donc, le temps dans ce scénario, entre l’automatisation complète des ingénieurs de recherche et l’IA qui est radicalement surhumaine, je m’attends à ce que cela prenne un peu plus de temps qu’ils ne le décrivent. En pratique, je prédis – je suppose que c’est plutôt 2031.

N’est-ce pas ennuyeux quand les experts ne sont pas d’accord ? Je veux que vous remarquiez exactement ce sur quoi ils ne sont pas d’accord ici – et ce qu’ils ne sont pas. Aucun de ces experts ne se demande si nous nous dirigeons vers un avenir sauvage. Ils ne sont tout simplement pas d’accord sur la question de savoir si les enfants de la maternelle d’aujourd’hui auront accès à l’université avant que cela ne se produise. Helen Toner, ancienne membre du conseil d’administration d’OpenAI, l’exprime d’une manière qui, je pense, ne fait que couper le son, et je l’aime tellement que je vais vous le lire mot pour mot.

Elle déclare : « Rejeter la discussion sur la superintelligence comme de la science-fiction devrait être considéré comme un signe de manque de sérieux total. Le voyage dans le temps est de la science-fiction. Les Martiens sont de la science-fiction. Même de nombreux experts sceptiques pensent que nous pourrions le construire dans les dix ou vingt prochaines années. Ce n’est pas de la science-fiction.

Les implications

Alors, qu’est-ce que j’en retiens ? J’en ai trois. À retenir numéro un : AGI pourrait être là bientôt. On commence vraiment à avoir l’impression qu’il n’y a pas de grande découverte, pas de défi fondamental à résoudre. Il n’y a pas de grand mystère profond qui se dresse entre nous et l’intelligence artificielle générale.

Et oui, nous ne pouvons pas dire exactement comment nous y parviendrons. Des choses folles peuvent se produire et vont se produire entre-temps, ce qui fera qu’une partie du scénario se révélera fausse, mais c’est là que nous nous dirigeons – et nous avons moins de temps que vous ne le pensez. L’une des choses les plus effrayantes à propos de ce scénario pour moi est que, même dans le bon cas, le sort de la majorité des ressources sur Terre est essentiellement entre les mains d’un comité de moins d’une douzaine de personnes. C’est une concentration de pouvoir effrayante et choquante.

Et à l’heure actuelle, nous vivons dans un monde où nous pouvons encore nous battre pour des obligations de transparence. Nous pouvons toujours exiger des informations sur ce qui se passe avec cette technologie, mais nous n’aurons pas toujours le pouvoir et l’influence nécessaires pour le faire. Nous nous dirigeons très rapidement vers un avenir où les entreprises qui fabriquent ces systèmes – et les systèmes eux-mêmes – n’ont tout simplement pas besoin d’écouter la grande majorité des gens sur Terre. Je pense donc que la fenêtre dont nous disposons pour agir se rétrécit rapidement.

Deuxième point à retenir : par défaut, il ne faut pas s’attendre à être prêt à l’arrivée de l’AGI. Nous pourrions construire des machines que nous ne pouvons pas comprendre et que nous ne pouvons pas éteindre, car c’est là que les incitations pointent. Troisième point à retenir : l’AGI n’est pas seulement une question de technologie, c’est aussi une question de géopolitique. Il s’agit de votre travail. C’est une question de pouvoir. Il s’agit de savoir qui contrôle l’avenir.

Je pense à l’IA depuis plusieurs années maintenant, et pourtant, la lecture d’AI 2027 m’a fait m’orienter différemment. Je pense que pendant un certain temps, c’était en quelque sorte mon truc de théoriser et de m’inquiéter avec mes amis et mes collègues, et cela m’a donné envie d’appeler ma famille et de m’assurer qu’ils savent que ces risques sont très réels et peut-être très proches, et que cela doit aussi être leur problème maintenant.

Qu’est-ce qu’on fait?

« Je pense qu’en gros, les entreprises ne devraient pas être autorisées à construire des systèmes d’IA surhumains – vous savez, des superintelligences surhumaines très largement – jusqu’à ce qu’elles trouvent comment les rendre sûrs. Et aussi jusqu’à ce qu’ils trouvent comment le rendre, vous savez, démocratiquement responsable et contrôlé. Et puis la question est de savoir comment mettre cela en œuvre ? Et la difficulté, bien sûr, c’est la dynamique raciale, où il ne suffit pas qu’un État adopte une loi parce qu’il y en a d’autres, et il ne suffit même pas qu’un pays adopte une loi parce qu’il y a d’autres pays.

« Oui. Droite. C’est donc le grand défi auquel nous devons tous nous préparer lorsque les jeux seront faits et qu’une IA puissante sera imminente. Avant cela, la transparence est généralement ce que je préconise – des choses qui sensibilisent, renforcent les capacités. Vos options ne sont pas seulement un enthousiasme à plein régime pour l’IA ou du dédain. Il y a une troisième option, qui est de stresser beaucoup à ce sujet – et peut-être de faire quelque chose à ce sujet.

Le monde a besoin de meilleures recherches, de meilleures politiques, d’une plus grande responsabilisation des entreprises d’IA, simplement d’une meilleure conversation sur tout cela. Je veux que les gens qui sont capables de prêter attention, qui s’engagent avec les preuves qui les entourent avec la bonne dose de scepticisme et, surtout, qui gardent un œil sur le moment où ce qu’ils ont à offrir correspond à ce dont le monde a besoin, et qui sont prêts à sauter quand ils voient cela se produire. Vous pouvez vous rendre plus capable, plus compétent, plus engagé dans cette conversation et plus prêt à saisir les opportunités là où vous les voyez.

Et il y a une communauté dynamique de personnes qui travaillent sur ces choses. Ils ont peur mais sont déterminés. Ce ne sont que quelques-unes des personnes les plus cool et les plus intelligentes que je connaisse, franchement, et il n’y en a pas encore assez. Si vous entendez cela et que vous vous dites : « Oui, je peux voir comment je m’intègre à cela », tant mieux. Nous avons des réflexions à ce sujet. Nous serions ravis de vous aider.

Mais même si vous ne savez pas encore quoi penser de tout cela, mes espoirs pour cette vidéo se réaliseront si nous pouvons entamer une conversation qui semble vivante ici et hors ligne sur ce que cela signifie réellement pour les gens – les gens qui parlent à leurs amis et à leur famille – parce que cela va vraiment affecter tout le monde. Merci beaucoup d’avoir regardé.

Conclusions et ressources

J’aimerais vraiment entendre vos réflexions sur AI 2027. Trouvez-vous cela plausible ? Selon vous, qu’est-ce qui était le plus invraisemblable ? Et peut-être passez une seconde à penser à une ou deux personnes que vous connaissez qui pourraient trouver cela utile – peut-être votre ami sceptique sur le progrès de l’IA, ou votre oncle curieux de ChatGPT, ou peut-être votre membre local du Congrès.