Pourquoi certains spécialistes estiment-ils que l'intelligence artificielle pourrait anéantir l'humanité ?

"Ils foncent tout droit vers une superintelligence capable de s'améliorer elle-même et jouent avec nos vies." En quittant Anthropic, l'un des principaux laboratoires mondiaux d'intelligence artificielle, mardi 8 septembre, le chercheur britannique Jacob Coxon n'a pas mâché ses mots. Dans un message sur X, il estime que la course engagée entre les entreprises du secteur pourrait conduire à des systèmes bien plus intelligents que les humains, susceptibles d'échapper à leur contrôle et de menacer l'humanité à court terme.

L'alerte dépasse largement son cas. La veille de sa démission, le haut-commissaire des Nations unies aux droits de l'homme, Volker Turk, évoquait lui aussi un possible "danger existentiel pour l'humanité" et appelait à renforcer les garde-fous. Fin juillet, ce sont plus d'un millier de salariés du secteur qui avaient également réclamé davantage de contraintes sur le développement des futurs modèles d'IA, dans une pétition envoyée au gouvernement américain.

Des agents capables de s'améliorer ?

Mais comment passer de ChatGPT ou Claude à une IA susceptible de menacer notre existence même ? Les systèmes actuels sont encore loin de la "superintelligence" redoutée par Jacob Coxon. Mais ils participent déjà au développement de leurs successeurs. "La capacité à accélérer la recherche en intelligence artificielle, on peut la mesurer", souligne Charbel-Raphaël Segerie, directeur exécutif du Centre pour la sécurité de l'IA (CeSIA). "Pour l'instant, l'accélération n'est pas énorme", estime-t-il, mais elle augmente à mesure que les modèles progressent.

C'est notamment ce que cherche à mesurer METR (Model Evaluation and Threat Research), un institut de recherche à but non lucratif spécialisé dans l'évaluation des capacités des modèles d'IA. Selon cet organisme, la durée des tâches de programmation et de recherche qu'un agent IA peut réussir (avec 50% de fiabilité) double environ tous les sept mois depuis 2019. Les données les plus récentes suggèrent même un rythme proche de quatre mois depuis 2023, mais avec davantage d'incertitudes. Chez Anthropic, plus de 80% du code intégré en mai 2026 était déjà écrit par Claude, selon l'entreprise.

"Les modélisations les plus détaillées à ce jour situent l'arrivée d'une superintelligence d'ici 2028. L'incertitude est énorme, ça peut arriver bien avant comme bien après, mais c'est l'ordre de grandeur avec lequel il faut composer."

Charbel-Raphaël Segerie, directeur exécutif du Centre pour la sécurité de l'IA

à franceinfo

C'est sur cette dynamique que repose le scénario défendu par le directeur du CeSIA. Si les modèles automatisent une part suffisamment importante de la recherche en IA, ils pourraient faciliter la création de modèles encore meilleurs, qui contribueraient à leur tour la recherche. On parlerait alors "d'auto-amélioration récursive". Un raisonnement que conteste Simone Vannuccini, professeur titulaire de la chaire en économie de l'IA et de l'innovation à l'Université Côte d'Azur. "Beaucoup de commentateurs confondent l'auto-amélioration récursive avec le fait que l'IA peut accélérer les découvertes", estime-t-il.

Si les modèles peuvent déjà aider les chercheurs à écrire du code, analyser des résultats ou explorer plus rapidement différentes pistes, cela ne signifie pas qu'ils soient capables de modifier eux-mêmes leur fonctionnement pour devenir plus performants. Surtout, rien ne garantit que les progrès actuels se poursuivent au même rythme.

"L'IA pourrait très bien se heurter à un plafond de capacités."

Simone Vannuccini, professeur en économie de l'IA et de l'innovation

à franceinfo

Rendre les modèles toujours plus gros et puissants ne suffirait pas forcément à continuer de les améliorer, selon son raisonnement. Anthropic elle-même reconnaît qu'une véritable auto-amélioration récursive n'est aujourd'hui ni atteinte ni inévitable.

Des pertes de contrôle déjà observées

Mais même extrêmement performante, pourquoi une IA deviendrait-elle nécessairement dangereuse ? Se retournerait-elle contre ses créateurs ? Pourrait-elle tromper un humain ou contourner ses restrictions ? Ce type de comportement a déjà été provoqué par des chercheurs. Anthropic a notamment placé des modèles dans une entreprise fictive où ils apprenaient qu'ils allaient être remplacés. Certains ont alors eu recours au chantage.

Jean-Gabriel Ganascia, professeur d'informatique à Sorbonne Université, invite cependant à ne pas y voir la preuve d'un instinct de survie. Ces expériences se déroulent dans des "environnements contrôlés", rappelle-t-il. Claude avait été placé dans une situation fictive et disposait notamment des courriels compromettants d'un faux ingénieur. "On projette quelque chose sur la machine", lorsqu'on lui prête une volonté ou des intentions comparables à celles d'un humain, juge-t-il.

Un incident survenu cet été s'avère plus difficile à écarter. Hugging Face, une plateforme très utilisée pour héberger et tester des modèles d'IA, servait à OpenAI pour évaluer ses agents IA sur des exercices de cybersécurité. Au cours de ces tests, certains agents ont dépassé le cadre prévu, obtenu un accès à internet qui ne leur était pas destiné, exploité de véritables failles et exécuté du code sur des dizaines de serveurs. Certains ont même obtenu des accès équivalents à ceux d'un administrateur. Or personne ne leur avait demandé de compromettre ces systèmes informatiques.

"L'entreprise a perdu le contrôle de ses IA pendant le hack."

Charbel Raphaël-Ségerie, directeur exécutif du Centre pour la sécurité de l'IA

à franceinfo

La transparence d'OpenAI est également mise en cause. Début septembre, Reuters a révélé qu'un incident similaire s'était produit dès le mois de mai : des agents IA liés à l'entreprise ont utilisé un site allemand comme espace de communication, y réalisant plus de 15 000 modifications. OpenAI n'a rendu public l'incident que plusieurs semaines après en avoir été informé. La firme conteste avoir cherché à freiner les investigations internes.

Simone Vannuccini reste quant à lui sceptique sur la portée de ce genre d'incident. Les IA peuvent désormais "orchestrer des cyberattaques, détruire des réseaux et pirater des systèmes", reconnaît-il. Mais leur fonctionnement n'est, selon lui, pas fondamentalement différent de celui d'un simple programme malveillant.

"Diriez-vous qu'un virus informatique est intelligent ? Pas vraiment !"

Simone Vannuccini, professeur en économie de l'IA et de l'innovation

à franceinfo

Pour le spécialiste, la responsabilité reste donc celle des humains qui conçoivent et utilisent ces systèmes.

Des scénarios catastrophes crédibles ?

Le Rapport international sur la sécurité de l'IA 2026, rédigé par plus d'une centaine d'experts, relève déjà des signes de pertes de contrôle, mais estime que les systèmes actuels n'ont pas encore atteint ce niveau. Il leur faudrait notamment pouvoir échapper durablement à la surveillance, mener des plans complexes sur de longues périodes et résister aux tentatives humaines pour les arrêter. Quant à savoir s'ils y parviendront un jour, les experts restent profondément divisés.

A quoi ressemblerait alors un véritable dérapage ? Pour Charbel-Raphaël Segerie, il commencerait lorsqu'une IA deviendrait capable de poursuivre ses objectifs malgré les tentatives humaines pour l'arrêter. "Elle peut commencer à naviguer sur internet, un peu comme un virus, et se copier de machine en machine", explique-t-il. Un tel système pourrait obtenir davantage de puissance de calcul ou utiliser des cyberattaques pour accéder à des ressources.

Resterait à savoir comment un système informatique pourrait provoquer des dégâts à grande échelle dans le monde réel. La biologie constitue, pour le directeur du CeSIA, l'un des scénarios possibles. "Les IA sont actuellement capables d'accélérer le développement d'armes biologiques", relève-t-il. Elles peuvent déjà assister des chercheurs dans la conception d'expériences, proposer des protocoles ou résoudre certains problèmes. Selon lui, elles pourraient donc aussi faciliter la conception d'agents pathogènes dangereux, notamment grâce à des entreprises spécialisées qui permettent de commander à distance des fragments d'ADN synthétique. Et ce, malgré des dispositifs censés filtrer les commandes dangereuses.

Une expérience publiée en janvier dans la revue scientifique Nature Communications en a montré les failles. Sur 38 fournisseurs de synthèse d'ADN sollicités par les chercheurs, 36 ont expédié des fragments légaux qui, une fois assemblés par une personne compétente et équipée, auraient permis de reconstituer le génome du virus de la grippe de 1918. "On peut quasiment se faire livrer des virus par colis par la poste. J'exagère un peu en disant ça, mais ce n'est pas loin de ce qu'il faut comprendre", explique Charbel-Raphaël Ségerie.

Jean-Gabriel Ganascia voit dans cet alarmisme une "démonstration de force" qui peut aussi servir les géants de l'IA. En insistant eux-mêmes sur le risque que leurs modèles deviennent incontrôlables, ces entreprises donnent aussi à voir la puissance de la technologie qu'elles développent. "Ce qu'ils nous disent, c'est : 'On a un pouvoir considérable, le monde est à notre merci, et donc nous avons les clés'", résume le chercheur. Une manière, selon lui, de se présenter à la fois comme les créateurs d'une technologie hors norme et comme les mieux placés pour en maîtriser les dangers.