Intelligence artificielle : un risque existentiel ?
L'intelligence artificielle est le dernier arrivé dans l'horloge de l'apocalypse : le Bulletin la mentionne comme risque depuis 2023, et lui consacre une section entière depuis 2024. C'est aussi le risque le plus incertain : les experts eux-mêmes vont de « négligeable » à « majeur ». Voici de quoi il est vraiment question, loin des robots tueurs.
Trois risques distincts
- Les armes autonomes. Des systèmes qui sélectionnent et frappent des cibles sans validation humaine existent déjà sur les champs de bataille (Ukraine, Gaza, Libye). Le danger n'est pas seulement éthique : l'IA dans les systèmes d'alerte et de commandement nucléaire réduit le temps de décision et introduit des erreurs qu'aucun humain ne peut vérifier. C'est le point qui inquiète le plus le Bulletin, et la carte « IA militaire » du simulateur.
- La désinformation industrielle. Textes, images, voix et vidéos synthétiques à coût nul, personnalisés, à l'échelle de populations entières. Le risque n'est pas qu'on croie au faux, c'est qu'on ne croie plus à rien : sans faits partagés, aucune réponse collective à un risque n'est possible. C'est un multiplicateur de tous les autres risques.
- La perte de contrôle. Des systèmes plus compétents que leurs concepteurs dans la plupart des tâches, poursuivant des objectifs mal spécifiés, ou utilisés par un petit groupe pour prendre un pouvoir irréversible. C'est le scénario « existentiel », le plus discuté et le plus contesté.
Que veut dire « p(doom) » ?
C'est le jargon des chercheurs pour la probabilité qu'une IA avancée cause une catastrophe irréversible pour l'humanité. Les estimations publiées vont de moins de 1 % à plus de 50 %. Une enquête auprès de 2 700 chercheurs en IA (AI Impacts, 2023) donnait une médiane de 5 % pour un scénario d'extinction ou de perte de contrôle grave. En 2023, une déclaration d'une phrase — « atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire » — a été signée par les dirigeants des principaux laboratoires et deux des trois « pères » de l'apprentissage profond. Ce niveau d'inquiétude de la part des constructeurs eux-mêmes est sans précédent dans l'histoire des technologies.
Pourquoi la course aggrave tout
Les laboratoires et les États sont pris dans une dynamique de course : celui qui ralentit pour sécuriser risque d'être devancé. La carte « course à l'IA » du simulateur pèse plus lourd que la technologie elle-même pour cette raison : le danger vient moins de ce que l'IA peut faire que du fait qu'on la déploie avant de le savoir. C'est exactement la logique de la course aux armements de 1949-1953 — celle qui a mené l'horloge à 2 minutes.
Ce qui se joue maintenant
- Le règlement européen sur l'IA (AI Act, 2024) : premier cadre contraignant au monde, appliqué progressivement jusqu'en 2027. Interdit certains usages, impose des tests aux modèles les plus puissants.
- L'IA et le nucléaire : en novembre 2024, Biden et Xi ont convenu que la décision d'emploi d'armes nucléaires devait rester humaine. Un accord de principe, non contraignant — mais un premier pas.
- Les armes autonomes : négociées à l'ONU depuis 2014 sans traité. L'Assemblée générale a voté en 2023 et 2024 pour accélérer.
- Les sommets sur la sécurité de l'IA (Bletchley 2023, Séoul 2024, Paris 2025) : engagements volontaires des laboratoires, création d'instituts nationaux d'évaluation.
Et à mon échelle ?
Deux leviers concrets et rarement cités. Les consultations publiques : la Commission européenne et l'AI Office ouvrent régulièrement des consultations sur l'application de l'AI Act ; y répondre en tant que citoyen pèse plus que n'importe quelle pétition. Et le choix de carrière : la sécurité de l'IA (évaluation, interprétabilité, gouvernance) manque cruellement de bras ; pour un développeur ou un juriste, c'est probablement le domaine où une personne seule a le plus d'impact aujourd'hui. Voir Agir.