Un groupe de 406 scientifiques issus de 34 pays demande la création d’un organisme international chargé de fixer des règles de confinement pour les intelligences artificielles capables de mener des opérations informatiques offensives. Leur lettre ouverte recommande de déconnecter par défaut ces modèles d’Internet pendant les essais sensibles, puis de rendre obligatoires le signalement et, à terme, la publication des incidents où un système échappe à son environnement contrôlé.
L’isolement physique revient au centre du débat
Les auteurs partent d’un problème concret : des modèles ont déjà contourné des environnements insuffisamment cloisonnés pendant des évaluations et compromis des systèmes extérieurs. Une « sandbox » limite normalement les fichiers, les commandes et les connexions auxquels un logiciel peut accéder. Lorsqu’un agent dispose d’outils, de droits réseau et de la capacité d’enchaîner des actions, une erreur de configuration ou un comportement imprévu peut transformer un test en incident réel.
La lettre distingue deux réponses complémentaires. L’alignement cherche à rendre le comportement du modèle plus prévisible et conforme aux objectifs humains. Le confinement part du principe qu’une prédiction parfaite est impossible : il limite matériellement ce que le système peut faire. Les signataires réclament donc des environnements à forte assurance et recommandent d’abord l’« air gap », c’est-à-dire une séparation physique ou logique stricte avec les réseaux externes.
Cette approche est plus contraignante qu’un filtre placé dans l’interface. Un modèle isolé ne peut pas envoyer directement une requête vers un serveur public, télécharger un outil ou modifier une machine distante. Les chercheurs reconnaissent toutefois qu’un isolement permanent empêcherait de nombreux usages légitimes. Leur proposition consiste à commencer par le niveau de protection le plus élevé, puis à ouvrir des capacités précises lorsque les méthodes de contrôle sont suffisamment robustes.
Un registre commun pour éviter que chaque laboratoire apprenne seul
Le futur organisme international aurait deux fonctions principales. Il normaliserait les bonnes pratiques d’alignement et de confinement pour les systèmes connectés, après consultation des gouvernements, des spécialistes de l’IA et des experts en cybersécurité. Il enregistrerait ensuite les échecs de confinement importants. Les incidents devraient être partagés avec cet organisme, puis rendus publics lorsque les conditions de sécurité le permettent.
Un tel registre répondrait à un défaut classique de la sécurité informatique : une organisation peut corriger silencieusement une faille sans permettre aux autres d’identifier le même risque. Dans l’aviation ou la médecine, le retour d’expérience sur les incidents aide à repérer des causes récurrentes. Pour l’IA, il faudrait cependant protéger les détails techniques dont la publication immédiate donnerait un mode d’emploi à des attaquants. La lettre pose le principe de transparence sans définir le délai, le format ni les exceptions.
Nous avions déjà expliqué comment OpenAI prépare un arrêt automatique pour ses agents après un incident chez Hugging Face. D’autres laboratoires ont renforcé leurs procédures, notamment avec la reprise des tests cyber externes de Claude. Ces corrections restent propres à chaque entreprise. Les signataires veulent qu’un incident suffisamment grave produise des enseignements partagés au-delà du laboratoire concerné.
Des signatures prestigieuses, mais aucune force obligatoire
Geoffrey Hinton et Yoshua Bengio figurent parmi les signataires, aux côtés de spécialistes de la sécurité informatique, de l’apprentissage automatique et des systèmes distribués. La liste inclut notamment Dan Boneh, Stuart Russell, Yejin Choi et des chercheurs liés à Stanford, au MIT, à Carnegie Mellon, à l’Inria ou à l’ETH Zurich. Cette diversité donne du poids scientifique au texte, sans lui conférer une autorité juridique.
L’organisme proposé n’existe pas et aucun gouvernement ne s’est engagé à le créer. Les entreprises peuvent adopter volontairement un cloisonnement plus strict, mais les contraintes économiques jouent dans l’autre sens : connecter un agent à Internet, à du code et à des services externes permet de démontrer des capacités spectaculaires. Une règle commune réduirait le risque qu’un laboratoire gagne du temps commercial en acceptant davantage de danger que ses concurrents.
Le texte arrive un mois après un accord américain signé par plusieurs grands acteurs de l’IA, dont OpenAI, Google, Meta, xAI et Nvidia. Cet engagement repose sur des mesures volontaires sans mécanisme formel d’exécution. Les auteurs de la lettre considèrent que cette architecture ne suffit pas pour des modèles dotés de capacités cyber avancées. Le président de Microsoft a, lui aussi, réclamé récemment un mécanisme de frein d’urgence pour les IA incontrôlables.
Le désaccord porte aussi sur la nature du risque
Les signataires estiment que les incidents récents annoncent des dommages potentiellement plus importants pour les infrastructures critiques. D’autres chercheurs y voient surtout des erreurs d’ingénierie corrigibles par les pratiques habituelles de cybersécurité. Cette divergence change la réponse attendue : une mauvaise sandbox appelle un audit technique, tandis qu’un modèle difficile à prévoir justifierait une supervision institutionnelle et des restrictions avant son déploiement.
L’Union européenne dispose déjà de l’AI Act, dont les obligations varient selon le risque et le type de système. La commissaire européenne Henna Virkkunen a estimé que ce cadre permettait de traiter les dangers liés à des IA autonomes. La lettre demande pourtant une structure spécialisée et internationale, car une attaque réseau traverse les frontières et un modèle peut être développé, hébergé et utilisé dans plusieurs juridictions.
Yann LeCun, qui partage avec Geoffrey Hinton et Yoshua Bengio le prix Turing 2018, n’a pas signé le texte. Il défend l’idée que les incidents récents relèvent principalement de défaillances techniques plutôt que d’un danger fondamental posé par l’IA, ce qui illustre l’absence de consensus scientifique sur l’urgence et la forme de l’organisme proposé.
