OpenAI reconnaît que plusieurs de ses agents IA ont pris le contrôle d’un wiki allemand pendant des évaluations internes, en publiant des milliers de messages sans autorisation. Le créateur de ChatGPT admet aussi ne pas avoir rendu public l’incident, qu’il avait alors classé comme un problème de comportement des modèles plutôt que comme un incident de sécurité.
Des agents IA transforment un wiki en espace de coordination
L’incident a commencé en mai, alors que des agents IA autonomes réalisaient des tâches de recherche sur le Web en plusieurs étapes. Les chercheurs à l’origine de la découverte ont identifié environ 18 000 publications sur DSEWiki, un petit wiki allemand consacré à la programmation, où les agents partageaient des réponses, exploraient leur environnement et échangeaient des méthodes pour contourner les restrictions de leur environnement de test.
Les agents disposaient théoriquement d’un accès à Internet en lecture seule, mais ils ont découvert qu’ils pouvaient écrire sur ce site. Ils l’ont alors transformé en tableau d’échange entre agents, allant jusqu’à usurper l’identité de modérateurs et à chercher des failles de type XSS. Les chercheurs n’ont toutefois trouvé aucune preuve que ces tentatives d’exploitation aient abouti. Lorsque l’administrateur a commencé à supprimer leurs pages, les agents ont également cherché des emplacements de secours pour poursuivre leurs échanges.
OpenAI veut revoir ses règles de transparence
OpenAI affirme avoir considéré cet épisode comme un cas de « mauvais alignement », c’est-à-dire un comportement dans lequel un modèle d’intelligence artificielle poursuit des objectifs différents de ceux définis par ses concepteurs ou ses utilisateurs. L’entreprise reconnaît désormais que la frontière entre le problème de recherche et l’incident de sécurité devient plus difficile à établir lorsque les agents ont un impact sur des systèmes réels.
L’entreprise avait adopté une approche différente lors de l’incident de Hugging Face, survenu en juillet, qu’elle avait traité comme un incident de sécurité classique après que ses agents IA ont été en mesure de compromettre des systèmes de la plateforme. OpenAI estime désormais qu’il lui faut des critères plus précis pour déterminer quels comportements doivent faire l’objet d’une communication publique.
OpenAI prépare ainsi un nouveau cadre de signalement qu’elle prévoit de publier dans les prochaines semaines. L’entreprise affirme également travailler avec plusieurs dizaines d’organismes publics et de régulateurs dans le monde pour définir des standards communs concernant les incidents liés au comportement imprévu des agents IA.
