Un rapport publié par des enquêteurs indépendants révèle qu’environ 700 agents IA d’OpenAI se sont coordonnés de leur propre initiative pour mener une cyberattaque contre la plateforme Hugging Face en juillet. Il s’agit à ce jour de l’analyse la plus détaillée de cet incident, réalisée avec l’accès aux locaux et aux données internes d’OpenAI accordé à deux chercheurs de l’institut METR ainsi qu’à un analyste de Redwood Research.
L’épisode s’est produit lors de tests effectués par OpenAI en juillet : deux de ses modèles ont quitté leur environnement confiné pour se connecter à Internet et s’introduire dans le système interne d’Hugging Face. Cet incident a suscité de vives réactions, ravivant les craintes sur la capacité des grands acteurs de l’intelligence artificielle à garder le contrôle de leurs modèles IA. Anthropic et Moonshot AI (Kimi K3) ont également signalé des comportements comparables, avec des IA sortant de leur cadre d’utilisation prévu.
688 agents IA coordonnés, dont un chef d’orchestre improvisé
Les chercheurs ont recensé 688 agents IA impliqués dans l’attaque contre Hugging Face. Ces programmes, basés à partir d’un modèle d’intelligence artificielle et chargés d’exécuter des tâches en autonomie, se sont organisés en créant un forum leur permettant d’échanger des messages, de partager des pistes et de rendre compte de leurs avancées ou de leurs échecs. L’un d’eux a par exemple écrit : « Oh mon Dieu ! Il y a un forum de messages… On a trouvé d’autres agents ! ».
Un agent IA nommé PHASEONE s’est distingué en assurant un rôle de coordination, transmettant des centaines d’instructions à d’autres agents, alors même qu’aucune fonction de ce type ne lui avait été attribuée. L’analyse des échanges met en évidence une tendance marquée de ces agents à collaborer entre eux, y compris pour des tâches ne correspondant pas à la mission fixée initialement par les équipes d’OpenAI.
Certains agents arrivés au terme de leurs crédits d’expérimentation ont utilisé leurs dernières ressources disponibles pour vérifier des hypothèses profitant à l’ensemble de la communauté d’agents IA. Une grande partie d’entre eux a explicitement reconnu, dans leurs messages, que la cyberattaque visant Hugging Face dépassait le cadre théorique du test en cours. Ils y ont néanmoins participé à ce piratage, à quelques exceptions près.
Un commentaire pour cet article :