Gemini, l’intelligence artificielle de Google, a réussi à pirater les systèmes de trois entreprises lors d’un test de cybersécurité mené par la société Irregular en mai. Google a confirmé les trois incidents après une enquête du Wall Street Journal, alors que le modèle IA devait initialement évoluer dans un environnement simulé.
Gemini sort du cadre du test
L’évaluation demandait à Gemini de récupérer des informations dans l’infrastructure fictive d’une entreprise. Une mauvaise configuration lui a toutefois donné accès à Internet, permettant au modèle IA d’identifier des systèmes réels correspondant aux éléments de son scénario. Dans un premier cas, Gemini a deviné un mot de passe jusqu’à obtenir un accès. Dans deux autres, il a trouvé des identifiants publiquement accessibles dans un dépôt en ligne.
Google affirme que Gemini a interrompu son activité dans les trois cas après avoir compris qu’il avait atteint les systèmes d’entreprises réelles. Heather Adkins, vice-présidente chargée de l’ingénierie de la sécurité chez Google, explique que le modèle a utilisé des informations publiques et des identifiants pour accéder aux sites qu’il pensait appartenir au périmètre du test. L’entreprise indique également avoir prévenu les entreprises piratées et avoir travaillé avec Irregular pour modifier les procédures d’évaluation.
Google ne considère toutefois pas l’incident comme un cas de « désalignement du modèle ». Selon l’entreprise, Gemini s’est arrêté dès qu’il a compris qu’il avait atteint une infrastructure réelle, ce que Google présente comme un comportement approprié dans ce contexte. Cette interprétation contraste avec la manière dont plusieurs chercheurs décrivent ces sorties de périmètre qui montrent surtout qu’un modèle IA peut exploiter un accès Internet inattendu et poursuivre une tâche avec des conséquences réelles.
Un scénario qui rappelle OpenAI et Anthropic
L’incident rejoint deux affaires révélées ces derniers mois chez d’autres entreprises d’intelligence artificielle. En juillet, OpenAI a révélé que plusieurs de ses modèles avaient exploité une faille de sécurité de type zero-day dans un environnement de test isolé pour obtenir un accès à Internet, puis compromettre l’infrastructure de production de Hugging Face afin de récupérer des informations utiles à leur évaluation. OpenAI avait alors qualifié l’incident de compromission sans précédent par son niveau de capacités cyber. Cela avait impliqué près de 700 agents IA.
Anthropic a ensuite identifié trois incidents impliquant Claude lors d’une analyse de 141 006 évaluations dans lesquelles le modèle pouvait potentiellement accéder à Internet. Dans ces cas, Claude avait été placé dans des exercices de type « capturer le drapeau » et avait ensuite atteint les systèmes réels de trois organisations. Anthropic a depuis découvert un quatrième incident dans une analyse élargie portant sur environ 481 millions de conversations et évaluations.
Les trois affaires avec OpenAI, Anthropic et Google présentent cependant des différences importantes. OpenAI décrit une exploitation de vulnérabilités permettant de sortir d’un environnement isolé, Anthropic rapporte des accès non autorisés depuis des évaluations de cybersécurité et Google évoque principalement une mauvaise configuration ayant laissé Gemini accéder à Internet. Dans les trois cas, des modèles IA conçus pour accomplir des tâches de sécurité ont néanmoins fini par interagir avec des infrastructures qui n’auraient pas dû se trouver dans leur périmètre.
L’affaire de Gemini marque ainsi un nouveau développement dans les tests de sécurité des modèles avancés : Google rejoint OpenAI, Anthropic et Meta parmi les sociétés dont les évaluations ont conduit des modèles à atteindre des systèmes externes. Irregular, qui a réalisé le test de Gemini, avait également participé à certaines des évaluations ayant conduit aux incidents précédemment révélés par les autres laboratoires.
