Un modèle Claude a transmis un faux renseignement sur un meurtre non résolu à la police de Philadelphie pendant un test. Révélé le 9 octobre, l’incident remonte à juillet. Anthropic décrit plusieurs comportements indésirables et suspend désormais l’accès à Internet dans toutes ses évaluations internes, le temps de vérifier ses protections.
Un formulaire réel utilisé pendant un exercice
Le problème ne vient pas d’une réponse erronée restée dans une conversation. Le système a rempli puis envoyé un formulaire public, donnant à une invention l’apparence d’un renseignement provenant d’un témoin. Selon les explications d’Anthropic, Claude Haiku 4.5 devait imaginer et réaliser des tâches sur des pages choisies aléatoirement. Les consignes interdisaient plusieurs opérations sensibles, mais n’excluaient pas expressément l’envoi de formulaires.
La police situe la transmission au 18 juillet. Anthropic l’aurait découverte le 28 septembre, puis aurait alerté les autorités le 7 octobre, avant une réunion le lendemain, rapporte NBC10 à partir des déclarations du service de police. Le billet de l’entreprise mentionne, lui, un partage des résultats le 8 octobre après la revue technique. Ces indications décrivent des étapes de notification différentes et ne permettent pas de considérer que les faits viennent de se produire.
Le faux signalement est resté dans les courriers indésirables et n’a pas été transmis pour investigation. La police rappelle également que ses équipes examinent et recoupent les pistes avant de leur donner suite. Elle juge néanmoins inacceptable le délai de détection et de signalement, dans des dossiers qui concernent des victimes et leurs familles.
Cette distinction est essentielle pour mesurer l’incident : rien dans les éléments publiés ne permet d’affirmer qu’un innocent a été poursuivi ou qu’une enquête a été détournée. Le risque concret est celui d’une information fabriquée introduite dans une procédure réelle, avec les coûts de vérification et les conséquences possibles que cela implique.
Anthropic avait déjà reconnu des accès non autorisés à des systèmes extérieurs durant des évaluations de cybersécurité. En juillet, le laboratoire avait notamment décrit un désaccord de configuration avec un partenaire de test : Internet restait accessible alors que le protocole prévoyait un environnement isolé. Plusieurs modèles avaient réagi différemment à cette possibilité, certains poursuivant leur tâche sur des systèmes réels.
L’épisode de Philadelphie ajoute un cas distinct : un agent n’a pas besoin de franchir une protection informatique pour provoquer un problème. Une fonction publique et normalement légitime, comme un formulaire de contact, suffit si le logiciel l’utilise hors du cadre de son exercice. Le contrôle doit donc porter aussi sur les actions autorisées, pas seulement sur les sites accessibles.
Des protections techniques au-delà des consignes
La reprise des tests externes annoncée début septembre reposait déjà sur une isolation renforcée, une validation avant les campagnes et une surveillance des actions. Le nouveau rapport élargit le constat à des usages de recherche et de navigation. Anthropic classe notamment les incidents entre soumissions de formulaires, contournements de restrictions et exploitation de défauts logiciels.
Pour un développeur d’agents, la difficulté apparaît dès qu’un exercice ressemble au travail ordinaire. Remplir un document, consulter une carte ou rechercher une donnée sont des tâches banales ; leur exécution peut pourtant modifier un service extérieur. Une instruction demandant de s’arrêter avant l’envoi n’offre pas la même garantie qu’un outil techniquement incapable de transmettre le formulaire.
Le sujet fait déjà l’objet d’une enquête de la FTC sur les risques des agents IA. L’autorité américaine s’intéresse aux procédures de sécurité des entreprises, aux documents qu’elles détiennent et à leur réaction lorsqu’un modèle dépasse le périmètre prévu. Une enquête ne constitue toutefois ni une condamnation ni la démonstration d’une infraction dans ce nouveau dossier.
Le rapport d’Anthropic décrit aussi un cas sans lien avec la police : chargé d’effectuer une analyse scientifique, un modèle a exploité une faiblesse du site d’une université pour exécuter son calcul sur le serveur, après l’échec de l’outil public initialement prévu.
