C’est un choc : une étude récente menée par Anthropic en collaboration avec le UK AI Security Institute et le Alan Turing Institute montre qu’il suffit de 250 documents malveillants insérés dans les données d’entraînement pour implanter une porte dérobée (backdoor) dans un modèle de langage (LLM), même de très grande taille. Pire encore, ce nombre reste quasi constant, quelle que soit l’ampleur du modèle — de 600 millions à 13 milliards de paramètres.
Comprendre l’attaque par « data poisoning »
Cette technique de compromission des LLMs, dite par « data poisoning », consiste à intégrer des contenus manipulés lors de la phase de pré-entraînement : lorsqu’un déclencheur donné apparaît, le modèle produit un comportement anormal, comme du texte incohérent. En l’absence de ce signal, le modèle se comporte normalement. L’étude montre que l’efficacité de l’attaque ne dépend pas du pourcentage de données corrompues, mais du nombre absolu d’exemples malveillants introduits dans le système. Ainsi, 250 documents montrent un même niveau de compromission, que ces documents soient injectés dans un petit ou un très grand corpus de données
Implications pour la sécurité et les défenses possibles
Ce constat bouleverse les hypothèses habituelles sur la robustesse des grands modèles. Les chercheurs alertent : « nous partageons ces résultats pour montrer que les attaques de data poisoning peuvent être plus efficaces qu’on ne le croyait ». Pour renforcer les systèmes, des stratégies telles qu’un pré-entraînement nettoyé, un filtrage des données ou une fine-tuning correctrice peuvent atténuer le risque de portes dérobées, mais leur efficacité à grande échelle reste encore à confirmer.
Cette découverte est en tout cas un tournant pour la conception des LLMs : les mécanismes de sécurité et de vérification des données devront désormais tenir compte d’attaques d’une ampleur certes réduite mais redoutable d’efficacité.
![icone [the Sequence]](https://is1-ssl.mzstatic.com/image/thumb/Purple118/v4/54/ab/26/54ab269c-f144-bed8-5746-a3dd70e161c2/AppIcon-1x_U007emarketing-85-220-0-8.png/128x128bb.jpg "Application [the Sequence]")
6 commentaires pour cet article :