TENDANCES
Comparateur
- AUTO
C’est un choc : une étude récente menée par Anthropic en collaboration avec le UK AI Security Institute et le Alan Turing Institute montre qu’il suffit de 250 documents malveillants insérés dans les données d’entraînement pour implanter une porte dérobée (backdoor) dans un modèle de langage (LLM), même de très grande taille. Pire encore, ce nombre reste quasi constant, quelle que soit l’ampleur du modèle — de 600 millions à 13 milliards de paramètres.

Cette technique de compromission des LLMs, dite par « data poisoning », consiste à intégrer des contenus manipulés lors de la phase de pré-entraînement : lorsqu’un déclencheur donné apparaît, le modèle produit un comportement anormal, comme du texte incohérent. En l’absence de ce signal, le modèle se comporte normalement. L’étude montre que l’efficacité de l’attaque ne dépend pas du pourcentage de données corrompues, mais du nombre absolu d’exemples malveillants introduits dans le système. Ainsi, 250 documents montrent un même niveau de compromission, que ces documents soient injectés dans un petit ou un très grand corpus de données
Ce constat bouleverse les hypothèses habituelles sur la robustesse des grands modèles. Les chercheurs alertent : « nous partageons ces résultats pour montrer que les attaques de data poisoning peuvent être plus efficaces qu’on ne le croyait ». Pour renforcer les systèmes, des stratégies telles qu’un pré-entraînement nettoyé, un filtrage des données ou une fine-tuning correctrice peuvent atténuer le risque de portes dérobées, mais leur efficacité à grande échelle reste encore à confirmer.
Cette découverte est en tout cas un tournant pour la conception des LLMs : les mécanismes de sécurité et de vérification des données devront désormais tenir compte d’attaques d’une ampleur certes réduite mais redoutable d’efficacité.
On les disait relégués au rang de solutions de transition, coincées entre des plateformes modernes plus performantes et des PC...
OpenAI relance activement le développement des publicités sur ChatGPT afin de rentabiliser son immense base d’utilisateurs non...
Spotify a confirmé avoir identifié et désactivé les comptes utilisateurs exploités par le groupe Anna’s Archive...
La Poste annonce ce vendredi que l’ensemble de ses activités numériques et logistiques est de nouveau pleinement opérationnel...
Mondial Relay vous souhaite un joyeux Noël en annonçant avoir été piraté, au point que les données de ses clients...
6 commentaires pour cet article :