OpenAI a annoncé avoir démantelé plusieurs réseaux, notamment liés à la Chine, qui tentaient d’utiliser ses technologies avec ChatGPT pour concevoir des outils de surveillance et développer des logiciels malveillants. L’entreprise met en avant sa politique active de suspension pour contrer ces usages détournés, tout en soulignant la capacité de ses modèles à résister aux requêtes malintentionnées.
Des projets de surveillance étatique déjoués
Parmi les actions menées, OpenAI a suspendu des comptes liés à la Chine qui se connectaient via des VPN. Ces derniers ont utilisé ChatGPT pour « concevoir du matériel promotionnel et des plans de projet pour un outil d’écoute des réseaux sociaux ». Cet outil était décrit comme une « sonde » capable de surveiller des plateformes comme X (ex-Twitter) ou TikTok pour y repérer des contenus jugés extrémistes ou liés à des sujets politiques et religieux.
Un autre compte a été banni pour avoir utilisé l’IA afin de rédiger une proposition pour un « modèle d’alerte sur les flux à haut risque liés aux Ouïghours ». Ce système visait à suivre les déplacements de cette population, à recouper les informations avec des dossiers de police et à émettre des alertes. OpenAI précise toutefois ne pas pouvoir confirmer si un gouvernement était bien le client final et que ses modèles n’ont pas servi à la surveillance elle-même.
Développement de malwares et arnaques également dans le viseur
OpenAI met également en lumière d’autres tentatives d’abus. Des groupes chinois, russes et coréens ont cherché à utiliser ChatGPT pour créer ou affiner des logiciels malveillants, incluant des chevaux de Troie d’accès à distance et des voleurs d’identifiants.
De plus, OpenAI a perturbé les activités de réseaux d’escroquerie basés au Cambodge, au Myanmar et au Nigeria qui essayaient de détourner ses modèles à des fins frauduleuses. Au total, depuis février 2024, la société a démantelé et signalé plus de 40 réseaux qui enfreignaient ses politiques.
Malgré la multiplicité de ces tentatives, OpenAI se veut rassurant quant à la robustesse de ses intelligences artificielles. L’entreprise souligne qu’elle n’a « trouvé aucune preuve de nouvelles tactiques ou que nos modèles aient fourni aux acteurs de la menace de nouvelles capacités offensives ».
La société ajoute que, au contraire, ses modèles ont constamment refusé les requêtes malveillantes, agissant comme une première ligne de défense contre leur propre instrumentalisation.
