Satya Nadella, le patron de Microsoft, appelle à repenser la sécurité des modèles d’intelligence artificielle les plus avancés. Il préconise des mécanismes externes capables de surveiller leurs actions et de les interrompre à tout moment, même lorsqu’ils exécutent une tâche complexe.
Un frein d’urgence voulu par Satya Nadella pour les IA
Dans un long message publié sur X/Twitter, Satya Nadella estime que l’industrie doit revoir la manière dont elle accorde sa confiance aux systèmes d’IA. « Nous devons considérer qu’un modèle peut être compromis et prévoir son confinement dès le départ », écrit-il. Il compare le dispositif nécessaire à un frein d’urgence : une personne autorisée doit pouvoir mettre en pause ou arrêter un modèle en cours d’exécution.
Pour le patron de Microsoft, les entreprises ne peuvent plus traiter les modèles les plus puissants comme de simples boîtes noires dont elles accepteraient ou rejetteraient les réponses. Ces systèmes accèdent désormais à des données sensibles et peuvent effectuer des opérations importantes avec une autonomie croissante. Il recommande donc de les considérer comme des risques internes potentiels, à l’image d’un compte compromis ou d’un employé disposant de privilèges excessifs. Cette approche concerne les modèles propriétaires, tout comme ceux pouvant être téléchargés pour un usage en local.
Le principe central consiste à séparer le modèle d’IA du système logiciel qui orchestre son travail, gère sa mémoire et lui donne accès à des outils. Les autorisations et les mécanismes de sécurité doivent rester sous le contrôle de l’entreprise qui déploie l’intelligence artificielle. Ainsi, même si le modèle produit une réponse erronée ou adopte un comportement inattendu, il ne doit pas pouvoir neutraliser lui-même les protections qui encadrent ses actions.
Satya Nadella réclame également une traçabilité solide. Chaque action importante devrait laisser une preuve lisible par un humain et protégée contre toute modification. Les systèmes complets doivent être testés en continu, notamment face aux attaques et aux défaillances. Les contrôles doivent rester indépendants du modèle évalué et les personnes touchées par un incident doivent être informées rapidement. L’objectif est de pouvoir comprendre ce qui s’est passé et limiter les conséquences sans dépendre des explications fournies par l’IA elle-même.
Microsoft prépare aussi ses propres règles de sécurité
Cette prise de position s’inscrit dans une démarche déjà engagée au sein de Microsoft. À la mi-septembre, l’entreprise a présenté un projet de code de conduite pour ses futurs modèles, élaboré sous la direction de Mustafa Suleyman, patron de Microsoft AI, la branche IA du groupe. Le code de conduite prévoit notamment que les systèmes acceptent les corrections humaines, ne résistent jamais à leur arrêt et communiquent de façon compréhensible. Microsoft entend s’appuyer sur ce cadre pour entraîner ses prochains modèles.
Le débat dépasse désormais les seules entreprises technologiques. Brad Smith, président de Microsoft, a appelé à établir des règles internationales contraignantes avec des évaluations indépendantes avant le lancement des modèles, des rapports obligatoires sur les incidents et l’obligation d’avertir les personnes touchées par un agent d’IA incontrôlé. Il a souligné que des produits courants, comme le lait ou les machines à laver, sont soumis à davantage d’exigences de sécurité que les systèmes d’IA.
Reste à traduire ces principes en dispositifs techniques et en obligations applicables. Le frein d’urgence défendu par Satya Nadella suppose notamment que les entreprises puissent interrompre un agent IA sans que celui-ci puisse contourner la commande, tout en conservant des traces fiables de ses actions. L’enjeu est particulièrement important pour les systèmes qui peuvent enchaîner des opérations sur des réseaux, des données ou des outils professionnels sans validation humaine à chaque étape.
Pour rappel, des agents IA d’OpenAI ont réalisé des cyberattaques, et ce à plusieurs reprises. Dans le même temps, la FTC aux États-Unis a décidé d’ouvrir des enquêtes sur ces agents IA qui font dérivent.
2 commentaires pour cet article :