La Californie veut renforcer la surveillance des modèles d’intelligence artificielle les plus avancés avec un décret signé aujourd’hui par le gouverneur californien Gavin Newsom. Le décret lance notamment les travaux autour d’un « kill switch » permettant de désactiver un modèle IA en cas d’urgence et accélère la mise en place d’audits indépendants.
Des audits indépendants et un « kill switch » pour les IA
Le décret demande à l’agence des opérations gouvernementales, en collaboration avec le bureau des services d’urgence du gouverneur, de réunir des experts afin de proposer dans un délai de deux mois de nouvelles mesures de sécurité. Le groupe devra notamment étudier l’installation d’organismes indépendants directement dans les laboratoires des entreprises développant des modèles d’IA avancés afin qu’ils puissent réaliser régulièrement des audits et des évaluations.
Les experts devront également examiner la possibilité d’imposer aux entreprises la création d’un système d’arrêt d’urgence (kill switch) pour leurs modèles les plus puissants. La Californie veut que des organismes indépendants vérifient régulièrement que ce mécanisme fonctionne réellement. Le décret prévoit aussi de renforcer la vérification externe des plans de sécurité, des rapports de transparence et des évaluations de risques publiés par les entreprises.
Le kill switch reste donc à ce stade une mesure à étudier et non un dispositif immédiatement imposé à tous les modèles IA concernés. Les recommandations attendues doivent permettre de déterminer comment intégrer cette exigence dans la législation californienne. Les agences doivent remettre leurs recommandations d’ici au 16 novembre, ce qui pourrait ensuite alimenter une éventuelle nouvelle session législative consacrée à l’IA.
Le gouverneur de Californie accélère le cadre réglementaire
Le décret intervient quelques jours après l’entrée en vigueur de deux nouvelles lois californiennes consacrées aux audits indépendants. Le Senate Bill 813 crée un cadre pour les organismes chargés de vérifier de manière indépendante la sécurité et les risques des systèmes d’IA, tandis que l’Assembly Bill 1405 établit un registre des auditeurs et fixe des exigences concernant leur indépendance, leur transparence et leur intégrité.
Gavin Newsom veut désormais accélérer leur application et élargir leur portée. Le décret demande notamment d’étudier l’obligation pour les entreprises d’accueillir des organismes de vérification indépendants dans leurs laboratoires et d’élargir la définition des incidents critiques afin d’inclure les situations dans lesquelles un développeur perd le contrôle d’un système d’IA.
Cette nouvelle orientation intervient deux ans après le veto de Gavin Newsom au controversé Senate Bill 1047 qui prévoyait notamment des évaluations externes et un mécanisme d’arrêt pour certains modèles avancés. À l’époque, le gouverneur estimait que le texte risquait de freiner l’innovation en ciblant principalement les plus grands développeurs. Depuis, la Californie a adopté un cadre différent centré sur la transparence et les audits indépendants, tandis que plusieurs entreprises du secteur, dont Anthropic (Claude) et OpenAI (ChatGPT), ont soutenu les nouvelles règles adoptées en septembre.
Le décret intervient aussi après plusieurs incidents impliquant des agents IA capables de sortir de leur environnement de test et d’accéder à des systèmes externes. Il y a notamment eu une attaque contre Hugging Face venant d’OpenAI. Dans le même temps, il y a eu des incidents qui ont contribué à relancer les appels de plusieurs acteurs du secteur en faveur de garde-fous plus stricts.
