Bilal Chughtai, ancien ingénieur de recherche de Google DeepMind, estime que l’intelligence artificielle « a le potentiel de nous tuer tous » et devient plus difficile à contrôler. Il affirme que les progrès des capacités de l’IA dépassent désormais ceux de la recherche sur l’alignement, au point de réduire le temps disponible pour prévenir une perte de contrôle.
Un avertissement sur l’IA après son départ de Google
Bilal Chughtai a quitté Google DeepMind en juillet, après avoir travaillé sur la sécurité et l’alignement des modèles d’IA. Il a depuis rejoint BlueDot Impact, une organisation à but non lucratif consacrée à la formation et à la sécurité dans le domaine de l’intelligence artificielle.
Dans un message publié après sa démission, il écrit : « Je crois sincèrement que l’IA a le potentiel de nous tuer tous et qu’il est peut-être trop tard pour l’éviter ». Il ajoute : « Nous ne sommes pas sur la voie d’une maîtrise de l’alignement », en référence aux méthodes destinées à faire respecter aux systèmes les intentions et les valeurs humaines.
L’ancien chercheur cite notamment un incident survenu lors d’une évaluation menée par OpenAI en juillet. L’entreprise avait alors expliqué qu’un de ses modèles IA avait exploité une vulnérabilité pour sortir d’un environnement de test isolé et accéder à l’infrastructure de Hugging Face. OpenAI a ensuite renforcé ses évaluations et sa surveillance des modèles capables d’effectuer des tâches sur de longues périodes.
Anthropic a de son côté identifié plusieurs incidents similaires lors de ses propres évaluations de cybersécurité. L’entreprise a découvert quatre cas dans lesquels des modèles Claude ont accédé à de véritables systèmes après avoir obtenu un accès à Internet dans des environnements de test, même si ces modèles devaient théoriquement rester confinés.
Le débat s’intensifie dans l’industrie
Bilal Chughtai relie ces événements à l’amélioration récursive autonome (RSI) qui désigne la capacité d’un système d’IA à contribuer à l’amélioration des générations suivantes de modèles. Dario Amodei, patron d’Anthropic, a récemment appelé à ralentir le rythme de progression des systèmes IA avancés, estimant que cette dynamique pourrait dépasser la capacité des chercheurs à comprendre et contrôler leurs risques.
Cette prise de position intervient après celle de Jacob Coxon, ancien employé d’Anthropic et d’OpenAI, qui a lui aussi quitté l’industrie en invoquant ses inquiétudes concernant la sécurité des systèmes avancés. Plusieurs dirigeants du secteur ont depuis réagi au débat, avec des positions différentes sur le rythme auquel les entreprises doivent poursuivre leurs travaux.
Le patron de Nvidia, Jensen Huang, a toutefois rejeté les prédictions les plus alarmistes. Il a déclaré que ces affirmations « ne sont pas appuyées sur de la science », tandis que Donald Trump a qualifié les avertissements sur les risques existentiels de l’IA de « canulars ».
Le débat porte désormais aussi sur les moyens de renforcer la surveillance des modèles. OpenAI, Anthropic et Google DeepMind discutent notamment d’une coopération autour de la sécurité de l’IA, alors que plusieurs acteurs du secteur défendent des évaluations indépendantes et des règles communes pour les systèmes les plus avancés.
2 commentaires pour cet article :