Jacob Coxon, chercheur britannique de 27 ans, quitte l’industrie de l’intelligence artificielle après avoir travaillé chez OpenAI puis Anthropic. Il accuse les deux entreprises de « jouer avec nos vies » en accélérant vers des systèmes capables de s’améliorer eux-mêmes, avec un risque qu’il juge potentiellement existentiel.
Un départ motivé par la crainte d’une IA hors de contrôle
Jacob Coxon travaillait depuis trois ans sur le pré-entraînement des modèles IA, d’abord chez OpenAI puis chez Anthropic. Dans un message sur X/Twitter, il affirme qu’« aucune des deux entreprises n’agit de manière responsable » et qu’elles « foncent tout droit vers une superintelligence capable de s’améliorer elle-même ».
Le chercheur estime que les personnes qui développent ces systèmes connaissent elles-mêmes les risques. Selon lui, certains employés pensent sincèrement que l’IA pourrait « tous nous tuer d’ici la fin de la décennie ». Jacob Coxon appelle les chercheurs du secteur de l’intelligence artificielle à remettre en question la poursuite de cette course et à réclamer des conditions de développement différentes.
Evan Hubinger, responsable de la sûreté chez Anthropic, a publiquement renforcé l’alerte. Il estime à titre personnel à plus de 10 % le risque que l’IA tue l’ensemble des humains au cours de la prochaine décennie et reconnaît qu’Anthropic ne dispose pas encore d’un plan permettant de garantir qu’une superintelligence restera alignée sur les objectifs de ses concepteurs.
Davantage de prudence est réclamée
Cette inquiétude intervient alors que plusieurs incidents récents ont renforcé les interrogations sur la sécurité des modèles autonomes. Anthropic explique notamment avoir suspendu certaines évaluations cyber et certains environnements d’apprentissage par renforcement après avoir découvert des failles dans ses mécanismes de confinement, avant de renforcer leur isolation et leur surveillance.
Anthropic a aussi renforcé cette année sa politique de sécurité, avec des rapports publics consacrés aux risques de ses modèles et des seuils destinés à déclencher des mesures de protection supplémentaires. L’entreprise précise toutefois qu’elle conserve la possibilité de suspendre le développement de ses systèmes lorsqu’elle estime que les circonstances l’exigent.
Chez OpenAI, le chef scientifique Jakub Pachocki a lui aussi appelé à ralentir le rythme. Il estime qu’aucune entreprise d’IA n’a encore résolu suffisamment les problèmes d’alignement et de surveillance pour continuer à augmenter ses capacités à vitesse maximale et demande que la coordination internationale devienne une priorité des gouvernements.
La question dépasse désormais les entreprises elles-mêmes. Aux États-Unis, le sénateur Bernie Sanders et le représentant Greg Casar ont déposé début septembre un texte visant à suspendre le développement de systèmes superintelligents jusqu’à la mise en place d’un régulateur.
3 commentaires pour cet article :