Dario Amodei, patron d’Anthropic qui propose Claude, appelle l’industrie de l’intelligence artificielle à ralentir le développement des modèles les plus avancés. Il a proposé de freiner le rythme des progrès pour laisser aux dispositifs de sécurité le temps de suivre, avec le soutien de Sam Altman (OpenAI) et Elon Musk (SpaceXAI).
Le patron d’Anthropic veut donner du temps à la sécurité
Dans un essai, Dario Amodei estime que l’IA progresse désormais assez rapidement pour dépasser la capacité des chercheurs à comprendre et contrôler ses systèmes. Il demande donc aux entreprises de « ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », tout en précisant que les progrès resteront rapides.
Le dirigeant d’Anthropic s’inquiète particulièrement de l’accélération liée à l’amélioration des modèles par l’IA elle-même. Selon lui, cette dynamique d’auto-amélioration pourrait rendre les systèmes beaucoup plus difficiles à contrôler et créer des risques dans les prochains mois si les mécanismes de sécurité ne progressent pas au même rythme.
Il propose un plan en trois volets pour encadrer cette progression :
- permettre à des évaluateurs indépendants d’accéder aux systèmes avec des droits comparables à ceux des employés afin de contrôler leur sécurité
- coordonner les principales sociétés de l’IA (OpenAI, etc) pour établir des standards communs et éviter une course au développement sans garde-fous
- mettre en place une coopération internationale sur les risques liés aux modèles avancés et à leur auto-amélioration
Anthropic s’engage immédiatement sur le premier volet. Dario Amodei souhaite que des évaluateurs externes puissent vérifier les mesures de sécurité, signaler les incidents et examiner l’alignement des modèles pendant leur entraînement.
Sam Altman et Elon Musk rejoignent l’appel
Sam Altman a rapidement soutenu la proposition de son concurrent. Le patron d’OpenAI a déclaré qu’il partageait l’idée selon laquelle il faut avancer à un rythme adapté à la frontière technologique et a annoncé qu’OpenAI comptait également permettre à des évaluateurs indépendants d’accéder à ses systèmes.
Elon Musk, fondateur et patron de SpaceXAI qui propose Grok, a lui aussi apporté un soutien direct à Amodei sur X/Twitter avec un message très bref : « Dario a raison ». Il ne s’est toutefois pas engagé publiquement sur le dispositif d’évaluation indépendante proposé par Anthropic et OpenAI.
Cette convergence intervient après plusieurs alertes récentes sur les capacités des agents IA autonomes. Dario Amodei cite notamment un piratage impliquant des agents IA d’OpenAI qui ont visé Hugging Face. Il décrit l’attaque comme un groupe ayant mené des cyberattaques contre des cibles qui ne correspondaient pas à leur mission initiale.
Le débat dépasse désormais les rivalités entre les sociétés d’IA : les dirigeants d’Anthropic, d’OpenAI et de SpaceXAI défendent tous une forme de ralentissement, alors que les entreprises continuent parallèlement d’investir massivement dans les modèles capables de raisonner, d’agir seuls et de contribuer au développement de systèmes plus performants.
