Le constat est terrible : une nouvelle étude récemment menée par l’Oxford Internet Institute révèle que les outils de référence utilisés pour évaluer les intelligences artificielles sont souvent trompeurs, voire carrément inadaptés à ce que l’on cherche à évaluer. Les chercheurs ont passé en revue plus de 445 benchmarks destinés à tester les compétences en raisonnement, codage ou logique des modèles d’IA, et résultat, nombre d’entre eux ne mesurent pas ce qu’ils prétendent mesurer.
Des résultats qui incitent à la méfiance
Les auteurs pointent du doigt des définitions floues, un manque de transparence sur les méthodes statistiques employées et des cas de contamination de données, dans lesquels les modèles apprennent à « mémoriser » plutôt qu’à raisonner. Par exemple, le test GSM8K, censé évaluer le raisonnement mathématique de manière « multi-étapes », ne permet pas vraiment de garantir qu’un modèle d’IA raisonne vraiment.
Pourquoi cet écart entre scores et réalité ?
L’étude souligne que certains benchmarks sont déjà saturés : les algorithmes y enregistrent des performances élevées simplement parce qu’ils ont déjà rencontré des questions ou des structures identiques dans leurs données d’entraînement. Plus grave encore : seulement 16 % des outils examinés ont validé leurs résultats par des méthodes statistiques robustes.
Ce constat inquiétant est établi au moment même où se multiplient les annonces de « modèles super-intelligents ». Face à cette envolée des superlatifs, les auteurs de l’étude mettent en garde contre une surestimation des capacités réelles des systèmes d’IA. Et ce n’est opas qu’une question de définition condernant l’intelligence : il en va de la bonne utilisation des IA en contextes critiques : santé, justice, finances… Un benchmarking défaillant peut conduire à des décisions erronées… et c’est d’ailleurs ce qui est régulièrement mentionné : les erreurs sont toujours là au point que les utilisateurs doivent effectuer une vérification des résultats fournis. Pour un outil censé nous faire gagner du temps d’analyse, c’est ballot.
Le papier de l’Oxford Internet Institute encourage dans sa conclusion à repenser les méthodologies d’évaluation : affinement des définitions, création de datasets vierges, audit indépendant et benchmarks dynamique plutôt que statique. Aujourd’hui, le débat n’est plus uniquement technologique : il touche à l’éthique, à la gouvernance et à la confiance que les société accordent ou pourront accorder à l’intelligence artificielle.
