Pendant de longues années le test de Turing, inspiré par les propos du célèbre mathématicien venu à bout de la machine Enigma, a servi à tester la capacité d’une machine à se faire passer pour un être humain. Le test en lui-même, basé sur des éléments de preuves empiriques, postule que puisqu’on ne peut réellement savoir ce qu’est l’intelligence elle-même, autant se focaliser sur la seule « pertinence » des réponses fournies par l’ordinateur même si celles-ci sont issues de programmes seulement ciblés sur la tâche à accomplir (et pour le coup fort peu intelligents).
Face au dilemme d’avoir à reconnaitre comme « intelligents » des systèmes qui n’en donnaient que l’illusion formelle, des chercheurs ont mis au point un autre test, baptisé Winograd, fondé non plus sur un dialogue « libre » entre l’utilisateur et une machine mais sur des QCM très ciblés permettant d’aller dénicher les capacités les plus fines d’une compréhension qui ne pourrait alors réellement qu’être issue d’une intelligence artificielle capable de véritables capacités cognitives. Même si cette nouvelle proposition de test n’échappe pas plus à l’absence de consensus clair sur ce qu’est réellement l’intelligence, au moins l’objectif est-il ici d’évaluer des capacités de compréhension et non plus seulement les prouesses de développeurs capables d’anticiper sur les questions qui seront posées à la machine.
La société Nuance Communication a donc annoncé la création d’une compétition annuelle de test d’IA intitulée la Winograd Schema Challenge, une compétition pendant laquelle les « IA » seront évaluées selon des questions à choix multiples. Par exemple, l’ordinateur aura à répondre correctement à ce type de question :
– Le trophée ne rentre pas dans le sac parce qu’il est trop gros. Qui est trop gros ?
Réponse 0 : le trophée
Réponse 1 : le sac
Aussi évidentes que soient les réponses pour un être humain normalement constitué, elles demandent une véritable compréhension de la phrase et de son sens pour être choisies avec pertinence. De nombreuses questions sur le même modèle pourraient évacuer le risque d’heureux hasard statistique et permettre de dire que cette fois, la machine est réellement capable de raisonnement et pas d’une simple computation (même si sur le fond, il s’agira finalement d’une « simple » computation, peut-être d’ailleurs à l’image de ce qui se passe dans notre propre cerveau…).
Le premier Challenge Winograd aura lieu du 23 au 25 Mars 2015 à l’Université de Standford, et sera doté d’un prix de 25 000 dollars pour l’équipe vainqueur. Gageons toutefois avec un peu de malice que si un ordinateur répond correctement à presque toutes les questions du QCM piégé, il se trouvera à nouveau des scientifiques, sans doute les mêmes qui réagissaient déjà sur le test de Turing, pour dénier à nouveau à la machine toute capacité réelle de raisonnement.
