CaptionBot : Microsoft dévoile une IA capable de décrire (presque) n’importe quelle image en langage naturel

Les Bots sont partout ! Microsoft a lancé la première salve d’annonces lors de sa conférence Build 2016, mais il semble que tous les géants de la high-tech américaine (Facebook, Google, Snapchat) se soient passés le mot. Le Microsoft Cognitive Services, en charge de la création d’apps intelligentes qui pourront servir de briques (APIs) au développeurs sous Windows 10, vient de dévoiler CaptionBot, un module d’IA (Intelligence Artificielle) capable d’analyser n’importe quelle image et d’en faire la description succincte mais précise en langage naturel.

Bill Gates, ancien CEO de Microsoft, est bien reconnu par CaptionBot; ouf !

Le site qui sert de démo de ce nouveau Bot permet déjà de se rendre compte de la perspicacité du système, qui peut même analyser les photos/images que vous lui soumettrez ! Mieux encore, CaptionBot sait même utiliser quelques emoticons pour appuyer sa description, à la façon du ChatBot Tay. Le module de langage de CaptionBot serait d’ailleurs le même que celui de Tay (mais ici le logiciel ne discute pas avec l’utilisateur et se « contente » d’analyser des images. CaptionBot est aussi capable de reconnaître l’humeur des visages (joyeux, tristes, etc…).

CaptionBot reconnait parfaitement les hommes politiques (mais pas François Hollande…)

On remarque tout de même quelques contraintes étranges, concernant notamment les contenus NSFW (les « femmes nues » en d’autres termes); CaptionBot refuse d’analyser ce type de demandes, ou plutôt refuse de les décrire, ce qui signifie bien que ces images olé-olé sont bien analysées mais que Microsoft a cette fois pensé à placer des limites à ce qui peut-être décrit.

CaptionBot sait parfaitement décrire une arme…

Il est tout de même malheureux que l’interdiction d’analyser ne vise en somme que les corps nus, alors même que la photo d’une Kalashnikov est parfaitement décrite par CaptionBot. Le logiciel pouvant aussi servir à décrire des images à un aveugle par exemple (ainsi que l’a montré Microsoft lors de sa conférence Build), on voit mal pourquoi ces derniers ne pourraient pas avoir le droit de se rincer l’oeil (si l’on peut dire…)

Mais a préfèré me mettre ce message…

Lorsque je lui ai soumis cette image, pourtant très « soft » :

Malgré ces quelques points de détail, CaptionBot est déjà impressionnant et se trompe fort peu souvent, même si pour le moment le logiciel ne fonctionne qu’en anglais. Ce Bot devrait bientôt intégrer la boite à outil de développement (SDK) de Windows 10, y compris pour les éditeurs tiers, l’objectif du Microsoft Cognitive Services étant de fournir de nouveaux Bots-API pour accroitre la valeur ajoutée des logiciels développés pour Windows…