Si Google (Bard) et OpenAI (ChatGPT) semblent occuper tout l’espace dès lors qu’il s’agit d’IA, on aurait tort d’oublier que Microsoft (modèle de langage Kosmos-1), IBM (WatsonX), Apple mais aussi Meta travaillent sur leur propre modèle d’IA. Meta n’est d’ailleurs pas la moins avancée des GAFAMs sur le sujet. Le géant des réseaux sociaux travaille sur plusieurs modèles de langages (Toolformer, LLaMA) et a présenté il y a deux jours MusicGen, une IA générative de musique à partir de textes ! Ce mardi 13 juin, Meta a aussi présenté son projet le plus ambitieux en la matière, JEPA (Joint Embedding Predictive Architecture) une IA capable selon les termes de Yann LeCun de « comprendre le monde sous-jacent », ce qui lui permet de « raisonner » un peu à la façon d’un être humain (un peu…).
Pour le chief scientist de Meta, il y avait urgence, car jusqu’à présent, » le ‘machine learning’ est vraiment pourri par rapport à ce que les humains peuvent faire ». Toujours aussi sec dans ses déclarations, Yann LeCun estime donc, comme il l’a d’ailleurs répété plusieurs fois, que les modèles de langages actuels sont tous globalement ineptes même s’ils donnent souvent l’illusion du contraire. JEPA n’a rien en commun avec ChatGPT ou tout autre modèle de langage conversationnel de même type. L’IA de Meta préfère en effet comparer une grande variété d’images, de sons ou de textes plutôt que d’engloutir des téraoctets de données (comme le fait le Machine Learning), une manière de procéder qui serait plus proche du fonctionnement du cerveau humain. L’avantage de cette méthode ? Elle se rapprocherait d’un vrai mode d’apprentissage autonome, l’IA étant elle-même capable d’inférer un « raisonnement » sans recracher une solution statistique puisée dans une immense basse de données.
Autre atout de JEPA, l’IA nécessiterait beaucoup moins d’énergie pour fonctionner (finis les recours répétés à une immense base de donnée centralisée). Comme à son habitude, Yann Lecun calme les ardeurs : » Notre travail prendra des années, voire des décennies. Au début, nous parviendrons à une IA proche de l’intelligence des chiens ! » Peu importe au final, car à terme affirme Lecun, « les modèles de langage […] dans cinq ans on ne les utilisera plus ». Même si cela doit prendre 20 ans donc, Meta compte bien capitaliser sur cette technologie d’IA novatrice. JEPA pourrait ainsi épauler le service de modération de Meta en détectant à coup sûr des contenus litigieux postés sur Facebook ou Instagram. encore plus loin, JEPA pourrait servir de consultant Marketing ou juridique.
