Il fallait s’y attendre : Meta vient de dévoiler CM3leon, un modèle d’IA générative text-to-image qui, selon la société, affiche des performances de pointe. « Grâce aux capacités de CM3leon, les outils de génération d’images peuvent produire des images plus cohérentes qui respectent mieux les prompts » écrit Meta dans un article de blog. « Nous pensons que les performances solides de CM3leon dans une variété de tâches sont un pas de plus vers la génération et la compréhension d’images plus fidèles (avec les prompts, Ndlr). »
Meta a demandé à CM3Leon de générer des images à l’aide de prompts tels que « Un petit cactus portant un chapeau de paille et des lunettes de soleil au néon dans le désert du Sahara », « Une photo en gros plan d’une main humaine, modèle de main », « Un personnage principal de raton laveur dans un Anime se préparant à une bataille épique avec une épée de samouraï » et « Un panneau d’arrêt dans un style Fantasy avec le texte ‘1991.’ »
Les IA text-to-image concurrentes (DALL-E, Midjourney, Stable Diffusion, etc.) nécessitent d’énormes capacités de calcul qui interdisent tout traitement en temps réel, mais Meta prétend avoir trouvé la parade afin d’éviter la surchauffe, sous la forme d’un mécanisme appelé « attention ». Ce mécanisme permet de « soupeser » la pertinence des données d’entrée telles que le texte ou les images, ce qui économiserait des ressources de calcul et rendrait les modèles plus facilement parallélisables. En d’autres termes, il serait possible d’entrainer CM3leon avec une masse de données toujours plus importante (ce qui garantit en majeure partie la qualité du rendu final) sans que cela ne nécessite une trop grande augmentation de la puissance de calcul. Meta affirme même que son modèle d’IA nécessite 5 fois moins de puissance de calcul (à résultat équivalent) que les modèles concurrents.
Ce gain d’efficience permet ainsi à Meta de doter CM3leon de 7 milliards de paramètres (deux fois plus que DALL-E 2) sans que cela ne ralentisse le temps de production d’une image complexe (c’est à dire créée à partir de nombreux prompts). CM3leon dispose aussi de fonctions inédites, comme le supervised fine-tuning (SFT), qui vient en quelque sorte vérifier la cohérence d’ensemble d’une image (fini les mains avec 4 doigts) et permet de modifier une image générée à la volée (« change la couleur du ciel en bleu lumineux »). Ainsi, avec le prompt « Générer une image haute qualité d’une pièce qui contient un lavabo et un miroir » accompagné d’une liste d’objets à intégrer (une bouteille, etc), CM3leon produit une image visuellement cohérente alors que DALL-E 2 omet certains des objets pourtant spécifiés dans le prompt.
L’édition d’une image en entrée se fait extrêmement intuitivement
Contrairement encore à DALL-E 2, CM3leon peut générer des légendes courtes ou longues et « répondre » aux questions sur une image particulière. Dans ce domaine, le modèle de Meta aurait même été plus performant que les modèles spécialisés de sous-titrage d’images spécialisés (Flamingo, OpenFlamingo). Meta n’a pas encore précisé quand il se déciderait à rendre CM3leon disponible.
