KultureGeek Logiciels Meta dévoile CM3leon, une IA générative text-to-image aux fonctions inédites

Meta dévoile CM3leon, une IA générative text-to-image aux fonctions inédites

14 Juil. 2023 • 15:25
0

Il fallait s’y attendre : Meta vient de dévoiler CM3leon, un modèle d’IA générative text-to-image qui, selon la société, affiche des performances de pointe. « Grâce aux capacités de CM3leon, les outils de génération d’images peuvent produire des images plus cohérentes qui respectent mieux les prompts » écrit Meta dans un article de blog. « Nous pensons que les performances solides de CM3leon dans une variété de tâches sont un pas de plus vers la génération et la compréhension d’images plus fidèles (avec les prompts, Ndlr). »

Meta Caméleon IA text to images

Meta a demandé à CM3Leon de générer des images à l’aide de prompts tels que « Un petit cactus portant un chapeau de paille et des lunettes de soleil au néon dans le désert du Sahara », « Une photo en gros plan d’une main humaine, modèle de main », « Un personnage principal de raton laveur dans un Anime se préparant à une bataille épique avec une épée de samouraï » et « Un panneau d’arrêt dans un style Fantasy avec le texte ‘1991.’ »

Les IA text-to-image concurrentes (DALL-E, Midjourney, Stable Diffusion, etc.) nécessitent d’énormes capacités de calcul qui interdisent tout traitement en temps réel, mais Meta prétend avoir trouvé la parade afin d’éviter la surchauffe, sous la forme d’un mécanisme appelé « attention ». Ce mécanisme permet de « soupeser » la pertinence des données d’entrée telles que le texte ou les images, ce qui économiserait des ressources de calcul et rendrait les modèles plus facilement parallélisables. En d’autres termes, il serait possible d’entrainer CM3leon avec une masse de données toujours plus importante (ce qui garantit en majeure partie la qualité du rendu final) sans que cela ne nécessite une trop grande augmentation de la puissance de calcul. Meta affirme même que son modèle d’IA nécessite 5 fois moins de puissance de calcul (à résultat équivalent) que les modèles concurrents.

Meta IA Cameleon 1Ce gain d’efficience permet ainsi à Meta de doter CM3leon de 7 milliards de paramètres (deux fois plus que DALL-E 2) sans que cela ne ralentisse le temps de production d’une image complexe (c’est à dire créée à partir de nombreux prompts). CM3leon  dispose aussi de fonctions inédites, comme le supervised fine-tuning (SFT), qui vient en quelque sorte vérifier la cohérence d’ensemble d’une image (fini les mains avec 4 doigts) et permet de modifier une image générée à la volée (« change la couleur du ciel en bleu lumineux »). Ainsi, avec le prompt « Générer une image haute qualité d’une pièce qui contient un lavabo et un miroir » accompagné d’une liste d’objets à intégrer (une bouteille, etc), CM3leon produit une image visuellement cohérente alors que DALL-E 2 omet certains des objets pourtant spécifiés dans le prompt.

Meta IA Cameleon

L’édition d’une image en entrée se fait extrêmement intuitivement

Contrairement encore à DALL-E 2, CM3leon peut  générer des légendes courtes ou longues et « répondre » aux questions sur une image particulière. Dans ce domaine, le modèle de Meta aurait même été plus performant que les modèles spécialisés de sous-titrage d’images spécialisés (Flamingo, OpenFlamingo). Meta n’a pas encore précisé quand il se déciderait à rendre CM3leon disponible.

 

 

 

Les sujets liés à ces tags pourraient vous interesser

Laisser un commentaire

Sauvegarder mon pseudo et mon adresse e-mail pour la prochaine fois.

Quelques règles à respecter :
  • 1. Restez dans le sujet de l'article
  • 2. Respectez les autres lecteurs : pas de messages agressifs, vulgaires, haineux,…
  • 3. Relisez-vous avant de soumettre un commentaire : pas de langage SMS, et vérifiez l'orthographe avant de valider (les navigateurs soulignent les fautes).
  • 4. En cas d'erreur, faute d'orthographe, et/ou omission dans l'article , merci de nous contacter via la page Contact.

Nous nous réservons le droit de supprimer les commentaires qui ne respectent pas ces règles


Les derniers articles

TikTok Notes Application

TikTok Notes, un concurrent d’Instagram, est disponible de façon limitée

18 Avr. 2024 • 22:06
0 Applications

Après les rumeurs, place au lancement de TikTok Notes, un nouveau social qui vient concurrencer Instagram. Quelle différence avec TikTok qui...

Ordinateur quantique

Des chercheurs posent la première pierre d’un internet quantique

18 Avr. 2024 • 21:17
0 Science

Des scientifiques de l’Imperial College de Londres viennent de bouleverser le domaine de l’informatique quantique, un domaine qui cherche...

Firefox Logo

Firefox 125 propose l’AV1 étendu, le surlignage des PDF, un copier/coller rapide des URL et plus

18 Avr. 2024 • 20:54
0 Logiciels

Mozilla propose la version stable de Firefox 125 au téléchargement et il ne s’agit pas d’une petite version. En effet, la mise...

LLaMA Meta

IA : Meta lance Llama 3 et déploie Meta AI sur tous ses services

18 Avr. 2024 • 20:19
0 Logiciels

Meta tape dur sur le secteur de l’IA. Ce même jour, la firme de Mark Zuckerberg annonce le lancement de Llama 3, un modèle de langage...

TikTok Logo Icone

TikTok : l’interdiction aux États-Unis est à nouveau envisagée par le Congrès

18 Avr. 2024 • 20:18
0 Internet

La Chambre américaine des représentants va à nouveau examiner une proposition de loi qui prévoit l’interdiction de...

Les dernières actus Apple sur iPhoneAddict :

Comparateur

Recherchez le meilleur prix des produits Hi-tech

Recherche

Recherchez des articles sur le site