Le français Mistral, à qui l’on doit le LLM éponyme, vient de lancer une API dédiée à la modération de contenu, ce qui dans le contexte actuel de fake news et de thèses complotistes semble à priori une bonne idée. Cette API, qui « motorise » déjà la plateforme de chatbot Le Chat de Mistral, pourra être utilisée par les développeurs dans leurs propres applications. L’API repose sur le modèle Ministral 8B, un modèle conçu pour classifier du texte en plusieurs langues (dont l’anglais, le français et l’allemand) et dans neuf catégories, soit le contenu sexuel, la haine et discrimination, la violence et les menaces, les contenus dangereux et criminels, l’automutilation, la santé, les finances, le droit et les informations personnelles identifiables.
« Au cours des derniers mois, nous avons constaté un engouement croissant dans l’industrie et la communauté de la recherche pour de nouveaux systèmes de modération basés sur l’IA, qui peuvent rendre la modération plus évolutive et robuste à travers diverses applications », précise Mistral dans un billet de blog. « Notre classificateur de modération de contenu s’appuie sur les catégories de politique les plus pertinentes pour des garde-fous efficaces et introduit une approche pragmatique de la sécurité des modèles en abordant les dommages générés par les modèles, tels que les conseils non qualifiés et les informations personnelles. »
Mistral reconnait toutefois que son modèle de modération est encore perfectible, mais que la société travaille avec ses clients « pour développer et partager des outils de modération évolutifs, légers et personnalisables ».
