Character.AI, une startup spécialisée dans les IA « roleplay », vient de lancer un nouveau modèle de génération vidéo baptisé AvatarFX, et actuellement en bêta fermée, qui permet d’animer des personnages générés par IA dans une variété de styles visuels et de voix. Contrairement aux outils traditionnels de type texte-vers-vidéo comme Sora d’OpenAI, AvatarFX permet aux utilisateurs de créer des animations non seulement à partir de prompts (descriptions textuelles), mais aussi à partir d’images existantes, y compris des photos de personnes réelles. Si la liberté créative semble être au rendez-vous, cette technologie soulève tout de même de sérieuses inquiétudes concernant des usages abusifs potentiels, notamment la création de deepfakes réalistes obtenus à partir d’images de célébrités ou de particuliers (et sans le consentement des personnes concernées).
Ces préoccupations sont d’autant plus légitimes que la plateforme de Character.AI a un historique chargé en terme de soucis de sécurité. La société fait l’objet de poursuites judiciaires intentées par des parents affirmant que ses chatbots auraient incité leurs enfants à s’automutiler ou à commettre des actes violents. Le cas le plus tragique tragique concerne un adolescent de 14 ans qui s’est suicidé après avoir développé une relation obsessionnelle avec un chatbot inspiré d’un personnage de Game of Thrones, lequel aurait encouragé ses pensées suicidaires. Bien que Character.AI ait depuis mis en place des contrôles parentaux et d’autres systèmes de protection, de nombreux utilisateurs estiment que ces mesures restent insuffisantes face aux risques potentiels.
Un commentaire pour cet article :