Microsoft met au point une IA qui anime des visages à partir d’un enregistrement audio

Notre voix trahit-elle nos émotions ? Microsoft répond par l’affirmative en mettant au point un logiciel dopé à l’IA capable d’animer des visages… à partir de l’enregistrement audio d’une voix ! Dopée au Machine Learning, cette nouvelle IA spécialisée a « appris » à détecter différentes catégories d’émotion à partir des variations de timbre et de tonalité d’une voix humaine. Ce système logiciel utilise en outre un auto-encodeur variationnel (VAE) capable de parfaitement séparer la voix humaine des bruits de fond ou de distinguer les moindres éléments phonétiques.

Une fois que les « émotions » ont été tirées de l’enregistrement vocal, deux réseaux de neurones antagonistes génératifs (GAN) prennent le relais pour générer les animations réalistes du visage. Avec une telle technologie logicielle, les montages de type Deepfakes pourraient bien devenir de plus en plus difficiles à distinguer de la réalité. Les chercheurs entrevoient surtout les possibilités de cette nouvelle IA dans le domaine du doublage ou de l’animation.