En août dernier, Meta a présenté SeamlessM4T, un modèle d’IA pour la traduction multimodale qui prend en charge près de 100 langues pour la traduction textuelle et 36 langues pour la traduction orale. Avec sa V2, SeamlessM4T gagne nettement plus de spontanéité et d’expressivité lors des traductions conversationnelles, et s’approche ainsi d’un réel outil de communication multilingue (qu’en pensent les traducteurs ?).
La première des deux nouvelles fonctionnalités, « SeamlessExpressive », rend la parole traduite beaucoup plus expressive en intégrant la hauteur de la voix, le volume, le ton émotionnel (comme l’excitation, la tristesse ou les murmures), le débit de parole ainsi que les pauses. Cette avancée majeure pourrait potentiellement changer la donne, en éliminant la tonalité neutre et presque robotique des discours traduits oralement. Les langues prises en charge sont l’anglais, l’espagnol, l’allemand, le français, l’italien et le chinois (même si ces deux dernières langues sont absentes de la page d’accueil du traducteur-IA).
La deuxième fonctionnalité, « SeamlessStreaming », commence à traduire un discours pendant que l’orateur parle encore, réduisant ainsi le temps d’attente avant que l’IA ne traduise effectivement la parole de l’individu. Malgré une très courte latence d’un peu moins de deux secondes, cette amélioration élimine le besoin d’attendre la fin de la phrase. Pour parvenir à ce résultat, Meta a développé un algorithme dédié à l’analyse d’une entrée audio partielle, algorithme capable d’analyser le contexte de la phrase ou d’un discours afin de générer une traduction avant même que la phrase ne soit terminée.
Enfin, la suite « Seamless Communication » propose un ensemble d’outils de traduction qui devraient là encore surpasser l’offre concurrente. Le Communicator de Star Trek semble vraiment en passe d’être dépassé.
