Google profite du lancement de ses Pixel 11 pour introduire une importante fonction d’accessibilité. Développé par DeepMind, le modèle SL2T (Sign-Language-to-Text) permet de convertir directement la langue des signes en texte. La technologie est intégrée à Gboard et à Live Transcribe, et permet notamment de rédiger un message, lancer une recherche ou d’interagir avec Gemini sans utiliser le clavier.
Plus de 100 000 heures de langue des signes pour entraîner l’IA
Google DeepMind explique avoir entraîné SL2T sur plus de 100 000 heures de données couvrant plus de 50 langues des signes. Environ un quart de cet ensemble concerne l’American Sign Language (ASL). Au lancement, seule la traduction de l’ASL vers l’anglais est disponible, mais Google prévoit d’ajouter d’autres langues et appareils.
Contrairement à certains systèmes antérieurs, SL2T ne découpe pas les gestes en une succession de mots intermédiaires. Le modèle analyse les mouvements corporels et les traduit directement en texte, afin de mieux prendre en compte les expressions faciales, les constructions spatiales ou les mouvements simultanés. La prouesse technologique n’est pas mince : « Les langues des signes ne sont pas simplement de « l’anglais exprimé avec les mains ». Elles nécessitent une perception visuelle complexe de mouvements précis de l’ensemble du corps, ainsi qu’un véritable travail de traduction linguistique. SL2T a été conçu pour assurer ces deux fonctions. » précise Google sur le site de Deepmind.
Google veut préserver les images captées par la caméra
Le traitement repose aussi sur une architecture pensée pour la confidentialité. Un modèle exécuté directement sur le Pixel 11 transforme les images de la caméra en coordonnées représentant différents points du corps. Seules ces données géométriques sont ensuite transmises aux serveurs de Google, tandis que la vidéo originale peut être immédiatement supprimée.
Avec plus de 70 millions de personnes sourdes ou malentendantes utilisant quelque 200 langues des signes dans le monde, le modèle SL2T a un énorme marché devant lui, d’autant que cette fois la fonction de transcription est directement intégrée à un smartphone vendu massivement (enfin, si l’augmentation tarifaire ne freine pas la demande). Google reviendrait ainsi à la hauteur de son concurrent Apple, qui a fait depuis des années son cheval de bataille des fonctions d’accessibilité.
