La réorganisation de Google DeepMind n’empêche pas le labo IA du géant du web de continuer à produire des technologies inédites. À l’occasion de la présentation de la nouvelle gamme Pixel 11, DeepMind a dévoilé un nouveau modèle qui transcrit le langage des signes en texte.

Les Pixel 11 sont les premiers smartphones Android à intégrer le modèle SL2T (pour « sign-language-to-text »). Développé par Google DeepMind, il permet aux sourds et aux malentendants de signer devant leur téléphone au lieu de saisir du texte. Il devient donc possible de chercher quelque chose sur internet, d’écrire des messages, d’interagir avec Gemini ou de répondre dans le fil d’une conversation en utilisant le langage des signes.

Les testeurs de Google affirment que cette fonction d’accessibilité est bien plus naturelle, plus rapide et plus agréable que de taper du texte. L’ASL, la langue des signes américaine, est la première à être prise en charge. D’autres langues sont dans les tuyaux, tout comme le support d’appareils supplémentaires.

Les mains dans le cambouis

Comme l’explique Google, les langages des signes – il en existe plus de 200 – sont de « vraies langues », chacune ayant sa propre grammaire et son propre lexique, qui utilise non seulement les mains bien sûr, mais aussi le visage et les mouvements de la tête, le torse et l’espace.

Le développement d’un modèle SL2T doit franchir deux obstacles : d’une, le défi linguistique, puisque les langues des signes ne sont pas la transcription mot à mot d’une langue orale. De deux, un défi visuel : le modèle doit en effet comprendre des mouvements complexes du corps, des mains, du visage, de la position du corps, le tout étant très rapide et parfois simultané.

Google rappelle l’existence de « gants de traduction », une des premières tentatives de transcrire le langage des signes en texte. Une tentative « fondamentalement limitée » puisque les langues des signes ne sont pas de « l’anglais [ou du français] avec les mains ». Le modèle mis au point par DeepMind doit répondre à ces deux problématiques.

Le modèle SL2T a été entraîné sur plus de 100 000 heures de données de 50 langues des signes (un quart de ce volume d’heures ayant été consacré à l’ASL). « L’entraînement conjoint sur diverses langues, dialectes et niveaux de maîtrise permet au modèle d’apprendre des structures sous-jacentes communes, ce qui l’a amené à surpasser les modèles monolingues dans nos expériences », explique l’équipe.

En attendant la LSF

La traduction ne s’appuie pas sur le flux vidéo brut, afin de protéger la vie privée de l’utilisateur. Un modèle spécialisé, MediaPipe Holistic, suit les points de repères du corps ; le traitement est réalisé en local, sur l’appareil. Il envoie ces points de repère au serveur, tandis que la vidéo est immédiatement supprimée.

Les coordonnées corporelles sont ensuite analysées et transformées en texte. « Traduire directement à partir des points de repère supprime les limites artificielles de vocabulaire et permet à la qualité de traduction de progresser directement avec la quantité de données », ajoute Google qui s’enorgueillit de n’avoir pas utilisé de gloses. Ces annotations intermédiaires, très utilisées dans les travaux sur la traduction des langues des signes, sont jugées insuffisantes pour capturer la richesse de ces langages.

En termes de performances, Google affirme que SL2T décroche les meilleurs résultats sur les principaux tests de traduction de l’ASL vers l’anglais (à l’instar de FLEURS-ASL). Le modèle a aussi été optimisé pour des usages du monde réel, où il faut une latence faible, éviter les hallucinations, sans oublier de prendre en compte les signeurs gauchers.

Pour développer la suite, Google a créé l’AI Sign Language Advisory Committee (AISLAC), qui regroupe des organisations internationales de sourds et malentendants, ainsi que des spécialistes du sujet. Un rapport d’impact a également été publié à l’occasion du lancement de cette version 1.0 du modèle SL2T.

• Google réorganise DeepMind pour accélérer sur Gemini