YouTube modifie le mouvement des lèvres par IA dans ses vidéos doublées automatiquement

Vous n’êtes pas convaincu par le doublement automatique de YouTube ? La plateforme déploie une fonction de synchronisation labiale par IA pour améliorer le ressenti des vidéos doublées.

Depuis quelque temps, YouTube double automatiquement par IA les vidéos qui ne sont pas dans votre langue principale. Depuis le lancement de la fonction de doublement automatique il y a quelques mois, ce sont déjà 60 millions de vidéosen 20 langues, qui ont pu être doublées par ce nouvel outil.

Le doublement automatique de YouTube peut être utile si on ne parle pas de la langue d’origine du créateur de la vidéo qui nous intéresse. Elle offre une alternative aux sous-titres, que certains utilisateurs n’aiment pas lire pendant qu’ils visionnent leur contenu. Mais le doublement par IA présente des limites, avec une voix qui n’est pas très naturelle et la problématique de la synchronisation labialedeux facteurs qui peuvent nous sortir de l’immersion d’une vidéo.

YouTube déploie la synchronisation labiale par IA

YouTube est consciencieux et travaille pour améliorer ces deux points. La plateforme teste d’ailleurs une fonction de synchronisation labiale optimisée par l’IAqui doit permettre aux utilisateurs de surpasser cette dissonance audiovisuelle. Ce système « modifier les pixels à l’écran pour correspondre à la parole traduite »explique Buddhika Kottahachchi, chef de produit YouTube en charge du doublement automatique, auprès de Tendances numériques.

Il ajoute que Google a dû donner une compréhension 3D du monde, de la forme des lèvres, des dents, de la posture et du visage à son modèle d’IA pour que celle-ci soit en mesure de modifier le mouvement des lèvres, et surtout le synchroniser aux mots qui sont prononcés dans la version doublée automatiquement. Si on regarde une même vidéo dans des langues différentes, la bouche et les lèvres d’une personne parlant face caméra ne seront donc jamais les mêmes.

Pour l’instant, cette fonctionnalité de synchronisation labiale est adaptée aux vidéos en qualité Full HD (1080p). La 4K, qui par définition intègre bien plus de pixels, n’est pas encore prise en charge. Toutes les langues ne sont pas compatibles non plus. À ce jour, seules cinq le sont : l’anglais, l’espagnol, l’allemand, le portugais et le français. À terme, les 20 langues prises en charge par le doublement automatique de YouTube proposeront la synchronisation labiale par IA.