Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le doublage en langue étrangère

cinéma deepfake logiciel doublage fichiers audio vidéo deep learning

Le deepfake est une technique reposant sur l’intelligence artificielle qui permet de superposer des fichiers audio ou vidéos sur d’autres fichiers déjà existants pour reproduire la voix d’une personne ou de changer son visage et donc faire en sorte de lui faire dire des propos ou faire des actions que ces individus n’ont jamais fait. Cette technologie est souvent utilisée pour créer des canulars ou pour faire en sorte de véhiculer des fake news. Toutefois, elle pourrait être utilisée dans le cinéma à bon escient pour le doublage des acteurs dans plusieurs langues.

Un logiciel d’IA pour contourner les problèmes de doublage et d’articulation des lèvres

Habituellement, le deepfake est utilisé pour modifier les traits du visage, les gestes ou la voix d’une personne dans une image ou une vidéo, dans le but de lui faire dire quelque chose qu’elle n’a jamais dit ou jamais fait en réalité. Si cette pratique est en réalité associée aux intox et aux memes internet, elle pourrait être, à terme, utilisée pour le cinéma pour permettre un doublage plus réaliste et facile à réaliser.

La société britannique Flawless a annoncé le développement d’un logiciel, intitulé TrueSync qui permet d’analyser les schémas faciaux des acteurs et de les modifier afin qu’ils puissent s’intégrer dans la vocalisation d’une autre langue. Pour être plus précis : un des problèmes récurrents du doublage consiste à faire en sorte que les paroles dans la langue doublée puissent coller avec le mouvement des lèvres. Une difficulté que les experts en IA de la firme britannique souhaitent atténuer.

C’est ce qu’explique Scott Mann, un des réalisateurs qui a décidé d’exploiter la technologie de Flawless :

“Je suis déconcerté lorsque je regarde les films que je réalise, mais doublés dans d’autres langues, car le scénario orignal est rarement conservé. Si vous faites un petit changement dans un mot ou dans une performance, vous pouvez avoir un grand changement dans la personnalité d’un personnage ou dans le rythme de l’histoire, et donc sur la compréhension du film.”

Le deepfake, une pratique utile dans certaines circonstances, sujet aux questions éthiques

TrueSync permet une synchronisation réaliste en adaptant le mouvement de la bouche et des lèvres des acteurs originaux à l’articulation que l’on peut retrouver dans plusieurs langues étrangères. Il y a quelques semaines, Flawless a publié une vidéo où l’on pouvait voir certains résultats de l’utilisation de l’outil pour doubler des films avec des acteurs célèbres comme Robert de Niro, Tom Hanks, Jack Nicholson ou encore Tom Cruise.

Toutefois, l’utilisation d’un logiciel comme celui-ci présente plusieurs problématiques d’ordre éthique notamment. Certains professionnels ont noté que si le logiciel tombait entre de mauvaises mains, il pourrait être exploité pour commettre des délits. De plus, il faut aussi partir du principe que les acteurs doivent accepter que leurs lèvres (et donc une partie de leur corps) soient modifiées pour faciliter les doublages dans les autres langues.

Plusieurs interrogations qui vont sans douter faire repousser l’utilisation future et massive des techniques deepfakes dans le cinéma.

Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.
Partager l'article
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.