Deux techniques permettant aux réseaux de neurones de traduire sans utilisation de dictionnaire ou d’intervention humaine ont été développées indépendamment. C’est la première fois qu’un système intelligent en est capable sans apprentissage supervisé.
Deux techniques se basant sur la création de dictionnaires propres
Deux équipes de chercheurs en informatique, l’une dirigée par Guillaume Lample de Facebook à Paris, et l’autre par Mikel Artetxe et Eneko Agirre de l’Université du Pays Basque (UPV) à San Sebastian en Espagne, ont réalisé une avancée particulièrement intéressante en matière de traduction. En utilisant l’intelligence artificielle, les chercheurs ont développé des techniques pour permettre aux réseaux de neurones de traduire entre deux langues sans qu’ils aient besoin de recourir à un dictionnaire ou à une intervention humaine.
Jamais une intelligence artificielle n’était parvenue à traduire un texte sans avoir été entraînée à cela au préalable. Pour obtenir un tel résultat, les systèmes identifient tout d’abord des éléments récurrents dans chacune des deux langues. Cela peut être des mots qui vont souvent ensemble comme table et chaise ou chaussures et chaussettes.
Ensuite, les réseaux de neurones relient ces co-occurences dans les deux langues et créent des dictionnaires bilingues sans l’aide de l’homme. Ils vont ensuite se baser sur ces dictionnaires pour traduire des phrases entières. Publiées à quelques jours d’intervalle, ces deux publications utilisent des techniques similaires et donnent des résultats comparables. L’UPV réalise toutefois davantage de traductions inverses tandis que celle de Guillaume Lample a une étape intermédiaire.
De puissants algorithmes de machine learning
Les réseaux de neurones sont de puissants algorithmes de machine learning qui imitent la structure du cerveau humain. Ils sont utilisés pour effectuer une multitude de tâches complexes, de la reconnaissance faciale à la prise de décision. Mais ces algorithmes nécessitent un entraînement et l’accès à d’importants ensembles de données classifiées. Dans le cadre de la traduction, un réseau de neurones a besoin de textes pour apprendre à effectuer la traduction par lui-même. Ce type de textes, dits parallèles, sont constitués de mots et de phrases traduits, placés avec le texte original.
Mais ces deux nouveaux articles de recherche de Facebook et de la UPV ont démontré qu’il était possible pour un réseau de neurones de traduire sans aucun texte parallèle durant son entraînement, grâce à une technique de machine learning non-supervisé.
Deux techniques similaires pour la traduction
On constate dans les deux publications que les réseaux de neurones ont également utilisé d’autres techniques pour parvenir à ces résultats. Il s’agit de la traduction inverse et du débruitage.
- La traduction inverse : il s’agit de traduire une phrase dans la langue requise puis de la retraduire à partir de là dans sa langue d’origine. Si le réseau de neurones constate des différences entre la phrase traduite en retour et la phrase source, il apprend et s’ajuste lui-même pour faire une traduction plus précise à l’avenir.
- Le débruitage suit un processus similaire mais ajoute cependant du bruit à la phrase. La traduction est faite d’une langue à l’autre, puis certains mots sont réarrangés ou supprimés avant d’être retraduits dans la langue d’origine. Cela permet essentiellement de supprimer le besoin d’interaction humaine et rend permet une meilleure traduction qu’un simple mot à mot. En effet, ce processus permet au réseau de neurones d’apprendre la syntaxe des deux langues et d’obtenir de meilleurs résultats.
D’après les chercheurs, les traductions sont encore plus précises avec une approche semi-supervisée impliquant des textes parallèles. Ils estiment également qu’ils pourraient améliorer leurs résultats en appliquant les techniques de l’autre.
