Le 20 janvier dernier, Meta présentait “data2vec”, le premier algorithme auto-supervisé hautes performances pour la parole, la vision et le texte. Quatre jours plus tard, Mark Zuckerberg annonçait la construction du supercalculateur AI Research SuperCluster (RSC), un des superordinateurs d’IA les plus rapides actuellement et devrait être le plus rapide d’ici la mi-2022, une fois finalisé. Le 23 février dernier, le groupe a organisé un événement virtuel Meta AI : « Inside the Lab » sur le rôle de l’IA dans la construction du métavers et présenté certains de ses travaux.
Facebook a commencé à s’intéresser à l’Intelligence Artificielle dès 2013 et a recruté Yann Le Cun, Prix Turing 2018, pour monter le laboratoire FAIR (Facebook Artificial Intelligence Research), qui nous avait accordé un entretien dans le cadre du premier numéro du magazine de l’intelligence Artificielle, ActuIA. Depuis, le groupe n’a cessé de s’investir dans le domaine de l’IA. On connaît l’engouement de Marc Zuckerberg pour le métavers qui est pour lui le futur de l’Internet et a décidé de changer le nom de son groupe pour le renommer META. Le groupe a créé une division spéciale appelée Reality Labs et investi plus de 10 milliards en 2021 pour la recherche dans ce domaine. Les dernières avancées ont été présentées lors d’«Inside the Lab ». Mark Zuckerberg y a déclaré :
« Au fur et à mesure que nous développerons le métavers, nous aurons besoin de l’IA pour effectuer la lourde partie du travail qui rend possibles les expériences virtuelles de nouvelle génération. »
Builder Bot
Mark Zuckerberg a présenté un nouvel outil d’IA alimentant la créativité dans le métavers : Builder Bot qui permet de générer ou d’importer des choses dans un monde virtuel grâce à des commandes vocales. Son avatar s’est promené dans des paysages en 3D après les commandes « allons dans un parc » et « allons à la plage ». Le paysage se transforme quand il demande à Builder Bot d’ajouter des nuages, une île, de faire pousser des arbres… l’IA s’exécute et ajoute les éléments au paysage virtuel.
No Language Left Behind et Universal Speech Translator, pour éliminer les barrières du langage
Les systèmes IA de traduction automatique ne concernent pas des milliers de langues, ainsi plus de 20% de la population mondiale ne peut y recourir à partir de sa langue natale. La rareté des données pour ces langues est un obstacle, car l’apprentissage se fait généralement à partir de millions de phrases. Quant à la traduction directe orale, le défi est encore plus ardu.
Meta s’attèle à ces défis en développant de nouvelles techniques d’apprentissage automatique pour deux projets spécifiques. Le premier, baptisé No Language Left Behind, se concentre sur la création de modèles d’IA capables d’apprendre à traduire le langage en utilisant moins d’exemples de formation. Le second « Universal Speech Translator », visera à construire des systèmes qui traduisent directement la parole en temps réel d’une langue à une autre sans avoir besoin d’un système d’écriture standard ainsi que celles qui sont à la fois écrites et parlées. La société déclare :
« Si No Language Left Behind et Universal Speech Translator, combinés aux efforts de la communauté de recherche de traduction automatique, réussissent à créer des technologies de traduction qui incluent tout le monde, cela ouvrira les mondes numérique et physique d’une manière auparavant impossible. Nous faisons déjà des progrès en permettant des traductions pour les langues à faibles ressources, un obstacle important à la traduction universelle pour la plupart de la population mondiale. En faisant progresser et en ouvrant nos travaux sur la création de corpus, la modélisation multilingue et l’évaluation, nous espérons que d’autres chercheurs pourront s’appuyer sur ces travaux et rapprocher les utilisations réelles des systèmes de traduction de la réalité. »
Project CAIRaoke pour une conversation plus fluide avec les assistants virtuels
CAIRaoke est une nouvelle approche de l’IA qui alimente les chatbots et les assistants.
Les assistants virtuels reposent sur la compréhension du langage naturel (NLU), le suivi de l’état du dialogue (DST), la gestion de la politique de dialogue (DP) et la génération du langage naturel (NLG). Ces systèmes d’IA distincts doivent ensuite être reliés entre eux, il est très compliqué d’améliorer leur architecture et les optimiser, notamment pour les adapter à de nouvelles tâches inconnues. Cependant, Google AI a proposé en 2020 Meena, un agent conversationnel de 2,6 milliards de paramètres. De son côté, pour améliorer l’IA conversationnelle, Meta a développé CAIRaoke, un autre modèle neuronal de bout en bout et l’utilise déjà pour Portal, un de ses produits qui facilite la création et la gestion des rappels. La société déclare :
« nous visons à l’intégrer à des dispositifs de réalité augmentée et virtuelle pour permettre à l’avenir des interactions immersives et multimodales avec des assistants. »
Meta a également annoncé la création de l’« Artificial Intelligence Learning Alliance » (AILA), une initiative visant à renforcer la diversité et à accroître l’équité dans le domaine de l’intelligence artificielle et celle de TorchRec, une bibliothèque de domaine PyTorch pour les systèmes de recommandation.
