Après avoir annoncé ses nouveaux TPU sa technologie d’intelligence artificielle MUM, Google présente son modèle Language Model for Dialogue Applications (LaMDA) dans le cadre de la conférence annuelle Google I/O. Il s’agit de la dernière avancée de la marque dans le domaine de la compréhension du langage naturel. L’objectif principal de ce chatbot : pouvoir dialoguer de manière fluide et naturelle avec un humain.
Un modèle entrainé pour dialoguer avec un humain
Tout comme BERT, GPT-3 ou MUM, LaMDA est basé sur Transformer, une architecture de réseau neuronal récurrent utilisé dans le traitement du langage. Mais contrairement à la plupart des autres modèles de langage, celui-ci est destiné au dialogue. Dans le cadre de son entrainement, il a retenu plusieurs nuances qui peuvent exister dans le cadre d’une conversation comme celles de la sensibilité.
Par exemple, si une personne dit : “Je viens de commencer des cours de guitare”, l’interlocuteur en face pourrait très bien répondre “Comme c’est passionnant ! Ma mère a également une guitare, elle adore en jouer”. Cette réponse a du sens si on prend en compte la première déclaration et pourrait très bien constituer un dialogue classique entre deux individus. Les développeurs ont tout fait pour que les réponses fournies par le système soient sensées et semblables à celles d’une conversation normale entre deux personnes.
Cela a été possible grâce à des recherches réalisées l’an dernier. Elles ont montré que les modèles entrainés au dialogue et basés sur l’architecture Transformer pouvaient apprendre à parler de tous les sujets possibles et imaginables. LeMDA a été conçu en ce sens.
Saisir les nuances d’une conversation et répondre en conséquence
Pendant une conversation entre deux personnes, un sujet peut être abordé en amont pour ensuite être abandonné, car, progressivement, les deux interlocuteurs ont rebondi sur un autre sujet. Dans la plupart des cas, les chatbots ou agents virtuels de conversation sont perdus puisqu’ils s’enferment dans des tunnels thématiques prédéfinis par des scénarios.
LaMDA a pour optique de proposer des réponses de manière fluide sur un nombre supposé infini de sujets. Cette technologie pourrait permettre aux humains de converser avec nos appareils de manière naturelle et non mécanique. L’image ci-dessous présente l’ensemble des possibilités et chemins induits d’une réplique proposée par l’utilisateur. Le modèle choisit celle qui correspond le mieux à la situation :
Sundar Pichai explique :
“Les conversations naturelles sont génératives et ne prennent jamais deux fois le même cheminement. LaMDA est destiné à tenir des conversations sur l’ensemble des sujets. Nous pensons que LaMDA pourra faciliter l’accès à l’information, mais nous sommes encore à un stade précoce des recherches sur le sujet.”
Les risques liés à la création de technologies telles que LaMDA
L’une des interrogations évoquées par Google quant au développement de LaMDA réside dans le fait de savoir si cette technologie respecte les principes de la firme autour de l’IA. Dans ses propos, la marque fait référence à ce questionnement comme étant sa priorité :
“La langue est peut-être l’un des plus grands outils de l’humanité, mais comme tous les outils, elle peut être mal utilisée. Les modèles formés au langage peuvent propager cette utilisation abusive, par exemple, en faisant référence à des préjugés, en reflétant des discours haineux ou en évoquant de fausses informations. Et même lorsque la langue sur laquelle il est formé est soigneusement vérifiée, le modèle lui-même peut encore être mal utilisé. Notre priorité absolue, lors de la création de technologies telles que LaMDA, est de veiller à minimiser ces risques.”
Une précaution bien utile, puisque de nombreuses expériences de chatbot ont tourné court, à commencer par Tay, un chatbot lancé par Microsoft en 2016 et relayant des propos nazis. (Il convient de rappeler que malgré les avancées en TAL, un chatbot n’a pas “conscience” de ce qu’il dit, et a encore moins de “conscience” tout court. Cependant un tel dérapage peut être lourd de conséquences en terme de communication et présente une réelle responsabilité éthique envers les personnes qui pourraient se sentir offensées.)
Le groupe affirme également proposer ses ressources en open source afin que les chercheurs et développeurs puissent analyser les modèles et examiner les données sur lesquelles ils sont conçus.
