DeepMind, la filiale spécialisée dans l’intelligence artificielle de Google, a annoncé le développement de son nouvel outil AndroidEnv. Il s’agit d’une plateforme open source d’apprentissage par renforcement (RL) pour l’écosystème Android. Elle permet aux modèles RL d’interagir sur une grande variété d’applications et de services qu’utilisent les usages d’Android au quotidien grâce à une interface adaptée.
Un outil pour les algorithmes d’apprentissage par renforcement
AndroidEnv est un outil conçu par DeepMind afin de permettre aux agents d’apprentissage par renforcement d’interagir avec une large panoplie d’applications et de services proposés par Google. Les agents déployés apprennent ainsi à interagir avec les applications mobiles en se basant, contrairement au Deep Learning, sur apprentissage par l’expérience de l’agent lui même.
Les agents interagissent avec les applications en utilisant les applications comme le feraient les humains : tapotements, glissement de doigts sont simulés. Ils peuvent aussi prendre en compte les actions réalisées par l’utilisateur
Un outil d’apprentissage par renforcement aux multiples usages
Les agents générés par cet outil peuvent être chargés d’accomplir plusieurs tâches comme trouver un itinéraire, réserver un vol, faire une recherche sur un moteur de recherche, battre un record dans un jeu vidéo ou passer un niveau un peu récalcitrant. Selon DeepMind AndroidEnv serait le précurseur des modèles d’IA pour aider les utilisateurs à réaliser des tâches automatiquement :
“La capacité d’apprendre automatiquement des séquences d’actions pourrait conduire à des outils avancés de navigation vocale mains libres. Les modèles d’IA sur l’appareil pourraient aider à offrir une meilleure expérience utilisateur et des agents formés pourraient aider au test des appareils et à l’assurance qualité en comparant de nouvelles applications, en mesurant la latence ou en détectant les bugs ou les comportements inattendus dans le système d’exploitation Android.”
Actuellement, il existe une centaine de tâches fonctionnant pour une trentaine d’applications que les chercheurs en IA peuvent essayer. Mais DeepMind a développé cette plateforme open source sous la forme d’une bibliothèque Python conçue pour fournir un outil flexible capable de définir des tâches personnalisées sur Android. Les chercheurs peuvent ainsi facilement créer une grande variété de tâches.
L’outil peut avoir des applications très pratiques, telles que l’automatisation de tests fonctionnels pour les développeurs d’applications.
Impact : Vers des smartphones toujours plus proches de réels assistants personnels
Ces travaux de recherche permettront probablement de rendre à terme l’assistant Android toujours plus proche d’un réel assistant personnel. L’apprentissage par renforcement est tout à fait adapté, puisque cela permettra à chaque assistant d’apprendre de ses interactions avec nous, et avec les applications, afin de s’adapter aux habitudes et pratiques de chaque utilisateur.
Le choix de simuler une interaction utilisateur plutôt que de travailler par API (Application Programming Interface) avec les différentes applications, pratique pourtant habituelle en programmation logicielle, s’explique naturellement par une ambition de compatibilité universelle avec l’ensemble des applications Android : l’objectif de DeepMind n’est pas de rendre ces applications plus intelligentes, mais de créer une IA capable de manipuler les applications smartphone, ce qui fait toute la différence.
