Selon plusieurs sources de The Information, Google travaille au développement d’un agent d’IA capable d’utiliser un ordinateur de façon autonome. L’entreprise aurait l’intention de présenter cette technologie, connue en interne sous le nom de code “Jarvis Project”, le mois prochain en même temps que la prochaine version de son LLM Gemini qui l’alimenterait.
Plusieurs entreprises s’emploient à développer des agents d’IA autonomes pouvant, à partir d’instructions, contrôler un ordinateur et interagir en temps réel avec diverses applications. Open AI devrait d’ailleurs lui aussi en présenter un prochainement, mais Anthropic leur a volé la vedette : la version bêta de la fonctionnalité “Computer Use”, présentée la semaine dernière, permet à Claude 3.5 Sonnet d’interagir avec des interfaces graphiques en simulant les actions humaines, telles que déplacer le curseur ou cliquer sur un bouton.
Claude traduit les instructions comme “utiliser les données de mon ordinateur et les données en ligne pour remplir ce formulaire” en commandes informatiques : “vérifier une feuille de calcul, déplacer le curseur pour ouvrir un navigateur Web, naviguer vers les pages Web pertinentes, remplir un formulaire avec les données de ces pages…”.
Selon The Information, Jarvis (en référence à J.A.R.V.I.S. dans Iron Man) serait une fonctionnalité similaire à Computer Use, mais qui sera intégrée au navigateur Chrome. Gemini 2, la prochaine itération du modèle de Google qui l’alimentera, pourra effectuer des tâches telles que la recherche, l’achat d’un produit ou la réservation d’un vol.
Le système d’IA fonctionnera en prenant des « captures d’écran fréquentes » de l’écran de l’utilisateur et analysera ces images pour effectuer des actions telles que cliquer sur un bouton ou taper dans un champ de texte. Cependant, le modèle serait relativement lent, prenant quelques secondes pour décider de chaque action.
Jarvis pourrait ne pas se cantonner au navigateur web : Google travaillerait avec Anthropic pour développer un agent d’IA capable de contrôler l’ordinateur. Si Jarvis est réellement présenté en décembre prochain parallèlement à Gemini 2, ce que Google n’a d’ailleurs pas confirmé, il ne devrait cependant pas être disponible aux internautes avant un certain temps.
