AlphaCode, générateur de code de Deepmind, évalué sur Codeforces

DeepMind, la filiale d’Alphabet (ex Google), spécialisée en IA a présenté AlphaCode, outil capable d’écrire du code informatique de façon totalement autonome pour résoudre des problèmes nécessitant réflexion logique et compréhension du langage. Elle a confronté ce nouveau système de génération de code à des développeurs humains lors de concours de programmation sur la plateforme Codeforces où il a obtenu un score de 54,3%.

DeepMind Technologies, entreprise  britannique spécialisée dans l’intelligence artificielle, créée en 2010 par Demis Hassabis, Mustafa Suleyman et Shane Legg a été rachetée en 2014, par Google pour plus de 628 millions de dollars. elle a pour objectif de trouver «les meilleures techniques de l’apprentissage automatique et des neurosciences des systèmes pour construire de puissants algorithmes d’apprentissage généraliste». Renommée pour son programme Alphago qui a battu plusieurs champions de go avant de remporter une victoire définitive sur le n°1 mondial en 2017 ou AlphaFold, capable de prédire la structure des protéines à partir de leurs séquences en acides aminés, DeepMind travaille sur les raisonnements rationnel et prédictif, ainsi que sur les méthodes d’apprentissage de type deep learning et deep reinforcement learning.

Programmation compétitive avec AlphaCode

Le développement des modèles d’apprentissage automatique semblables à AlphaCode permet de générer du code à partir d’algorithmes. Plusieurs sociétés ont créé des outils d’auto-complémentation de code: Microsoft et Open AI se sont associés pour produire Github Copilot, reposant sur Codex, TabNine a donné son nom au sien. L’objectif est de permettre aux développeurs de gagner en productivité dans une activité toujours plus complexe. C’est justement pour apporter «des solutions aux problèmes de programmation concurrentiels qui nécessitent une compréhension des algorithmes et du langage naturel complexe» que Deepmind a créé AlphaCode.

AlphaCode utilise des modèles de langage basés sur des transformateurs de grandes tailles efficaces à échantillonner pour générer du code à  grande échelle, puis filtre vers un petit ensemble de programmes. Deepmind a évalué et validé les performances de son modèle lors de compétitions sur Codeforces, une plateforme populaire où se confrontent des dizaines de milliers de développeurs du monde entier venus tester leurs compétences en codage. AlphaCode a été confronté à 5000 concurrents lors de 10 concours, il a obtenu un score de 54,3% et s’est placé à peu près au niveau du concurrent médian, marquant la première fois qu’un système de génération de code IA a atteint un niveau de performance compétitif dans les compétitions de programmation. Petr Mitrichchev, ingénieur logiciel, google et programmeur compétitif de classe mondiale a déclaré :

«Résoudre des problèmes de programmation compétitifs est une chose très difficile à faire, nécessitant à la fois de bonnes compétences en codage et de la créativité en résolution de problèmes chez les humains. J’ai été très impressionné qu’AlphaCode puisse progresser dans ce domaine et ravi de voir comment le modèle utilise sa compréhension des énoncés pour produire du code et guider son exploration aléatoire afin de créer des solutions.»

Mike Mirzayanov, fondateur de Codeforces, a ajouté:

«Je peux dire en toute sécurité que les résultats d’AlphaCode ont dépassé mes attentes. J’étais sceptique car même dans des problèmes compétitifs simples il faut souvent non seulement implémenter l’algorithme, mais aussi (et c’est la partie la plus difficile) l’inventer. AlphaCode a réussi à performer au niveau d’un nouveau concurrent prometteur. J’ai hâte de voir ce qui m’attend !»

Une IA à ses débuts

Selon DeepMind, cette IA en est encore à ses débuts mais «Notre exploration de la génération de code laisse une vaste marge d’amélioration et laisse entrevoir des idées encore plus intéressantes qui pourraient aider les programmeurs à améliorer leur productivité et ouvrir le champ aux personnes qui n’écrivent pas actuellement de code. Nous poursuivrons cette exploration…».

Pour l’instant, AlphaCode a été évalué dans la programmation compétitive mais n’a pas encore les compétences d’un développeur humain. D’autre part, à l’instar des autres générateurs de code, il se base sur des codes existants, donc pourrait être accusé de plagiat.

Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.
Partager l'article
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.