Le rapport AI Index 2018, rédigé par un groupe de chercheurs du MIT, de Stanford, de Harvard ainsi que d’organisations telles que OpenAI, a été publié la semaine dernière. Un premier bilan avait été publié en 2017 et proposait de suivre, compiler, distiller et visualiser des données relatives à l’intelligence artificielle.
Le AI Index a été conçu dans le cadre de la One Hundred Year Study on AI (AI100). Il s’agit d’un projet indépendant, en lien direct avec AI100, hébergé par le Stanford’s Human-Centered AI Institute (HAI). Il aspire à proposer une source complète de données et d’analyses permettant aux décideurs, aux chercheurs, aux cadres, aux journalistes et au grand public de mieux évaluer le domaine complexe de l’IA.
AI Index
L’AI Index est un point de départ pour des discussions éclairées sur les progrès de l’intelligence artificielle. Le rapport regroupe un ensemble divers de mesures et rend les données sous-jacentes facilement accessibles au grand public. Le rapport AI Index est divisé en 4 grandes sections :
- Volume d’activité : Les mesures de volume d’activité capturent les aspects “combien” du domaine, tels que la participation à des conférences sur l’IA et les investissements de capital-risque dans les start-ups développant des systèmes d’IA. D’autres données interviennent telles que le nombre d’étudiants en IA ou encore le pourcentage de candidatures féminines à des postes dans l’IA.
- Performance technique : Les mesures de performance technique capturent les aspects “de qualité”; par exemple, dans quelle mesure les ordinateurs peuvent-ils comprendre les images et prouver des théorèmes mathématiques.
- Mesures dérivées : Les chercheurs étudient également la relation entre les tendances. Ils introduisent également une mesure exploratoire, l’AI Vibrancy Index, qui combine les tendances des universités et des industries pour quantifier le dynamisme de l’IA en tant que domaine. Cette année, le rapport s’est également basé sur une nouvelle mesure qualitatives : les récentes initiatives gouvernementales. Cela permet de prendre en considération les investissements des gouvernement en matière d’intelligence artificielle aux États-Unis, en Chine et en Europe. L’AI Index souhaite pouvoir inclure davantage de données et d’analyses gouvernementales à l’avenir.
- Vers la performance humaine : Le rapport établie également une courte liste de domaines notables dans lesquels les systèmes d’IA ont réalisé des progrès significatifs, en vue d’atteindre ou de dépasser les performances humaines. L’idée sous-jacente est de pouvoir aussi discuter des difficultés de telles comparaisons. Le rapport 2018 comprend également une section “What’s missing?” présentant des suggestions de plusieurs experts du domaine apportant des pistes sur comment l’AI Index pourrait être plus compréhensible et représentatif.
Le rapport AI Index 2018
Le rapport AI Index propose de nombreuses données très intéressantes sur l’évolution et l’état de l’intelligence artificielle. Voici ci-dessous quelques graphiques extraits de l’étude présentant différents types de données.
- Croissance des publications d’articles par sujet entre 1996 et 2017 et par zones géographiques
2. Nombre d’articles publiés sur Scopus par sous-catégorie entre 1998 et 2017. On note une recrudescence des publications de papiers sur le machine learning et le probabilistic reasoning, sur les réseaux de neurones ainsi que la vision par ordinateur.
3. Nombre d’articles publiés sur arXiv par sous-catégorie entre 2010 et 2017. La thématique de la vision par ordinateur arrive largement en première, suivie par le machine learning.
4. Nombre de candidatures en 2017 en fonction du genre et selon les secteurs.
5. Le graphique ci-dessous représente le pourcentage de répondants dont les entreprises disposent de fonctionnalités d’intelligence artificielle intégrées dans au moins une fonction ou une unité commerciale.
6. Emplois liés à l’IA entre 2015 et 2017 : ouverture de postes liés selon les compétences requises et croissance des ouvertures de postes en fonction des compétences requises.
Concernant les performances humaines, le rapport AI Index 2018 relève pour 2018 quatre grandes avancées :
- Traduction Chinois – Anglais : un système de traduction de Microsoft a atteint un niveau de qualité et de précision ‘humain’ en traduisant des actualités du chinois à l’anglais. Le test a été réalisé sur newstest2017.
- Capture the Flag : Un agent DeepMind a atteint une performance humaine sur une version modifiée duc élève jeu vidéo Capture the Flag au moment de se déplacer, de suivre et de défendre.
- Dota 2 : L’équipe OpenAI Five, composée de 5 réseaux de neurones, a battu des équipes humaines à Dota 2.
- Évaluation du cancer de la prostate : Un système de deep learning développé par Google a pu évaluer avec une précision de 70% des examens liés à des cancers de la prostate contre un taux de précision de 61% pour les spécialistes.
Retrouvez le rapport complet sur le site AI Index : Yoav Shoham, Raymond Perrault, Erik Brynjolfsson, Jack Clark, James Manyika, Juan Carlos Niebles, Terah Lyons, John Etchemendy, Barbara Grosz and Zoe Bauer, “The AI Index 2018 Annual Report”, AI Index Steering Committee, Human-Centered AI Initiative, Stanford University, Stanford, CA, December 2018.
