La mobilité, le transport autonome et les environnements complexes incertains sont au coeur du projet Evaluation des performances de systèmes de décision à base d’intelligence artificielle (EPI) lancé par SystemX. Il a pour objectif d’aboutir à la définition d’une méthodologie générique partagée entre les partenaires pour l’évaluation des performances de ces algorithmes basés sur le machine learning.
À travers ce projet EPI, SystemX et ses partenaires industriels (Apsys, Expleo Assystem Technologies (Expleo), Groupe PSA et Naval Group) s’intéressent à l’évaluation et à l’optimisation des performances des systèmes de décision qui embarquent du machine learning, dans les domaines du transport autonome et des environnements complexes incertains comme le maritime. L’IRT a donc lancé le projet EPI d’une durée de trois ans. Les systèmes concernés permettent la prise de décision sur la base de l’interprétation et la reconnaissance de l’environnement par des capteurs au travers de l’intelligence embarquée. L’évaluation des performances de cette intelligence est clé pour s’assurer du bon fonctionnement du système.
Ce projet aboutira à la définition d’une méthodologie générique partagée entre les partenaires pour l’évaluation des performances de ces algorithmes. Deux Proof of Concept (PoC, preuve de concept) seront réalisées dans les domaines du transport autonome routier et maritime.
Réunissant quatre partenaires industriels autour de l’intérêt commun d’évaluer les performances des systèmes de décision à base d’IA, le projet EPI piloté par SystemX sert trois objectifs :
- Évaluer la performance de systèmes de décision reposant sur des algorithmes de type réseaux de neurones (ex : représentation exacte de la réalité, latence du système, sûreté de fonctionnement, etc.).
- Améliorer la performance des systèmes de réseaux de neurones en mixant données réelles et données simulées. En effet, la simulation numérique permet d’accroître le corpus de données étudiées et ainsi d’augmenter les performances des algorithmes.
- Proposer une approche pour évaluer le niveau de couverture de situations approprié, sur la base de deux cas d’applications. Dans le domaine du véhicule autonome, la fonction étudiée sera de type autopilote. Dans le cas du martime, la fonction décisionnelle reste à définir mais pourra concerner les entrées ou sorties de port, les zones denses et multi-navires, etc.
L’ambition partagée des acteurs du projet est de bâtir une méthodologie d’évaluation des performances des systèmes de décision à base de machine learning. Cette méthode doit garantir l’indépendance entre les données d’apprentissage (simulées) et les données de test (données réelles) et assurer la traçabilité et la reproductibilité des résultats.
« À ce jour, il n’existe pas de projet comparable au niveau national : la méthodologie développée dans le cadre du projet EPI sera validée dans un contexte industriel sur la base de données réelles et simulées. Notre ambition est que cette méthodologie devienne d’ici quelques années le standard en France pour certifier les systèmes de décision à base d’IA », explique Abdelkrim Doufene, Directeur Stratégie et Programmes chez SystemX.
Parmi les verrous à lever dans le cadre de ce projet :
- Comment entraîner un réseau de neurones, sélectionner le mélange optimal entre des données réelles, les données simulées, et les données générées par un autre réseau de neurones adverse ?
- Comment définir la donnée de simulation (et sa qualité) dans un environnement incertain et complexe ? Comment évaluer l’impact de la donnée d’entrée sur la qualité des décisions ?
- Comment optimiser le choix des exemples à simuler pour bien couvrir le périmètre de validité du modèle machine learning sans traiter la quantification des probabilités d’occurrence ? Quels sont les critères d’optimisation ?
- Comment évaluer le niveau de couverture de situations, et garantir l’indépendance entre les données d’apprentissage et les données de test ? Quelles sont les métriques nécessaires pour mesurer les niveaux de couverture ?
- Ou encore comment quantifier la performance et la fiabilité de la méthode d’évaluation des performances des algorithmes de décision à base d’IA ?
Le projet EPI va contribuer à consolider l’expertise de l’IRT SystemX dans la conception et validation des systèmes de transport autonome, notamment en procédant au rapprochement des filières automobiles et maritimes. Ce projet contribuera également à évaluer l’apport de l’intelligence artificielle pour le renforcement de la sécurité de ces systèmes.
