L’IRT SystemX a annoncé le lancement de son projet de R&D collaboratif Cockpit et Assistant Bidirectionnel (CAB). Il s’agit du deuxième projet du programme « Intelligence Artificielle et Ingénierie Augmentée (IA2) » lancé le 4 février 2020. Il réunit 4 industriels (Dassault Aviation, Orange, RTE, SNCF) autour de cas d’usage concrets pour une aide à la décision augmentée pour les pilotages complexes.
Comment développer un assistant virtuel qui apprenne « de » et « à » l’opérateur de systèmes critiques ou de réseaux sensibles (véhicule, réseau, infrastructure) à piloter ? En hybridant intelligence artificielle (IA) et interaction Homme-Machine (IHM), le projet CAB a pour objectif d’améliorer la coopération homme-machine.
Il vise à développer un démonstrateur de cockpit intelligent, intégrant un assistant virtuel bidirectionnel et multimodal pour accompagner l’opérateur dans ses prises de décision. Parmi les principaux verrous scientifiques et technologiques du projet : la représentation et la hierarchisation des connaissances, la pertinence de l’analyse et des recommandations, l’explicabilité et la personnalisation de l’expertise selon le profil de l’opérateur.
Des travaux de recherche répondant à une demande croissante de la part des opérateurs de systèmes critiques ou de réseaux sensibles
SystemX, unique IRT dédié à l’ingénierie numérique des systèmes du futur, lance le projet CAB, deuxième projet de son programme de recherche IA2. Il vise à définir et évaluer un cockpit intelligent intégrant un agent virtuel qui augmentera en temps réel les capacités de prise de décision de l’opérateur face à des situations complexes et/ou atypiques, et dont la particularité est qu’il apprenne de et à l’expert. Ces travaux de recherche articulant les domaines de l’IA et de l’IHM sont inédits et répondent à une demande croissante de la part des opérateurs de systèmes critiques ou de réseaux sensibles.
Le pilotage de systèmes critiques (avion, voiture, train, etc.) ou de réseaux sensibles (transport, électricité, télécoms etc.) implique pour l’opérateur de gérer une masse importante de données en provenance du système à piloter, liées à son environnement et à la complexité de la situation dans lequel il se trouve. Cela conduit à une augmentation significative de sa charge cognitive.
Prototyper un cockpit de tests générique
L’automatisation et la mise à disposition d’assistants virtuels sont couramment utilisées dans les situations où la décision finale revient à l’humain. La qualité de la coopération et la complémentarité de l’apprentissage entre l’homme et son assistant virtuel sont essentielles. L’objectif du projet CAB est le développement et le prototypage d’un cockpit de tests générique – ouvert en termes d’applications industrielles -, dans lequel il sera possible d’évaluer les formes d’échanges entre l’expert et une IA qui apprend en continu, à la fois des flux d’informations reçus mais aussi des décisions prises par l’homme.
L’aspect explicatif des recommandations de l’IA est central dans ce projet pour donner de la valeur ajoutée à l’opérateur dans le cadre de sa prise de décision. L’assistant virtuel saura déterminer le profil de l’opérateur, son niveau de charge cognitive, et adapter les flux d’informations remontés vers l’opérateur en vue de gérer dans les meilleures conditions une situation complexe et/ou atypique.
Des verrous scientifiques à lever
Parmi les principaux verrous scientifiques à lever : la représentation et le développement de modèles de connaissances, l’apprentissage bidirectionnel de l’opérateur et de l’IA, la caractérisation et compréhension d’une situation complexe par l’assistant virtuel et la pertinence de l’analyse, la personnalisation des recommandations à la situation et au niveau d’expertise de l’opérateur (junior, senior), l’explicabilité des recommandations faites par l’assistant virtuel ou encore l’acceptabilité par humain.
Sera également étudiée dans ce projet la notion de multimodalité, pour comprendre avec quel(s) sens des opérateurs, il est le plus pertinent de faire interagir l’assistant bidirectionnel : modes d’interaction visuels, auditifs/vocaux, tactiles ou combinés, ou encore surveillance de l’opérateur (eye tracking, données biométriques, etc.)
4 cas d’usage étudiés
- Dassault Aviation : proposer une assistance aux équipages d’avions au regard de l’augmentation de la complexité des missions, tout en consolidant la sécurité.
- Orange : bénéficier d’un assistant bidirectionnel qui regroupe les mesures permettant de vérifier que les applications et infrastructures télécoms sont opérationnelles et performantes, avertir en cas de dysfonctionnement en cours ou anticipé, et afficher les mesures ayant atteint un seuil critique pour repérer et réparer la cause du dysfonctionnement.
- RTE : proposer aux opérateurs un assistant apprenant s’adaptant à leur niveau d’expertise et à la criticité de la situation, pour aider à la prise de décision dans le cadre de la conduite des réseaux électriques en anticipation et en temps-réel et faciliter la coopération au sein de la salle de conduite, entre différents métiers et lors du passage de relais d’une équipe à une autre en 3/8. Objectif : Garantir la continuité de service de systèmes particulièrement critiques et complexes.
- SNCF : Concevoir une preuve de concept d’un agent virtuel bidirectionnel permettant d’augmenter en temps réel les capacités des opérateurs (PCC et/ou Conducteur) faisant face à des situations complexes et/ou atypiques sous contrainte temporelle forte.
Au terme du projet, seront développés/proposés : un démonstrateur de cockpit intelligent ouvert pour adresser des cas d’usages variés, des datasets, des algorithmes pertinents pour l’hybridation de l’IA avec des IHM multimodales et la preuve de concept des cas d’usage proposés par les 4 partenaires industriels.
« Ce projet vise à concevoir des systèmes hybrides impliquant l’utilisation de techniques d’intelligence artificielle (représentation de connaissances, machine learning, aide à la décision) et d’Interfaces Homme-Machine multimodales bidirectionnelles (coopération homme machine, IHMs personnalisées, IHMs adaptatives, data visualisation), tout en tenant compte des facteurs humains (charge cognitive, modes de contrôle, modèle humain).
Les assistants virtuels bidirectionnels ont vocation à rendre les opérateurs encore plus performants. En apprenant d’eux et en anticipant sur les actions à venir, ils s’inscrivent dans le sens d’une véritable coopération au service de l’efficacité opérationnelle », explique Walid Achour, chef de projet CAB.
Le programme IA2
CAB est le deuxième projet du programme « Intelligence Artificielle et Ingénierie Augmentée (IA2) » lancé par l’IRT SystemX le 4 février 2020. Ce programme est inédit à la fois par son ampleur et son format et répond aux attentes des industriels qui conçoivent, développent et valident des systèmes.
À travers 6 projets de R&D collaboratifs, chapeautés par un projet amont de mise en commun des résultats scientifiques, coordonné par Marc Schoenauer, chercheur renommé de Inria Saclay, l’IRT SystemX propose de développer en 5 ans des solutions hybridant trois approches de modélisation et de simulation : la modélisation physique des systèmes, l’utilisation de connaissances métier ou de modèles de comportements exprimés par des experts, et les modèles d’apprentissage machine basés sur les données réelles.
