Dans un contexte de développement pléthorique de l’IA et d’un marché jusqu’à présent essentiellement porté par l’offre, les conditions d’un rapprochement de cette dernière avec la demande doivent être réunies au plus tôt.
La certification, qui repose sur un référentiel d’exigences partagées par tous et sur des résultats d’évaluation de conformité produits par des organismes tiers indépendants, est un outil efficace pour instaurer la confiance nécessaire à la transition d’une IA en développement vers une IA marchande. Le LNE a ainsi constitué fin 2020 un groupe de travail (GT) comprenant des acteurs représentatifs du domaine pour bâtir le premier référentiel de certification volontaire dédié à l’IA et transverse aux différents domaines d’application (dispositifs et diagnostics médicaux, robotique industrielle et agricole, legaltech, fintech, assurtech, mobilité autonome, etc.). Cette certification devra, pour contribuer efficacement au succès commercial de l’IA, apporter des garanties et critères de choix objectifs aux utilisateurs des systèmes intelligents. Elle devra également, pour constituer un avantage concurrentiel, permettre aux développeurs d’acquérir et de démontrer la mise en œuvre de bonnes pratiques, attestant de la fiabilité des fonctionnalités d’IA développées.
Les travaux du GT, constitué notamment des groupes industriels comme Orange, Schneider Electric et Thales, de cabinets de conseil comme Axionable et Capgemini, de PME/ETI comme Arcure, Scortex et Kick-maker, de clusters d’entreprises comme Proxinnov – A2D, le TOSIT (représenté par e.Voyageurs SNCF), et l’IRT Railenium, ont porté sur la définition du périmètre de cette certification et donc sur les exigences essentielles qui permettront d’apporter des garanties sur les performances, la sécurité et l’éthique des systèmes intelligents. Les décisions suivantes, validées suite à une consultation publique qui s’est déroulée en mai 2021, ont contribué à déterminer la portée de cette certification :
- Il s’agit d’une certification de processus, ce qui lui permet d’être transverse aux différents domaines d’application de l’IA et de s’affranchir de certaines difficultés propres à la certification de produit (notamment le renouvellement régulier de bases de données de test spécifiques aux très nombreuses applications de l’IA et gérées par l’organisme certificateur, etc.).
- La certification porte ainsi sur tous les processus mis en place par le développeur tout au long du cycle de vie de son système d’IA : la conception, le développement, l’évaluation et le maintien en conditions opérationnelles (MCO). Elle garantira que la mise au point de chaque intelligence artificielle par un fabricant certifié aura été réalisée selon les pratiques identifiées de manière consensuelle comme essentielles.
- La certification ne concerne que les processus de conception, développement, évaluation et MCO de fonctionnalités d’IA reposant sur de l’apprentissage automatique, en raison de l’urgence identifiée d’apport de garanties quant aux avantages et limites de ces systèmes. Les processus liés aux IA hybrides sont donc concernés, mais pas ceux visant à développer des IA purement symboliques.
- Les exigences sont construites en terme de résultats à atteindre et non de moyens à mettre en place, évitant ainsi de freiner l’innovation.
Le pilotage par le LNE de ce groupe de travail se fait dans la continuité de ses missions statutaires visant à apprécier, structurer et accompagner, par des travaux de caractérisation, de qualification et de certification, l’offre de nouveaux produits et les innovations de rupture (intelligence artificielle, nanotechnologies, fabrication additive, mesure de radioactivité, stockage de l’hydrogène, etc.), en cherchant à la fois à protéger et répondre aux besoins des consommateurs et à développer et favoriser la compétitivité de l’industrie (cf. article L823-1 du Code de la consommation).
Au LNE, l’initiative a été portée par deux équipes : le département Évaluation de l’intelligence artificielle et le pôle Certification Instrumentation et Technologies de l’Information.
Le département Évaluation de l’IA apporte son expertise unique au niveau européen en évaluation de l’IA. Il a réalisé plus de 950 évaluations de systèmes d’IA depuis 2008, notamment en traitement de la langue (traduction, transcription, reconnaissance de locuteurs, etc.), en traitement des images (reconnaissance de personnes, reconnaissance d’objets, etc.) et en robotique (véhicules autonomes, robots de service, robots agricoles, robots collaboratifs, dispositifs médicaux intelligents, etc.) ce qui lui permet de partager une connaissance fine des avantages et limites des technologies d’IA déployées dans différents domaines d’application, ainsi que des exigences métier associées. Par ailleurs, son implication dans les différentes instances de normalisation (COS information et communication numérique d’Afnor, CN Afnor IA, CN CEN-CENELEC JTC21, ISO/IEC JTC1 / SC42, UNM81, etc.) et dans de nombreux projets collaboratifs portant sur l’IA de confiance (Grand défi IA, METRICS, Robotics4eu, COVR, partenariat stratégique sur la robotique intelligente signé avec le NIST en 2020, etc.) permet d’assurer la cohérence d’ensemble.
Le pôle Certification Instrumentation et Technologies de l’Information apporte quant à lui son expertise en certification, en particulier dans le domaine du numérique. Accrédité par le COFRAC pour la certification de produit et de système de management, le pôle CITI réalise chaque année plus de 400 audits de certification dans les secteurs de l’instrumentation et de la cybersécurité. Il exerce ses activités de certification aussi bien dans le cadre de certifications réglementaires, que volontaires.
Concernant les prochaines étapes, le LNE va procéder aux premières certifications dès 2021, pour les acteurs déjà prêts. Des actions seront également mise en place pour promouvoir le référentiel au niveau européen et à l’international. Il s’agira notamment de mettre en avant la réponse apportée par cette certification au besoin d’évaluation de conformité notamment introduit par le projet de réglementation de l’IA à haut risque présenté en avril 2021 par la Commission européenne afin « de garantir la sécurité et les droits fondamentaux des citoyens et des entreprises, tout en renforçant l’adoption de l’IA, les investissements et l’innovation dans l’ensemble de l’UE ».
Le LNE organisera également fin novembre à Paris la première édition du Forum « Évaluation de l’Intelligence Artificielle ». Ce dernier aura pour vocation de favoriser le partage d’expériences et valoriser les bonnes pratiques d’évaluation et de qualification des systèmes intelligents. Structuré autour de tables rondes et d’interventions d’acteurs de l’écosystème IA, la thématique de l’édition de cette année sera « vers une IA de confiance » et traitera notamment de la certification de l’IA.
