La Commissaire aux droits de l’homme du Conseil de l’Europe a publié il y a quelques mois un document très intéressant intitulé Décoder l’intelligence artificielle : 1O mesures pour protéger les droits de l’homme. Il s’agit d’une recommandation sur l’IA et les droits de l’homme, qui met en avant 10 séries de mesures. Retour sur ce document.
Les effets de l’intelligence artificielle sur les droits de l’homme constituent l’un des facteurs les plus importants qui définiront la période dans laquelle nous vivons. Les technologies utilisant l’IA sont de plus en plus présentes dans la vie de chacun, par le biais de la domotique ou des réseaux sociaux, par exemple.
Elles sont aussi de plus en plus utilisées par les pouvoirs publics pour évaluer la personnalité ou les compétences des individus, pour allouer des ressources et pour prendre d’autres décisions qui peuvent avoir des conséquences graves et concrètes pour les droits de l’homme. Comme l’a souligné la Commissaire aux droits de l’homme dans un article du Carnet des droits de l’homme, il est donc urgent de trouver le juste équilibre entre les progrès technologiques et la protection des droits de l’homme.
Comme l’indique le document, “l’IA offre de nouvelles possibilités mais implique aussi des risques ; les droits de l’homme ne devraient pas être fragilisés mais renforcés par l’IA. La présente recommandation sur l’IA et les droits de l’homme donne des orientations sur la manière dont les effets négatifs des systèmes d’IA sur les droits de l’homme peuvent être évités ou atténués, en distinguant 10 grands domaines d’action”.
Cette recommandation s’est basée sur les travaux effectués dans ce domaine par le Conseil de l’Europe, en particulier la Charte éthique européenne d’utilisation de l’intelligence artificielle dans les systèmes judiciaires, les Lignes directrices sur l’intelligence artificielle et la protection des données, la Déclaration du Comité des Ministres sur les capacités de manipulation des processus algorithmiques et l’Étude sur les dimensions des droits humains dans les techniques de traitement automatisé des données et les éventuelles implications réglementaires, ainsi que sur le rapport dans lequel le Rapporteur spécial des Nations Unies sur la promotion et la protection du droit à la liberté d’opinion et d’expression examine les incidences des technologies d’intelligence artificielle sur les droits de l’homme dans le cyberespace.
Elle repose sur le système international des droits de l’homme, qui constitue un cadre universel et contraignant, et notamment sur les instruments du Conseil de l’Europe relatifs aux droits de l’homme. La recommandation s’adresse aux États membres, mais les principes énoncés devraient concerner quiconque a une influence importante – directe ou indirecte – sur le développement, la mise en œuvre ou les effets d’un système d’IA. L’IA mise au point dans le secteur privé devrait être assujettie aux mêmes normes que l’IA mise au point dans le secteur public dès lors qu’il existe une intention de travailler avec des organismes ou services publics.
Les recommandations
1 – Évaluation de l’impact sur les droits de l’homme
Les États membres devraient établir un cadre juridique qui prévoie une procédure à suivre par les autorités publiques pour évaluer l’impact, sur les droits de l’homme, des systèmes d’IA qu’elles ont acquis, développés et/ou déployés. Les études d’impact sur les droits de l’homme (EIDH) devraient être mises en œuvre dans le même esprit que d’autres formes d’évaluation réalisées par les autorités publiques, telles que les évaluations de l’impact de la réglementation et les études d’impact relatives à la protection des données.
Les États membres peuvent définir les types de système d’IA soumis à des EIDH en vertu de la loi, mais de telles définitions doivent être suffisamment générales pour couvrir tous les systèmes d’IA pouvant interférer avec les droits de l’homme à un stade quelconque du cycle de vie du système.
Le cadre juridique des EIDH devrait imposer aux autorités publiques l’obligation de réaliser une auto-évaluation des systèmes d’IA existants et des systèmes envisagés. Ce processus devrait permettre d’évaluer les éventuels effets du système d’IA sur les droits de l’homme en tenant compte de la nature, du contexte, de la portée et de l’objectif du système. Lorsqu’une autorité publique n’a pas encore acquis ou développé un système d’IA dont la création est envisagée, cette évaluation doit être menée avant l’acquisition et/ou le développement du système.
L’EIDH doit également comporter un examen externe rigoureux du système d’IA, mené par un organe de contrôle indépendant ou par un chercheur/ auditeur externe doté de l’expertise nécessaire, afin d’aider à détecter, à mesurer et/ou à cartographier les incidences et les risques en matière de droits de l’homme au fil du temps. Les organismes publics devraient envisager d’associer les structures nationales des droits de l’homme (SNDH) à cet examen externe.
Les auto-évaluations et les examens externes ne devraient pas se limiter à une évaluation des modèles ou algorithmes sur lesquels se fonde le système d’IA, mais devraient également inclure une évaluation de la manière dont les décideurs pourraient collecter ou influencer les données entrantes et interpréter les données sortantes d’un tel système. Les auto-évaluations et les examens externes devraient également viser à déterminer si un système d’IA demeure véritablement sous le contrôle de l’être humain tout au long de son cycle de vie.
Lorsque l’auto-évaluation ou l’examen externe révèle que le système d’IA présente un risque réel d’atteinte aux droits de l’homme, l’EIDH doit décrire les mesures, les garanties et les mécanismes envisagés pour prévenir ou réduire ce risque. Lorsqu’un tel risque a été identifié en relation avec un système d’IA ayant déjà été déployé par une autorité publique, son utilisation devrait être immédiatement suspendue en attendant l’adoption des mesures, garanties et mécanismes susmentionnés. Lorsqu’il n’est pas possible de réduire de manière significative les risques identifiés, le système d’IA ne devrait être déployé ou utilisé par aucune autorité publique. Lorsque l’auto-évaluation ou l’examen externe révèle une violation des droits de l’homme, l’autorité publique doit agir immédiatement pour mettre un terme et remédier à la violation et adopter des mesures pour écarter ou réduire le risque qu’une telle violation se reproduise.
Les EIDH, y compris les résultats des recherches ou les conclusions de l’examen externe, doivent être mises à la disposition du public dans un format facilement accessible et lisible par ordinateur.
Les autorités publiques ne devraient pas acquérir de systèmes d’IA provenant de tiers qui ne sont pas disposés à lever les restrictions à l’échange d’informations (informations confidentielles ou secrets d’affaire, par exemple) lorsque ces restrictions empêchent ou entravent (i) la réalisation des EIDH (y compris la recherche/l’examen externe) et (ii) l’information du public sur les EIDH.
Les autorités publiques devraient être tenues de mener des EIDH à intervalles réguliers, et non pas seulement lorsqu’elles acquièrent et/ou développent des systèmes d’IA. À tout le moins, une EIDH devrait être réalisée à chaque nouvelle phase du cycle de vie du système d’IA et à chaque autre étape importante.
2 – Consultations publiques
L’utilisation des systèmes d’IA par les États devrait être régie par les normes relatives aux marchés publics, appliquées dans le cadre de procédures transparentes, auxquelles tous les acteurs concernés seraient invités à contribuer. Les États membres devraient envisager de mettre à jour leurs lois et leurs politiques sur l’accès à information, la transparence et les marchés publics, pour tenir compte des exigences spécifiques de l’IA.
Les États membres devraient permettre l’organisation de consultations publiques à diverses étapes du processus, et au minimum lors de l’acquisition du système d’IA et lors de la réalisation de l’EIDH. Une véritable consultation publique suppose la publication préalable, en temps utile, de toutes les informations relatives au système d’IA qui facilitent une bonne compréhension de son fonctionnement, de son rôle et de ses effets potentiels ou mesurés.
Les consultations devraient permettre à l’ensemble des parties prenantes d’apporter leur contribution : acteurs étatiques, représentants du secteur privé, universitaires, monde associatif, médias et représentants de communautés ou de groupes marginalisés et concernés. Les SNDH, qui servent de pont entre la société civile et les autorités étatiques, peuvent favoriser des consultations constructives.
3 – Obligation, pour les États membres, de faciliter la mise en œuvre des normes des droits de l’homme dans le secteur privé
Les États membres devraient effectivement mettre en œuvre les Principes directeurs de l’ONU relatifs aux entreprises et aux droits de l’homme et la Recommandation CM/Rec(2016)3 du Comité des Ministres aux États membres sur les droits de l’homme et les entreprises. Lors de cette mise en œuvre, les États devraient éviter toute discrimination et tenir dûment compte des risques liés au genre. De plus, chaque État devrait indiquer clairement à l’ensemble des acteurs de l’IA (créateurs, propriétaires, fabricants, gestionnaires, fournisseurs de services, etc.) qui relèvent de sa juridiction ou qui y exercent des activités, qu’ils sont aussi censés appliquer ces principes dans l’ensemble de leurs opérations.
En vue de respecter les obligations positives et procédurales leur incombant au titre de la Convention européenne des droits de l’homme, les États membres devraient appliquer les mesures nécessaires pour protéger les personnes contre les violations des droits de l’homme qui pourraient être commises par des acteurs de l’IA tout au long du cycle de vie des systèmes d’IA. Les États membres devraient en particulier garantir que leur législation crée des conditions propices au respect des droits de l’homme par les acteurs de l’IA et qu’elle n’entrave pas la responsabilité effective de ces derniers ni le recours effectif contre les violations des droits de l’homme dans le domaine de l’IA.
Les États membres devraient appliquer des mesures supplémentaires pour exiger des acteurs de l’IA qu’ils respectent les droits de l’homme, y compris, le cas échéant, en faisant preuve de diligence raisonnable. Ils devraient aussi exiger des acteurs de l’IA qu’ils prennent des mesures effectives pour prévenir et/ou atténuer les préjudices liés à leurs systèmes d’IA, et les acteurs de l’IA devraient exposer en toute transparence les efforts déployés pour identifier, prévenir et atténuer ces préjudices. Les États membres devraient prévoir des conséquences appropriées dans le cas où des risques identifiés d’effets négatifs sur les droits de l’homme ne seraient pas dûment atténués ou traités.
4 – Information et transparence
L’utilisation d’un système d’IA dans tout processus décisionnel ayant des effets concrets sur les droits des personnes doit être identifiable. Il ne suffit pas que l’utilisation d’un système d’IA soit rendue publique en des termes clairs et accessibles ; encore faut-il que les personnes soient capables de comprendre comment les décisions sont prises et comment ces décisions ont été vérifiées.
Si un système d’IA est utilisé pour interagir avec des individus dans le contexte de services publics, notamment dans les domaines de la justice, de l’aide sociale et de la santé, l’usager doit en être averti. Il doit aussi être informé de la possibilité de faire appel à un professionnel, sur demande et sans délai. Lorsqu’une personne fait l’objet d’une décision d’une autorité publique se fondant entièrement ou de manière significative sur les résultats d’un système d’IA, cette personne devrait en être avisée et recevoir rapidement les informations susmentionnées.
Le contrôle sur un système d’IA dans son ensemble doit aussi être rendu possible par des exigences de transparence. Ce contrôle peut passer par la communication publique d’informations relatives au système en question, à ses processus et à ses effets directs et indirects sur les droits de l’homme, et aux mesures prises pour identifier et atténuer les incidences négatives du système sur les droits de l’homme, ou par un audit indépendant, complet et efficace. Dans tous les cas, les informations rendues publiques devraient permettre une véritable évaluation du système d’IA. Aucun système d’IA ne devrait atteindre un degré de complexité tel qu’il ne puisse plus être surveillé et contrôlé par des êtres humains. Les systèmes qui ne peuvent être soumis à des normes de transparence et de responsabilité appropriées ne devraient pas être utilisés.
5 – Contrôle indépendant
Les États membres devraient établir un cadre législatif qui permette de vérifier de manière indépendante et effective que le développement, le déploiement et l’utilisation des systèmes d’IA par les autorités publiques et les entités privées respectent les droits de l’homme. Ce cadre législatif pourrait instaurer des mécanismes réunissant plusieurs organes de contrôle, à caractère administratif, judiciaire, quasi judiciaire et/ou parlementaire, coopérant efficacement entre eux. Les États membres devraient envisager d’habiliter les SNDH, le cas échéant, à jouer un rôle dans le contrôle indépendant et effectif du respect des droits de l’homme en matière d’IA.
Les organes de contrôle devraient être indépendants des autorités publiques et des entités privées qui développent, déploient ou utilisent les systèmes d’IA, et être dotés de l’expertise, des compétences et des ressources interdisciplinaires appropriées et adéquates pour exercer leur fonction de contrôle.
Les organes de contrôle indépendants devraient examiner et vérifier de manière proactive le respect des droits de l’homme par les systèmes d’IA, recevoir et traiter les plaintes des personnes concernées, et dresser des bilans périodiques des capacités des systèmes d’IA et des progrès technologiques en général. Ils devraient avoir le pouvoir d’intervenir lorsqu’ils détectent des violations des droits de l’homme ou un risque de violations. Ils devraient également rendre compte au parlement et publier des rapports sur leurs activités de façon régulière.
Les autorités publiques et les acteurs privés devraient être tenus de fournir, sur demande, toutes les informations nécessaires au contrôle effectif des systèmes d’IA et rendre régulièrement compte aux organes de contrôle. Elles devraient mettre en œuvre les recommandations des organes de contrôle en ce qui concerne les effets des systèmes d’IA sur les droits de l’homme. Les processus de contrôle doivent également être transparents et être soumis à un examen approprié du public ; les décisions des organes de contrôle doivent pouvoir faire l’objet d’un recours ou d’un réexamen indépendant.
6 – Non-discrimination et égalité
Dans tous les cas, il faut prévenir et atténuer les risques de discrimination en accordant une attention particulière aux groupes qui présentent un risque accru de voir leurs droits affectés par l’IA de manière disproportionnée. Parmi ces groupes figurent les femmes, les enfants, les personnes âgées, les personnes économiquement défavorisées, les membres de la communauté LGBTI, les personnes handicapées et les groupes « raciaux », ethniques ou religieux. Les États membres doivent s’abstenir d’utiliser des systèmes d’IA qui sont discriminatoires ou qui entraînent des résultats discriminatoires ; ils doivent aussi protéger les personnes relevant de leur juridiction contre les conséquences de l’utilisation de tels systèmes d’IA par des tiers.
La participation active et la consultation véritable d’une communauté diverse, où sont effectivement représentés les groupes susmentionnés, à toutes les étapes du cycle de vie d’un système d’IA, peuvent beaucoup contribuer à la prévention et à la réduction des effets négatifs sur les droits de l’homme. De plus, une attention particulière doit être accordée à la transparence et à l’accessibilité de l’information sur les données d’apprentissage utilisées pour le développement d’un système d’IA. Les EIDH et d’autres procédures de diligence raisonnable en matière de droits de l’homme devraient être répétées à intervalles réguliers et des moyens de responsabilisation et de recours appropriés et accessibles devraient être disponibles.
Les États membres devraient renforcer les mesures de contrôle lorsqu’ils utilisent des systèmes d’IA dans le contexte de l’application des lois, notamment lorsqu’ils recourent à des méthodes comme la police prédictive ou préventive. Avant de déployer un tel système, il faudrait le soumettre à un audit indépendant pour vérifier qu’il n’entraîne pas d’effets discriminatoires qui se traduiraient, dans les faits, par le profilage de groupes spécifiques.
Si de tels effets sont détectés, le système ne doit pas être utilisé.
7 – Protection des données et respect de la vie privée
Le développement, l’apprentissage, la phase d’essai et l’utilisation de systèmes d’IA qui reposent sur le traitement de données à caractère personnel doivent garantir pleinement le droit des personnes au respect de la vie privée et familiale, consacré par l’article 8 de la Convention européenne des droits de l’homme, y compris le « droit à l’autodétermination en matière d’information » en ce qui concerne leurs données.
Le traitement des données dans le contexte des systèmes d’IA doit être proportionné à la finalité légitime poursuivie par ce traitement et devrait refléter, à chaque étape du traitement, un juste équilibre entre, d’une part, les intérêts visés par le développement et le déploiement du système d’IA et, d’autre part, les droits et les libertés en jeu.
Les États membres devraient effectivement mettre en œuvre la Convention modernisée du Conseil de l’Europe pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel (« Convention 108+ ») ainsi que les autres instruments internationaux sur la protection des données et le respect de la vie privée qui sont juridiquement contraignants. Le traitement des données à caractère personnel, à toute étape du cycle de vie d’un système d’IA, doit reposer sur les principes énoncés dans la Convention 108+, en particulier : (i) le traitement des données à caractère personnel aux étapes pertinentes du cycle de vie du système d’IA doit s’effectuer en vertu d’un fondement légitime prévu par la loi ; (ii) les données à caractère personnel doivent être traitées licitement, loyalement et de manière transparente ; (iii) les données à caractère personnel doivent être collectées pour des finalités explicites, déterminées et légitimes, et ne doivent pas être traitées de manière incompatible avec ces finalités ; (iv) les données à caractère personnel doivent être adéquates, pertinentes et non excessives au regard des finalités pour lesquelles elles sont traitées ; (v) les données à caractère personnel doivent être exactes et, si nécessaire, mises à jour ; (vi) les données à caractère personnel doivent être conservées sous une forme permettant l’identification des personnes concernées pendant une durée n’excédant pas celle nécessaire aux finalités pour lesquelles elles sont traitées.
Les États membres devraient mettre en place un cadre législatif qui prévoie des garanties appropriées lorsque les systèmes d’IA reposent sur le traitement de catégories particulières de données : données génétiques ; données à caractère personnel concernant des infractions, des procédures et des condamnations pénales et des mesures de sûreté connexes ; données biométriques ; données à caractère personnel sur l’origine « raciale » ou ethnique, les opinions politiques, l’appartenance syndicale, les convictions religieuses ou autres convictions, la santé ou la vie sexuelle. De telles garanties doivent également offrir une protection contre le traitement discriminatoire ou biaisé de ces données.
8 – Liberté d’expression, liberté de réunion et d’association, et droit au travail
Dans le cadre de leur obligation de respecter, de protéger et de réaliser les droits de l’homme et les libertés fondamentales de toute personne, les États membres devraient tenir compte de l’ensemble des normes internationales relatives aux droits de l’homme qui peuvent être concernées par l’utilisation de l’IA.
Liberté d’expression : les États membres devraient garder à l’esprit l’obligation de créer un environnement favorisant une information diversifié et pluraliste, et être conscients des effets négatifs que la modération et la curation de contenus s’appuyant sur l’IA peuvent avoir sur l’exercice du droit à la liberté d’expression, du droit à l’accès à l’information et du droit à la liberté d’opinion. Les États membres sont également encouragés à envisager de prendre des mesures appropriées pour réguler les monopoles dans le domaine des technologies, afin de prévenir les conséquences négatives de la concentration de l’expertise en matière d’IA et du pouvoir sur la libre circulation de l’information.
Liberté de réunion et d’association : une attention particulière devrait être accordée aux conséquences que l’utilisation de systèmes d’IA dans la modération de contenus peut avoir sur la liberté de réunion et d’association, en particulier dans les contextes où l’exercice de ces libertés est difficile hors ligne. Le recours à la technologie de reconnaissance faciale devrait être strictement encadré par les États membres, y compris au moyen de lois établissant des limites claires et au moyen de garanties de transparence, afin de protéger l’exercice effectif du droit à la liberté de réunion.
Droit au travail : le potentiel de l’IA d’accélérer l’automatisation, et d’avoir ainsi des répercussions négatives sur la disponibilité du travail, devrait être surveillé attentivement. Des évaluations régulières devraient être menées pour connaître le nombre et les types d’emplois créés et détruits en raison des progrès de l’IA. Il faudrait élaborer des plans adéquats pour que les travailleurs clairement touchés par la baisse de la demande de main-d’œuvre humaine puissent suivre une formation et occuper un nouvel emploi. Les États membres devraient également adapter les programmes d’enseignement afin d’assurer l’accès aux emplois requérant des compétences liées aux systèmes d’IA.
9 – Possibilités de recours
Un système d’IA doit toujours rester sous le contrôle de l’être humain, même lorsque l’apprentissage automatique ou des techniques similaires permettent au système de prendre des décisions indépendamment de l’intervention spécifique d’un être humain.
Les États membres doivent établir des lignes de responsabilité claires en ce qui concerne les violations des droits de l’homme qui peuvent se produire à différentes phases du cycle de vie d’un système d’IA. La responsabilité des violations des droits de l’homme survenues lors du développement, du déploiement ou de l’utilisation de systèmes d’IA, et l’obligation de rendre des comptes, doivent toujours incomber à une personne physique ou morale, même dans les cas où la mesure portant atteinte aux droits de l’homme n’a pas été directement ordonnée par un dirigeant ou un opérateur humain responsable.
Quiconque se déclare victime d’une violation des droits de l’homme découlant du développement, du déploiement ou de l’utilisation, par une entité publique ou privée, d’un système d’IA devrait pouvoir exercer un recours effectif devant une instance nationale. De plus, les États membres devraient garantir l’accès à un recours effectif aux personnes qui soupçonnent qu’elles pourraient avoir été soumises, de manière non transparente et à leur insu, à une mesure fondée exclusivement ou de manière significative sur les résultats d’un système d’IA.
Des voies de recours effectives devraient permettre d’obtenir rapidement des réparations et des indemnisations adéquates pour tout préjudice causé par le développement, le déploiement ou l’utilisation de systèmes d’IA ; elles peuvent inclure des mesures civiles, administratives ou, le cas échéant, pénales. Les SNDH peuvent incarner une telle source de recours, en rendant leurs propres décisions conformément à leurs mandats respectifs.
Les États membres devraient garantir aux individus le droit de ne pas être soumis à une décision les affectant de manière significative lorsque cette décision est fondée sur un processus décisionnel automatisé sans réelle intervention humaine. À tout le moins, toute personne devrait pouvoir obtenir une intervention humaine dans une telle prise de décision automatisée et faire valoir ses opinions avant que la décision soit appliquée.
Les États membres doivent veiller à ce que quiconque s’estime victime d’une violation des droits de l’homme causée par un système d’IA ait accès aux informations détenues par le défendeur ou par un tiers qui sont pertinentes pour justifier son allégation, y compris, le cas échéant, les données d’apprentissage et de test, les informations sur la façon dont le système d’IA a été utilisé, des informations utiles et compréhensibles sur la manière dont le système d’IA est parvenu à une recommandation, à une décision ou à une prévision, ainsi que des informations expliquant comment les résultats du système d’IA ont été interprétés et quelles suites leur ont été données.
Lorsque les autorités nationales examinent des plaintes relatives à des violations des droits de l’homme causées par le développement, le déploiement ou l’utilisation de systèmes d’IA, elles doivent manifester un scepticisme approprié à l’égard de « l’apparence d’objectivité » que présentent les systèmes d’IA, et veiller à ce que les personnes qui dénoncent les atteintes aux droits de l’homme ne soient pas tenues de satisfaire à des exigences plus élevées en matière de preuve que les personnes responsables de la mesure contestée.
10 – Promotion de la connaissance et de la compréhension de l’intelligence artificielle
La connaissance et la compréhension de l’IA devraient être encouragées dans les institutions gouvernementales, les organes de contrôle indépendants, les structures nationales des droits de l’homme, le système judiciaire et les services répressifs, et auprès du grand public. Les États membres devraient envisager d’établir, au sein du gouvernement, un organe consultatif qui serait chargé de donner des conseils sur toutes les questions liées à l’IA.
Les personnes participant directement ou indirectement au développement ou à la mise en œuvre d’un système d’IA doivent comprendre comment le système fonctionne et être informées de son impact sur les droits de l’homme. Pour que ces acteurs soient conscients de cet impact, ils doivent aussi être sensibilisés à l’étendue des normes relatives aux droits de l’homme qui pourraient devoir être prises en compte dans le cadre de leur travail.
Les États membres devraient s’employer à familiariser davantage le grand public avec l’IA en déployant d’importants efforts de sensibilisation, de formation et d’éducation, y compris (et en particulier) dans les établissements scolaires. Il faudrait certes expliquer le fonctionnement de l’IA, mais ne pas oublier de traiter aussi la question de ses éventuels effets – positifs et négatifs – sur les droits de l’homme. Des efforts particuliers devraient être faits pour toucher les groupes marginalisés et les personnes qui, de manière générale, sont moins familiarisées avec l’informatique.
