Alors que la Commission européenne planche sur un projet d’un encadrement juridique autour des systèmes d’intelligence artificielle, la Défenseure des droits Claire Hédon appelle à porter une attention particulière aux discriminations résultant des traitements algorithmiques. Selon l’autorité, les droits fondamentaux doivent être au cœur de l’encadrement juridique autour de l’IA.
Les systèmes d’IA nécessitent d’être encadrés
Les systèmes d’IA se sont largement répandus et démocratisés, en particulier depuis la crise sanitaire. Or, les algorithmes sur lesquels ils se reposent ne sont pas nécessairement portés à la connaissance du grand public. Leur utilisation dans les domaines à risque (prestations sociales, police, justice, ressources humaines…), les rend autant sources de progrès que porteurs de risques pour les droits fondamentaux.
En outre, des recherches ont démontré que des biais discriminants peuvent intervenir au cours de leur conception et de leur déploiement. En matière de recrutement par exemple, on a repéré des biais sexistes dans des algorithmes utilisés pour trier des CV. Selon La Défenseure des Droits, ces algorithmes sont « la traduction mathématique de pratiques discriminatoires historiques ». A compétences égales, ces derniers écartaient presque systématiquement les candidatures de femmes au profit de celles des hommes. C’est d’ailleurs pour cette raison que le géant Amazon s’était séparé d’un de ces système en 2015.
Comme la Défenseure des droits le rappelle, les algorithmes sont le reflet des biais structurels de notre société :
« les algorithmes sont développés par des humains et donc à partir de données reflétant des pratiques humaines »
Ainsi, elle a publié un avis intitulé « Pour une IA européenne protectrice et garante du principe de non-discrimination ». Les recommandations ont été co-écrites avec Equinet, le réseau européen des organismes de promotion de l’égalité. Elles s’inscrivent dans la continuité des travaux de l’institution. Ces dernières soulignent la priorité de lutter contre les discriminations algorithmiques en apportant un encadrement juridique solide et des solutions de recours. La Défenseure des droits insiste également sur le rôle que pourraient jouer les organismes de promotion de l’égalité européens dans ce cadre.
Lutter contre la discrimination algorithmique : les recommandations de la défenseure des droits
La défenseure des droits recommande à la commission européenne de faire du principe de non-discrimination une préoccupation centrale dans toute réglementation dédiée à l’IA. Elle propose les actions suivantes :
- Faire du principe de non-discrimination une préoccupation centrale dans toute réglementation européenne dédiée à l’IA.
- Établir dans tous les pays européens des mécanismes de plainte et de recours accessibles et efficaces pour les personnes concernées.
- Appliquer une approche fondée sur les droits fondamentaux pour définir les notions de « préjudice » et de « risque ».
- Exiger des analyses d’impact sur l’égalité à intervalles réguliers durant l’ensemble du cycle de vie des systèmes d’IA.
- Assigner des “obligations d’égalité” opposables à tous les concepteurs et utilisateurs d’IA.
- Rendre la différenciation des risques possible, uniquement après une analyse obligatoire de l’impact sur le principe de non-discrimination et les autres droits humains.
- Obliger les nouvelles autorités de surveillance nationales à consulter les organismes de promotion de l’égalité et les institutions compétentes en matière de droits fondamentaux.
- Exiger la mise en place et le financement de mécanismes de coopération. Ils permettront aux différents organismes impliqués dans l’application du règlement sur l’IA de se coordonner au niveau européen comme national.
La Défenseure des droits a souhaité rappeler une exigence primordiale. A l’heure où une réglementation inédite prend forme à la Commission européenne, il faut systématiquement respecter le droit à la non-discrimination et garantir le respect des droits de toutes et tous.
