Au CHU de Dijon, des chercheurs testent actuellement un algorithme pour dépister la maltraitance des enfants, grâce à l’identification des pathologies et des lésions lors d’hospitalisations de très jeunes enfants. Aux USA, dans de nombreux états, des outils de dépistage sont d’ores et déjà utilisés par les services de protection de l’enfance mais se révèlent pernicieux : entraînés avec des données telles que la santé mentale, la toxicomanie, les séjours en prison, ils cibleraient les familles noires. Bien que convaincu que l’IA peut apporter son aide, l’Oregon vient donc d’annoncer l’abandon de l’algorithme actuellement utilisé pour décider si une enquête sur la famille est nécessaire.
Lorsqu’un signalement de maltraitance ou de négligence envers un enfant est fait, les travailleurs sociaux sont tenus de mener une enquête pour préserver la vie de cet enfant.
Aux USA, alors que les agences de protection de l’enfance utilisent ou envisagent de mettre en œuvre des algorithmes, une enquête de l’AP (Associated Press) a mis en évidence des problèmes concernant la transparence, la fiabilité et les disparités raciales dans l’utilisation de l’IA, notamment son potentiel à renforcer les préjugés dans le système de protection de l’enfance.
L’algorithme du Comté d’Allegheny, Pennsylvannie
L’algorithme actuellement utilisé en Oregon s’inspire de celui du Comté d’Allegheny, sur lequel une équipe de l’Université Carnegie Mellon a mené des recherches auxquelles l’AP a eu accès. L’algorithme d’Allegheny a signalé un nombre disproportionné d’enfants noirs pour une enquête de négligence « obligatoire », par rapport aux enfants blancs. Les chercheurs indépendants ont d’ailleurs pu constater que les travailleurs sociaux n’étaient pas d’accord avec 1/3 des scores de risque que l’algorithme produisait.
Celui-ci a été entraîné pour prédire le risque qu’un enfant soit placé en famille d’accueil dans les deux ans suivant l’enquête à l’aide de données personnelles détaillées recueillies depuis la naissance, assurance maladie, toxicomanie, santé mentale, séjours en prison et dossiers de probation, entre autres ensembles de données gouvernementales. L’algorithme calcule ensuite un score de risque de 1 à 20 : plus le nombre est élevé, plus le risque est grand. La négligence, pour laquelle cet algorithme a été entraîné, peut inclure de nombreux critères allant du logement inadéquat au manque d’hygiène, mais des outils similaires pourraient être utilisés dans d’autres systèmes de protection de l’enfance avec une intervention humaine minimale ou nulle, de la même façon dont les algorithmes ont été utilisés pour prendre des décisions dans le système de justice pénale aux USA et pourraient ainsi renforcer les disparités raciales existantes dans le système de protection de l’enfance.
L’un des membres de l’équipe de recherche a déclaré :
« Si l’outil avait agi de lui-même pour dépister un taux d’appels comparable, il aurait recommandé que les deux tiers des enfants noirs fassent l’objet d’une enquête, contre environ la moitié de tous les autres enfants signalés. »
L’abandon de l’algorithme par l’Oregon
Quelques semaines après ces conclusions, le département des services sociaux de l’Oregon a annoncé à son personnel par mail en mai dernier que « Après une “analyse approfondie”, les travailleurs de la hotline de l’agence cesseraient d’utiliser l’algorithme fin juin pour réduire les disparités concernant les familles faisant l’objet d’une enquête pour maltraitance et négligence envers les enfants par les services de protection de l’enfance. »
Lacey Andresen, directrice de l’agence, a précisé :
« Nous nous engageons à améliorer continuellement la qualité et l’équité. »
Le sénateur démocrate de l’Oregon Ron Wyden se dit préoccupé par l’utilisation croissante d’outils d’intelligence artificielle dans les services de protection de l’enfance.
Il a déclaré dans un communiqué :
« Prendre des décisions sur ce qui devrait arriver aux enfants et aux familles est une tâche bien trop importante pour donner des algorithmes non testés. Je suis heureux que le département des services sociaux de l’Oregon prenne au sérieux les préoccupations que j’ai soulevées concernant les préjugés raciaux et suspende l’utilisation de son outil de dépistage. »
