Artur Fortunato et Filipe Reynaud, tous deux ingénieurs en informatique, ont formé l’équipe EagleAI lors d’un hackathon OpenAI en décembre dernier et ont créé le programme « Forensic Sketch AI-rtist ». Utilisant DALL-E 2, il permettrait de créer des portraits-robots « hyper-réalistes » mais est également susceptible de reproduire les biais du modèle qu’Open AI travaille encore à éliminer.
En avril 2022, Open AI présentait DALL·E 2 à un nombre limité de personnes, ce qui lui a permis d’appréhender les capacités ainsi que les limites du système et d’améliorer les systèmes de sécurité.
Au cours de cette phase de prévisualisation, les premiers utilisateurs ont signalé des images sensibles et biaisées, ce qu’OpenAI a tenté de résoudre.
La société a mis en œuvre une nouvelle technique afin que DALL·E génère des images de personnes qui reflètent plus fidèlement la diversité de la population mondiale. Celle-ci est appliquée au niveau du système lorsque DALL·E reçoit une invite décrivant une personne qui ne précise pas la race ou le sexe.
D’après son évaluation interne, « les utilisateurs étaient 12 fois plus susceptibles de dire que les images DALL·E comprenaient des personnes d’horizons divers après l’application de la technique », et elle annonçait continuer à travailler pour améliorer son modèle.
Le programme « Forensic Sketch AI-rtist »
L’objectif d’Artur Fortunato et Filipe Reynaud est d’accélérer le processus de création d’un portrait-robot précis d’un suspect, qui prend généralement entre deux à trois heures, comme ils l’expliquent dans cette présentation.
Les utilisateurs peuvent entrer des informations sur les caractéristiques du suspect, telles que la couleur des yeux, la forme du visage, la couleur des cheveux… ajouter une description du suspect, la solution génère un profil qui peut être réajusté.
Une reproduction, voire une aggravation des biais de l’IA
Des éthiciens et des chercheurs en IA ont déclaré à Motherboard que l’utilisation de l’IA générative dans la criminalistique policière est incroyablement dangereuse, elle aurait le potentiel d’aggraver les préjugés raciaux et sexistes existants.
Jennifer Lynch, Directrice des litiges de surveillance de l’Electronic Frontier Foundation, a d’ailleurs déclaré au média en ligne :
« Le problème avec les croquis médico-légaux traditionnels n’est pas qu’ils prennent du temps à produire (ce qui semble être le seul problème que ce programme de croquis médico-légaux d’IA tente de résoudre). Le problème est que tout croquis médico-légal est déjà sujet aux préjugés humains et à la fragilité de la mémoire humaine. L’IA ne peut pas résoudre ces problèmes humains, et ce programme particulier les aggravera probablement par sa conception même ».
Elle a ajouté :
« La recherche a montré que les humains se souviennent des visages de manière holistique, et non caractéristique par caractéristique. Un processus d’esquisse qui repose sur des descriptions de caractéristiques individuelles comme ce programme d’IA peut donner un visage étonnamment différent de celui de l’auteur . Malheureusement, une fois que le témoin voit le composite, cette image peut remplacer dans son esprit, sa mémoire floue du suspect réel. Cela n’est qu’exacerbé par une image générée par l’IA qui semble plus “réelle” qu’un croquis dessiné à la main ».
La création de portraits-robots avec l’IA serait encore plus préjudiciable pour les gens de couleur. Selon l’organisme “Innocence Project”, les identifications erronées de témoins oculaires ont contribué à environ 69% des plus de 375 condamnations injustifiées aux États-Unis annulées par des preuves ADN post-condamnation, perturbant ainsi les enquêtes policières dès leur début.
Pour Jennifer Lynch :
« Si ces croquis médico-légaux générés par l’IA sont rendus publics, ils peuvent renforcer les stéréotypes et les préjugés raciaux et entraver une enquête en attirant l’attention sur les personnes qui ressemblent au croquis plutôt qu’à l’auteur réel ».
Pour l’instant, la solution n’est qu’à l’état de prototype, les 2 développeurs déclarant essayer de valider si ce projet est viable à utiliser dans un scénario réel ou non.
Source : Motherboard
