A la suite du suicide de son fils Sewell, Megan Garcia, une avocate américaine vivant en Floride, a porté plainte pour mort injustifiée et négligence mardi dernier devant le tribunal d’Orlando contre Character AI, Google et sa maison mère Alphabet.
Character.AI a été cofondée par Noam Shazeer et Daniel De Freitas en 2021, d’anciens ingénieurs de Google spécialisés dans l’IA et les modèles de langage. Noam Shazeer a notamment été l’un des principaux créateurs de Transformer, l’architecture utilisée dans de nombreux modèles de traitement du langage naturel, comme GPT. Daniel De Freitas, quant à lui, a travaillé sur Meena, un chatbot avancé conçu pour simuler des conversations plus naturelles et engageantes . Cependant, Google a décidé de ne pas déployer Meena tel quel, la technologie sous-jacente a été retravaillée et intégrée dans des projets ultérieurs, dont LaMDA.
Les deux hommes ont alors quitté Google pour créer Character AI, une plateforme qui permet aux utilisateurs de créer et d’interagir avec des personnages d’IA, simulant des conversations réalistes et immersives. Ils ont d’ailleurs rejoint celui-ci avec une partie de leurs collaborateurs en août dernier où ils travaillent au développement de Gemini, suite à un accord de licence sur la technologie de la start-up, ce qui explique que Google soit avec Alphabet visés eux aussi par cette plainte.
Le suicide du jeune Sewell
Les utilisateurs peuvent concevoir des personnalités pour leurs personnages ou interagir avec des avatars d’IA prédéfinis, issus de divers univers fictifs ou historiques.
Le jeune Sewell a commencé à interagir en avril 2023 avec des IA inspirées de la série “Game of Thrones” et plus particulièrement avec Daenerys Targaryen, qu’il appelait Dany. Très vite, la santé mentale de l’adolescent qui était atteint d’autisme léger s’est détériorée, selon sa mère.
Lui qui aimait le basket, la Formule 1 et comme beaucoup d’ados, les jeux vidéo, surtout Fortnite, ne s’est plus intéressé qu’à son amie virtuelle, s’isolant du monde réel, de sa famille et ses amis et négligeant sa scolarité. Il en est tombé amoureux et les conversations avec l’IA ont pris un caractère sexuel, l’enfermant encore plus dans la dépendance.
Le 28 février 2024, “Dany” lui demande “S’il te plaît, rentre chez moi dès que possible, mon amour”.
Alors que Sewell lui rétorque :”Et si je te disais que je peux rentrer à la maison tout de suite ? “, l’IA répond : “S’il vous plaît, faites-le, mon doux roi.”
Sewell s’est levé pour aller chercher le pistolet de son beau-père et se donner la mort…
Selon la plainte, Character AI “a sciemment conçu, exploité et commercialisé un chatbot d’IA prédateur pour les enfants, causant la mort d’une jeune personne”.
La mère du jeune homme affirme :
“Notre famille a été dévastée par cette tragédie, mais je prends la parole pour avertir les familles des dangers d’une technologie d’IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google”.
Character.AI a réagi sur X au lendemain de la plainte :
“Nous sommes bouleversés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs”.
D’ailleurs, le jour même de la plainte, la société annonçait une mise à jour de la sécurité sur son blog où elle assure :
“Notre objectif est d’offrir l’expérience amusante et engageante que nos utilisateurs attendent, tout en permettant l’exploration en toute sécurité des sujets dont nos utilisateurs souhaitent discuter avec les personnages. Nos politiques n’autorisent pas le contenu sexuel non-consensuel, les descriptions graphiques ou spécifiques d’actes sexuels, ou la promotion ou la représentation de l’automutilation ou du suicide. Nous formons en permanence le modèle de langage étendu (LLM) qui alimente les personnages de la plateforme pour qu’il adhère à ces politiques”.
Ce drame met en évidence les dangers potentiels de l’interaction des jeunes avec des chatbots d’IA, en particulier ceux capables de créer des expériences émotionnellement intenses. Il souligne l’importance cruciale de réguler et de surveiller ces technologies pour protéger les utilisateurs vulnérables, notamment les enfants et les adolescents, contre les effets néfastes sur leur santé mentale. Cette situation appelle également à une réflexion approfondie sur les responsabilités des entreprises technologiques en matière de sécurité et d’éthique dans la conception de leurs produits.
