AI Dungeon est un jeu d’aventure texte open source sorti fin 2019. Il a la particularité d’utiliser le modèle de génération de texte GPT-3 pour générer des intrigues ouvertes et illimitées. Ce système a été conçu par Open AI, une société américaine spécialisée dans l’IA. Dans le cadre d’une récente mise à jour, le développeur d’AI Dungeon, Latitude, a mis en place un nouvel outil qui empêche le jeu de générer du contenu sexuel impliquant des mineurs mais qui a lancé un débat parmi les utilisateurs.
Un jeu vidéo dont le maître du jeu est une intelligence artificielle
Le principe de AI Dungeon est plutôt simple : au début de la partie, le joueur peut choisir plusieurs “modes de jeu” correspondant à des évènements, des contextes ou des ambiances particuliers. On note la possibilité de jouer avec les zombies ou les aliens ou bien de mener des enquêtes sombres, de vivre une apocalypse, une romance, etc.
Après cette étape, le jeu vous propose une situation et votre aventure débute : il vous suffit d’écrire l’action de votre personnage dans le jeu et l’intelligence artificielle va générer une nouvelle action induite de votre saisie, et ce, autant de fois que cela est nécessaire jusqu’à votre mort fictive ou bien que vous ayez résolu l’enquête.
Comment cela est-il possible ? Grâce à un algorithme de deep learning qui a été entraîné à toutes les actions, dialogues, situations possibles et imaginables auquel le joueur peut penser. Le souci, c’est que certains utilisateurs ont réussi à faire en sorte que le modèle génère des situations choquantes comme du contenu sexuel impliquant des mineurs, ce qui scandalise la majorité de la communauté du jeu. Sous la pression d’OpenAI, le développeur a dû modifier son système d’IA.
Une mise à jour de l’intelligence artificielle pour empêcher la génération de contenus inappropriés
Mardi dernier, Latitude a publié un article évoquant cette mise à jour afin d’expliquer au mieux les changements apportés au modèle d’IA et dont les premières phrases sont explicites :
“Hier, nous avons publié un système de test pour empêcher la génération de certains contenus à caractère sexuel qui enfreignent nos politiques, en particulier des contenus pouvant impliquer des représentations ou des descriptions de mineurs (pour lesquels nous avons une tolérance zéro), sur la plateforme AI Dungeon.”
Les développeurs ont précisé que d’autres contenus sexuels entre adultes consentants et des situations impliquant la violence ou la vulgarité pourraient encore être générés et ne seraient pas considérés comme inappropriés pour le système.
Bien sûr, la marque a essayé d’anticiper certaines interrogations notamment sur la protection des données : est-ce que l’équipe de Latitude a la possibilité de voir l’ensemble des histoires générées par les utilisateurs ? La marque affirme que le modèle détecte uniquement les contenus inappropriés automatiquement, sans que l’équipe de Latitude puisse avoir accès aux autres contenus :
“Nous avons construit un système automatisé qui détecte les contenus inappropriés. Latitude examine le contenu signalé par le modèle dans le but d’améliorer le modèle, d’appliquer nos politiques et de se conformer à la loi.”
Toutefois, un utilisateur de GitHub, un service web d’hébergement et de gestion de développement de logiciels, affirme tout le contraire. Selon lui, Latitude peut avoir accès à l’ensemble des textes et intrigues générés. Pire encore, sa base de données stockant près de 50 millions d’aventures et 800 000 scénarios serait, toujours selon l’avis de cet internaute, vulnérable aux attaques.
Une partie de la communauté du jeu déplore les capacités de cet algorithme, menaçant des histoires archivées ou censurant des contenus qui ne seraient pourtant pas inadéquats. Pour permettre une meilleure efficacité de l’algorithme, Latitude souhaite faire appel à la participation de sa communauté qui doit signaler immédiatement tout contenu qui pourrait être selon eux, inadapté.
