“Classifier” est un outil développé par OpenAI qui devait permettre de distinguer les textes écrits par un humain de ceux générés par une IA. Devant le peu de fiabilité de ce classificateur, la société préfère le retirer momentanément.
ChatGPT, l’agent conversationnel lancé par Open AI le 30 novembre dernier, est rapidement devenu viral. De nombreux élèves s’en sont emparés, se reposant sur lui pour résumer des livres ou écrire leurs dissertations, leurs professeurs n’ayant aucun moyen de savoir si le travail rendu était imputable à l’étudiant ou à l’IA.
Des outils de détection ont rapidement été mis en place pour aider les enseignants à identifier la triche : le détecteur de contenu ChatGPT-GPT-3 de la start-up montréalaise Draft & Goal ou encore GPT Radar de Neuralext ou GPTZero, développé pendant les vacances de Noël par Edward Tian, un étudiant en informatique et en journalisme à l’Université de Princeton (États-Unis)…
Le 31 janvier dernier, OpenAI présentait son outil Classifier qui devait déterminer les textes écrits par les IA de divers fournisseurs. Dès le départ, la start-up avait averti qu’il est impossible de détecter de manière fiable un texte écrit par l’IA, que son classificateur était d’ailleurs très peu fiable sur les textes courts (moins de 1 000 caractères).
Evalué sur un ensemble de défis de textes anglais, il a pu identifier correctement 26% du texte écrit par IA (vrais positifs) comme “probablement écrit par l’IA”, tout en étiquetant à tort le texte écrit par l’homme comme écrit par l’IA 9% du temps (faux positifs).
OpenAI l’avait mis à la disposition du public en précisant qu’il ne devait pas être utilisé comme un outil principal de prise de décision, mais plutôt comme un complément à d’autres méthodes de détermination de la source d’un texte. Elle a récemment décidé de le fermer, déclarant dans l’en-tête du blog dédié à Classifier :
“Depuis le 20 juillet 2023, le classificateur AI n’est plus disponible en raison de son faible taux de précision. Nous travaillons à intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l’IA”.
Alors que les LLM se démocratisent, disposer d’un outil de détection d’IA fiable s’avère crucial. Au-delà du domaine de l’éducation, il permettrait par exemple de garantir l’authenticité d’un contenu, lutter contre la désinformation et la prolifération des fake news.
