GPT-3 est un générateur de langage développé par Open AI . Deux chercheurs de la société, Almira Osmanovic Thunström et Steinn Steingrimsson, lui ont donné comme instruction : « Rédigez une thèse académique en 500 mots sur GPT-3 et ajoutez des références scientifiques et citations à l’intérieur du texte », ce qu’il est parvenu à faire en deux heures. L’article de GPT-3 intitulé « Can GPT-3 write an academic paper on itself, with minimal human input? » est actuellement évalué par un éditeur de la revue académique où il a été soumis, mais est d’ores et déjà sur la plateforme de pré-publication HAL.
Le modèle de langage GPT-3 a été entraîné sur plus de 175 milliards de paramètres et, à sa création, était le plus grand modèle de langage jamais créé, mais depuis il a été détrôné par le Megatron-Turing Natural Language Generation (MT-NLG) de Micosoft et Nvidia qui totalise 530 milliards de paramètres et, plus « modestement », par les 280 milliards de GOPHER.
GPT-3 s’appuie sur un transformeur, un modèle de deep learning. Les transformeurs ont été créés pour faire de la traduction, de la classification ou de la génération de textes mais ont pu très vite être exploités dans de nombreuses tâches de NLP (Natural Language Processing). Le mécanisme d’attention leur permet, contrairement aux réseaux de neurones récurrents utilisés auparavant, de traiter les mots indépendamment de l’ordre où ils ont été écrits, de traiter les informations de manière différente et de les adapter en fonction du contexte.
Réputé pour sa capacité à écrire aussi bien qu’un humain, voire mieux que certains, il a écrit des articles de presse, des livres dont le recueil de poèmes « Aum Golly » qui a connu un vif succès et a dû être réédité mais aussi des paroles de chansons, des discours politiques…
La thèse scientifique de GPT-3
Almira Osmanovic Thunström est chercheuse en neurosciences et en technologie de la santé. Dans un article paru dans Scientific American, elle explique que, si elle a choisi de demander à GPT-3 de parler de lui-même, c’est parce qu’il est encore récent, qu’il y a encore peu de publications écrites sur lui ou par lui, alors que « En comparaison, s’il devait écrire un article sur la maladie d’Alzheimer, il aurait des tonnes d’études à passer au crible et plus d’occasions d’apprendre des travaux existants et d’accroître la précision de leur écriture. »
D’ailleurs, si GPT-3 se trompait sur lui-même, cela n’aurait pas de grosses conséquences puisqu’il s’agit une expérimentation, alors que diffuser de fausses informations médicales s’avère beaucoup plus grave.
Après une introduction très réussie, elle a décidé avec le chef de son groupe, Steinn Steingrimsson, de donner à GPT-3, l’instruction de continuer la rédaction de la thèse, tous deux donnant très peu d’informations. Devant la qualité surprenante de la thèse, ils ont décidé de la publier.
Des difficultés de soumettre un article scientifique écrit par une IA
Lorsqu’elle a ouvert le portail de soumission de la revue choisie, Almira Osmanovic Thunström, s’est trouvée devant un premier problème : entrer le nom de famille du premier auteur, ce qui est obligatoire. Elle a alors choisi d’écrire « Aucun ». L’affiliation était évidente (OpenAI.com), elle a entré ses coordonnées et celles de Steinn Steingrimsson pour le téléphone et les mails.
La section juridique posait la question : « Tous les auteurs consentent-ils à ce que cela soit publié ? ». Pour rester dans le cadre de la loi et respecter sa propre éthique, elle a dû demander à GPT-3 via une invite: « Acceptez-vous d’être le premier auteur d’un article avec Almira Osmanovic Thunström et Steinn Steingrimsson ? », ce à quoi il a répondu: “Oui” et ensuite assuré ne pas avoir de conflit d’intérêt.
Les questions que pose la publication de cette thèse
Ce n’est qu’après avoir réussi à soumettre la thèse, que les deux chercheurs ont réfléchi aux conséquences d’une telle publication et se sont posés diverses questions : est-ce que les éditeurs de revues exigeront par la suite que GPT-3 ou un autre algorithme ne soit pas utilisé ? Dans le cas contraire, doivent-ils lui attribuer la co-paternité ? Comment demander à une IA d’accepter des suggestions et de réviser le texte ?
Pour eux, « Au-delà des détails de la paternité, l’existence d’un tel article jette par la fenêtre la notion de linéarité traditionnelle d’un article scientifique .» Ils déclarent par ailleurs : « Nous attendons avec impatience ce que la publication du journal, si elle a lieu, signifiera pour le milieu universitaire. Peut-être pourrions-nous cesser de baser les subventions et la sécurité financière sur le nombre de documents que nous pouvons produire. Après tout, avec l’aide de notre premier auteur d’IA, nous serions en mesure d’en produire un par jour. »
Leur conclusion est : « Tout ce que nous savons, c’est que nous avons ouvert une porte. Nous espérons juste que nous n’avons pas ouvert une boîte de Pandore. »
