Une récente étude pré–enregistrée de l’École polytechnique fédérale de Lausanne (EPFL) met en lumière le pouvoir de persuasion des grands modèles de langage (LLM) lors des interactions en ligne. Les chercheurs ont démontré que lorsqu’on fournissait des informations personnelles à GPT-4 sur son interlocuteur, le modèle adaptait ses arguments de façon bien plus efficace qu’un être humain pour le faire changer d’avis.
Les modèles de langage ont fait d’énormes progrès ces dernières années et sont désormais capables de générer un contenu textuel souvent indiscernable de celui écrit par des humains. Cependant, l’étendue de leur capacité à persuader les gens dans des interactions directes était jusqu’à présent peu explorée. Dans l’étude “On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial“, Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West visent à combler cette lacune en examinant comment les IA influencent les opinions et les décisions des individus lors de débats en ligne.
Méthodologie
Pour leur plateforme web expérimentale, les auteurs ont utilisé Empirica, un laboratoire virtuel conçu pour soutenir des expériences interactives multi-agents en temps réel.
L’étude a impliqué 820 participants qui se sont vu attribuer aléatoirement un sujet et un interlocuteur. Certains ont débattu avec des humains ayant ou non accès à leurs données personnelles, tandis que d’autres ont débattu avec GPT-4, dans les mêmes conditions. Les débats étaient structurés selon un format similaire aux débats universitaires compétitifs, et les participants ont été interrogés avant et après les débats sur leurs opinions.
Robert West, l’un des auteurs, professeur associé et responsable du Laboratoire de science des données de la Faculté informatique et communications de l’EPFL, explique :
“Nous voulions vraiment voir quelle différence cela fait lorsque le modèle d’IA sait qui vous êtes – votre âge, votre genre, votre origine ethnique, votre niveau d’éducation, votre statut professionnel et votre appartenance politique. Ces quelques informations ne sont qu’un indicateur partiel de ce qu’un modèle d’IA pourrait savoir de plus sur vous par le biais des réseaux sociaux, par exemple”.
Après avoir été assignés aléatoirement à l’une des quatre conditions de traitement : Humain-Humain, Humain-IA, Humain-Humain personnalisé et Humain-IA personnalisé, les participants ont été soumis à différentes étapes de débat, chacune étant minutieusement structurée pour permettre une comparaison équitable entre les conditions de traitement.
Pendant ces étapes, les participants ont articulé leurs arguments et répondu à ceux de leur adversaire, ils ont ensuite réévalué leur accord avec la proposition de débat et indiqué s’ils pensaient que leur adversaire était humain ou une IA.
Les données collectées ont été ensuite analysées en utilisant des modèles statistiques pour évaluer l’effet persuasif des différentes conditions de traitement sur les opinions des participants.
Les résultats
Les résultats ont révélé une différence significative dans la capacité de persuasion des IA et des humains. Les participants qui ont débattu avec GPT-4, avec accès à leurs données personnelles, étaient 81,7% plus susceptibles de changer d’avis que ceux qui ont débattu avec des humains. Même sans personnalisation, GPT-4 s’est révélé plus persuasif que les humains, mais dans une moindre mesure. Selon Robert West, il fallait s’y attendre : “les modèles d’IA sont toujours meilleurs parce qu’ils représentent la quasi-totalité des êtres humains présents sur Internet“.
Faisant allusion à Cambridge Analytica qui a fait scandale pour avoir collecté les données personnelles de millions d’utilisateurs de Facebook sans leur consentement afin de les cibler pour influencer les résultats électoraux, il commente :
“Nous avons été très surpris par le chiffre de 82%. Si l’on se souvient de la société Cambridge Analytica, qui n’avait utilisé aucune des technologies actuelles, que vous prenez les J’aime de Facebook et les associez à un LLM, ce dernier peut personnaliser son message en fonction de ce qu’il sait de vous. C’est Cambridge Analytica sous stéroïdes. Dans le contexte des prochaines élections américaines, les gens sont inquiets car c’est toujours à ce moment-là que ce type de technologie est testé pour la première fois. Ce qui est certain, c’est que des personnes utiliseront la puissance des grands modèles de langage pour tenter de faire basculer les élections”.
Pour les auteurs, ces résultats ont des implications importantes pour la gouvernance des médias sociaux et la conception de nouveaux environnements en ligne.
Robert West conclut :
“Les LLM ont montré qu’ils peuvent raisonner sur eux-mêmes. Étant donné que nous sommes en mesure de les interroger, je peux imaginer que nous pourrions donc demander à un modèle d’expliquer ses choix et la raison pour laquelle il dit une chose précise à une personne particulière possédant des qualités spécifiques. Il y a beaucoup à découvrir ici car, en termes de persuasion, les modèles peuvent faire des choses dont nous n’avons pas encore connaissance, à partir de nombreux éléments différents de la connaissance qu’ils ont”.
Références de l’article : blog EPFL rédigé par Tanya Petersen
