Après avoir présenté BlenderBot en 2020, la mouture BlenderBot 2.0 en 2021, META a dévoilé BlenderBot 3 le 5 août dernier. Comme pour ses prédécesseurs, la société partage les poids et les codes du modèle avec la communauté scientifique dans l’intention d’aider à faire progresser l’IA conversationnelle. D’autre part, elle a déployé BlenderBot 3 sur une page Web publique pour interagir avec les utilisateurs qui pourront apporter leurs commentaires.
La série BlenderBot a permis des progrès dans la combinaison de compétences conversationnelles, intégrant la mémoire à long terme et la recherche sur Internet pour mener des conversations significatives. BlenderBot 3 a bénéficié de ces nouvelles compétences et offre des performances supérieures car il est construit à partir du modèle de langage OPT-175B de Meta AI, lancé récemment, soit environ 58 fois la taille de BlenderBot 2.
Les chatbots d’IA conversationnels peuvent reproduire les biais des données qui leur permettent d’être entraînés, META dit « avoir mené des études à grande échelle, co-organisé des ateliers et développé de nouvelles techniques pour créer des garanties pour BlenderBot 3. »
Le projet de recherche intitulé « BlenderBot 3: A 175B-parameter, publicly available chatbot that improves its skills & safety over time » a par ailleurs été publié sur arXiv.
Un chatbot sécurisé qui s’améliorera grâce aux commentaires de ses utilisateurs
BlenderBot 3 a été formé avec une grande quantité de données linguistiques accessibles au public, notamment un nouvel ensemble de données composé de plus de 20 000 conversations sur plus de 1 000 sujets de conversation. Pour faire progresser ce bot qui combine deux outils de machine learning récents, SeeKeR et Director, Meta propose aux américains de le tester. Il leur est ainsi possible de réagir à chaque message de chat de la démo BlenderBot 3 en cliquant sur les icônes pouce vers le haut ou pouce vers le bas, et, dans ce dernier cas, d’expliquer les raisons de ce choix.
Un chatbot plus performant, mais à améliorer
Par rapport à ses prédécesseurs, BlenderBot 3 serait plus performant à 31% sur les tâches conversationnelles, deux fois plus compétent, 47% moins souvent incorrect. D’autre part, selon Meta, seulement 0,16% des réponses de BlenderBot 3 ont été signalées comme impolies ou inappropriées.
Des utilisateurs ont partagé sur les réseaux sociaux des échanges avec le bot qui aurait apporté, entre autres, des réponses racistes et complotistes.
La société avait déclaré lors du lancement :
« Bien que BlenderBot 3 fasse progresser considérablement les chatbots accessibles au public, ce n’est certainement pas au niveau humain. C’est parfois incorrect, incohérent et hors sujet. Au fur et à mesure que de plus en plus de personnes interagiront avec notre démo, nous améliorerons nos modèles en utilisant leurs commentaires et publierons des données au profit de la communauté de l’IA au sens large. »
Pour retrouver l’étude :
BlenderBot 3: A 175B-parameter, publicly available chatbot that improves its skills & safety over time. arXiv:2208.03188v3
Auteurs : Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, Jason Weston
