Prévenir et lutter contre le harcèlement en ligne en détectant rapidement les trolls est au coeur du projet dirigé par Anima Anandkumar et Michael Alvarez de l’Université de Caltech. Ils ont démontré que les algorithmes de machine learning peuvent surveiller les conversations sur les réseaux sociaux en ligne au fur et à mesure de leur évolution, ce qui pourrait un jour mener à une façon efficace et automatisée de repérer les trolls en ligne.
Le projet réunit les laboratoires de la chercheuse en intelligence artificielle Anima Anandkumar (Bren Professor of Computing and Mathematical Sciences), et de Michael Alvarez, professeur de sciences politiques. Leurs travaux ont été présentés le 14 décembre dernier à l’atelier AI for Social Good lors de la Conference on Neural Information Processing Systems 2019 à Vancouver, au Canada. Leur équipe de recherche comprend Anqi Liu, chercheuse postdoctorale, Maya Srikanth, étudiante à Caltech, et Nicholas Adams-Cohen (MS’16, PhD’19) de l’Université de Stanford.
La prévention du harcèlement en ligne exige la détection rapide des messages offensants, harcelants et négatifs dans les réseaux sociaux, ce qui exige en retour la surveillance des interactions en ligne. Les méthodes actuelles pour obtenir de telles données sur les réseaux sociaux sont soit entièrement automatisées et non interprétables, soit reposent sur un ensemble statique de mots clés, qui peuvent rapidement devenir obsolètes. Aucune de ces méthodes n’est très efficace, a expliqué Maya Srikanth.
“Il n’est pas possible de faire évoluer les méthodes en demandant aux humains d’essayer de faire ce travail à la main, et ces humains sont potentiellement biaisés “, précise-elle. “D’autre part, la recherche par mot-clé souffre de la vitesse à laquelle les conversations en ligne évoluent. De nouveaux termes apparaissent et les anciens changent de sens, donc un mot-clé qui a été utilisé sincèrement un jour peut avoir un sens sarcastique le lendemain.”
L’équipe a donc utilisé un modèle GloVe (Global Vectors for Word Representation) pour découvrir de nouveaux mots-clés pertinents. GloVe est un modèle d’intégration des mots (word-embedding model), ce qui signifie qu’il représente les mots dans un espace vectoriel, où la “distance” entre deux mots est une mesure de leur similarité linguistique ou sémantique.
À partir d’un mot clé, ce modèle peut être utilisé pour en trouver d’autres qui sont étroitement liés à ce mot afin de révéler des groupes de termes pertinents qui sont effectivement utilisés. Par exemple, la recherche sur Twitter des utilisations de “MeToo” dans les conversations a donné des groupes de hashtags apparentés comme “SupportSurvivors”, “ImWithHer” et “NotSilent”. Cette approche donne aux chercheurs un ensemble de mots-clés dynamiques et en constante évolution à rechercher.
Mais il ne suffit pas simplement de savoir si une certaine conversation est liée au sujet d’intérêt ; le contexte est important. Pour cela, GloVe montre dans quelle mesure certains mots-clés sont liés, en fournissant des informations sur la façon dont ils sont utilisés. Par exemple, sur un forum Reddit en ligne dédié à la misogynie, le mot “female” a été utilisé en association étroite avec les mots “sexual“, “negative” et “intercourse“. Dans les messages Twitter sur le mouvement #MeToo, le mot “female” était plus souvent associé aux termes “companies“, “desire” et “victims“.
Le projet était une validation de principe visant à donner un jour aux plateformes de réseaux sociaux un outil plus puissant pour repérer le harcèlement en ligne. L’intérêt d’Amina Anandkumar pour le sujet a été intensifié par sa participation à la campagne visant à changer le nom abrégé de la conférence Neural Information Processing Systems de son acronyme original, “NIPS”, à “NeurIPS”.
“Le domaine de la recherche en IA devient plus inclusif, mais il y a toujours des gens qui résistent au changement”, explique Amina Anandkumar, qui en 2018 s’est retrouvée la cible de harcèlement et de menaces en ligne en raison de son effort réussi pour passer à un acronyme sans connotations potentiellement offensantes.
“Ce fut une expérience révélatrice d’à quel point le trolling peut devenir horrible. Espérons que les outils que nous développons maintenant aideront à combattre toutes sortes de harcèlement à l’avenir.”
Leur étude s’intitule “Finding Social Media Trolls: Dynamic Keyword Selection Methods for Rapidly-Evolving Online Debates” Cette recherche a été financée par la Fondation John Randolph Haynes et Dora Haynes, Microsoft, Google, Adobe et la Defense Advanced Research Projects Agency. Anqi Liu est titulaire d’une bourse postdoctorale PIMCO à Caltech.
