Facebook AI annonce la mise en accès libre d’AugLy, une bibliothèque Python au service des chercheurs en intelligence artificielle. Après la mise à jour du Dynaboard avec Dynabench pour fournir une évaluation de modèles de traitement du langage naturel, c’est au tour des algorithmes de machine learning d’être testés. Cette bibliothèque permettra d’utiliser les augmentations de données pour évaluer et améliorer en conséquence les modèles de machine learning.
AugLy, une bibliothèque Python open source
Les ensembles de données et modèles exploités deviennent de plus en plus multimodaux et il est utile, selon Facebook, de pouvoir transformer toutes les données d’un projet sous une bibliothèque et une API unifiées. C’est dans cette optique qu’ils ont déployé AugLy, une bibliothèque d’augmentation de données open source combinant plusieurs supports : audio, image, vidéo et texte.
La bibliothèque propose plus d’une centaine d’augmentations de données axées sur des actions que les internautes peuvent réaliser autour de leurs photos et leurs vidéos sur les réseaux sociaux comme la superposition de texte, l’ajout d’émotion ou l’édition de captures d’écrans. Cet ensemble d’augmentation est directement informé par les types de transformations de données que Facebook a pu voir sur ses plateformes. La firme indique donc que leur bibliothèque pourrait être utile pour des chercheurs travaillant sur des modèles ou des données liées aux médias sociaux.
Une libraire composée de quatre sous-bibliothèques
Les chercheurs de Facebook ont conçu AugLy de manière à ce qu’elle dispose de quatre sous-bibliothèques, correspondant chacune à une modalité distincte (audio, image, vidéo et texte). Chacune des bibliothèques possède la même interface : elle fournit des transformations dans des formats basés sur des fonctions et des classes dont il possible de connaitre l’intensité grâce aux paramètres connus. La bibliothèque Python peut générer des métadonnées utiles pour aider les chercheurs à comprendre comment leurs données ont été transformées.
Par exemple, l’une des améliorations proposées par AugLy permet de prendre une image ou une vidéo et de la superposer sur une interface de réseau social pour donner l’impression que le fichier a été capturé par un utilisateur puis repartagé. Facebook précise que cette augmentation est utile pour Facebook puisque leurs utilisateurs partagent leur contenu de cette façon et que l’entreprise souhaite que ses systèmes puissent être en mesure d’identifier tout contenu malgré qu’il puisse y avoir des éléments d’interface gênant sa visualisation.
Facebook souhaite faire progresser le machine learning multimodal
Dans ses propos, la société de Mark Zuckerberg précise tout l’intérêt des transformations de données :
“Les augmentations de données sont vitales pour assurer la robustesse des modèles d’IA. Si nous pouvons apprendre à nos modèles à être robustes aux perturbations des attributs sans importance des données, les modèles apprendront à se concentrer sur les attributs importants des données pour un cas d’utilisation particulier.”
Facebook évoque plusieurs applications pour sa bibliothèque comme la possibilité d’améliorer les modèles d’IA grâce aux bases de données d’AugLy pour améliorer la détection de contenus illégaux ou enfreignant les droits d’auteurs comme une musique ou une vidéo avec l’outil SimSearchNet, entrainé à l’aide de la bibliothèque de données et conçu à l’aide d’un réseau de neurones convolutifs.
La bibliothèque prend en charge les augmentations d’images telles que leur recadrage, leur remplissage, la superposition de texte pour créer des mêmes internet, la capture d’écran, ou, comme on l’a vu précédemment, pour le partage d’une photo.
