Dans un article publié sur Arxiv, les chercheurs Haodong Li, Bin Li, Shunquan Tan, Jiwu Huang de l’Université de Shenzhen ont dévoilé une méthode de détection d’images générées par des réseaux de neurones profonds.
Bin Li, de l’équipe en charge de ce projet a précisé à TechXplore :
“Avec l’apparition de modèles avancés de génération d’images, tels que les réseaux antagonistes génératifs (en anglais generative adversarial networks ou GANs) et les autoencodeurs variationnels, les images générées par des réseaux profonds deviennent de plus en plus réalistes et il n’est plus aussi évident de les identifier avec des yeux humains, ce qui implique des risques sérieux au niveau de la sécurité.”
Le réalisme des images générées grâce au deep learning permet désormais de tromper facilement non seulement l’oeil humain mais aussi les systèmes d’authentification d’images. Multiplication des fake news, des images truquées, cet hyper-réalisme pose également des problèmes et risques de sécurité majeurs. Les chercheurs de l’Université de Shenzhen ont souhaité proposer une méthode de vérification basée sur le deep learning.
Dans leur article, ils ont traité la question de la détection d’images DNG (Deep Network Generated) en analysant les disparités de composantes de couleurs entre des images de scènes réelles et des images DNG. Leur hypothèse de base est centrée sur le fait que les réseaux de neurones profonds existants génèrent des images dans un espace colorimétrique RVB. Ils ne sont donc soumis à aucune contrainte explicite sur les corrélations de couleurs.
Par conséquent, les images DNG présentent des différences plus évidentes par rapport aux images réelles dans d’autres espaces couleur, tels que HSV (hue saturation value) et YCbCr, en particulier dans les composantes de chrominance. Cela signifie notamment que les images DNG sont différentes des images réelles en ce qui concerne les composantes rouge, vert et bleu.
Sur la base de ces observations, les chercheurs ont proposé un ensemble de fonctionnalités permettant de capturer les statistiques des couleurs d’une image pour détecter les images DNG. Leur étude, disponible sur Arxiv, propose trois scénarios de détection différents ainsi que les stratégies de détection correspondantes. L’équipe a également mené des expériences approfondies sur des jeux de données d’images de visage afin d’évaluer l’efficacité de la méthode proposée. Les résultats expérimentaux montrent que la méthode qu’ils ont développée permet de distinguer les images DNG des images réelles avec une grande précision.
“La découverte la plus significative de notre étude réside dans le fait que les images générées par des réseaux profonds peuvent être facilement détectées en extrayant des caractéristiques de certaines composantes de couleur, alors que les images générées ne puissent pas être distinguées visuellement par l’homme.
Lorsque des échantillons d’image générées ou des modèles générateurs d’images sont disponibles, les fonctionnalités proposées, équipées d’un classificateur binaire, peuvent efficacement différencier les images générées des images réelles. Lorsque les modèles sont inconnus, les fonctionnalités proposées ainsi qu’un classificateur à classe unique peuvent également donner des résultats satisfaisants” a expliqué Haodong Li à TechXplore.
“Nous prévoyons d’améliorer les performances de la génération d’images en appliquant les résultats de cette recherche à des modèles générateurs d’images”, a déclaré de son coté le chercheur Jiwu Huang. “Par exemple, inclure des métriques de disparité des composants de couleur pour les images réelles et générées dans la fonction objectif d’un modèle GAN pourrait produire des images plus réalistes.
Nous allons également essayer d’exploiter d’autres informations inhérentes au pipeline de génération d’images réelles, telles que les motifs de bruit d’un capteur, ou les propriétés d’un tableau de filtre de couleur, afin de développer des méthodes plus efficaces et plus robustes pour identifier les images générées.”
