Le 9 juillet dernier, Nvidia a mis en avant sur son site un projet de recherche qui sera présenté lors de la International Conference on Machine Learning (ICML) ce 12 juillet en Suède. Des chercheurs de la société, de l’université Aalto et du MIT ont collaboré pour développer un système basé sur l’intelligence artificielle pour débruiter différents types d’images. Leur étude s’intitulant Noise2Noise: Learning Image Restoration without Clean Data est disponible sur Arxiv.
Pour cela, les scientifiques ont utilisé des GPU Tesla P100 avec le framework deep learning TensorFlow accéléré avec cuDNN. Ils ont entraîné leur système sur 50.000 images de l’ensemble de validation ImageNet et ont validé leur réseau de neurones sur trois ensemble de données différents. Cette méthode pourrait avoir des applications très intéressantes dans plusieurs domaines, notamment en analyse d’images médicales.
La différence avec les travaux récents sur le débruitage réside dans le fait que le réseau de neurones utilisé a été formé uniquement sur des images avec un bruit numérique important. Les techniques précédentes montraient au contraire, des systèmes d’IA entrainés sur des images avec et sans bruit afin qu’ils puissent faire la différence. Comme les chercheurs Jaakko Lehtinen, Jacob Munkberg, Jon Hasselgren, Samuli Laine, Tero Karras, Miika Aittala et Timo Aila l’indiquent dans leur étude :
“Il est possible d’apprendre à restituer des signaux sans avoir jamais observer de signaux propres”, déclarent les chercheurs dans leur article. “[Le réseau de de neurones ] est à la hauteur des méthodes de pointe qui utilisent des images nettes – en utilisant précisément la même méthode d’entraînement, et souvent sans inconvénients appréciables en matière de durée d’entraînement et de performance. “
“Il existe plusieurs situations du monde réel où l’obtention de données d’entraînement propres est difficile : photographie avec faible luminosité (par exemple, l’imagerie astronomique), rendu physique réaliste (Physically Based Rendering – PBR) et l’imagerie par résonance magnétique […]”
“Nos démonstrations de preuve de concept ouvrent la voie à d’importants avantages potentiels dans ces applications en supprimant le besoin d’une collecte potentiellement laborieuse de données propres. Bien sûr, on n’a rien sans rien – nous ne pouvons pas apprendre à trouver des fonctionnalités qui ne figurent pas dans les données d’entrée – mais cela s’applique également à l’entraînement avec des cibles nettes.”
Lors de la validation de leur approche, les chercheurs sont notamment parvenus à débruiter une image de 256×256 avec 8SPP en 190 millisecondes, avec leur réseau de neurones entraîné sur des images bruités, contre 7 minutes avec un système IA entraîné sur des images nettes.
