Le projet NEURONIC, coordonné par Jacques-Olivier Klein du Centre de Nanosciences et de Nanotechnologies de l’Université Paris Sud, ambitionne la fabrication d’un accélérateur matériel de réseaux de neurones binaires à base de technologie hybride CMOS/RRAM, et utilisant le concept de calcul dans les mémoires. Il a reçu un financement de l’ANR à hauteur de 513 000 euros pour 48 mois.
Cet accélérateur permettra de réaliser de l’inférence en exploitant un concept révolutionnaire : le «XNOR-NET», avec une sobriété énergétique inégalée jusqu’ici indique l’équipe du projet réunissant l’UPSud, C2N Université Paris Sud, Centre de Nanosciences et de Nanotechnologies, l’IM2NP Institut des Matériaux, de Microélectronique et des Nanosciences de Provence et le CEA – LETI Commissariat à l’énergie atomique et aux énergies alternatives.
Résumé du projet
En intelligence artificielle les réseaux de neurones profonds sont aujourd’hui largement étudiés, mais leur simulation sur des cartes graphiques gaspille une énergie considérable lors des échanges de données entre mémoires et processeurs. Dernièrement, l’approche « XNOR-NET » a permis de remplacer les multiplications 32 ou 64 bits par des opérations booléennes, simplifiant considérablement l’architecture du circuit, limitant d’autant l’empreinte mémoire. Mais de manière assez surprenante et grâce à la redondance intrinsèque des réseaux de neurones, la simplification drastique apportée par les XNOR-NET ne dégrade que faiblement les performances.
Basé sur ce concept de XNOR-NET, dans le cadre du projet NEURONIC, nous fabriquerons un circuit intégré révolutionnaire qui réalisera de l’inférence, en évitant le transfert des poids synaptiques, grâce à des mémoires RRAM embarquées permettant un calcul local avec une approche logique dans la mémoire. Notre solution permettra un traitement minimal en énergie comparativement aux solutions actuelles qui incluent des processeurs et sont contraintes par la capacité des mémoires pour enregistrer l’historique des données et les échanges.
L’application visée est de la fusion multi-capteurs qui agrègent des données pour produire une information plus précise. Cette application se base sur l’extraction de traits caractéristiques permettant d’obtenir des tailles de réseaux réduites, adaptées aux technologies visées.
L’efficacité énergétique de notre solution sera exceptionnelle grâce aux éléments suivants :
- Une partie des calculs sera directement effectuée avec une approche de logique en mémoire permettant d’éviter le transfert des poids synaptiques.
- L’approche XNOR-NET permet de réduire l’empreinte mémoire autorisant le stockage des poids dans des RRAM embarquées. De plus, cette caractéristique permettra de couper l’alimentation lors de la non utilisation du circuit et d’avoir à disposition instantanément les poids synaptiques lors de la remise sous tension.
- Le circuit étant dédié à l’inférence, l’apprentissage sera réalisé hors-ligne et une seule programmation sera nécessaire avant d’utiliser le circuit.
Nous estimons que la combinaison de ces facteurs permettrait de réduire la consommation d’un facteur x1000 par rapport à une solution classique.
Deux générations de circuits NEURONIC seront développées : la première génération utilisant des transistors comme éléments de sélection (1T1R), puis une seconde génération exploitant une technologie de sélecteurs en cours de développement (1S1R) qui permet un gain considérable en surface. L’architecture du circuit reposera sur la conception à façon des blocs mémoires et de leur logique associée selon diverses options d’organisation mémoire. L’architecture du démonstrateur complet sera ensuite définie en utilisant une approche « top-down » permettant d’intégrer les optimisations classiques des systèmes numériques, à savoir virtualisation, multiplexage et « pipe-line » pour adapter l’architecture à la complexité du réseau XNOR-NET.
Plusieurs groupes américains et asiatiques s’intéressent au concept de XNOR-NET à base de RRAM. Toutefois, les architectures proposées sont de type « cross-point » pour réaliser l’inférence de manière analogique ce qui peut entrainer des problèmes de conversion et de fiabilité. Nous estimons que notre approche entièrement numérique est plus robuste et plus efficace en terme de surface. Toutefois, cette compétition internationale permet de mesurer l’urgence de financer le projet NEURONIC.
