Mark Zuckerberg, fondateur de Facebook et CEO de Meta, a annoncé lundi 24 janvier dernier, la construction du supercalculateur AI Research SuperCluster (RSC), qui fait partie des superordinateurs d’IA les plus rapides actuellement et devrait être le plus rapide d’ici la mi-2022, lorsqu’il sera finalisé. Les chercheurs l’utilisent déjà pour entraîner de grands modèles en traitement du langage naturel (TAL) et en vision par ordinateur. RSC permettra la création de technologies pour le métavers, la prochaine grande plateforme informatique où les applications et les produits axés sur l’IA joueront un rôle important.
Les premiers calculateurs sont apparus dans les années 1960 et ont d’abord été utilisés pour la recherche scientifique. Depuis, leur puissance n’a cessé d’augmenter et on mesure à présent leur capacité de calcul en exaflops (plus d’un milliard de milliard d’opérations par seconde). Les Etats-Unis, la Chine, le Japon et l’Europe se livrent à la course aux calculateurs exaflopiques avec pour enjeu la domination technologique mondiale. RSC permettra à Meta de se faire une place de choix dans le domaine du métavers, ambition clairement affirmée lors du changement de nom de Facebook pour celui de Meta :
«L’objectif de Meta sera de donner vie au métavers et d’aider les gens à se connecter, à trouver des communautés et à développer des entreprises».
Mark Zuckerberg précise au sujet de RSC :
«Les expériences que nous créons pour le metaverse nécessitent une énorme puissance de calcul (des quintillions d’opérations par seconde !) et RSC permettra de créer de nouveaux modèles d’IA capables d’apprendre à partir de trillions d’exemples, de comprendre des centaines de langues, et plus encore».
Le supercalculateur Research SuperCluster
Le supercalculateur va permettre à Meta d’exploiter les données de ses différentes plateformes, (Facebook, Messenger, Instagram…) pour entraîner des moteurs d’IA, notamment dans le domaine du traitement du langage ou de l’image. Il va remplacer l’infrastructure de Meta conçue en 2017, qui compte 22 000 GPU Nvidia V100 Tensor Core et effectue 35 000 tâches d’entraînement par jour.
«Alors que notre précédente infrastructure de recherche en intelligence artificielle n’utilisait que des données en accès libre et autres jeux de données publiquement disponibles [RSC permettra] d’utiliser des exemples du monde réel’’ en provenance des plateformes de Meta».
Il a également assuré:
«C’est la première fois que la performance, la fiabilité, la sécurité et le respect de la vie privée sont pris en compte à une telle échelle».
Un supercalculateur superpuissant
Les supercalculateurs sont construits en combinant plusieurs GPU dans des nœuds de calcul qui sont ensuite connectés par une structure réseau haute performance qui permet une communication rapide entre les GPU. RSC comprend un total de 760 systèmes Nvidia DGX A100 en tant que nœuds de calcul, pour un total de 6 080 GPU. Chaque GGX communique via une structure Clos à deux niveaux NVIDIA Quantum 1600 Gb/s sans surabonnement. Le niveau de stockage du RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de mémoire en cache dans les systèmes Penguin Computing Altus et 10 pétaoctets de Pure Storage FlashBlade.
La puissance du RSC le place aujourd’hui au niveau de l’américain Perlmutter, le cinquième supercalculateur au monde en matière de puissance de calcul, selon la liste TOP500 qui fait référence en la matière. Meta continue à faire évoluer RSC dans le but de le faire devenir le supercalculateur le plus puissant du monde, notamment au niveau du système de cache et de stockage qui devrait atteindre 1 exaoctet, soit l’équivalent de 36 000 années de vidéos de haute qualité.
Il deviendra «à notre connaissance le superordinateur d’intelligence artificielle le plus puissant du monde», assure Meta.
