La GTC mondiale de Nvidia 2021 se déroule du 8 au 11 Novembre. Un événement suivi dans le monde entier et auquel assistent selon les organisateurs plus de 200 000 développeurs, innovateurs, chercheurs et créateurs. Au programme : le deep learning, la data science, le calcul haute performance, la robotique, les centres de données réseaux et les graphiques. À l’occasion de la keynote d’ouverture, le PDG et fondateur Jensen Huang, a fait plusieurs annonces majeures en particulier concernant le programme Omniverse et les jumeaux numériques.
Réalité augmentée, réalité virtuelle et Multi-GPU au coeur d’Omniverse
Depuis son lancement en version bêta ouverte en décembre, cette solution de collaboration 3D multi-logiciels a été téléchargée plus de 70000 fois. Elle est utilisée par des professionnels dans plus de 700 entreprises, dont BMW Group, Cannon Design, Epigraph, Ericsson, les cabinets d’architectes HKS et KPF, Lockeed Martin et Sony Pictures Animation
Les nouvelles fonctionnalités lancées cette semaine par NVIDIA pour Omniverse incluent :
- Omniverse Avatar, une plate-forme technologique qui connecte les technologies NVIDIA dans l’IA vocale, la vision par ordinateur, la compréhension du langage naturel, les moteurs de recommandation et les technologies de simulation pour générer des avatars d’IA interactifs. Les avatars créés sur la plate-forme sont des personnages interactifs avec des graphismes 3D à lancer de rayons qui peuvent voir, parler, converser sur un large éventail de sujets et comprendre l’intention parlée naturellement. Jensen Huang a déclaré :
” L’aube des assistants virtuels intelligents est arrivée. Omniverse Avatar combine les technologies graphiques, de simulation et d’IA fondamentales de NVIDIA pour créer certaines des applications en temps réel les plus complexes jamais créées. Les cas d’utilisation de robots collaboratifs et d’assistants virtuels sont incroyables et de grande envergure.”
- Omniverse Replicator, un moteur puissant de génération de données synthétiques qui produit des données synthétiques simulées physiquement pour entraîner les réseaux neuronaux profonds. Dans ses premières mises en œuvre du moteur, la société a présenté deux applications pour générer des données synthétiques : une pour NVIDIA DRIVE Sim™, un monde virtuel pour héberger le jumeau numérique des véhicules autonomes, et une autre pour NVIDIA Isaac Sim™, un monde virtuel pour le jumeau numérique des robots de manipulation. DRIVE Sim est un outil de simulation construit sur Omniverse qui tire parti des nombreuses fonctionnalités de la plate-forme. Les données générées par DRIVE Sim sont utilisées pour entraîner les réseaux de neurones profonds qui composent les systèmes de perception des véhicules autonomes. Pour l’équipe NVIDIA DRIVE, les données synthétiques ont été un élément essentiel et efficace de son flux de travail de développement AV. Les réseaux de neurones profonds qui alimentent la perception d’un véhicule autonome sont composés de deux parties : un modèle algorithmique et les données utilisées pour entraîner ce modèle. Avec la génération de données synthétiques, les développeurs ont davantage de contrôle sur le développement des données, en l’adaptant aux besoins spécifiques du modèle.
Omniverse proposera également plusieurs nouvelles fonctionnalités, notamment :
- NVIDIA CloudXR, un framework de streaming immersif de classe entreprise, a été intégré dans Omniverse kit ( une boîte à outils pour la création d’applications et de microservices Omniverse natifs) permettant aux utilisateurs de diffuser de manière interactive des expériences Omniverse sur leurs appareils mobiles AR et VR.
- Omniverse VR permettant aux développeurs de créer leurs propres outils compatibles VR sur la plate-forme et aux utilisateurs finaux de profiter directement des capacités de la réalité virtuelle.
- Omniverse XR Remote fournit des capacités de réalité augmentée et des caméras virtuelles, permettant aux concepteurs de visualiser leurs actifs entièrement ray tracés via des appareils iOS et Android.
- Omniverse Farm permet aux équipes d’utiliser plusieurs postes de travail ou serveurs ensemble pour exécuter des tâches telles que le rendu, la génération de données synthétiques ou la conversion de fichiers.
- Omniverse Showroom, disponible en tant qu’application dans Omniverse Open Beta, permet aux utilisateurs non techniques de jouer avec des démos technologiques Omniverse qui présentent les technologies de physique et de rendu en temps réel de la plate-forme.
Le rendu AR, VR et Multi-GPU font partie des nouvelles fonctionnalités développées pour Omniverse. Il faut également noter les annonces concernant des intégrations pour les applications d’infrastructure et de jumeaux numériques industriels avec les logiciels de Bentley Systems et Esri permettant aux ingénieurs et aux concepteurs de créer des jumeaux numériques physiquement précis de bâtiments et de produits, ou de créer des environnements de simulation massifs et fidèles à la réalité pour la formation de robots ou de véhicules autonomes avant leur déploiement dans le monde physique
- Avec Bentley iTwin pour NVIDIA Omniverse, les utilisateurs d’iTwin ont la possibilité d’explorer virtuellement des installations industrielles massives et physiquement précises et des structures offshore comme s’ils les parcouraient en temps réel.
- Esri, l’un des principaux éditeurs de logiciels de cartographie de conception urbaine, apporte à Omniverse l’application Esri ArcGIS CityEngine, connectant les millions d’utilisateurs de l’écosystème ArcGIS à la plate-forme Omniverse.
Autre point important de ces annonces : Omniverse Enterprise est à présent disponible. Il permet aux équipes mondiales de conception 3D travaillant sur plusieurs suites logicielles de collaborer en temps réel, dans un espace virtuel partagé, à partir de n’importe quel appareil.
Cas d’usage : Ericsson crée des jumeaux numériques pour les réseaux 5G dans NVIDIA Omniverse
La plateforme de simulation fidèle à la réalité a été déployée pour développer des réseaux 5G, améliorer les fonctionnalités et les services.
Ericsson, le fabricant d’équipements de télécommunications basé à Stockholm combine des décennies d’expertise en simulation de réseaux radio avec Nvidia Omniverse Enterprise, plate-forme de simulation et de collaboration du monde virtuel en temps réel pour les flux de travail 3D. Dans NVIDIA Omniverse, Ericsson construit des jumeaux numériques à l’échelle de la ville pour aider à simuler avec précision l’interaction entre les cellules 5G et l’environnement pour des performances et une couverture maximales.
La 5G permet une multitude de nouveaux cas d’utilisation allant de l’IoT et de la fabrication aux voitures autonomes et à la télésanté. Sans une approche de jumeau numérique, l’interaction entre les émetteurs radio, l’environnement, les humains et les appareils en mouvement ne pouvait être vraiment comprise par manque de détails.
“Avant Omniverse, la couverture et la capacité des réseaux étaient analysées en simplifiant de nombreux aspects des interactions complexes, tels que les phénomènes physiques et les aspects de mobilité. Nous serons désormais en mesure de simuler des déploiements et des fonctionnalités de réseau à une échelle très détaillée à l’aide d’Omniverse.”
De plus, avec les capacités émergentes de la plate-forme Omniverse telles que Omniverse VR, les ingénieurs réseaux pourraient bientôt mettre un casque de réalité virtuelle et explorer n’importe quelle partie de n’importe quel modèle, à l’échelle 1:1, régler les paramètres, l’antenne et littéralement « voir » les effets de choses qui ne sont pas visibles dans la vraie vie.
Pour Ericsson, le jumeau numérique Omniverse offre des informations universelles sur les télécommunications, des cycles de développement plus rapides et la possibilité de créer un réseau de pointe à moindre coût.
Focus sur le problème de l’écart de domaine Sim-Real
L’entraînement sur des ensembles de données qui ne se traduisent pas dans le monde physique peut en fait dégrader les performances d’un réseau.
Cet écart entre le sim et le réel se présente principalement de deux manières. Un écart d’apparence qui correspond à des différences au niveau des pixels entre l’image simulée et l’image réelle, qui est causé par la façon dont le simulateur génère les données et un écart de contenu qui peut être dù au manque de diversité du contenu du monde réel et aux différences entre les contextes sim et celui du monde réel.
Omniverse Replicator est conçu pour réduire les écarts d’apparence et de contenu.
