Plusieurs mois après avoir demandé une pause dans le domaine de l’IA, le PDG de Tesla, SpaceX et X (ex-Twitter), Elon Musk, annonçait l’an passé la création de xAI. Peu de temps après, il dévoilait le premier produit de la start-up : l’IA générative Grok, qu’il souhaite positionner devant ChatGPT. Pour cela, il lui faut encore plus de puissance de calcul, il cherche donc à sécuriser un approvisionnement constant de GPUs, mettant la pression sur les chaînes d’approvisionnement de NVIDIA.
L’engouement des entreprises pour la GenAI a entraîné une demande massive des GPUs H100 de NVIDIA en 2023, qui annonçait alors des délais de livraison pouvant atteindre jusqu’à 52 semaines. Les puces de NVIDIA sont en effet les plus utilisées que ce soit pour les datacenters, les supercalculateurs, l’entraînement ou l’inférence des LLMs. Cette année, la société a considérablement augmenté sa production pour tenter de répondre à la demande du marché mais, selon des informations du Wall Street Journal, les demandes d’Elon Musk imposeraient ou auraient imposé une tension particulière sur ses chaînes d’approvisionnement.
Il faut reconnaître qu’Elon Musk dans son ambition de surpasser ses concurrents dans le domaine de la GenAI, a mis les bouchées doubles avec la construction de son supercalculateur Colossus, une réalisation qualifiée de surhumaine par Jensen Huang, le PDG de NVIDIA, en raison de la rapidité et de l’efficacité avec lesquelles le projet a été mené à bien. Il déclarait alors :
“Pour autant que je sache, il n’y a qu’une seule personne au monde qui puisse faire quelque chose comme ça en si peu de temps. Elon est unique dans sa compréhension de l’ingénierie, des grands systèmes, de la gestion des ressources – c’est tout simplement incroyable”.
Selon Elon Musk, le supercalculateur, construit en 122 jours à Memphis, dans le Tennessee, comptait 100 000 GPU H100 en septembre dernier et devait voir sa capacité de calcul doubler avec 50 000 nouveaux H100 et autant de H200 avant la fin de l’année. Colossus est en fait le plus grand cluster de calcul d’IA au monde.
La start-up en a les moyens puisqu’elle a levé 11 milliards de dollars cette année. En mai, elle a annoncé un tour de financement de 6 milliards de dollars avec la participation d’investisseurs de premier plan, notamment Valor Equity Partners, Andreessen Horowitz, Sequoia Capital, qui ont tous trois répondu présents pour une nouvelle levée de fonds de 5 milliards de dollars.
