Comme il l’avait promis la veille, Elon Musk a dévoilé, ce samedi, sur son compte X, le 1er produit développé par sa start-up xAI : Grok, une IA générative. Elle ne sera disponible, dans un premier temps, qu’aux personnes ayant souscrit au nouvel abonnement X Premium+ de son réseau social X.
En juillet dernier, Elon Musk annonçait le lancement de xAI, qui avait été enregistrée au Nevada le mois de mars précédent. Onze experts en IA, travaillant auparavant chez DeepMind, OpenAI, Google Research, Microsoft Research, Tesla et l’Université de Toronto, étaient venus complétés son équipe, basée en Californie.
Elon Musk affirme que Grok est la meilleure 1A générative qui existe actuellement, soulignant que “Grok a accès en temps réel aux infos via X, ce qui lui donne un avantage majeur sur les autres modèles” Elle devrait être disponible dès qu’elle sortira de la version bêta pour tous les abonnés X Premium+, qui, pour 16 dollars mensuels (19€20), bénéficient des outils créatifs de X premium mais également de la suppression de la publicité sur les fils d’actualité et d’une meilleure visibilité des réponses.
Selon lui, le système “adore les sarcasmes. Je me demande bien qui peut l’avoir orienté de cette façon” et “est conçu pour avoir un peu d’humour dans ses réponses”. Pour le démontrer, il publie sur X l’interface suivante où l’on peut voir la réponse de Grok à un utilisateur lui demandant comment fabriquer de la cocaïne.
Sur le site de la start-up, on peut lire :
“Grok est une IA calquée sur le Guide de l’auto-stoppeur galactique, donc destinée à répondre à presque n’importe quoi et, beaucoup plus difficile, même à suggérer les questions à poser !
Grok est conçu pour répondre aux questions avec un peu d’esprit et a un côté rebelle, alors s’il vous plaît, ne l’utilisez pas si vous détestez l’humour !”
“Chez xAI, nous voulons créer des outils d’IA qui aident l’humanité dans sa quête de compréhension et de connaissance”.
Le LLM GROK-1
L’équipe de xAI détaille sur son site les travaux qui lui ont permis de construire Grok, son interface d’IA générative.
Le moteur qui alimente Grok est Grok-1, un modèle de langage de pointe développé en seulement quatre mois. L’équipe a dans un 1er temps travaillé sur le prototype de modèle de langage Grok-0 de 33 milliards de paramètres. Ce modèle précoce s’est avéré prometteur, se rapprochant des capacités du modèle LLaMa 2 (70B) sur des benchmarks de langage naturel standard tout en utilisant seulement la moitié de ses ressources d’entraînement. Au cours des deux mois suivants, des améliorations considérables ont été apportées, donnant naissance à Grok-1, un modèle de langage nettement plus puissant.
Grok-1 a été soumis à divers tests de performance, notamment des benchmarks mathématiques, des évaluations multidisciplinaires à choix multiples, des tâches de complétion de code Python, et des problèmes de mathématiques de collège et de lycée. Les résultats montrent que Grok-1 a surpassé les autres modèles de sa catégorie de calcul, tels que ChatGPT-3.5 et Inflection-1, et n’a été dépassé que par des modèles disposant de ressources d’entraînement beaucoup plus importantes, comme GPT-4.
De plus, pour s’assurer que les performances de Grok-1 sont fiables, l’équipe de xAI a effectué une évaluation “en temps réel” en utilisant des examens nationaux hongrois de mathématiques de 2023, publiés après la collecte de données de Grok. Dans cet examen, Grok a obtenu un C (59 %), montrant sa capacité à effectuer des tâches de raisonnement mathématique.
La construction de Grok-1 a nécessité une infrastructure solide, basée sur Kubernetes, Rust et JAX, pour assurer l’entraînement et l’inférence du modèle à grande échelle. Le processus de formation d’un modèle de langage nécessite une synchronisation complexe sur des milliers de GPU pendant des mois, ce qui a été géré grâce à des systèmes distribués personnalisés. L’efficacité énergétique a été un objectif majeur, et l’infrastructure a été conçue pour minimiser les temps d’arrêt et maintenir un taux d’utilisation élevé des ressources de calcul.
L’utilisation de Rust a été cruciale pour garantir la fiabilité de l’infrastructure, ce qui est essentiel compte tenu de la petite taille de l’équipe de xAI. Rust offre des performances élevées, un écosystème riche, et minimise les erreurs potentielles.
L’équipe de xAI se concentre sur des domaines de recherche prometteurs, notamment le raisonnement fiable, la surveillance évolutive avec l’aide d’outils, l’intégration avec la vérification formelle de la sécurité, la compréhension et la récupération de contexte long, la robustesse contre les attaques adverses, et l’ajout de capacités multimodales à Grok.
Elle déclare :
“Nous pensons que l’IA recèle un immense potentiel d’apporter une valeur scientifique et économique significative à la société, c’est pourquoi nous travaillerons à l’élaboration de mesures de protection fiables contre les formes catastrophiques d’utilisation malveillante. Nous croyons qu’il faut faire tout ce qui est en son pouvoir pour s’assurer que l’IA reste une force pour le bien”.
Les chercheurs invitent ceux qui partagent leur enthousiasme à rejoindre leur équipe.
Accès anticipé à Grok
Ils proposent à un nombre limité d’utilisateurs aux États-Unis d’essayer le prototype Grok et de fournir des commentaires afin d’améliorer ses capacités avant une version plus large, concluant :
“Cette version ne représente que la première étape pour xAI. Pour l’avenir, nous avons une feuille de route passionnante et nous déploierons de nouvelles capacités et fonctionnalités dans les mois à venir”.
