Inflection AI annonce avoir terminé l’entraînement d’Inflection-2 qui alimentera prochainement son chabot conversationnel Pi (pour intelligence personnelle), un concurrent de chatGPT, Bard de Google, ou encore Claude d’Anthropic. Selon la société, il serait “le meilleur modèle au monde pour sa classe de calcul et le deuxième LLM le plus performant au monde aujourd’hui”.
Inflection AI a été lancée l’an dernier par Reid Hoffman, co-fondateur du réseau social professionnel LinkedIn, Mustafa Suleyman, co-fondateur de Deepmind et Karén Simonyan, anciennement chercheur au sein de Deepmind et expert en deep learning, dans le but de faciliter les interactions homme-machine.
En mai dernier, elle dévoilait Pi (Pi.ai), “une IA personnelle, conçue pour être empathique, utile et sûre”. Le chatbot était alimenté par Inflection-1, entraîné sur des pages web ouvertes datant d’avant novembre 2022. La 1ère version de ce LLM, affichant de solides performances, avait été entraîné sur un cluster informatique construit en partenariat avec CoreWeave et Nvidia. Celui-ci comptait alors plus de 3 500 GPU NVIDIA H100 Tensor Core et devrait à terme en rassembler 22 000.
En juin dernier, la société a réalisé une levée de fonds de 1,3 milliard de dollars, dirigée par Nvidia et Microsoft ce qui lui a permis, entre autres, d’entraîner la seconde version sur 5 000 GPU NVIDIA H100, en précision mixte fp8 pour des FLOPs de ~10²⁵.
Les performances d’Inflection-2
Alors que son prédécesseur avait surpassé GPT-3.5, LLaMA, Chinchilla et PaLM-540B, Inflection-2 démontre selon l’entreprise “une connaissance factuelle bien améliorée, un meilleur contrôle stylistique et un raisonnement considérablement amélioré”.
Le LLM surpasse PaLM Large 2 de Google et LLaMA 2 de Meta dans plusieurs benchmarks standards et ne serait devancé que par GPT-4. Dans le graphique ci-dessous, Inflection AI a comparé ses 2 modèles à PaLM 2.
Evalué sur MMLU (5 coups), un ensemble diversifié de tâches allant du lycée au niveau professionnel, Inflection-2 s’est révélé le modèle le plus performant en dehors de GPT-4, surpassant même Claude 2 avec un raisonnement en chaîne de pensée.
Le modèle a surpassé LLaMA 2 dans 2 des 3 tâches aux questions sur lesquelles il a été testé et, bien qu’il n’ait pas été spécifiquement entraîné pour le code et le raisonnement mathématique, il a affiché des performances supérieures sur les benchmarks de ces dommaines, notamment par rapport à PaLM 2-S*, une variante de PaLM-2 affinée pour les performances de codage.
Devenue rapidement un acteur clé de l’IA générative, la start-up, qui s’est engagée auprès de la Maison-Blanche à soutenir le développement d’une IA responsable, ne veut toutefois pas se précipiter. Avant d’alimenter Pi, Inflection-2 subira une série d’étapes d’alignement, notamment pour adopter le ton du chatbot, qui aura accès à des informations en temps réel et pourra alors donner des réponses plus pertinentes.
Inflection AI, qui compte bien s’imposer dans la compétition, envisage pour l’année prochaine des modèles beaucoup plus grands.
Sources de l’article blog Inflection AI
