En moins d’un an d’existence, Mistral AI a réussi le tour de force de passer au statut de licorne et de présenter deux LLM open source légers très performants en moins de trois mois : Mistral 7B et Mixtral 8x7B, les performances de ce dernier surpassant celle de GPT-3,5, tout comme celles de Mistral Medium, disponible via son API. Il est aujourd’hui possible de tester le prototype du dernier de modèle de langage de la start-up, Mistral Next sur LMSYS.
LMSYS (Large Model Systems Organization) développe des modèles ouverts, des ensembles de données, des systèmes et des outils d’évaluation pour les grands modèles. En mai 2023, elle a lancé Chatbot Arena, une plateforme ouverte et participative d’évaluation des LLM basé sur le système Elo, une méthode d’évaluation développée pour classer les joueurs dans des jeux compétitifs tels que les échecs.
Le site permet à un utilisateur de poser les mêmes questions à 2 modèles anonymisés et de voter pour celui considéré comme le meilleur. Le dernier classement qui incluait 64 modèles, le 15 février dernier, a comptabilisé 299 816 votes. GPT-4-1106-preview se situait en tête du classement, suivi de GPT-4-0125-preview, Bard (Gemini Pro) s’adjugeant la troisième place et Mistral Medium la 6ème.
Il est également possible d’interagir avec le modèle de son choix sur “Chat direct”, on y retrouve d’ailleurs Mistral Next. Les premiers retours d’expérience avec le modèle partagés sur X laissent à penser qu’il égalise ou surpasse GPT-4 en matière de raisonnement logique ou de génération de code.
Pour l’instant, Mistral AI n’a fourni aucun détail sur Mistral Next.
