Mistral AI a lancé ce 29 mai Codestral, son premier modèle d’IA générative de code en même temps que sa nouvelle licence de non-production, ce qui permet aux développeurs d’utiliser le modèle à des fins de recherche et de tests mais exclut toute utilisation commerciale. Codestral est téléchargeable sur Hugging Face.
Codestral a été entraîné sur un ensemble de données de plus de 80 langages de programmation. Parmi eux, les plus populaires tels que Python, Java, C, C++, JavaScript, et Bash, mais aussi des langages plus spécialisés comme Swift et Fortran. Cette diversité linguistique permet à Codestral de s’adapter à une multitude de projets et d’environnements de développement, offrant aux développeurs un outil flexible et puissant.
Le modèle, qui affiche 22 milliards de paramètres, permet aux développeurs de gagner en efficacité grâce à l’autocomplétion, la génération de tests, et le remplissage du milieu pour le code partiel. Il peut également répondre à des questions sur une base de code en anglais. Sa fenêtre contextuelle est de 32 000 jetons.
Les performances de Codestral 22B
Mistral AI a comparé les performances de son nouveau modèle à des modèles de code dont la fenêtre contextuelle est moins étendue : CodeLLama 70B et LLama 3 70B de Meta ainsi qu’à DeepSeek Coder 33B.
Le très bon score de Codestral lors de l’évaluation Human Eval pass@1 démontre sa capacité à produire du code fonctionnel et précis dès la première tentative. CruxEval met en lumière la capacité de Codestral à prédire avec précision les sorties de code en Python, soulignant sa compréhension profonde des contextes de programmation.
Les résultats de Codestral dans RepoBench, un benchmark spécialisé dans l’évaluation des capacités des modèles de génération de code à comprendre et à produire des segments de code complexes en tenant compte d’un contexte étendu, montrent sa supériorité en termes de précision et de cohérence du code généré par rapport aux 3 autres modèles.
Codestral est disponible gratuitement sur le Chat de Mistral, mais sur le point de terminaison habituel de l’API, les requêtes sont facturées par jetons. Un nouveau point de terminaison dédié permet aux développeurs d’accéder facilement aux fonctionnalités de Codestral pour des tâches spécifiques, telles que l’autocomplétion et le remplissage du milieu dans leur environnement de développement intégré (IDE).
Ce second point est recommandé pour les développeurs créant des plugins IDE ou des applications nécessitant que les clients fournissent leurs propres clés API. Son accès est gratuit pendant une période bêta de 8 semaines, régulé par une liste d’attente.
Codestral a été intégré à des plateformes populaires comme LlamaIndex et LangChain, et il est compatible avec des environnements de développement tels que VSCode et JetBrains, grâce à des plugins développés par Continue.dev et Tabnine. Ces intégrations permettent aux développeurs de bénéficier des capacités de Codestral directement dans leurs outils de travail habituels.
