Le Hub France IA vient de publier un guide essentiel pour les organisations cherchant à intégrer des modèles d’IA générative, en particulier les “Large Language Models” (LLM), dans leurs opérations. Ce document, élaboré par le groupe de travail IA Générative du Hub France IA, offre des recommandations détaillées et une méthodologie éprouvée pour aider les entreprises, collectivités et autres entités à faire des choix éclairés.
Association à but non lucratif créée en 2017, le Hub France IA fédère plus de 200 membres et 50 partenaires afin d’accélérer le développement de propositions et de solutions concrètes aux niveaux national et européen. Il agit pour faire émerger une IA de confiance et souveraine, respectueuse des citoyens, au service des entreprises et du secteur public.
Les actions prioritaires de l’association suivent 3 axes :
• Assurer une veille de l’écosystème, des technologies et du réglementaire en interaction étroite avec les autorités compétentes en France et en Europe ;
• Favoriser les synergies entre les différents acteurs de l’écosystème IA français et européen ;
• Accompagner l’adoption de l’IA et la montée en compétences par la production de communs utiles à tous.
Dans ce livrable, il adresse une des problématiques actuellement rencontrées par les entreprises françaises de toute taille et tout secteur : comment faire pour choisir entre les différents LLM ?
Une réponse aux besoins des organisations
Composé d’une quinzaine de membres, le groupe de travail IA Générative s’est réuni chaque semaine pendant plusieurs mois pour préparer ce guide. Leur objectif : fournir aux organisations un outil complet pour naviguer dans le paysage complexe des LLM. Ce travail fait suite à un livrable précédent publié en février 2024, qui portait sur les usages des IA génératives.
Pour élaborer ce guide, le groupe a mené une enquête approfondie auprès des organisations afin de comprendre leurs critères de choix les plus importants. Les résultats de cette enquête constituent la première partie du document.
Comment choisir son LLM ?
Le guide est structuré en cinq parties principales :
- Résultats de l’enquête : Cette section présente la méthodologie et les résultats de l’enquête menée auprès des organisations, identifiant les critères cruciaux pour le choix des modèles d’IA.
- Cartographie des benchmarks : Le document offre une vue d’ensemble des benchmarks de référence qui peuvent être utilisés pour tester la performance des différents modèles de LLM.
- Grille d’évaluation des modèles : Basée sur les critères identifiés par l’enquête, cette grille permet d’évaluer les modèles selon divers aspects tels que la sécurité des données, la conformité légale, les infrastructures, le business model, l’accompagnement des clients et les considérations écologiques.
- Échanges avec les fournisseurs : Cette partie restitue les échanges avec les principaux fournisseurs de LLM, structurés selon la grille d’évaluation, offrant ainsi une perspective pratique sur l’application des critères de choix.
- Analyse détaillée des résultats : Le guide partage une analyse approfondie des résultats pour chaque fournisseur, aidant les organisations à prendre des décisions éclairées.
Principaux enseignements
Le guide met en lumière plusieurs enseignements clés :
- Critères de choix multiples : La performance d’un modèle ne doit pas être le seul critère de sélection. La sécurité des données, le respect des réglementations, l’adaptation aux infrastructures existantes et le coût sont également essentiels ;
- Importance des benchmarks : Bien que les benchmarks soient utiles, ils doivent être complétés par des interactions directes avec les fournisseurs de modèles ;
- Absence de fournisseur parfait : Aucun fournisseur ne se distingue comme étant le meilleur dans tous les aspects.
Le guide recommande d’adopter une approche méthodologique :
- Définir les cas d’usage spécifiques ;
- Lister les critères de choix pertinents pour ces cas d’usage ;
- Consulter les benchmarks appropriés ;
- Affiner l’analyse en se référant aux critères spécifiques.
Ce guide représente un outil précieux pour les organisations souhaitant s’assurer de sélectionner le modèle le plus adapté à leurs besoins spécifiques. Vous pouvez le retrouver ici.
