Tandis que les acteurs de l’IA générative comme OpenAI ou Anthropic travaillent à améliorer les performances de leurs modèles, des start-ups européennes ont fait irruption sur le marché. C’est notamment le cas de LightOn, une alternative française aux services d’OpenAI, de Microsoft et de Google. La start-up annonce la sortie d’Alfred-40B-0723, un nouveau modèle de langage open source (LLM) basé sur Falcon-40B.
La plupart des LLM, du fait de leur complexité et de leurs coûts, sont l’apanage de grandes sociétés comme les GAFAM et ne sont disponibles qu’en anglais, en chinois ou en coréen. L’utilisation de ces grands modèles pour d’autres langues ne peut se faire qu’en passant par un outil de traduction, ce qui implique une baisse de qualité et une augmentation des coûts, des modèles comme BLOOM entraîné simultanément en 46 langues ou ceux de LightOn pour les langues européennes changent la donne.
Créée en 2016 par Igor Carron, Laurent Daudet, Florent Krzakala et Sylvain GiganCo, après avoir lancé son tout premier coprocesseur photonique pour accélérer le calcul informatique, LightOn s’est attaquée à un nouveau défi dans le domaine émergent de l’IA : créer les premiers grands modèles de langage pour les langues européennes, en particulier le français. En 2020, elle a mis en accès libre son premier modèle français à travers une interface simple de génération de texte : PAGnol. En 2022, après une année et demi de travail intensif, elle annonçait la disponibilité de son API MUSE en français qui donne accès à sa suite de grands modèles de langages VLM-4 ainsi qu’à des fonctionnalités de customisation (skills) permettant d’adapter chaque modèle à des tâches spécifiques.
En mars dernier, elle a présenté Paradigm, une plateforme d’IA générative à destination des entreprises européennes, pouvant être directement installée sur les structures existantes, sécurisant ainsi leurs données, et en juin, s’est associée à Aleia pour lancer une offre basée sur l’IA générative 100% européenne.
Le nouveau LLM Alfred-40B-0723
Ce nouveau modèle a été construit sur Falcon-40B, le premier LLM open source des Émirats arabes unis et du Moyen-Orient, qui compte donc 40 milliards de paramètres formés sur un billion de jetons, conçu par le Technology Innovation Institute (TII). Il a surpassé divers LLM open source comme LLaMA, StableLM, RedPajama et MPT et est mis à disposition sous une licence Apache 2.0 permissive permettant une utilisation commerciale.
Ce modèle brut et pré-entraîné doit cependant être affiné pour la plupart des cas d’utilisation, ce qu’a fait LightOn pour Alfred-40B-0723. Parmi les compétences clés de ce dernier se trouvent l’ingénierie des prompts, le développement d’applications sans code et l’exécution de tâches classiques des modèles de langage : la synthèse de contenu, la réponse à des requêtes sur un document, la classification de contenu et l’extraction de mots-clés.
Alfred peut ainsi aider à construire et évaluer les prompts les plus efficaces, ce qui garantit des performances optimales. La possibilité de développer des applications sans avoir une expertise en codage permet de gagner du temps et de préserver des ressources précieuses.
Alfred-40B-0723 : Le Copilote d’IA Générative
Alfred-40B-0723 est une version affinée de Falcon-40B obtenue avec l’apprentissage par renforcement à partir des commentaires humains (RLHF). En combinant des ensembles de données publics et des données hautement annotées par une équipe dédiée, Alfred-40B-0723 offre des performances avancées et une précision accrue.
Il alimente Paradigm, la plateforme pour entreprise de LightOn et est conçu pour être un copilote d’IA générative. Grâce au partenariat entre la start-up et AWS, il est entraîné sur AWS Sagemaker, dont il exploite l’infrastructure évolutive pour garantir efficacité et fiabilité. Dans le cadre de l’engagement de la start-up à favoriser la collaboration et l’innovation au sein de la communauté de l’IA générative, il est actuellement disponible sur HuggingFace, il le sera également prochainement sur AWS Jumpstart for Foundation Models, ce qui facilitera son intégration dans divers flux de travail.
Bien que le modèle soit disponible en open source, l’équipe de LightOn continue de l’affiner, ce qui entraîne des différences entre la version open source et la version de la plateforme Paradigm, les utilisateurs de cette dernière ayant accès à un modèle plus avancé.
Cette initiative ouvre de nouvelles perspectives aux entreprises, leur permettant de réaliser leurs cas d’utilisation en pleine confiance, dans un environnement maîtrisé mais vise également à repousser les limites de l’IA générative et à en libérer le potentiel.
LightOn encourage les développeurs, les chercheurs et les organisations à explorer les possibilités d’Alfred-40B-0723 et à contribuer à son développement ultérieur.
