La semaine dernière, Stability AI annonçait la sortie de Stabile Diffusion XL (SDXL), son dernier ajout à la suite de modèles text-to-Image Stable Diffusion en version bêta. Elle a également publié la version Alpha de StableLM, une suite de modèles de langage open-source, disponible en 3 et 7 milliards de paramètres sur GitHub, sous licence CC BY-SA-4.0. Les développeurs peuvent ainsi inspecter, utiliser et adapter librement ces modèles de base StableLM à des fins commerciales ou de recherche, sous réserve d’attribution de crédit.
En 2022, Stability AI a annoncé la sortie publique de Stable Diffusion, un modèle d’image représentant une alternative transparente, ouverte et évolutive à l’IA propriétaire. Avec le lancement de la suite de modèles StableLM, Stability AI continue de rendre la technologie IA fondamentale accessible à tous.
La société déclare sur son blog :
« Les modèles de langage formeront l’épine dorsale de notre économie numérique et nous voulons que tout le monde ait une voix dans leur conception. Des modèles comme StableLM démontrent notre engagement envers une technologie de l’IA transparente, accessible et solidaire ».
Rivalisant avec ChatGPT, StableLM peut générer du texte et du code et alimentera une gamme d’applications en aval. Après ces modèles alpha 3B et 7B, une suite de modèles de 15B à 65B est prévue.
Selon Stability AI, « la version Alpha open-source de StableLM met en avant la puissance des modèles petits et efficaces capables de générer du texte et du code performants localement sur des appareils personnels ».
La suite de modèles StableLM s’appuie sur des modèles de langage antérieurs développés avec EleutherAI, un centre de recherche à but non lucratif. Ces modèles de langage incluent GPT-J, GPT-NeoX et la suite Pythia, qui ont été entraînés sur l’ensemble de données open-source The Pile, d’Eleuther AI.
StableLM est, quant à lui, entraîné sur un nouvel ensemble de données expérimental construit sur The Pile, mais trois fois plus grand (1,5 trillion de jetons de contenu).
Exemple produit par le modèle 7B
Stability doit donner prochainement plus d’informations sur StableLM. Pour le tester, outre retrouver la version alpha sur GitHub, une démonstration est hébergée sur Hugging Face.
