Le 22 janvier dernier, lors du Forum de Davos, Aleph Alpha a annoncé une avancée significative dans le domaine des grands modèles de langage : une nouvelle architecture sans tokenizer (T-Free). Baptisée Pharia, à l’instar de sa famille de LLMs lancés en août 2024, elle vise à résoudre certaines limites des modèles traditionnels et ouvre la voie à des solutions d’IA souveraines plus robustes, adaptées aux spécificités linguistiques et sectorielles.
Les LLMs actuels, qu’ils soient open source ou fermés, rencontrent des difficultés lorsqu’il s’agit d’intégrer de nouvelles langues ou des connaissances sectorielles particulières. La dépendance à la tokenisation, qui segmente le texte en unités prédéfinies, limite la capacité d’adaptation aux contenus qui s’éloignent des données d’entraînement d’origine. Aleph Alpha propose donc une alternative en supprimant cette étape, permettant ainsi un apprentissage plus fluide et efficace.
Selon Jonas Andrulis, fondateur et PDG d’Aleph Alpha, cette approche “permet d’affiner et de créer des modèles souverains pour divers alphabets et secteurs, tout en réduisant les coûts de calcul et l’empreinte carbone”. La société affirme que cette architecture pourrait réduire les coûts d’entraînement et l’empreinte carbone par rapport aux autres options de 70 % dans certaines langues, comme le finnois, une langue relativement peu riche en ressources, par rapport aux solutions traditionnelles.
Une collaboration stratégique avec AMD et Schwarz Digits
Pour réaliser cette avancée technologique, Aleph Alpha s’est associé à AMD et Schwarz Digits, la division informatique et numérique du Groupe Schwarz. La combinaison de la nouvelle architecture avec les GPU AMD Instinct MI300 Series et la pile logicielle ouverte AMD ROCm vise à offrir une solution haute performance et optimisée pour les charges de travail GenAI. Schwarz Digits apporte, quant à lui, une infrastructure européenne fiable et conforme aux exigences réglementaires.
La start-up s’est également appuyée sur l’équipe AMD SiloAI d’Helsinki, qui a contribué à démontrer les capacités multilingues de sa nouvelle architecture de modèle. Keith Strier, vice-président de Global AI Markets chez AMD, souligne que “cette collaboration apporte plus qu’une simple solution technologique : elle renforce la résilience de l’écosystème européen de l’IA.”
Vers une démocratisation de l’IA souveraine
Pour ses modèles Pharia présentés en août 2024, Aleph Alpha avait concentré ses efforts sur une meilleure tokenisation, mais avait annoncé avoir entamé un flux de travail plus innovant “sans tokenizer” pour leurs futures versions, ce qu’il vient de réaliser avec Pharia T- Free.
La suppression du tokenizer marque une rupture dans l’approche traditionnelle du traitement du langage naturel tout en positionnant Aleph Alpha comme un acteur incontournable de l’IA souveraine en Europe. Les gouvernements et entreprises de secteurs où les données sont particulièrement sensibles tels que la santé, la finance, le droit et la sécurité, pourront en tirer parti pour renforcer la confidentialité, la sécurité et l’adaptabilité de leurs solutions d’IA.
