Andrej Karpathy faisait partie de l’équipe cofondatrice d’OpenAI en 2015, aux côtés de Sam Altman et Elon Musk. Après avoir quitté la start-up en 2017, il est retourné au sein de l’entreprise il y a tout juste un an. C’est sur X qu’il a annoncé la semaine dernière son nouveau départ de la société pour se consacrer à des projets personnels.
Informaticien et chercheur en IA renommé, Andrej Karpathy est surtout connu pour son travail dans les domaines de l’apprentissage profond, du traitement automatique du langage naturel et de la vision par ordinateur.
Titulaire d’un doctorat en Computer Science de l’Université de Stanford, il a effectué différents stages chez Google DeepMind et Google Research, avant de travailler comme chercheur scientifique chez OpenAI, notamment sur le deep learning pour les modèles d’IA générative et le deep reinforcement learning.
En 2017, il quitte une première fois OpenAI pour rejoindre Tesla dont Elon Musk est le PDG depuis 2008. Il y occupera le poste de directeur de l’IA et de l’équipe de vision par ordinateur d’Autopilot, le système de conduite autonome de Tesla jusqu’en juillet 2022.
Il partage régulièrement des vidéos sur sa chaine YouTube où il explique le fonctionnement de l’IA et des LLM et est également très suivi sur les réseaux sociaux.
C’est d’ailleurs sur Twitter qu’il annonçait il y a un an tout juste sa réintégration au sein d’OpenAI et confirmait la semaine dernière sur le désormais X son nouveau départ :
“Salut tout le monde oui, j’ai quitté OpenAI hier. Tout d’abord, rien ne s’est « passé » et ce n’est pas le résultat d’un événement, d’un problème ou d’un drame particulier (mais s’il vous plaît, continuez à parler des théories du complot car elles sont très divertissantes )”.
Ce qu’a confirmé OpenAI, ajoutant que ses responsabilités avaient été transférées à un chercheur principal qui a travaillé en étroite collaboration avec Andrej Karpathy.
Ce dernier ajoutait dans son post :
“Mon plan immédiat est de travailler sur mes projets personnels et de voir ce qui se passe. Ceux d’entre vous qui me suivent depuis un certain temps ont peut-être une idée de ce à quoi cela pourrait ressembler”.
Alors que certains extrapolent sur son retour à Tesla, il a partagé samedi dernier sur GitHub, Minbpe, un projet de code source pour implémenter l’algorithme BPE (Byte Pair Encoding) utilisé pour la tokenisation des modèles de langage à grande échelle.
L’algorithme BPE qui s’exécute sur des chaînes codées en UTF-8 a été popularisé pour les LLM par l’article GPT-2 et la version de code associée d’OpenAI, et est utilisé pour des modèles récents comme Llama ou Mistral. Une vidéo sera prochainement consacrée au projet.
