A l’occasion de l’inauguration du 3IA Prairie, nous avons eu l’occasion de nous entretenir avec Pierre-Louis Xech, Manager du programme de recherche et des relations universitaires de FAIR (Facebook AI Research). Nous en avons profité pour évoquer avec lui les relations qu’entretient FAIR avec l’écosystème français.
Pourriez-vous nous présenter FAIR ?
Pierre-Louis Xech: FAIR, c’est le laboratoire en intelligence artificielle de Facebook créé par Yann LeCun en 2013. Il travaille sur des projets ambitieux pour faire progresser la science de l’IA et bénéficie d’une expertise en reconnaissance d’images, en traitement du langage naturel, en reconnaissance vocale, en traitement de l’image et en modèles d’apprentissage de pointe.
Il est situé aux Etats-Unis (New York, Menlo Park, Seattle, Pittsburgh), en France (Paris), Canada (Montréal), Angleterre (Londres) et Israël (Tel Aviv). L’antenne de Paris est la première à avoir été créée hors des Etats-Unis, en juin 2015. Elle est aujourd’hui la troisième par la taille.
FAIR Paris est passé de 5 à plus de 80 collaborateurs en 4 ans et accueille à ce jour 32 chercheurs, 29 ingénieurs et 20 doctorants de plus de 12 nationalités différentes.
Pourquoi avoir ouvert autant de laboratoires et travailler de façon décentralisée ?
Pierre-Louis Xech: Chez Facebook il y a de la recherche appliquée, proche des plateformes et de la recherche académique, dite “Blue skies”. FAIR se concentre sur cette dernière.
Plus de 200 publications scientifiques ont été co-rédigées par des chercheurs ou ingénieurs de FAIR Paris, dont plus de 80 en 2019 à ce jour. L’équipe participe en moyenne chaque année à 10 des conférences scientifiques les plus prestigieuses du monde.
C’est un modèle complètement ouvert qui a besoin d’être intégré avec le vivier, le terreau académique, de meilleur niveau mondial dans ce domaine. FAIR s’est installé près des clusters d’IA, des universités où il y a des chercheurs et étudiants de haut niveau. A New York, nous sommes proches de la New York University, à Menlo Park nous sommes proches des Universités de Stanford et Berkeley, à Montréal nous sommes proches de l’Université Mc Gill et du MILA.
Paris était en dessous du radar des sociétés internationales jusqu’à ce que FAIR s’y installe. Pour autant, la France jouit depuis longtemps d’une réputation d’excellence en matière de recherche et compte certains des meilleurs chercheurs du monde. Le fait d’être proches de laboratoires leaders en IA, par exemple INRIA ou l’ENS, nous donne la possibilité de collaborer avec des chercheurs de premier niveau mondial et d’entretenir d’étroites relations avec les masters qui produisent des étudiants de super haut niveau.
Quelle est la nature de vos relations avec le monde académique ?
Pierre-Louis Xech: Depuis l’ouverture de FAIR Paris, nous avons travaillé en collaboration avec le monde académique et investi dans les capacités de recherche en intelligence artificielle en France.
Dès le début, le choix a été fait de mettre en place une recherche partenariale et collaborative basée sur le co-encadrement de thèses CIFRE. Le modèle CIFRE permet à des doctorants d’être salariés par FAIR. Ils bénéficient du partage de compétence et des outils de FAIR tout en faisant une thèse et en gardant une entière liberté académique. Ce modèle qui marche très bien a d’ailleurs inspiré de nombreux autres pays en Europe et dans le monde.
Le laboratoire a été créé en 2015, les premières thèses CIFRE sont arrivées en 2016 et les premières soutenances se sont déroulées en 2019. C’est un total de 40 doctorants bénéficiant de conventions CIFRE sur la période 2016-2022.
Les doctorants sont intégrés dans les équipes de recherche de Facebook, ils sont salariés par Facebook et ont un co-encadrement, par un chercheur de Facebook qui est à leurs côtés. Ils bénéficient donc d’un environnement très stimulant. Ils passent environ 80% de leur temps au FAIR et 20% en Université mais cela peut bien sûr varier.
C’est pour le volet humain des relations entre FAIR et l’écosystème de recherche et innovation, mais il y a également tout un support matériel.
Depuis 2018, 10 millions d’Euros ont été mobilisés (jusqu’à 2022) pour soutenir la recherche en IA et les instituts publics. Par exemple à travers le financement d’un supercalculateur sous l’égide de GENCI à hauteur de 3 millions de dollars sur le plateau de Saclay, et un don de 25 serveurs de dernière génération aux centres de recherche.
Notre volonté est de faire en sorte que l’écosystème dans lequel Facebook intègre sa recherche soit le plus dynamique et bénéficie des outils de pointe. Afin de favoriser un accès le plus large possible à la recherche en IA auprès d’une grande diversité de profils, FAIR Paris s’est associé à des universités françaises pour financer un total de 48 bourses d’études et d’excellence et 8 thèses de doctorat dans le domaine de l’IA.
FAIR Paris soutient également à hauteur de 2 millions d’euros une initiative française d’Open Data pour créer des ensembles de données en open source pour l’apprentissage d’algorithmes d’IA. Le projet sélectionné est en partenariat avec l’Agence française de développement et l’Agence nationale de la recherche et vise à lutter contre le changement climatique et à promouvoir la biodiversité.
Construire, “from scratch” un laboratoire de recherche comme ça, 80 chercheurs ingénieurs et doctorants, en 4 ans, c’est quand même très rapide. Ce nombre de chercheurs me semble idéal pour ce type de laboratoire, car cela nous permet de couvrir l’éventail de tout le spectre de la recherche en IA en gardant des équipes relativement petites. Sachant que ce labo n’est évidemment pas déconnecté des autres labos. Il y a beaucoup de collaboration transversale avec des équipes de New York, Menlo Park.
Quels sont les conseils que vous donneriez à des étudiants qui souhaiteraient rejoindre FAIR ?
Pierre-Louis Xech: Le premier conseil est tout simple, c’est de faire une candidature pour un stage. On prend beaucoup de stagiaires. Chaque année, il y a une bonne quinzaine de stagiaires. Les doctorants ne sont pas exclusivement pris dans le vivier des stagiaires mais c’est assez commun dans le monde académique, le chercheur qui va passer trois ans avec un doctorant l’aura “testé” pendant son stage de Master, pour voir si ca « colle » au niveau scientifique mais aussi humain.
Bien sûr, je ne vous cache pas que le niveau d’exigence est très élevé, c’est un laboratoire de pointe. Tous les étudiants n’ont pas forcément le profil pour être acceptés dans ce laboratoire. Ce n’est pas exclusif, mais pour donner une idée du profil actuel de nos doctorants, un certain nombre d’entre eux ont fait le Master MVA délivré par l’Université Paris-Saclay. C’est un Master qui couvre tous les aspects du Machine Learning, et en particulier appliqué au traitement d’images.
On parle souvent de course à l’IA, quel est l’intérêt pour Facebook de partager ses travaux de recherche ?
Pierre-Louis Xech: L’intégralité ou presque de ce que l’on produit en recherche est publié et le code associé est mis en open source pour une raison très simple qui fait consensus au niveau académique et industriel : pour atteindre l’excellence, pour répondre aux défis, même une entreprise comme Facebook qui a une grande force de recherche ne peut le faire toute seule.
Il y a un cercle vertueux qui s’installe avec le monde académique. Les idées circulent, les chercheurs circulent avec fluidité entre les institutions et les labos privés, les étudiants aussi.
Les labos privés proposent des cas d’usage, des challenges qui ne sont pas forcément ceux que les académiques ont. Tout ça, ça forme un cercle vertueux. En fait, il n’y a pas d’autre solution. Tout comme aujourd’hui on ne discute plus du modèle open source. L’industrie du logiciel s’est entièrement ralliée à l’open source parce que c’est ce qui marche le mieux, ce qui garantit la diffusion des innovations.
On entend souvent dire qu’en France il existe une division entre la recherche publique et la recherche privée. Comment percevez-vous la situation ?
Pierre-Louis Xech: Ce n’était pas évident il y a 20 ans. Les cloisons ont commencé à tomber il y a une quinzaine d’années. L’apprentissage culturel réciproque s’est fait. Les grands instituts français : CNRS, Inria, les grandes universités savent maintenant comment fonctionne le modèle de recherche “corporate” utilisé par les sociétés comme les GAFA et startups.
Les entreprises sont conscientes qu’il faut être prudent en matière de captation de talents, malgré une force d’attractivité énorme, parce qu’il faut garder une relation de coopération respectueuse et vertueuse tout en apportant une contribution équitable et juste au financement des projets et de l’écosystème, comme c’est le cas pour Prairie que nous inaugurons aujourd’hui.
En France, nous sommes partenaires de 2 des 4 3IA : Prairie et le 3IA de Grenoble.
Comment avez-vous fait le choix du partenariat avec ces deux 3IA ?
Pierre-Louis Xech: C’est bottom-up, si l’on regardait une représentation des relations de FAIR avec le tissus français, on verrait qu’il y a 2 hotspots : Paris et Grenoble, mais on a également des thèses à Nancy et Rennes.
A titre personnel, quelle est la dernière chose, nouveauté, actualité qui vous a impressionné en matière d’IA ?
Pierre-Louis Xech: Il y en a deux. La première est la vitesse de propagation des avancées en IA.
Ce qui m’a le plus impressionné, c’est cet effort depuis l’arrivée du Deep Learning, dans le passage de la production de travaux de recherches à la mise en production du code correspondant sur des plateformes.
Parmi les domaines de recherche de FAIR il y’a deux piliers: la vision artificielle (Computer vision) et le traitement du langage naturel (NLP). Dans le traitement du langage naturel, il y a un sujet qui est celui de la traduction automatique. Il y a des idées qui étaient sous forme de papier de recherche il y a 3 ans, auxquels ont contribué des doctorants qui sont dès à présent en production ou en voie de production. Les algorithmes les plus impressionnants qui me viennent en tête sont ceux permettant de faire de la traduction automatique dans des langages qui n’ont pas suffisamment de corpus de données communs pour pouvoir faire de l’apprentissage basé sur des corpus parallèles. C’est vraiment très fort. Ca participe à l’idée ultime que développe beaucoup Yann LeCun quand il parle d’aller vers de l’apprentissage de moins en moins supervisé. Ces techniques de traduction automatique permettent de faire de la traduction entre l’ourdou et un dialecte parlé par une poignée d’individus à l’autre bout du monde. Ca a été décrit et très bien expliqué dans la Keynote F8 au mois de mai.
Je suis également impressionné par la vitesse d’adoption de PyTorch par le monde du logiciel. C’est très fort car pour une entreprise qui n’a pas cette tradition de software engineering. PyTorch a été publié en open source en 2016 , la vitesse à laquelle l’écosystème de recherche, les startups et développeurs IA s’en sont emparés est impressionnante. Pour moi c’est une réussite qui mérite d’être étudiée pour en comprendre les mécanismes. Il y a certainement des tas de conditions qui ont fait que le terrain était propice à cette adoption mais c’est très enthousiasmant.
Nous tenons à remercier Pierre-Louis Xech de s’être prêté au jeu de l’interview à l’occasion de l’inauguration de l’institut 3IA Prairie dont FAIR est partenaire.
