La fusion nucléaire, avec son potentiel à fournir une électricité renouvelable et propre, est au cœur de travaux de chercheurs du monde entier. Une équipe formée de scientifiques du Swiss Plasma Center de l’EPFL (Ecole Polytechnique Fédérale de Lausanne) et de DeepMind a mis au point une nouvelle méthode permettant de contrôler les configurations de plasma pour une utilisation en recherche sur la fusion nucléaire. Les résultats de leur étude “Contrôle magnétique des plasmas de tokamak par apprentissage par renforcement profond” viennent d’être publiés dans la revue Nature.
La fusion nucléaire est un phénomène naturel : le soleil transforme des quantités astronomiques d’hydrogène en hélium, produisant ainsi une importante quantité d’énergie. Les chercheurs se mobilisent pour reproduire ce phénomène et démontrer que la fusion d’atomes d’hydrogène est possible. La Chine et les Etats-Unis semblent avoir fait de sérieux progrès technologiques en ce domaine et en France, le projet international ITER avance rapidement lui aussi.
Le Swiss Plasma Center est l’un des principaux laboratoires de recherche mondiaux sur la fusion. Il conduit un ensemble de travaux de recherche et développement dans le domaine de la physique des plasmas. Dans le cadre de ses collaborations internationales, il a participé à la préparation du programme scientifique d’ITER et à la construction de ce dernier. DeepMind, société spécialisée en IA rachetée par Google en 2014, a mené des recherches sur les algorithmes par renforcement (RL, pour Reinforcement Learning). Elle a ainsi annoncé, en 2020, avoir développé une solution de nouvelle génération RL interagissant avec des environnements qu’elle a baptisée Learned Policy Gradient (LPG).
En 2018, le SPC et DeepMind ont mis leurs expertises en commun pour développer une nouvelle méthode permettant de contrôler les configurations de plasma pour une utilisation en recherche sur la fusion nucléaire. Federico Felici, scientifique au SCP et co-auteur de l’étude, a rencontré l’équipe de DeepMind lors d’un hackathon au siège londonien de l’entreprise et leur a alors exposé le problème de contrôle magnétique du tokamak qu’il rencontrait avec ses collaborateurs. Il explique :
“DeepMind a été immédiatement intéressée par la perspective de tester sa technologie IA dans un domaine tel que la fusion nucléaire, notamment sur un système réel comme un tokamak”.
Le tokamak du SCP
Pour concevoir et développer des réacteurs d’énergie de fusion à confinement magnétique, les chercheurs doivent comprendre le mouvement turbulent des plasmas : un mélange d’ions et d’électrons tourbillonnant dans les cuves des réacteurs. Les particules de plasma, suivant les lignes de champ magnétique dans des chambres toroïdales appelées tokamaks, doivent être confinées suffisamment longtemps et à des températures très élevées (centaines de millions de degrés Celsius) pour que les dispositifs de fusion produisent des gains significatifs d’énergie nette. Cette énergie pourrait produire de l’électricité.
Le SPC est l’un des rares centres de recherche au monde à posséder un tokamak en fonctionnement. Celui-ci est unique car, avec sa capacité de mise en forme du plasma, il permet de développer de nouvelles configurations, d’où son appellation: tokamak à configuration variable (TCV). Dans un tokamak, ce sont les bobines magnétiques (19 pour le TCV) qui forment et maintiennent les plasmas, leurs réglages, notamment la tension exigent de nombreux contrôles pour éviter que le plasma n’entre en collision avec les parois de la chambre et la détériore. Ainsi, les chercheuses et chercheurs du SPC testent d’abord leurs systèmes de contrôle sur un simulateur avant de les utiliser dans le tokamak TCV. Federico Felici, scientifique au SPC et co-auteur de l’étude, déclare:
“Notre simulateur est le fruit de plus de 20 années de recherche et est sans cesse amélioré. Malgré cela, de fastidieux calculs sont encore nécessaires pour déterminer la valeur correcte de chaque variable du système de contrôle. C’est là qu’intervient notre projet de recherche commun avec DeepMind.”
L’étude
L’étude porte sur les effets de la mise en forme de la distribution du plasma dans différentes configurations pour optimiser la stabilité, le confinement et l’épuisement de l’énergie, et, en particulier, d’informer la première expérience de combustion de plasma, ITER.
Les scientifiques de DeepMind ont développé un algorithme RL capable de créer et de maintenir des configurations de plasma spécifiques, et l’ont formé sur le simulateur SPC. L’algorithme a généré une stratégie de contrôle pour produire la configuration de plasma demandée et permis de tester de nouvelles formes de plasma, dont des “gouttelettes” qu’il a réussi à stabiliser simultanément dans la chambre pendant les 200 millisecondes du test. Ce dernier test représente une avancée notable pour le contrôle par rétroaction du tokamak et démontre le potentiel de l’apprentissage par renforcement pour accélérer la recherche dans le domaine de la fusion, qui est l’un des systèmes du monde réel les plus ardus où l’apprentissage par renforcement a été appliqué.
Pour l’EPFL, ce projet devrait ouvrir la voie à la recherche d’autres opportunités R&D communes avec des entreprises externes. Ambrogio Fasoli, Directeur du SPC et co-auteur de l’étude, conclut :
“Nous sommes toujours ouverts aux collaborations gagnantes-gagnantes innovantes où nous pouvons partager des idées et explorer de nouvelles perspectives, accélérant ainsi le rythme du développement technologique.”
L’étude est accessible ici : revue Nature.
