En 2016, AlphaGo, développé par Google DeepMind, se mesurait à Lee Sedol, l’un des meilleurs joueurs de go au monde et remportait la victoire par 4 jeux à 1, ce qui laissait toutefois penser qu’il n’était pas totalement infaillible. Kellin Pelrine, un joueur américain qui est un niveau en dessous du classement amateur supérieur, l’a prouvé récemment, gagnant 14 des 15 parties jouées contre l’IA Katago.
Durant l’année qui a suivi la victoire d’AlphaGo sur Lee Sedol, DeepMind a continué de l’améliorer et l‘IA remportait en 2017 la victoire par 3 à 0 face au champion mondial de la discipline, le prodige chinois Ke Jie.
La société profitait de cette victoire pour annoncer que cette compétition était la dernière d’AlphaGo. Il a néanmoins inspiré d’autres modèles d’IA, parmi eux KataGo, conçu par David Wu, formé en utilisant un processus de type AlphaZero amélioré, capable lui aussi de battre des joueurs de niveau professionnel mais qui s’est fait battre par un amateur…
Il faut toutefois préciser que Kellin Pelrine, outre être un joueur de go de niveau amateur, est stagiaire en recherche scientifique au centre de recherche FAR AI, une organisation à but non lucratif de recherche sur l’alignement.
Ce centre de recherche californien dédié à l’IA s’est donné pour mission de s’assurer que les systèmes d’IA soient fiables et bénéfiques pour la société. Les recherches actuelles portent sur la robustesse aux attaques adverses, l’interprétabilité et l’apprentissage des préférences.
L’une d’elles, a démontré que même les systèmes d’IA “surhumains” peuvent abriter des modes de défaillance surprenants et qu’il était possible de pousser KataGo ou Leela Zero à faire de graves erreurs.
Le jeu de GO est un des jeux de stratégie les plus anciens (plus de 2 500 ans) et les plus complexes. Les deux joueurs utilisent leurs pierres, blanches ou noires, pour tenter d’encercler celles de leur adversaire et s’emparer du terrain.
La tactique utilisée par Kellin Pelrine était simple : il a commencé à encercler l’un des groupes de son adversaire, dessinant une grande boucle de pierres, tout en distrayant l’IA avec des mouvements dans d’autres coins du plateau. Un joueur humain, même amateur, aurait facilement compris ses intentions mais selon lui, l’IA n’a pas remarqué qu’elle était en mauvaise position, alors même que l’encerclement était presque terminé.
Adam Gleave, cofondateur et CEO de FAR AI, a déclaré au Financial Times:
« Il était étonnamment facile pour nous d’exploiter ce système. Le logiciel a joué plus de 1 million de parties contre KataGo, l’un des meilleurs systèmes de jeu de Go, pour trouver un « angle mort » dont un joueur humain pourrait profiter ».
Stuart Russell, professeur d’informatique à l’Université de Californie à Berkeley a déclaré au magazine :
« La découverte d’une faiblesse dans certaines des machines de jeu de go les plus avancées souligne une faille fondamentale dans les systèmes d’apprentissage en profondeur qui sous-tendent l’IA la plus avancée d’aujourd’hui ».
Il a ajouté :
« Cela montre une fois de plus que nous avons été beaucoup trop hâtifs pour attribuer des niveaux d’intelligence surhumains aux machines ».
Source : Financial Times
