Un système d’IA capable de résoudre des problèmes de mathématiques niveau primaire vient d’être développé par des chercheurs d’Open AI (la société derrière le modèle de langage GPT-3). Il s’agit d’un pas en avant puisque, jusqu’ici, les modèles savaient maîtriser la manipulation du langage afin de formuler des phrases, mais pas le raisonnement en plusieurs étapes permettant de résoudre des problèmes mathématiques. C’est chose faite.
Les chercheurs ont entraîné un modèle à reconnaître ses propres erreurs, il peut ainsi réévaluer ses réponses à plusieurs reprises jusqu’à ce qu’il découvre une bonne solution. Lors des tests, le système d’IA a pu résoudre presque autant de problèmes qu’un échantillon d’enfants âgés de neuf à douze ans. Les enfants ont obtenu 60 % à un test tiré de l’Open AI base de données, tandis que le système d’IA a obtenu un score de 55 %.
Bien que les mathématiques à l’école primaire soient assez simples, pour Open AI, l’arrivée de modèles d’IA capables de résoudre des problèmes mathématiques de base est un grand bond en avant qui ouvre de nombreuses opportunités. Les chercheurs ont expliqué :
« Un défi important dans le raisonnement mathématique est la grande sensibilité aux erreurs individuelles. Les modèles autorégressifs, qui génèrent chaque solution jeton par jeton, n’ont aucun mécanisme pour corriger leurs erreurs. Les solutions qui font fausse route deviennent rapidement irrécupérables. »
Ce problème a été contourné en créant des vérificateurs dont le rôle est d’évaluer les réponses produites par l’IA. Ces vérificateurs ont reçu 100 solutions potentielles, toutes générées par le modèle, et ont ensuite été chargés de déterminer si certaines étaient correctes. Les chercheurs d’Open AI ajoutent :
« Fournir des arguments corrects et reconnaître ceux qui sont incorrects sont des défis clés dans le développement d’une IA plus générale. Les problèmes sont conceptuellement simples, mais une erreur subtile suffit à faire dérailler toute une solution. Identifier et éviter de telles erreurs est une compétence cruciale pour le développement de nos modèles. »
Open AI estime que le système de vérification qui permet à ses systèmes d’IA de résoudre des problèmes mathématiques simples avec une certaine précision deviendra de plus en plus efficace à mesure que l’IA sera appliquée à des domaines plus complexes.
En combinant ces recherches avec des avancées dans le domaine des semi-conducteurs, il sera possible d’envisager des modèles d’IA beaucoup plus grands qu’ils ne le sont aujourd’hui. Ainsi, la capacité de modifier la manière dont l’IA aborde un problème pourrait s’avérer transformatrice.
