Les mathématiques occupent une place prépondérante dans les évolutions amenées par l’intelligence artificielle ces dernières années : nous pensons notamment à l’apprentissage automatique, ou encore aux neurosciences computationnelles. Récemment, deux chercheurs ont amorcé ce qui pourrait peut-être être une révolution grâce aux posits, qui ne sont ni plus ni moins qu’une façon différente de se représenter les nombres.
De nouveaux calculs de coûts grâce aux posits ?
Il faut considérer une puissance de calcul énorme pour faire fonctionner les applications révolutionnaires de l’IA. Connaissez-vous, par exemple, le nombre d’opérations qu’il a fallu effectuer pour entraîner GPT-3, le modèle de langage le plus évolué d’Open AI ? Exactement un million de milliards de milliards. Tout cela, pour un coût estimé à cinq millions de dollars.
Mais d’après de récentes recherches dans le domaine, la réduction des coûts dans l’entraînement des intelligences artificielles est une possibilité grâce aux posits. En effet, les deux inventeurs de cette approche, John Gustafson et Isaac Yonemoto, ont imaginé leur découverte comme étant une nouvelle manière d’encoder les nombres réels. Pour comprendre leur impact, il faut garder à l’esprit que ce type de nombre ne peut être parfaitement encodé, car il y en a à l’infini. Pour pouvoir tenir dans une certaine quantité de bits (la plus petite unité d’information sur un ordinateur), les nombres réels doivent être arrondis.
Une évolution de taille pour les mathématiques ?
Sur certains d’entre eux, notamment les grands nombres positifs et négatifs, la précision de l’encodage est accrue. D’après John Gustafson, «C’est une meilleure correspondance pour la distribution naturelle des nombres dans un calcul […] C’est la bonne précision, là où vous en avez besoin. »
L’Université Complutense, à Madrid, a par exemple développé un premier cœur de processeur mettant en œuvre la nouvelle norme posit. Leurs résultats ont été présentés lors du symposium IEEE portant sur l’arithmétique informatique. L’équipe ayant présenté les résultats se compose d’El-Mehdi El Arar, Devan Sohier, Pablo de Oliveira Castro, et Eric Petit.
Par rapport à l’utilisation standard des nombres à virgule flottante, il est apparu que la précision d’une tâche de calcul de base est multipliée par quatre.
L’entraînement des grandes IA au cœur des interrogations
Une révolution mathématique majeure est donc peut-être en cours. Une mise en pratique est cependant nécessaire pour prouver l’efficacité et la pertinence des posits dans l’entraînement des grandes intelligences artificielles. La conclusion de David Mallasen Quintana, chercheur à l’Université Complutense de Madrid, est la suivante : « Des personnes les ont essayés dans le logiciel […] nous voulons maintenant les essayer dans le matériel.»
L’établissement madrilène a déjà fait des comparaisons de performances entre des flotteurs 32 bits et des posits 32 bits. Les résultats sont encourageants, même si ces premières expérimentations laissent penser que l’augmentation de la précision n’a pas d’influence sur le temps de calcul. Pendant ce temps, d’autres équipes de chercheurs se penchent sur leurs propres implémentations matérielles pour faire progresser l’utilisation des posits.
Retrouvez la présentation vidéo de David Mallasén, Raul Murillo, Alberto A. Del Barrio, Guillermo Botella, Luis Piñuel et Manuel Prieto-Matias lors du symposium IEEE via ce lien
Vous pouvez également accéder à la présentation de John Gustafson, l’un des deux inventeurs des posits, lors d’un séminaire à l’Université de Stanford sur le sujet de l’arithmétique informatique de nouvelle génération.
