Dans le cadre de la conférence NeurIPS sur le machine learning, le groupe internet russe Yandex a annoncé le lancement du “Shifts Challenge”. La société lance son concours en trois volets pour résoudre le problème du changement de distribution dans le machine learning. Jusqu’au 17 octobre, les experts du machine learning pourront concevoir des modèles ML performants et espérer remporter le grand prix d’un montant de 5 000 dollars.
Un challenge pour développer un modèle robuste détectant les changements de distribution
Yandex invite les chercheurs et les experts du machine learning du monde entier à participer au NeurIPS 2021 Shifts Challenge, un concours sur la robustesse et l’incertitude d’un changement de distribution dans le monde réel. L’objectif du défi est de sensibiliser aux changements de distribution dans les données du monde réel. Pour les participants, le but sera de développer des modèles robustes au changement de distribution et de détecter un tel changement via des mesures d’incertitude dans leurs prédictions.
Les participants peuvent participer aux trois thématiques distinctes du défi, pour lesquelles l’entreprise russe fournit des ensembles de données selon les trois modalités : prévision météorologique, traduction automatique et prévision du mouvement des véhicules. Les solutions des participants seront présentées lors de l’atelier Shifts Challenge au NeurIPS 2021, avec des prix décernés aux participants les mieux classés.
Voici plus de précisions sur les trois pistes qu’il est possible de choisir pour concevoir son modèle innovant :
- La prévision météo : l’objectif de cette piste est de former des modèles qui prédisent la température à une latitude/longitude et un temps particulier, en prenant en compte toutes les mesures disponibles et les prévisions des modèles climatiques. Ces modèles doivent à la fois être robustes aux changements de temps et de climat et capables de les détecter.
- La traduction automatique : ici, les modèles seront entraînés à traduire une phrase d’une langue source vers une langue cible. Ces modèles doivent être résistants aux changements tels que l’utilisation atypique et inhabituelle du langage, les grossièretés, les emojis et la ponctuation incorrecte dans les requêtes de traduction.
- La prédiction du mouvement des véhicules : les modèles seront entraînés pour prédire la répartition des positions possibles des véhicules autour de la voiture autonome à un certain nombre de moments dans le futur. Les modèles doivent être robustes pour changer d’emplacement, de saison, d’heure de la journée et de précipitations.
Un concours ouvert à tous les experts et chercheurs spécialistes en machine learning
Mark Gales, qui dirige la collaboration de l’université de Cambridge dans le cadre du Shifts Challenge, s’est exprimé autour du lancement de ce projet :
“Alors que les approches de deep learning deviennent plus puissantes, elles sont appliquées dans des domaines de plus en plus intéressants et de plus en plus diversifiés. Il est de plus en plus important pour ces systèmes de “savoir quand ils ne savent pas”, pour éviter les mauvaises décisions. En participant au Shifts Challenge mondial, les chercheurs ont une opportunité sans précédent d’évaluer sur des données réelles à grande échelle la capacité de leurs modèles à mesurer la confiance dans leurs propres prédictions.”
Le défi comporte deux phases de développement :
- Phase 1 (entre le 20 juillet et le 17 octobre) : Les données sur la formation et le développement sont publiées. Les participants construisent des modèles et les soumettent aux classements de développement. Il est possible de s’inscrire en suivant le lien suivant.
- Phase 2 (entre le 17 et le 31 octobre) : Les données d’évaluation des retenues sont publiées. Les participants ont deux semaines pour régler leurs modèles et les soumettre au classement de l’évaluation. Les meilleures solutions du classement des évaluations sont récompensées.
Les organisateurs vérifieront l’ensemble des contributions durant tout le mois de novembre. Les résultats seront annoncés le 30 novembre prochain et les trois premiers seront récompensés : 1 000 dollars pour le troisième, 3 000 dollars pour le deuxième, et le grand vainqueur touchera 5 000 dollars.
