L’IARPA (Intelligence Advanced Research Projects Activity), la branche de recherche de la communauté du renseignement aux Etats-Unis, a lancé le programme SMART (Space-based Machine Automated Recognition Technique) qui vise à détecter, surveiller et caractériser les projets de construction à grande échelle et d’autres activités anthropiques ou naturelles à travers la planète, comme la croissance des cultures.
Il y a actuellement plus de 150 satellites d’observation de la terre en orbite, les images qu’ils fournissent sont les meilleures sources de données pour la compréhension de l’évolution des écosystèmes terrestres. Cependant, ces satellites ont des caractéristiques différentes, les données sont nombreuses, variées et ne peuvent être exploitées manuellement, le but de SMART est de les harmoniser.
Lors de l’annonce du projet, les responsables de l’IARPA ont déclaré :
« Le volume de l’intelligence géospatiale continue de croître, tandis que les analystes luttent avec le volume, la variété et la vitesse des données spatiales pour soutenir la prise de décision locale, régionale et nationale. SMART cherche à combler un fossé en matière d’expertise, d’infrastructure et de préparation des données en développant des outils faciles à mettre en œuvre pour les analystes afin d’analyser, d’évaluer et d’utiliser efficacement les mégadonnées. »
Le programme SMART
Annoncé en 2019, le programme SMART a débuté débuté 2021, il se déroulera en trois phases et est prévu pour 4 ans. Dans un premier temps, il a été consacré à la détection et la surveillance de la construction lourde et la transférabilité de l’approche à d’autres formes de changement naturel et anthropique sera étudiée par la suite.
La détection de chantiers
Les constructions à grande échelle prennent généralement des années, on peut les repérer à partir de changements de terrain, de camions-bennes ou de grues, cependant ceux-ci ne sont pas forcément visibles au même moment ou peuvent l’être dans des contextes autres que la construction, il faut donc identifier de nombreux objets et changements de terrain au fil du temps et en déduire un modèle.
De janvier 2021 à avril 2022, durant la 1ère phase, les concurrents ont ainsi construit des modèles prenant compte de caractéristiques présentes au même endroit mais pas au même moment, quelle que soit la source de l’image.
Jack Cooper, directeur du programme, explique :
« C’est la façon dont toutes ces pièces du puzzle s’emboîtent au fil du temps qui définit la construction lourde. Et c’est ce qui en fait un défi. C’est une activité. Ce n’est pas qu’un objet, pas juste un seul changement. »
Les données utilisées
L’IARPA a fourni 100 000 images satellites de 27 régions allant de Dubaï à des zones intactes de la forêt amazonienne, couvrant environ 90 000 km2 de superficie, prises entre les années 2014 et 2021. Elles provenaient de quatre ensembles de satellites : de Landsat, un programme partagé par la NASA et le United States Geological Survey, du Sentinel de l’Agence Spatiale Européenne et des sociétés Maxar et Planet.
Les modèles sélectionnés
Les modèles devaient repérer des zones de construction à grande échelle, classer l’étape de la construction et alerter les analystes en cas de changements spécifiques. Ils devaient également être en mesure d’identifier certaines caractéristiques comme les anomalies thermiques, la perméabilité du sol et les types d’équipements présents.
En juin dernier, AFS, BlackSky, Kitware, Systems & Technology Research, Applied Research Associates et Intelligent Automation ont été retenus pour la seconde phase qui durera 18 mois.
Les ingénieurs de Kitware ont ainsi utilisé une combinaison de méthodes pour analyser les pixels comprenant la caractérisation matérielle et la segmentation sémantique, impliquant un transformateur, tandis qu’AFS a opté pour l’apprentissage non supervisé.
Les prochaines phases du programme
Dans la deuxième phase, qui durera jusqu’en 2023, les équipes adapteront leurs modèles de reconnaissance de constructions à différentes tâches de changement dans le temps telles que la détection de la croissance des cultures.
La troisième phase, qui débutera en 2024, mettra les participants au défi de construire des systèmes qui se généralisent à différents types d’utilisation des terres.
Il n’y aura pas nécessairement un seul gagnant, l’objectif de l’IARPA est de transférer une technologie prometteuse vers des agences de renseignement qui peuvent l’utiliser dans le monde réel.
Jack Cooper précise :
« L’IARPA prend des décisions de phase en fonction des performances par rapport à nos paramètres, de la diversité des approches, des fonds disponibles et de l’analyse de nos tests et évaluations indépendants. À la fin de la phase 3, il se peut qu’il n’y ait plus d’équipes ou plus d’une équipe restante. La meilleure solution pourrait même combiner des pièces de plusieurs équipes… »
