Or Fleisher et Dror Ayalon, deux développeurs spécialisés en intelligence artificielle, sont parvenus à transformer une webcam des plus basiques en un système de motion tracking (ou match moving).
Le projet Skeletron a été développé en utilisant TensorFlow, Unity et une simple webcam. Bien qu’encore au stade expérimental, il permettrait d’avoir accès à un système de motion tracking, basé sur de l’intelligence artificielle, sans avoir recours à des capteurs, des caméras HD ou des ordinateurs de dernière génération. Comme l’ont commenté Or Fleisher et Dror Ayalon à TNW :
“Skeletron a été construit en tant que projet pour le groupe de recherche NYP ITP XStory (Experiments in Storytelling). Ce projet sera rendu open source dans le groupe et continuera à être développé avec les futurs membres.
Étant donné que les aspects techniques de Skeleton fonctionnent à ce stade, nous cherchons désormais à exploiter réellement les capacités de cet outil grâce à des expérimentations qui n’étaient jusqu’alors pas possible à l’époque de la Kinect. Par exemple, être capable de regarder les mouvements de quelqu’un et de retrouver des scènes de films où les gens ont des attributs squelettiques similaires est une expérience sur laquelle nous travaillons actuellement à l’ITP. (…).
Par ailleurs, nous prévoyons d’utiliser Skeletron comme un outil qui nous permettra de construire des interactions physiques dans le navigateur, en le combinant avec d’autres outils, tels que deeplearn.js, en utilisant une webcam d’ordinateur portable. Apporter des expériences interactives physiques au navigateur permettra aux gens de les utiliser dans le monde entier sans avoir besoin de matériel supplémentaire”.
