Nous utilisons différentes techniques pour visualiser le monde qui nous entoure à plusieurs vitesses, comme les ralentis et la photographie accélérée.
Crédit image : arXiv : 2208.11885 [cs.CV]
Un article récent sur arXiv.org propose Video Temporal Pyramids, une approche pour visualiser les changements à différentes échelles de temps et un outil de visualisation pour naviguer et explorer les pyramides.
La pyramide se compose d’une collection de nouvelles vidéos, dont chacune distille les changements qui se produisent à une échelle de temps particulière. Il permet une expérience visuelle fluide sans effet d’aliasing ou de scintillement. Le spectrogramme vidéo trace le temps par rapport à l’échelle de temps, montrant des modèles clairs pour les changements cycliques forts tels que le jour/nuit. Les utilisateurs peuvent d’abord effectuer une analyse d’ensemble, puis explorer des échelles de temps inférieures pour afficher plus de détails.
Les chercheurs valident l’approche en utilisant plusieurs ensembles de données webcam de longue durée de diverses scènes extérieures telles qu’un chantier de construction.
Que pouvons-nous apprendre sur une scène en la regardant pendant des mois ou des années ? Une vidéo enregistrée sur une longue période décrira des phénomènes intéressants à plusieurs échelles de temps, mais les identifier et les visualiser présente un défi. La vidéo est trop longue pour être visionnée dans son intégralité et certains événements sont trop lents pour être vécus en temps réel, comme le recul des glaciers. La vidéographie en accéléré est une approche courante pour résumer de longues vidéos et visualiser des échelles de temps lentes. Cependant, un timelapse est limité à une seule fréquence temporelle choisie, et apparaît souvent comme un scintillement dû au crénelage et aux discontinuités temporelles entre les trames. Dans cet article, nous proposons les pyramides temporelles vidéo, une technique qui répond à ces limitations et élargit les possibilités de visualisation du passage du temps. Inspirés des pyramides d’images spatiales issues de la vision par ordinateur, nous avons développé un algorithme qui construit des pyramides vidéo dans le domaine temporel. Chaque niveau d’une pyramide temporelle vidéo visualise une échelle de temps différente ; par exemple, les vidéos de l’échelle de temps mensuelle sont généralement bonnes pour visualiser les changements saisonniers, tandis que les vidéos de l’échelle de temps d’une minute sont les meilleures pour visualiser le lever du soleil ou le mouvement des nuages dans le ciel. Pour aider à explorer les différents niveaux de la pyramide, nous proposons également un spectrogramme vidéo pour visualiser la quantité d’activité sur l’ensemble de la pyramide, offrant un aperçu holistique de la dynamique de la scène et la possibilité d’explorer et de découvrir des phénomènes à travers le temps et les échelles de temps. Pour démontrer notre approche, nous avons construit des pyramides temporelles vidéo à partir de dix scènes extérieures, chacune contenant des mois ou des années de données. Nous comparons les couches Video Temporal Pyramid à un timelapse naïf et constatons que nos pyramides permettent une visualisation sans alias des changements à plus long terme. Nous démontrons également que le spectrogramme vidéo facilite l’exploration et la découverte de phénomènes à travers les niveaux de la pyramide, en permettant à la fois une vue d’ensemble et des perspectives axées sur les détails.
Article de recherche: Swift, ME, Ayers, W., Pallanck, S. et Wehrwein, S., « Visualiser le passage du temps avec des pyramides temporelles vidéo », 2022. Lien : https://arxiv.org/abs/2208.11885
