Upright adjustment of spherical images

Abstract

Spherical cameras capture all the information around them with a field of view (FOV) of 360° 180°. The underlying images, called spherical, omnidirectional or panoramic images encounter several applications such as immersive exploration when visualized using a Virtual Reality (VR) headset. For these and many other applications, the captured view should be aligned with the viewing subject. This means that the upright vector of the camera/ image should be aligned with the gravity vector (which also means that the horizon of the panorama should be aligned with the horizon of the Earth). However, images or video sequences captured by spherical cameras might not be gravity-aligned, and feeding them directly to the headset might cause uncomfortable sensations to the user. In this work, we use Computer Vision and Machine Learning techniques to estimate the upright vector of a panorama, which can be used for gravity-alignment. We also show an application of our method by coupling the proposed upright-adjustment procedure with a single-panorama depth estimation method, and show that our pre-processing step helps improving depth estimates.

Câmera esféricas capturam toda informação ao seu redor com um campo de visão de 360° 180°. As imagens resultantes, chamadas de esféricas, omnidirecionais ou panoramicas possuem diversas aplicações como exploração imersiva quando visualizadas através de um óculos de realidade virtual. Para essa e muitas outras aplicações, a vista capturada deve estar alinhada com objeto observado. Isso significa que o vetor upright da camera/imagem deve estar alinhado com o vetor da gravidade (o que também sigifica que o horizonte da imagem panoramica deve estar alinhado com o horizonte da Terra). Porém, imagens ou sequencias de vídeos capturadas por câmeras esféricas podem estar desalinhadas em relação à gravidade, e apresentá-las diretamente no óculos de realidade virtual pode causar desconforto ao usuário. Nesse trabalho é proposto o uso de técnicas de Visão Computacional e Aprendizado de Máquina para estimar o vetor upright de uma imagem panorâmica, que pode então ser usado para alinhá-la com a gravidade. Também é mostrada uma aplicação acoplando o procedimento proposto de ajuste do vetor upright com um métodos de estimativa de profundidade em uma única imagem, e mostra-se que esse passo de pré-processamento ajuda a melhorar as profundidade estimadas.