Use of anchors to improve gravity-alignment of panoramas

Abstract

Gravity alignment in 360° panoramas is crucial for immersive applications. Traditional geometric methods rely on strict scene assumptions, and recent learning approaches struggle with ambiguities. This thesis introduces AnchorsUp, a novel anchor-based deep learning framework to estimate upright orientation. AnchorsUp employs a coarse-to-fine strategy: it first classifies the most probable upright direction among a set of uniformly distributed spherical anchors (generated via icosahedron tessellation), then refines the estimate by regressing angular corrections (pitch and roll), effectively mitigating circularity issues inherent in direct regression. We also explored the use of Spherically Weighted Horizontal Dilated Convolutions (SWHDCs) to address equirectangular distortion, ensuring robust feature extraction across the panorama, particularly near the poles. Using DenseNet-121 and ConvNeXt-tiny backbones pre-trained on ImageNet, AnchorsUp achieves state-of-the-art results on the SUN360 dataset, with 99.5% accuracy within a 5° error tolerance and 99.8% within 12°. We noted that the SWHDC technique improved the DenseNet-121 backbone, but not ConvNeXt-tiny. In conclusion, AnchorsUp offers a robust, data-driven solution for gravity alignment without relying on hardware sensors or specific geometric cues, enhancing panoramic content usability across various applications like virtual reality, robotics, and large-scale mapping.

O alinhamento da gravidade em panoramas de 360° é crucial para aplicações imersivas. Métodos geométricos tradicionais dependem de suposições estritas sobre a cena, e abordagens recentes de aprendizado enfrentam dificuldades com ambiguidades. Esta Dissertação apresenta o AnchorsUp, um framework inovador de aprendizado profundo baseado em âncoras para estimar a orientação vertical. O AnchorsUp emprega uma estratégia coarse-to-fine: primeiro classifica a direção vertical mais provável entre um conjunto de âncoras esféricas uniformemente distribuídas (geradas via tesselação de icosaedro), depois refina a estimativa regredindo correções angulares (pitch e roll), mitigando efetivamente problemas de circularidade inerentes à regressão direta. Para lidar com a distorção equirretangular, exploramos o uso de Convoluções Horizontalmente Dilatadas com Peso Esférico (SWHDC), garantindo a extração robusta de características em todo o panorama, especialmente perto dos polos. Utilizando backbones DenseNet-121 e ConvNeXt-tiny pré-treinados no ImageNet, o AnchorsUp alcança resultados de ponta no conjunto de dados SUN360, com 99,5% de precisão dentro de uma tolerância de erro de 5° e 99,8% dentro de 12°. A técnica SWHDC melhorou os resultados na DenseNet-121 mas não na ConvNeXt-tiny. Em conclusão, o método AnchorsUp oferece uma solução robusta e orientada por dados para alinhamento gravitacional sem depender de sensores de hardware ou pistas geométricas específicas, melhorando a usabilidade do conteúdo panorâmico em diversas aplicações como realidade virtual, robótica e mapeamento em larga escala.