Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information

Abstract

Several challenges in computer vision and robotics involve developing algorithms capable of using partial spatial information to generate a reliable 3D perception of the world. Var- ious breakthrough applicable technologies such as Mixed Reality, Autonomous Robotics, Autonomous Driving, Reverse Engineering, 3D Printing, among others, depend on this research topic to move forward. In order to implement a complete application to build 3D reconstructions for individual objects, this master’s thesis presents an online pipeline for incremental 3D reconstruction and 6-DoF camera pose estimation based on colored point clouds captured by consumer RGB-D cameras. The proposed approach combines geometric and photometric matching of data provided by both depth and color sensors through an adaptive weighting scheme that copes with eventual misalignment errors be- tween RGB and depth data. Our experimental results indicate that the 3D reconstructions achieved by the proposed scheme are visually better than competitive approaches.

Muitos dos desafios da visão computacional e da robótica envolvem o desenvolvimento de algoritmos capazes de usar informação espacial parcial para a geração de uma percepção 3D confiável do mundo. Várias tecnologias inovadoras aplicadas como Realidade Mista, Robótica Autônoma, Veículos Autônomos, Engenharia Reversa, Impressão 3D, entre outras, dependem desta área de pesquisa para seguirem evoluindo. Para implementar uma aplicação completa, que seja capaz de realizar reconstruções 3D para objetos individualmente, esta dissertação apresenta um pipeline de reconstrução 3D incremental e de estimativa de pose de câmera baseado em nuvens de pontos coloridas capturadas por câmeras RGB-D de uso doméstico. A abordagem proposta combina casamento geo- métrico e fotométrico de dados fornecidos pelos sensores de profundidade e cor através de um esquema adaptativo de ponderação que lida com eventuais desalinhamentos entre os dados RGB e de profundidade. Os resultados experimentais indicam que as recons- truções 3D obtidas com esquema proposto são visualmente melhores que a abordagem competidora.