Robust point-cloud registration based on dense point matching and probabilistic modeling

Abstract

This thesis presents techniques for 3D point-cloud registration that are robust to outliers and missing regions. They tackle non-rigid and rigid registration and exploit the advan tages of deep learning for dense point matching. This is done by proposing a single new neural network to solve both registration types. Our network uses a recently proposed attention mechanism and explicitly accounts for missing correspondences, which is key to its performance. Additionally, we use recent advances in probabilistic modeling to further refine the correspondences created by our network during non-rigid registration. Such a combination of deep learning and probabilistic modeling produces context aware ness and enforces motion coherence, which makes our approach resilient to outliers and missing information. We demonstrate the effectiveness of our techniques by comparing them to state-of-the-art methods. Our comparisons use datasets containing noise, partial point clouds, and irregular sampling. The experiments show that our techniques obtain superior results in general. For example, our approaches achieve a registration error up to 45% smaller than other techniques in partial point clouds for non-rigid registration, and up to 49% smaller on rigid registration. We also discuss additional aspects of our tech niques such as robustness to different levels of noise, and different numbers of samples in the point clouds. Finally, we tackle the lack of datasets with ground truth for supervised training of non-rigid registration models by presenting a self-supervised strategy based on random deformations.

Esta dissertação apresenta duas técnicas para o registro de nuvens de pontos 3D que são robustas a ruído e a nuvens de pontos parciais. Nossas técnicas abordam o registro rígido e o não rígido e exploram as vantagens do uso de aprendizado profundo para a estimativa de correspondência densa entre pontos. Para ambos os tipos de registro, nós propomos uma única rede neural. Nossa rede usa um mecanismo de atenção recentemente proposto e considera explicitamente a falta de correspondências entre os pontos, o que é crítico para a sua performance. Além disso, nós aplicamos avanços recentes em modelagem probabilística para refinar as correspondências criadas por nossa rede durante o registro não rígido. Tal combinação de aprendizado profundo e modelagem probabilística produz sensibilidade a contextos e também gera uma deformação coerente dos pontos, o que torna nossa abordagem resiliente a ruído e a perda de informação. Nós demonstramos a efetividade das nossas técnicas ao compará-las com métodos no estado da arte. Nossas comparações usam bases de dados com ruído e nuvens de pontos parciais ou com amostragem irregular. Os experimentos mostram que em geral, nós obtemos resultados superiores. Por exemplo, nossas abordagens alcançam um erro até 45% menor que outras técnicas no registro não rígido de nuvens de pontos parciais, ou até 49% menor no registro rígido. Nós também discutimos alguns aspectos extras da nossa técnica como a robustez a níveis diferentes de ruído e a números diferentes de amostras nas nuvens de pontos. Por último, nós abordamos a falta de bases de dados que forneçam o registro correto entre as nuvens de pontos. Essas bases são críticas no treinamento supervisionado de modelos de registro não rígido. Para resolver essa escassez, nós propomos uma estratégia de autoaprendizado baseada em deformações randômicas.