Síntese de fotografias e vídeos com depth-image-based rendering

Abstract

O processo de síntese de vistas com Depth-Image-Based Rendering (DIBR) se apresenta como um meio promissor para viabilizar aplicações como TV3D, Free Viewpoint Video, e outras relacionadas com Realidade Virtual e Realidade Aumentada. DIBR permite que sejam produzidos inúmeros pontos de vista virtuais da mesma cena utilizando apenas uma imagem de referência e seu respectivo mapa de profundidades. Contudo, artefatos (cracks e ghosts) e regiões sem informação (holes) são formados no processo de síntese, os quais precisam ser tratados ou preenchidos. Nesta tese, são apresentadas duas abordagens para a síntese de vistas com DIBR: ATA e DHS. A abordagem ATA foi desenvolvida a partir de estudos aprofundados acerca da geração de fotografias sintéticas. Esta identifica cracks vazios e translúcidos e reconstrói as regiões afetadas com um algoritmo especializado. Ghosts são identificados e reprojetados para as posições corretas de acordo com um processo de avaliação. As regiões sem informação restantes são preenchidas com uma adaptação de um popular algoritmo de inpainting, que emprega patches com tamanho dinâmico, copiados da imagem de referência, e que se ajusta a diferentes tipos de hole. Já a abordagem DHS utiliza os avanços produzidos com ATA, apresentando um método de reconstrução dos holes ainda mais robusto e confiável, ciente da estrutura e composição da imagem. Ghosts são tratados antes da geração da vista virtual. Para os holes, utilizase um algoritmo de inpainting baseado em superpixels hierárquicos, que reconstrói as regiões vazias com base na composição de sua vizinhança, copiando conteúdo da imagem de referência. Adicionalmente, propõe-se um método robusto para a geração de um modelo de background incremental para vídeos, que pode ser incorporado em qualquer abordagem DIBR. Como exemplo, detalha-se sua integração ao DHS, que apresentou melhores resultados na avaliação quadro a quadro realizada. Exaustivos testes comprovam que as abordagens propostas apresentam melhores resultados quantitativos e qualitativos quando comparados com diversos métodos recentes e competitivos, tanto na geração de fotografias como de vídeos sintéticos, em testes com mapas de profundidade ground truth e reais. Como contribuição adicional desta tese, avaliou-se o impacto do uso de mapas de profundidade reais produzidos com casamento estéreo no processo de síntese com DIBR, e analisou-se a relação entre métricas de qualidade empregadas em ambos problemas.

The view synthesis process with Depth-Image-Based Rendering (DIBR) is presented as a promising way to enable applications like TV3D, Free Viewpoint Video, and others related to Virtual Reality and Augmented Reality. DIBR allows numerous virtual views of the same scene to be produced using only a single reference image and its depth map. However, artifacts (cracks and ghosts) and regions without information (holes) are formed in the synthesis process, which need to be treated or filled. In this thesis, we present two approaches for view synthesis with DIBR: ATA and DHS. We developed the ATA approach from in-depth studies on the generation of synthetic still images. This approach identifies empty and translucent cracks and reconstructs the affected regions with a specialized algorithm. Then, ghosts are identified through an evaluation process and warped to the correct positions. Finally, the remaining empty regions are filled with an adaptation of a popular inpainting algorithm that employs dynamically sized patches copied from the reference image and fits different hole types. The DHS approach, on the other hand, uses the advances produced with ATA, presenting an even more robust and reliable hole reconstruction method, aware of the image structure and composition. Ghosts are treated before the virtual view generation. An inpainting algorithm based on hierarchical superpixels is used for hole filling, which reconstructs empty regions based on their neighborhood composition by copying the contents of the reference image. Additionally, we propose a robust method for generating an incremental background model for videos that can be incorporated into any DIBR approach. As an example, we detailed its integration with DHS, which presented better results in the frame-by-frame evaluation. Exhaustive testing proves that the proposed approaches yield better quantitative and qualitative results when compared to several recent and competitive methods, both in the generation of synthetic still images as in videos, in tests with ground truth and real depth maps. As an additional contribution of this thesis, we evaluated the impact of using real depth maps produced with stereo matching in the synthesis process with DIBR and analyzed the relationship between quality metrics employed in both problems.