Extracting displacement maps through differentiable rendering and dynamic tessellation

Abstract

We introduce a Differentiable Rendering pipeline to leverage hardware tessellation whenextracting displacement maps with respect to image-space gradients. This method allowsus to use differentiable rendering to reconstruct displacement maps without the need forexpensive remeshing steps. Instead, we define a dynamic tessellation level by analyzingthe displacement texture throughout the optimization process. As such, our techniqueautomatically understands where more subdivision is required, increasing efficiency bynot tessellating low-curvature regions. We exemplify the use of our method to reconstructmesh detail from sparse rendered views. Our results show that the use of tessellationallows us to save memory by requiring only a few vertices to be stored, and the ability todynamically control density areas helps speeding up the optimization process.

Introduzimos um pipeline de “Rendering” diferenciável para aproveitar a tesselagem especializada de hardware durante a extração de mapas de deformação de acordo com gradientes em espaço de imagem. Esse método nos permite usar renderização diferenciável para reconstruir mapas de deformação sem a necessidade de passos ineficientes de“remeshing”. Alternativamente, definimos um nível de tessellação dinâmico analisando a textura de deformação durante o processo de otimização. Dessa forma, nossa técnica compreende automaticamente onde mais subdivisão é necessária, aumentando a eficiência ao não tessellizar regiões de baixa curvatura. Exemplificamos nosso trabalho o utilizando para reconstruir detalhes de malhas a partir de vistas esparças renderizadas. Nossos resultados mostram que o uso de tesselagem nos permite economizar memória por necessitar de um número menor de vértices salvos, e a habilidade de controlar a densidade de vértices em certas áreas ajuda a agilizar a otimização.