Fast iterative inversion for non-linear vector fields applied to images, videos and volumes

Abstract

The demand for image manipulation applications and software has become a great incentive to the research and implementation of new methods that gener ate amusing/useful visual results. Filters, face morphing and video special ef fects have gathered immense attention in present times and are good examples of multimedia manipulation applications. However, processing visual data in a fast manner is a challenging problem due to ever-increasing resolution. This is some thing that has been worked on for a long time and solutions in high performance hardware and efficient algorithms have been elaborated. Our proposal aims to use both. We present a novel approach for image, video and volume deformation. Our technique involves the inversion of the nonlinear regularized Kelvinlet equations, leading to higher-quality results and time/space efficiency compared to naive so lutions. Inversion for video and image transformations is performed by a per pixel optimization process, being inherently parallel and achieving real-time per formance in Full HD resolution (over 300 fps). For volumes, we analyze whether the best approach is to compute in a per-pixel manner (i.e. in screen space) or to process the data before it is rendered, using CUDA kernels, in a per-voxel manner (i.e. in 3D space). We demonstrate our method on a variety of multimedia exam ples, in addition to discussing important technical and theoretical details along with practical usages.

A demanda por aplicações e software de manipulação de imagens se tornou um grande incentivo à pesquisa e implementação de novos métodos que geram resul tados visuais interessantes/úteis. Filtros, transofrmações faciais e efeitos especiais de vídeos atraíram uma atenção imensa nos tempos de hoje e são ótimos exemplos de aplicações de manipulação de multimídia. No entanto, processar dados visuais de maneira rápida é um grande desafio devido o constante aumento de resolução. Isso é algo no qual se trabalha há muito tempo e soluções em hardware de alto processamento e algoritmos eficientes vêm sido elaboradas. Nossa proposta tem como objetivo usar ambos. Nós apresentamos uma nova abordagem para deformação de imagens, vídeos e volumes. Nossa técnica envolve a inversão das equações não-lineares regularized Kelvinlet, retornando resultados de maior qualidade e eficiência de tempo/memória que soluções simples e forward mapped. Inversão de transformações em vídeos e imagens é executado em um processo de otimização per-pixel, sendo inerente mente paralelo atingindo a marca de 300 fps em resolução Full HD. Para volumes, nós analizamos se a melhor abordagem seria computar em uma maneira per-pixel (i.e. screen space) ou processar os dados antes da sua renderização, usando CUDA kernels em uma maneira per-voxel (i.e. 3D space). Nós demonstramos nosso mé todo em uma variedade de exemplos de multimídia, além de discutir detalhes técnicos e teóricos importantes junto a exemplos de uso.