Multi-fragment visibility determination in the context of order-independent transparency rendering

Abstract

Multi-fragment effects, in the computer-generated imagery context, are effects that determine pixel color based on information computed from more than one fragment. In such effects, the contribution of each fragment is extracted from its visibility with respect to a point of view. Seen through a pixel’s point of view, the visibility of one fragment depends on its spatial relationship with other fragments. This relationship can be reduced to the problem of sorting multiple fragments. Therefore, sorting is the key to multi-fragment evaluation. The research on this dissertation is focused on two classical multi-fragment effects: order-independent transparency and anti-aliasing of transparent fragments. While transparency rendering requires sorting of fragments along the view ray of a pixel, anti-aliasing increases the problem complexity by adding spatial information of fragments with respect to the pixel area. This dissertation contribution relies on the work towards the development of a solution for the visibility of fragments that can take advantage of the transformation and lighting pipeline implemented in current GPUs. We describe both transparency and aliasing problems, for which we discuss existing solutions, analyzing, classifying and comparing them. The analysis associates solutions to specific applications, comparing memory usage, performance, and quality. The result is a general view of each field: which are the current state-of-the-art capabilities and in which direction significant improvements can be made. As part of this dissertation, we proposed two novel techniques for order-independent transparency rendering. We show how to achieve the minimum memory footprint for computing exact transparency in a bounded number of geometry passes; allowing increasing scene complexity and image resolution to be feasible within current hardware capabilities. Additionally, we demonstrate that, for most scenarios, the front-most fragments have the greatest impact on the pixel color. We also show how the perspective we propose has inspired recent transparency techniques. The research includes the investigation of a novel anti-aliasing approach for transparent fragments. Through the use of a single sample per fragment, we aim at reducing memory footprint while improving performance and quality. Preliminary experiments show promising results, in comparison with a well established and largely used anti-aliasing technique.

No contexto de imagens geradas por computador, efeitos multi-fragmento são aqueles que determinam a cor do pixel baseados em informações computadas a partir de mais de um fragmento. Nesse tipo de efeito, a contribuição de cada fragmento é extraída de sua visibilidade com respeito a um determinado ponto de vista. Observando uma sequencia de fragmentos vista através de um pixel, a visibilidade de um fragmento depende da sua relação espacial com os demais fragmentos. Essa relação pode ser reduzida ao problema de ordenação de múltiplos fragmentos. Portanto, ordenação é essencial para correta avaliação de efeitos multi-fragmento. A pesquisa desta tese foca em dois problemas multi-fragmento clássicos: transparência independente de ordem e anti-aliasing de fragmentos transparentes. Enquanto o efeito de transparência necessita de ordenação de fragmentos ao longo do raio de visualização do pixel, anti-aliasing aumenta a complexidade do problema ao adicionar informação espacial do fragmento com respeito à área do pixel. A contribuição desta tese é o desenvolvimento de uma solução para visibilidade de fragmentos que pode tirar proveito do pipeline de transformação e iluminação, implementando nas GPUs de hoje. Nós descrevemos ambos os problemas de transparência e anti-aliasing, discutindo soluções anteriores, além de classificá-las e compará-las. Nossa análise associa soluções a implementações específicas, comparando uso de memória, desempenho e qualidade de imagem. Os documentos resultantes fornecem uma visão geral das áreas abordadas, contendo: qual é o estado-da-arte atualmente, o que ele é capaz de fazer e quais são suas limitações, ou seja, onde melhorias são possíveis. Como parte integrante desta tese, nós propomos duas novas técnicas para processar transparência independente de ordem. Nós mostramos como obter o menor consumo de memória para cálculo exato de transparência, em um número finito de passos de geometria; permitindo aumento da complexidade das cenas representadas e da resolução da imagem final, em relação aos métodos anteriores, dada uma determinada configuração de hardware. Adicionalmente, demonstramos que, para a maior parte dos casos, os fragmentos mais próximos ao observador tem maior impacto sobre a cor final do pixel. Também mostramos como esta perspectiva sobre o problema inspirou novas técnicas. A pesquisa também inclui a investigação de uma nova abordagem para anti-aliasing para fragmentos transparentes. Através do uso de uma única amostra por fragmento, nosso objetivo é reduzir o consumo de memória enquanto melhoramos desempenho e qualidade. Experimentos preliminares apresentam resultados promissores em comparação com a técnica mais usada para anti-aliasing.