Real-Time alpha for natural images and videos

Abstract

O processo conhecido como alpha matting visa extrair objetos que aparecem no primeiro plano de uma imagem (ou vídeo), separando-os do fundo da mesma. Para tanto, calcula-se, para cada pixel pertencente a um objeto, uma estimativa da cor original e do grau de transparência do objeto naquele ponto. Este problema possui diversas aplicações (onde se destacam edição de imagens e produção cinematográfica), o que levou ao desenvolvimento de muitas técnicas ao longo dos anos. Tais técnicas, particularmente nos últimos anos, conseguem resultados muito bons para extração de objetos de imagens com fundos heterogêneos, comumente chamadas de imagens naturais. Entretanto, uma limitação ainda existia: baixa velocidade de computação. Este trabalho apresenta a primeira técnica de alpha matting em tempo real para imagens e vídeos naturais. A técnica proposta é baseada na observação que, para pequenas vizinhanças, pixels tendem a compartilhar atributos semelhantes. Logo, tratar independentemente cada pixel pertencente a regiões de incerteza resulta em muito trabalho redundante. Nós mostramos como esta computação pode ser significamente e seguramente reduzida através de uma seleção cuidadosa de pares de cores. A técnica proposta consegue obter resultados de alta qualidade de maneira 100 vezes mais rápida quando comparada à técnicas anteriores. A qualidade de tais resultados foi verificada através de um “benchmark” independente desenvolvido por terceiros. Devido a sua velocidade nunca antes vista, a técnica proposta permite, pela primeira vez, alpha matting em tempo real de vídeos, e apresenta grande potencial para possibilitar uma nova classe de aplicações que utilizem alpha matting em tempo real.

Image matting aims at extracting foreground elements from an image by means of color and opacity (alpha) estimation. While a lot of progress has been made in recent years on improving the accuracy of matting techniques, one common problem persisted: the low speed of matte computation. This work presents the first real-time matting technique for natural images and videos. The proposed technique is based on the observation that, for small neighborhoods, pixels tend to share similar attributes. Therefore, independently treating each pixel in the unknown regions of a trimap results in a lot of redundant work. We show how this computation can be significantly and safely reduced by means of a careful selection of pairs of background and foreground samples. Our technique achieves speedups of up to two orders of magnitude compared to previous ones, while producing high-quality alpha mattes. The quality of the presented results has been verified through an independent benchmark. The speed of our technique enables, for the first time, real-time alpha matting of videos, and has the potential to enable a new class of exciting real-time applications.