A graph cut based trimap propagation method for video matting

Abstract

Alpha matting is an important task in image processing. It allows a user to extract foreground objects from natural images and compose them with different backgrounds, achieving subpixel-level precision. Due to its ill-posed nature, alpha matting requires additional inputs: for a single image, the user should specify the foreground, background, and unknown regions of the image using a trimap. However, when performing alpha matting on a video sequence, providing a trimap for each individual frame becomes tedious and time-consuming. We propose a novel method for propagating trimaps between frames of a video sequence. While most previous techniques require a binary segmentation for each frame to produce trimaps, our approach requires the user to define a trimap for only a few keyframes. To obtain trimaps for the remaining frames, we use the alpha channel (opacity map) computed for the previous frame to estimate the trimap for the next one, using a graph-cut-based approach. Results show that our algorithm is able to significantly reduce the amount of user effort for simple videos, while still resulting in considerable savings when applied to videos containing little temporal coherence.

Alpha matting é uma tarefa importante na área de processamento de imagens. Permite ao usuário extrair objetos de imagens naturais e compô-los com planos de fundo diferentes. Por não ser um problema bem-posto, alpha matting requer informações adicionais: para uma imagem, o usuário deve especificar o primeiro plano, o plano de fundo e a região desconhecida da imagem usando um trimap. No entanto, ao realizar alpha matting em uma sequência de vídeo, criar um trimap para cada quadro torna-se uma tarefa tediosa e demorada. Nesse trabalho, é apresentada um novo método para propagar trimaps entre quadros de uma sequência de vídeo. Enquanto a maioria das técnicas anteriores requer uma segmentação binária para cada quadro para produzir trimaps, nossa técnica requer um trimap para apenas alguns quadros. Para obter trimaps para os quadros restantes, nós utilizamos o canal alfa (opacidade) computado do frame anterior para estimar o trimap para o próximo, usando uma técnica baseada em graph-cuts. Os resultados mostram que nosso algoritmo consegue reduzir significativamente a quantidade de esforço realizado pelo usuário para vídeos simples, enquanto que, mesmo quando aplicado em vídeos com pouca coerência temporal, resulta em uma economia considerável.