Stochastic methods for image segmentation based on stochastic superpixels

Abstract

Superpixel generation is one of the most widely used pre-processing step for computer vision tasks, ranging from image segmentation to saliency detection and object tracking. The use of superpixel representations reduce greatly informational redundancy by creating a condensed representation of the scene, and it also enables greater scalability by significantly reducing the computational complexity required to perform computer vision tasks. A number of different superpixel generation approaches have been proposed in literature, and the biggest challenges faced by the existing approaches are: i) poor adherence to the object boundaries, ii) difficulty in generating well-structured superpixels under non-ideal scene conditions, iii) weak boundary separation between objects, and iv) difficulty to obtain hierarchical and nested image representations. Motivated to tackle these key challenges, this thesis introduces new methods for image segmentation problem, in relation to the task of multi-scale superpixels generation from natural images. First, an Iterative Hierarchical Stochastic Graph Contraction (IHSGC) method is proposed which uses a stochastic strategy to generate multi-scale superpixels, and each superpixel is represented by a hierarchical structure and describes an image patch at fine and coarse scales simultaneously. The proposed method consists of two main steps: an initialization step based on a multi-channel unsupervised stochastic over-segmentation at the pixel level preserving the local spatial relationships at finer scale; and an iterative hierarchical stochastic graph contraction step for coarser scales generation by graph contraction operations until the desired number of superpixels is obtained. Second, is proposed an improved version of stochastic superpixel generation method based on stochastic graph contraction operations (SGC) which uses simple features to generate coarser scales and improve the first version (IHSGC) in terms of boundary adherence and running time. Finally, a Stochastic Spectral Graph Contraction approach (SSGC) is proposed as application of stochastic superpixels, to handle the scalability problem of the spectral image segmentation related to the eigen-decomposition process. Each superpixel is described using a 3D normalized CIELAB color histogram, and a superpixels adjacency graph is built. Then, stochastic contraction operations on superpixels graph structure and on a sub-space defined by K-eigenvectors are used to obtain K image regions. The experimental results based on the popular Berkeley segmentation databases BSDS300 and BSDS500 suggest that the proposed stochastic approaches potentially can outperform comparative state-of-the-art methods, for superpixels generation in terms of boundary recall and under-segmentation error; and for spectral segmentation in terms of covering, probabilistic random index and volume of information metrics.

A geração de superpixels é uma das etapas de pré-processamento mais usadas para tarefas de visão computacional, desde a segmentação de imagens até a detecção de saliências e o rastreamento de objetos. O uso de representações de superpixel reduz bastante a informação redundante, criando uma representação condensada da cena na imagem, e também permite maior escalabilidade, reduzindo significativamente a complexidade computacional necessária para executar tarefas de visão computacional. Várias abordagens diferentes de geração de superpixel foram propostas na literatura, e os maiores desafios enfrentados pelas abordagens existentes são: i) pobre aderência as bordas dos objetos na imagem; ii) dificuldade em gerar superpixels estruturados em condições não ideais (por exemplo, variabilidade de ruído, cor e iluminação); iii) pobre definição das bordas entre os objetos na imagem; e iv) dificuldade em obter representações hierárquicas e aninhadas da informação visual onde o superpixel em uma escala grosseira pode ser representado como a união do conjunto de superpixels em escalas mais finas (cobertas pelo superpixel da escala grosseira). Motivados para enfrentar esses principais desafios, esta tese introduz novos métodos para o problema de segmentação de imagens, em relação à tarefa de geração de superpixels em múltiplas escalas, em imagens naturais. Primeiro, é proposto o método Iterative Hierarchical Stochastic Graph Contraction (IHSGC), que utiliza uma estratégia estocástica para gerar superpixels em múltiplas escalas, e cada superpixel é representado por uma estrutura hierárquica e descreve um patch de imagem em escalas fina e grosseira simultaneamente. O método proposto consiste em duas etapas principais: uma etapa de inicialização baseada em uma sobre-segmentação estocástica não supervisionada multi-camada no nível de pixels, preservando as relações espaciais locais na escala mais fina; e uma etapa de contração estocástica, hierárquica e iterativa do grafo, para gerar escalas mais grosseiras por operações de contração de grafos até que o número desejado de superpixels seja obtido. Segundo, é proposta uma versão aprimorada do método IHSGC, chamada stochastic graph contraction (SGC) e a sua versão multi-escala, que utilizam feições simples para gerar escalas mais grosseiras, com melhor aderência às bordas e menor tempo de execução. Finalmente, propõe-se a abordagem Stochastic Spectral Graph Contraction (SSGC) como aplicação dos superpixels estocásticos, para lidar com o problema de escalabilidade da segmentação espectral de imagens, relacionada ao processo de decomposição espectral. Um grafo de adjacência de superpixels é construído e cada superpixel é descrito com um histograma normalizado 3D do espaço de cor CIELAB. Em seguida, são usadas operações de contração estocástica do grafo dos superpixels e em um subespaço definido pelos K menores autovetores, para obter K regiões da imagem. Os resultados experimentais baseados nos bancos de imagens BSDS300 e BSDS500, sugerem que os métodos estocásticos propostos para geração de superpixels e segmentação espectral obtêm resultados comparáveis ou melhores do que os métodos propostos no estado-da-arte em termos de aderência às bordas e o erro de sub-segmentação, e métricas padrão para algoritmos de segmentação.