Panoptic segmentation using semantic segmentation networks and a discriminative loss function

Abstract

Deep learning (DL) dominates the modern approaches to image segmentation. Histori cally, image segmentation has split into instance and semantic segmentation. When using DL-based solutions, their difference lies in the output created. The most used approaches in instance segmentation are proposal-based. They commonly use bounding boxes to represent different objects. The proposals have problems like overlapping boxes and in accurate representation of the object’s shape. Semantic segmentation generates a class identification for each pixel of the output and instance segmentation generates a proposal or an identification for the pixel. More recently, there was the definition of the task of panoptic segmentation and a metric for panoptic quality. Panoptic segmentation is similar to semantic segmentation because it generates a class identification and instance iden tification for every pixel in the output. In this work, we evaluate a discriminative loss function that teaches the model to cluster different instances of objects by generating an E-dimensional embedding for each pixel, and then, on inference, it executes a post processing step that identifies these clusters. This approach has the benefits of treating the network as a black box. We analyze the results on single and multi-class datasets using the panoptic quality metric. We also explore the impacts of adding a scSE attention module on the decoder of the model on the performance of the technique.

Deep learning (DL) domina as abordagens modernas de segmentação de imagens. His toricamente, a segmentação de imagens se dividiu em segmentação de instâncias e se mântica. Ao se utilizar abordagens de DL, a diferença entre eles está na saída criada. As abordagens mais utilizadas para segmentação de instâncias são baseadas no uso de pro posals. Elas, comumente, usam bounding boxes para representar objetos. Proposals têm problemas como a sobreposição das caixas e a representação imprecisa da forma dos ob jetos. Segmentação semântica gera uma identificação de classe para cada pixel da saída e a de instâncias, gera um proposal ou uma identificação por pixel. Mais recentemente, foi definida a tarefa de segmentação panóptica juntamente com a métrica que calcula a qua lidade panóptica. Segmentação panóptica é similar à semântica, para cada pixel da saída são gerados identificadores de classe e instância. Neste trabalho, avaliamos uma função de perda discriminativa que ensina ao modelo a agrupar as instâncias dos objetos através da geração de uma incorporação E-dimensional para cada pixel, e então, durante a infe rência, executar uma etapa de pós-processamento para identificar essas agrupações. Essa abordagem tem os benefícios de tratar o modelo como uma caixa preta. Nós analizamos os resultados em dados de classe única e múltipla utilizando a métrica de segmentação panóptica. Exploramos também os impactos da adição de um módulo de atenção scSE na performance do método.