Probabilistic Intersection-over-Union for Training and Evaluation of Oriented Object Detectors

Abstract

Using localization loss terms based on the Intersection-over-Union (IoU) is a recent and promising trend for object detection. However, exploring such loss functions for oriented bounding boxes is a complex task since the IoU is not differentiable. In this work, we propose to represent object regions through probability density functions and define a similarity metric between two objects based on the Hellinger Distance that can be viewed as a Probabilistic IoU (ProbIoU). When Gaussian distributions are used (called Gaussian Bounding Boxes, or GBBs), the ProbIoU presents a differentiable closed-form expression that can be used as a localization loss for object detection. We present a simple mapping scheme from traditional bounding boxes to GBBs, allowing the proposed ProbIoU-based loss terms to be seamlessly integrated into any object detector. Finally, we show that GBBs can represent generic segmentation masks, and they induce a natural binary representation as elliptical regions (EGBBs) that adhere better to the segmentation masks than bounding boxes. Our experimental results show that the proposed localization loss term produces competitive results for object detection using bounding boxes and that EGBBs seem a better alternative for instance segmentation than bounding boxes.

O uso de termos de perda de localização baseados no Intersection-over-Union (IoU) é uma tendência recente e promissora para detecção de objetos. No entanto, explorar tais funções de perda para caixas delimitadoras orientadas é uma tarefa desafiadora, pois a IoU não é diferenciável. Neste trabalho, propomos representar regiões de objetos através de funções de densidade de probabilidade e definir uma métrica de similaridade entre dois objetos baseada na Distância de Hellinger que pode ser vista como uma IoU Probabilística (ProbIoU). Quando são usadas distribuições gaussianas (chamadas Gaussian Bounding Boxes, ou GBBs), o ProbIoU apresenta uma expressão de forma fechada diferenciável que pode ser usada como perda de localização para detecção de objetos. Apresentamos um esquema de mapeamento simples de caixas delimitadoras tradicionais para GBBs, permitindo que os termos de perda baseados em ProbIoU propostos sejam perfeitamente integrados a qualquer detector de objetos. Finalmente, mostramos que GBBs podem representar máscaras de segmentação genéricas e induzem uma representação binária natural como regiões elípticas (EGBBs) que aderem melhor às máscaras de segmentação do que caixas delimitadoras. Nossos resultados experimentais mostram que o termo de perda de localização proposto produz resultados competitivos para detecção de objetos usando caixas delimitadoras, e que EGBBs parecem uma alternativa melhor para segmentação de instâncias do que caixas delimitadoras.