Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data

Abstract

Com o aumento do desenvolvimento de aplicações de inteligência artificial (IA) na última década, garantir confiança sobre as decisões de sistemas de IA criou uma demanda para interpretabilidade e explicações para predições de modelos caixa preta. A segmentação semântica sobre dados em nuvem de pontos é uma das áreas com demanda significante para interpretabilidade, graças a sistemas visionários sendo desenvolvidos, como veículos autônomos e navegação de robôs. Parar interpretarmos modelos de segmentação semântica para nuvem de pontos, nós propomos uma nova biblioteca em Python chamada Nubilum, uma extensão do Captum, uma biblioteca de interpretabilidade de modelos construída sobre o PyTorch. Nós extendemos as implementações genéricas do Captum de métodos de atribuição post-hoc, desenvolvemos wrappers de modelos para serem usados como funções forward por estes métodos, e técnicas de visualização para visualizar nuvem de pontos, suas segmentações e explicações para qualquer modelo de segmentação semântica. Nós testamos nossa biblioteca com uma análise sobre o modelo SoftGroup e o conjunto de dados S3DIS, para visualizar atributos e interpretar as decisões feitas pelo SoftGroup.

With the increasing development of artificial intelligence (AI) applications in the last decade, ensuring trust in AI systems decisions created a demand for interpretability and explanations for black-box model predictions. Semantic segmentation over point cloud data is one of the areas with a significant demand for interpretability, thanks to visionary systems being developed, such as autonomous vehicles and robot navigation. To interpret semantic segmentation models for point cloud data, we propose a new Python’s library called Nubilum, an extension of Captum, a model interpretability library built on PyTorch. We extended Captum’s generic implementations of post-hoc attribution methods, developed model wrappers to be used as forward functions by these methods, and techniques to visualize the point cloud, its segmentation, and explanations for any semantic segmentation model. We tested our library by executing an analysis over the SoftGroup model and S3DIS dataset to visualize attributes and interpret the decisions made by SoftGroup.