Graph Neural Networks for image classification : comparing approaches for building graphs

Abstract

Graph Neural Networks (GNNs) is an approach that allows applying deep learning tech niques to non-Euclidean data, such as graphs and manifolds. Over the past few years, graph convolutional networks (GCNs) and graph attention networks (GATs), among other specific kinds of convolutional GNNs, have been applied to image classification prob lems. To do so, images should be represented as graphs. This process usually involves over-segmenting images into non-regular regions called superpixels, which are mapped to graph nodes, characterized by features representing the superpixel information, and connected to other nodes. However, there are several different ways of transforming im ages into graphs. This work focuses on applying graph convolutional networks and graph attention networks in image classification problems for images over-segmented into su perpixels. We systematically evaluate the impact of different approaches for representing images as graphs in the performance achieved by the resulting GCN and GAT models, comparing, as well, the differences between them. Namely, we analyze the impacts of the degree of segmentation (number of nodes), the set of features chosen to represent each superpixel as a node, and the method for building the edges between nodes. We concluded that the performance is positively impacted when increasing the number of nodes, con sidering rich sets of features, and considering only connections between similar regions in the resulting graph for GCNs and one-headed GATs, while multi-headed GAT models can take advantage of information from neighboring regions and region adjacency infor mation provided by region adjacency graphs.

Redes Neurais de Grafos (GNNs) são uma abordagem que permite aplicar técnicas de aprendizado profundo a dados não-euclidianos, como grafos e variedades. Nos últimos anos, Redes Convolucionais de Grafos (GCNs) e Redes de Atenção a Grafos (GATs), entre outros tipos de GNNs convolucionais, têm sido aplicados a problemas de classi ficação de imagens. Para isso, as imagens devem ser representadas como grafos. Esse processo geralmente envolve a sobre-segmentação de imagens em regiões não-regulares chamadas superpixeis, que são mapeadas para vértices do grafo, descritas por atributos que representam as informações do superpixel e conectadas a outros vértices em vizi nhanças. No entanto, existem diversas maneiras de transformar imagens em grafos. Este trabalho trata da aplicação de GCNs e GATs a problemas de classificação de imagens sobre-segmentadas em superpixels. Avaliamos sistematicamente o impacto de diferentes abordagens para representar imagens como grafos no desempenho alcançado por modelos GCN e GAT simples, comparando também as diferenças entre estes. Em particular, anali samos os impactos do grau de segmentação da imagem (ou, equivalentemente, do número de vértices do grafo), do conjunto de atributos escolhidos para representar cada superpi xel como vértice e do método para construir as arestas entre os vértices. Concluímos que o desempenho é positivamente impactado ao aumentar o número de vértices, considerar conjuntos ricos de atributos e considerar apenas conexões entre regiões semelhantes no grafo para GCNs e para GATs de um único foco de atenção, enquanto modelos GATs de vários focos podem se beneficiar das informações de regiões vizinhas e da informação de adjacência fornecidas pelos grafos de regiões adjacentes.