Análise da similaridade de imagens com redes neurais

Abstract

Aprendizado por métricas de distância é um campo de extrema importância devido ao grande volume dados que é possível extrair atualmente. Para uma maior interpretação e utilização de menos recursos computacionais é necessário reduzir a dimensionalidade desses dados. A utilização de métricas de distância juntamente com redes neurais apresentam uma ferramenta poderosa para agrupar imagens que podem ser utilizadas em diversos campos, como na indústria, medicina e segurança. O objetivo em questão do trabalho é avaliar diferentes técnicas para similaridade de imagem baseadas na distância, principalmente voltada para funções de otimização, e como é possível melhorá-las com diferentes topologias de redes neurais e novos parâmetros adicionais. A principal ferramenta utilizada para estudo foi o tensorflow, com API Keras, a qual já apresenta modelos pré-treinados utilizados para estudo como ResNet50 e InceptionV3. Foi realizada uma comparação entre essas duas estruturas como espinha dorsal, como também a adição de novas camadas (normalização, dropout e dimensionalidade de embedding). A principal base utilizada foi a Standford Online Products, em que dada a estrutura da rede neural com os parâmetros definidos foi avaliado principalmente a métrica de revogação das k imagens mais próximas como também a velocidade de convergência da rede. A principal perda utilizada foi a Proxy NCA, com um ajuste para maximizar a probabilidade de certa imagem pertencer a Proxy, como também a adição de um parâmetro ajustável conhecido como temperatura que apresentou melhoras na revogação. O modelo final apresentou resultados muito próximos em revogação frente aos atuais estados de arte.

Distance metric learning is an essential field nowadays due to the large volume of data extracted today. For a better interpretation and use of fewer computational resources, it is necessary to reduce the dimensionality of this data. The use of distance metrics and neural networks presents a powerful tool for clustering images that can be used in different fields, such as in industry, medicine, and security. The present work aims to evaluate different techniques for image similarity based on distance, mainly focused on loss functions and how it is possible to improve them with different neural networks layout and new additional parameters. The main tool for the study is the tensorflow, with API Keras, which already presents pre-trained models such as ResNet50 and InceptionV3. A comparison was made between these two structures as a backbone and the addition of new layers (normalization, dropout, and embedding dimensionality). The main dataset studied is the Standford Online Products, in which, given the structure of the neural network with the defined parameters, it was evaluated mainly the recall metric of the nearest k images as well as the network convergence speed. The main loss used was the Proxy NCA, with an adjustment to maximize the probability of a specific image belonging to Proxy and the addition of an adjustable parameter known as temperature that showed improvements in the recall. The final model showed very similar results in recall compared to the current state of the art.