An evaluation of pre-trained models for feature extraction in image classification

Abstract

In recent years, we have witnessed a considerable increase in performance in image clas sification tasks. This performance improvement is mainly due to the use of deep learning techniques. Generally, deep learning techniques demand a large set of annotated data, making it a challenge to apply this method when little data is available. In this scenario, transfer learning strategies have become a promising alternative to overcome these issues. This work aims to compare the performance of different pre-trained neural networks for feature extraction in image classification tasks. We evaluated 16 different pre-trained models in four datasets, including a dataset of Geological Images that are the focus of this work. Our results demonstrate that for the Geological Images dataset, the best model was CLIP-ViT-B followed by CLIP-ResNet50. Similarly, the best general performance along all four datasets was achieved by CLIP-ViT-B and ViT-H-14, where the CLIP-ResNet50 model had similar performance but with lesser variability. Therefore, our study provides evidence supporting the choice of models for transfer learning in image classification tasks involving the four target datasets.

Nos últimos anos, temos testemunhado um aumento considerável da performance em tarefas de classificação de imagens. Este aumento de performance se deve principalmente à utilização de técnicas de deep learning. Em geral, a aplicação de deep learning de manda um grande conjunto de dados anotados, o que torna desafiador aplicar tais técnicas em contextos com poucos dados anotados. Neste cenários, estratégias de transfer learn ing vêm se mostrando uma alternativa promissora para superar estes desafios. O objetivo deste trabalho é avaliar a performance de extração de features de diferetes redes neu rais pré-treinadas aplicadas ao problema de classificação de imagens. Nossos resultados demonstraram queue para o dataset de Images Geológicas, o melhor modelo foi o CLIP ViT-B, seguido do CLIP-ResNet50. Semelhante, a melhor performance geral dentre todos os datasets foi alcançada pelos modelos CLIP-ViT-B e ViT-H-14, onde o modelo CLIP ResNet50 obteve perfomance semelhante, porém com variabilidade ainda menor. Sendo assim, nosso trabalho pode fornecer evidências que suportem a escolha de modelos para transfer learning em tarefas de classificação de imagens envolvendo o dataset de Imagens Geológicas.