PetsRS Dataset : a benchmark and baseline for pet recognition in a climate disaster scenario

Abstract

In the first half of 2024, thousands of pets were separated from their guardians due to the floods in Rio Grande do Sul. In this context, the PetsRS tool emerged, which aims to help guardians in the search for their lost animals. The tool allows users (in this case, guardians or volunteers from shelters that are taking in rescued animals) to send images of the animals. Then it is possible to perform a manual or automated search, which searches its database for a “match” between a picture of a lost and rescued animal. In the present work, tuples of images of dogs and cats submitted to PetsRS are collected are cleaned, pre-processed, and organized to create an image retrieval dataset. Then, pre-trained off the-shelf image encoders representing different training paradigms are evaluated for pet recognition using the k-NN algorithm with the embeddings as data points. In our results, DINOv2 achieves the best top-k accuracy on all tests and appears to be the best pre trained encoder for this task. The objective of this work is to create a real benchmark and baseline for evaluating techniques that tackle pet recognition, especially the ones deployed at PetsRS.

No primeiro semestre de 2024, milhares de animais de estimação foram separados de seus tutores por consequencia das enchentes no Rio Grande do Sul. Neste contexto, surgiu a ferramenta PetsRS, que propõe auxiliar os tutores na busca por seus animais perdidos. A ferramenta permite que os usuários (neste caso, os tutores ou voluntários de abrigos que estão acolhendo animais resgatados) enviem imagens dos animais e, então, é possível efetuar a procura manual ou automatizada, que busca em sua base de dados por um “match” entre uma imagem de animal perdido e resgatado. No presente trabalho, tuplas de imagens de cães e gatos submetidos no PetsRS são coletadas, organizadas, pré-processadas e é feita lipeza de dados para criar um dataset de image retrieval. Depois, encodings pré treinados off-the-shelf representando diferentes paradigmas de treinamento são avaliados para reconhecimento de pets. Nos nossos resultados, DINOv2 alcançou a melhor top-k accuracy em todos os testes e parece ser o melhor encoder pré-treinado para esta tarefa O objetivo deste trabalho é criar um benchmark e baseline reais para avaliação de técnicas que atacam o reconhecimento de pets, especialmente as implementadas no PetsRS.