Associando imagens e legendas em português brasileiro: avaliação do modelo CLIP no conjunto de dados FM30k

Abstract

Nas últimas décadas, modelos multimodais como o CLIP alcançaram avanços expressivos na associação entre imagens e textos. No entanto, grande parte desses avanços decorre de modelos treinados quase exclusivamente em inglês, o que limita sua eficácia em outros idiomas. Esse desafio é particularmente relevante para o português brasileiro, idioma que ainda carece de recursos multimodais dedicados e depende predominantemente de traduções automáticas. Este trabalho investiga o desempenho de modelos multimodais da família CLIP na tarefa de associação entre imagens e descrições em português brasileiro. A análise parte de um cenário zero-shot, no qual variantes do CLIP são avaliadas diretamente no dataset FM30k, composto por imagens e legendas originalmente escritas em português. Também é conduzido um experimento com traduções automáticas para examinar o impacto do idioma na tarefa de recuperação multimodal. Posteriormente, realiza-se o fine-tuning do codificador textual do modelo ViT-B/32, mantendo-se o codificador visual congelado, com o objetivo de adaptar o modelo ao idioma-alvo. Os re sultados revelam que modelos originalmente treinados em inglês apresentam desempenho inferior em português, enquanto variantes adaptadas linguisticamente, multilíngues ou específicas para o português, obtêm resultados superiores. O fine-tuning proposto foi capaz de reduzir essa diferença de desempenho, promovendo melhorias notáveis. No sentido imagem-texto, o modelo apresentou um aumento absoluto de 27,65 pontos percentuais na métrica Accuracy@1, o que corresponde a um ganho relativo de 209% em relação ao CLIP ViT-B/32 original. No sentido texto-imagem, o aumento foi de 15,47 pontos percentuais, representando um ganho relativo ainda maior, de 385%, contribuindo para a redução da assimetria observada na associação entre imagens e legendas.

In recent decades, multimodal models such as CLIP have achieved significant advances in associating images and texts. However, most of these advances stem from models trained almost exclusively in English, which limits their effectiveness in other languages. This challenge is particularly relevant for Brazilian Portuguese, a language that still lacks dedicated multimodal resources and relies predominantly on automatic translations. This work investigates the performance of CLIP-based multimodal models in the task of as sociating images and descriptions written in Brazilian Portuguese. The analysis begins with a zero-shot scenario, in which different CLIP variants are directly evaluated on the FM30k dataset, composed of images and captions originally written in Portuguese. An additional experiment with automatic translations is also conducted to examine the im pact of language on cross-modal retrieval tasks. Subsequently, fine-tuning is performed on the textual encoder of the ViT-B/32 model, keeping the visual encoder frozen, with the goal of adapting the model to the target language. The results show that models originally trained in English perform worse in Portuguese, while linguistically adapted variants, either multilingual or Portuguese-specific, achieve superior performance. The proposed f ine-tuning approach was able to reduce this performance gap, leading to notable improve ments. In the image-to-text scenario, the model achieved an absolute increase of 27.65 percentage points in the Accuracy@1 metric, representing a 209% relative gain over the original CLIP ViT-B/32. In the text-to-image scenario, the gain was 15.47 percentage points, amounting to an even higher 385% relative improvement, contributing to a more balanced association between images and captions.