Catch of the day : can ai capture idiomaticity in translated titles of restaurant reviews? an exploration of LLMs

Abstract

O presente trabalho tem como objetivo avaliar o desempenho de dois Modelos de Linguagem de Grande Escala (LLMs), ChatGPT 4o e Gemini Advanced 1.5, na tradução de 60 títulos de críticas gastronômicas do inglês para o português brasileiro. A análise foi realizada a partir de três dimensões principais: funcionalidade, idiomaticidade e naturalidade. Este trabalho estuda a capacidade tradutória dos dois modelos de produzir traduções funcionais para a cultura de chegada, de preservar expressões idiomáticas próprias do gênero crítica gastronômica, e de garantir que a tradução soe natural para o público brasileiro. Utilizando uma combinação de métodos quantitativos e qualitativos, o estudo coletou e analisou 60 títulos de críticas gastronômicas escritas por dois críticos renomados, Pete Wells e Helen Rosner, e avaliou as traduções geradas por ambos os modelos com um sistema de pontuação composto. Os resultados mostraram que o Gemini Advanced 1.5 superou o ChatGPT 4o, especialmente nas traduções de alta qualidade, preservando melhor a ambiguidade e a idiomaticidade em títulos. Embora ambos os modelos tenham apresentado desempenho similar em traduções de qualidade moderada, o Gemini Advanced 1.5 produziu significativamente menos traduções de baixa qualidade. O estudo contribui para a compreensão da capacidade tradutória atual dos LLMs no que diz respeito à tradução de textos culinários, especialmente críticas gastronômicas, destacando a importância de adaptar a linguagem do texto traduzido às especificidades culturais e contextuais do público-alvo.

This study aims to evaluate the performance of two Large Language Models (LLMs), ChatGPT 4o and Gemini Advanced 1.5, in translating 60 restaurant review titles from English to Brazilian Portuguese. The genre of food criticism is known for its use of idiomatic language and cultural elements, which present challenges for both human and machine translation. Thus, the analysis was conducted based on three main dimensions: functionality, idiomaticity, and naturalness. This work studies the translation capabilities of both models in producing functional translations for the target culture, preserving idiomatic expressions typical of the restaurant review genre, and ensuring that the translation sounds natural for the Brazilian audience. Using a combination of quantitative and qualitative methods, the study collected and analyzed 60 restaurant review titles written by two renowned critics, Pete Wells and Helen Rosner, and assessed the translations generated by both models using a composite scoring system. The results showed that Gemini Advanced 1.5 outperformed ChatGPT 4o, especially in high-quality translations, better preserving ambiguity and idiomaticity in titles. While both models performed similarly in moderate-quality translations, Gemini Advanced 1.5 produced significantly fewer low-quality translations. The study contributes to the understanding of the current translation capabilities of LLMs in culinary text translation, particularly restaurant reviews, highlighting the importance of adapting the translated text’s language to the cultural and contextual specifics of the target audience.