Modelos de linguagem neural na Recuperação da Informação : perspectivas de BERT e BERTimbau para a Organização do Conhecimento

Abstract

Os avanços recentes em modelos de linguagem neural têm ampliado as possibilidades de aplicação da Inteligência Artificial na área da Ciência da Informação, especialmente nos domínios da Organização da Informação e Recuperação da Informação. Esta dissertação analisa a aplicação de técnicas de Processamento de Linguagem Natural baseadas no modelo BERTimbau, na tarefa de Similaridade Textual Semântica (STS) com foco na recuperação da informação. A pesquisa tem caráter bibliográfico e exploratório, com o objetivo de compreender como modelos de linguagem baseados em redes neurais, especialmente BERT e BERTimbau, contribuem para a representação semântica de textos por meio de embeddings vetoriais capazes de captar relações contextuais entre termos. São discutidos os fundamentos teóricos desses modelos e apresentadas, de forma ilustrativa, algumas aplicações em tarefas de recuperação da informação que envolvem o uso de similaridade semântica. O estudo também discute abordagens atuais da busca semântica e da Inteligência Artificial para representação e organização do conhecimento em ambientes digitais, destacando potencialidades do uso deste modelo em repositórios científicos especializados. A investigação busca contribuir para o debate sobre o papel da Inteligência Artificial na Ciência da Informação, apresentando possibilidades de adoção de tecnologias baseadas em aprendizado profundo neste campo de conhecimento. Ao final, busca-se oferecer subsídios para futuras pesquisas na intersecção entre Processamento de Linguagem Natural, Organização do Conhecimento e Ciência da Informação, sinalizando caminhos possíveis para a integração destas tecnologias em sistemas de busca semântica.

Recent advances in neural language models have expanded the possibilities for applying Artificial Intelligence in the field of Information Science, particularly in the domains of Information Organization and Information Retrieval. This research analyzes the use of Natural Language Processing techniques based on the BERTimbau model in the task of Semantic Textual Similarity (STS), with a focus on information retrieval. The research is bibliographic and exploratory in nature, aiming to understand how neural network-based language models, especially BERT and BERTimbau, contribute to the semantic representation of texts through vector embeddings capable of capturing contextual relationships between terms. The theoretical foundations of these models are discussed, and some illustrative applications in information retrieval tasks involving semantic similarity are presented. The study also discusses current approaches to semantic search and Artificial Intelligence for knowledge representation and organization in digital environments, highlighting the potential of this model for use in specialized scientific repositories. This investigation seeks to contribute to the debate on the role of Artificial Intelligence in Information Science, presenting possibilities for the adoption of deep learning-based technologies in this field. Ultimately, the research aims to provide a foundation for future studies at the intersection of Natural Language Processing, Knowledge Organization, and Information Science, pointing to possible paths for integrating these technologies into semantic search systems.