Avaliação de LLMs suportadas por RAG aplicado ao contexto de question-answering no corpus quati-1M
Visualizar/abrir
Data
2026Autor
Orientador
Nível acadêmico
Especialização
Outro título
Evaluating RAG supported LLMs applied in the context of question-answering with the quati-1M corpus
Assunto
Resumo
Large Language Models (LLMs) possuem uma relevância cada vez maior como agentes conversacionais em Processamento de Linguagem Natural (PLN). Esses modelos têm como característica a capacidade de gerar respostas a perguntas específicas; diferentemente dos mecanismos de busca, que retornam inúmeras referências a documentos eletrônicos de maneira abrangente e nem sempre objetiva. No contexto de modelos generativos, em especial na área de question-answering (Q&A), diversas técnicas são empregadas p ...
Large Language Models (LLMs) possuem uma relevância cada vez maior como agentes conversacionais em Processamento de Linguagem Natural (PLN). Esses modelos têm como característica a capacidade de gerar respostas a perguntas específicas; diferentemente dos mecanismos de busca, que retornam inúmeras referências a documentos eletrônicos de maneira abrangente e nem sempre objetiva. No contexto de modelos generativos, em especial na área de question-answering (Q&A), diversas técnicas são empregadas para aperfeiçoar o desempenho, a confiabilidade e atenuar a geração de informações infundadas, também chamadas de não factuais ou ainda de alucinações. Uma dessas técnicas é a Retrieval-Augmented Generation (RAG), que absorve dados de fontes externas que não fizeram parte do treinamento original do modelo. Esses dados têm como objetivo adicionar documentos específicos do contexto de interesse, factuais e atualizados, mantendo o estado original do modelo já treinado – sem interferência nos parâmetros em memória da LLM – e incorporando maior robustez à resposta. Este trabalho teve caráter comparativo e avaliativo por meio de experimentos de question-answering utilizando LLMs suportadas por RAG, objetivando aferir a qualidade das respostas. Para esse fim, aplicamos as métricas Flesch Reading Ease (FRE) e Flesch-Kincaid Grade Level(FKGL) de leiturabilidade, utilizando o corpus Quati-1M, que possui um milhão de passagens sobre cultura geral – Geografia, Política, Cultura, Culinária, Turismo, Lazer e Esportes – em português brasileiro. Esse corpus integrou dados externos e factuais, permitindo avaliar o grau de compreensão textual gerado por diferentes configurações combinando LLM e RAG. Os resultados obtidos demonstraram que as LLMs suportadas por RAG e apoiadas por prompt builder orientado à leiturabilidade e com um reclassificador apresentam melhorias na geração de respostas em relação à complexidade textual e acessibilidade quando comparadas com uma LLM sem suporte RAG. ...
Abstract
Large Language Models (LLMs) are increasingly relevant as conversational agents in Natural Language Processing (NLP). These models are characterized by their ability to generate answers to specific questions; unlike search engines, which return numerous references to electronic documents in a comprehensive and not always objective way. In the context of generative models, especially in the area of question-answering, several techniques are employed to improve performance, reliability, and mitig ...
Large Language Models (LLMs) are increasingly relevant as conversational agents in Natural Language Processing (NLP). These models are characterized by their ability to generate answers to specific questions; unlike search engines, which return numerous references to electronic documents in a comprehensive and not always objective way. In the context of generative models, especially in the area of question-answering, several techniques are employed to improve performance, reliability, and mitigate the generation of unfounded information, also called non-factual information, and hallucination. One of these techniques is Retrieval-Augmented Generation (RAG), which incorporates data from external sources that were not part of the model’s original training. This data aims to add specific, factual, and up-to-date documents from the context of interest, maintaining the original state of the already trained model - without modifying the model’s parameters – and incorporating greater robustness to the response. This work adopts a comparative and evaluative character through experiments of questions-answering using RAG-supported LLMs, aiming to assess the quality of the responses. To this end, we applied the Flesch Reading Ease (FRE) and Flesch-Kincaid Grade Level (FKGL) readability metrics, using the Quati-1M corpus which contains one million passages on general knowledge - Geography, Politics, Culture, Cuisine, Tourism, Leisure and Sports - in Brazilian Portuguese. This corpus integrates external and factual data, allowing us to evaluate the degree of textual comprehension generated by different configurations combining LLM and RAG. The results indicate that RAG-supported LLMs, combined with a readability-oriented prompt builder and a re-ranking component, improve response generation in terms of textual complexity and accessibility when compared to LLMs without RAG support. ...
Instituição
Universidade Federal do Rio Grande do Sul. Instituto de Informática. Curso de Especialização em Engenharia de Software para Aplicações de Ciência de Dados.
Coleções
Este item está licenciado na Creative Commons License


