Sistema de perguntas e respostas baseado em grafo de conhecimento para a indústria de Óleo e Gás

Abstract

Responder perguntas de forma objetiva tornou-se uma necessidade importante a partir do crescimento exponencial de dados. O avanço tecnológico permitiu o desenvolvimento de diferentes abordagens para a elaboração de sistemas computacionais capazes de interpretar e responder perguntas formuladas em linguagem natural. Dentre essas abordagens, destacam-se os Large Language Models (LLM) comacapacidade de interpretação e geração de linguagem natural. Porém, esses modelos enfrentam limitações importantes, como altos custos de treinamento, demanda por grandes volumes de dados e, frequentemente, a geração de respostas incorretas. Nesse contexto, estratégias que combinam LLMs com fontes externas de informações, como Grafos de Conhecimento (GCs), têm se mostrado promissoras para mitigar esses desafios e aprimorar a precisão das respostas sobre domínios específicos. O presente trabalho tem como objetivo o desenvolvimento de uma prova de conceito de um Sistema de Perguntas e Respostas (SPR) factual sobre o domínio de óleo e gás. Para isso, propõe-se um processo denominado Think On Relationship (ToR), cujo objetivo principal é integrar LLMs como agentes intermediários responsáveis por interpretar perguntas, identificar entidades e avaliar relacionamentos. Tudo isso com o objetivo de gerar consultas a um banco de dados que armazena um GC. A técnica proposta demonstrou eficácia quando utilizada em modelos de LLM menores, alcançando, no melhor cenário, um ganho absoluto de 25 pontos na métrica de Execution Accuracy, comparado com abordagens de integração direta entre LLMs e GCs.

Answering questions objectively has become a critical need due to the exponential growth of data. Technological advancement increases the development of different approaches for creating computational systems capable of interpreting and answering questions formulated in natural language. Among these approaches, Large Language Models (LLM) stand out with their ability to interpret and generate natural language. However, these models come up with significant limitations, such as high training costs, large volumes of data, and frequently generating incorrect answers. In this context, strategies that combine LLMs with external knowledge sources, such as Knowledge Graphs (KG), have shown promise in mitigating these challenges and improving the accuracy of answers in specific domains. This work presents a proof of concept for a factual Question and Answer system (QAS) within the oil and gas domain. It proposes a process called Think on Relationship (ToR, where a Large Language Model (LLM) acts as an intermediary agent. This agent is responsible for interpreting questions, identifying entities, and evaluating relationships to generate queries for a database that stores a KG. The proposed technique proved effective with smaller LLM models, achieving, in the best case, an absolute gain of 25 points in the Execution Accuracy metric compared to direct integration approaches between LLMs and KGs.