Simplificando o troubleshooting de aplicações distribuídas através da observabilidade e contextualização das LLMs
Visualizar/abrir
Data
2026Autor
Orientador
Nível acadêmico
Graduação
Outro título
Simplifying distributed application troubleshooting through observability and contextualization of LLMs
Assunto
Resumo
A resolução de problemas de aplicações complexas, distribuídas, baseadas em microsserviços é uma tarefa complicada de realizar. As Large Language Models (LLMs) estão sendo amplamente utilizadas para auxiliar no processo de desenvolvimento, mas muito menos no processo de resolução de problemas nesse contexto. Soluções de observabilidade (rodando sobre Kubernetes, por exemplo) fornecem informações sobre métricas, logs e traces de execução de aplicações, porém em um volume muito grande para que po ...
A resolução de problemas de aplicações complexas, distribuídas, baseadas em microsserviços é uma tarefa complicada de realizar. As Large Language Models (LLMs) estão sendo amplamente utilizadas para auxiliar no processo de desenvolvimento, mas muito menos no processo de resolução de problemas nesse contexto. Soluções de observabilidade (rodando sobre Kubernetes, por exemplo) fornecem informações sobre métricas, logs e traces de execução de aplicações, porém em um volume muito grande para que possam ser facilmente interpretadas e correlacionadas pelos desenvolvedores. Existem algumas soluções baseadas em agentes e em Model Context Protocol (MCP) que fornecem informações a uma LLM sobre aplicações rodando em um cluster, mas ainda de forma muito limitada a interpretação de logs e configurações, que não são específicas para esse processo de Troubleshooting. Para essa atividade torna-se crucial, integrar de forma mais ampla as informações de observabilidade (logs, métricas e traces) em um servidor MCP combinado com agentes especificamente pensado para essa atividade. Este trabalho implementa uma solução para o problema de troubleshooting em sistemas distribuídos usando MCPs, sistema de agentes e formas de integrar esses dados de observabilidade de forma mais adequada para a LLM. A avaliação foi realizada por meio de três cenários representativos de falhas em microsserviços, executados repetidamente sob diferentes configurações de temperatura, analisando métricas como taxa de acerto, consumo de tokens e tempo de execução, além de avaliações qualitativas das respostas produzidas. Os resultados obtidos permitiram comparar arquiteturas single-agent e multi-agent, indicando que configurações intermediárias de temperatura tendem a apresentar melhor desempenho e que a abordagem baseada em um único agente mostrou-se mais eficaz na maioria dos cenários avaliados. ...
Abstract
Troubleshooting complex, distributed, microservice-based applications is a complicated task to perform. As Large Language Models (LLMs) are being widely used to assist in the development process, but much less so in the troubleshooting process within this context. Observability solutions (running on Kubernetes, for example) provide information on application execution metrics, logs, and traces, but in a volume too large to be easily interpreted and correlated by developers. There are some solut ...
Troubleshooting complex, distributed, microservice-based applications is a complicated task to perform. As Large Language Models (LLMs) are being widely used to assist in the development process, but much less so in the troubleshooting process within this context. Observability solutions (running on Kubernetes, for example) provide information on application execution metrics, logs, and traces, but in a volume too large to be easily interpreted and correlated by developers. There are some solutions based on agents and the Model Context Protocol (MCP) that provide information to an LLM about applications running in a cluster, but they are still highly limited to the interpretation of logs and configurations, which are not specific to this troubleshooting process. For this activity, it becomes crucial to integrate observability information (logs, metrics, and traces) more broadly into an MCP server combined with agents specifically designed for this activity. This work implements a solution for the troubleshooting problem in distributed systems using MCPs, an agent system, and ways to integrate these observability data in a manner better suited for the LLM. The evaluation was conducted through three representative microservice failure scenarios, executed repeatedly under different temperature configurations, analyzing metrics such as success rate, token consumption, and execution time, in addition to qualitative evaluations of the produced responses. The obtained results allowed for a comparison between single-agent and multi-agent architectures, indicating that intermediate temperature configurations tend to show better performance and that the single-agent approach proved to be more effective in most of the evaluated scenarios. ...
Instituição
Universidade Federal do Rio Grande do Sul. Instituto de Informática. Curso de Ciência da Computação: Ênfase em Engenharia da Computação: Bacharelado.
Coleções
-
TCC Ciência da Computação (1246)
Este item está licenciado na Creative Commons License


