Aplicação de resposta a perguntas baseada em LLMs e RAG para um centro de informação sobre medicamentos

Abstract

Centro de Informação sobre Medicamentos (CIM) presta serviço de informação reativa a profissionais de saúde, demandando respostas precisas e rastreáveis sobre administração, preparo, diluição, estabilidade e compatibilidade de fármacos. Estudos anteriores demonstraram que Grandes Modelos de Linguagem (LLMs), isoladamente, são insuficientes para esse domínio clínico devido à estaticidade do conhecimento e ao risco de alucinação, e que implementações básicas de Geração Aumentada por Recuperação (RAG) ainda geram baixa similaridade semântica e elevada taxa de respostas evasivas. Dando continuidade a essa prova de conceito, este trabalho tem como entregável central um Produto Mínimo Viável (MVP): uma interface de uso, em modo pergunta–resposta única, que materializa uma configuração recomendada de backend RAG e estabelece o canal para a futura validação humana de utilidade e segurança. Para definir essa configuração com base em evidência, e não em ajuste arbitrário, o framework RAGAS é empregado como instrumento de investigação: uma série experimental, organizada em uma fase preliminar (Experimentos 1 e 2) e uma incremental cumulativa (Experimentos 3 a 8), na qual cada etapa altera um único componente do pipeline (ingestão, recuperação e geração), permite localizar em qual camada os ajustes trazem maior retorno e orientar as decisões de engenharia. A investigação indicou que os ajustes mais produtivos incidem sobre a fragmentação estrutural dos documentos e sobre o grounding leve no prompt, ao passo que o Chain-of-Thought degrada a ancoragem factual, um achado negativo que motivou sua exclusão da configuração final. Restrito ao modo pergunta–resposta única efetivamente coberto pela série experimental, o MVP é o artefato, pronto para implantação, por meio do qual a configuração recomendada alcançará os profissionais do CIM em trabalho futuro.

Drug Information Centers (CIM) provide reactive information services to health professionals, requiring precise and traceable answers regarding the administration, preparation, dilution, stability, and compatibility of drugs. Previous work has shown that Large Language Models (LLMs), on their own, are insufficient for this clinical domain due to knowledge staleness and hallucination risk, and that basic Retrieval-Augmented Generation (RAG) implementations still yield low semantic similarity and a high rate of evasive answers. Building upon such a proof of concept, the central deliverable of this work is a Minimum Viable Product (MVP): a single-shot question-answering interface that exposes a recommended RAG backend configuration to the CIM and establishes the channel for the future human validation of utility and safety. To define this configuration on the basis of evidence rather than arbitrary tuning, the RAGAS framework is employed as an investigative instrument: an experimental series, organized into a preliminary phase (Experiments 1–2) and a cumulative incremental phase (Experiments 3–8), in which each step changes a single pipeline component (ingestion, retrieval, or generation), makes it possible to locate in which layer the adjustments yield the greatest return and to guide the engineering decisions. The investigation indicated that the most productive adjustments concern structural document chunking and light grounding in the prompt, whereas Chainof- Thought reasoning degrades factual grounding, a negative finding that motivated its exclusion from the final configuration. Restricted to the single-shot mode actually covered by the experimental series, the MVP is the vehicle through which the recommended configuration reaches the CIM professionals.