Otimização logística em redes de unidades modulares via Graph Neural Networks

Abstract

O presente trabalho propõe uma abordagem baseada em Graph Neural Networks (GNNs), combinada com aprendizado por reforço profundo, para a otimização logística do Problema de Roteamento Veicular em um contexto dinâmico e descentralizado, inspirada nas Redes de Unidades Modulares Autônomas/Automatizadas, Intensificadas e Sustentáveis (RU+). O problema é modelado como um grafo, no qual os nós representam unidades produtivas e as arestas representam deslocamentos, incorporando restrições operacionais por meio de mascaramento de ações. A política de decisão é aprendida por meio do método Advantage Actor-Critic (A2C), utilizando uma função de recompensa que equilibra a distância percorrida, o transbordamento dos tanques, o volume coletado e o atendimento à demanda. Inicialmente, um estudo de caso em cenário controlado foi conduzido para avaliar o comportamento do modelo, permitindo analisar sua capacidade de agrupamento espacial, de priorização logística e de adaptação às restrições operacionais do sistema. Os resultados indicaram que o modelo foi capaz de aprender padrões coerentes de roteirização, favorecendo agrupamentos de unidades próximas e reduzindo deslocamentos desnecessários. Em seguida, ampliou-se significativamente a complexidade do problema, incorporando múltiplos agentes, um número maior de unidades produtivas e um cenário geograficamente inspirado na região do Vale do Taquari, no Rio Grande do Sul, o que permitiu estabelecer uma comparação conceitual com abordagens clássicas baseadas em Programação Linear Inteira Mista (MILP). Nesse cenário ampliado, observou-se que o modelo apresentou capacidade de coordenar múltiplos caminhões, atender às demandas diárias e se adaptar a diferentes distribuições espaciais das unidades, embora ainda tenha demonstrado limitações no ajuste fino da função de recompensa, especialmente na priorização de unidades distantes e na antecipação de eventos de transbordamento. A comparação com a abordagem MILP evidenciou que, apesar do elevado custo computacional associado ao treinamento do modelo baseado em aprendizado por reforço, a inferência das rotas após o treinamento ocorre em poucos segundos, característica particularmente relevante em sistemas logísticos dinâmicos sujeitos a perturbações operacionais e à necessidade frequente de replanejamento. Por fim, conclui-se que a integração entre GNNs e aprendizado por reforço profundo representa uma alternativa promissora para problemas logísticos complexos, oferecendo flexibilidade, capacidade adaptativa e potencial de escalabilidade para aplicações reais.

This work proposes an approach based on Graph Neural Networks (GNNs), combined with deep reinforcement learning, for the logistical optimization of the Vehicle Routing Problem in a dynamic and decentralized context, inspired by the Autonomous/Automated, Intensified and Sustainable Modular Unit Networks (RU+). The problem is modeled as a graph, in which nodes represent production units and edges represent travel distances, incorporating operational constraints through action masking. The decision policy is learned using the Advantage Actor-Critic (A2C) method, employing a reward function that balances traveled distance, tank overflow, collected volume, and demand fulfillment. Initially, a case study in a controlled scenario was conducted to evaluate the model behavior, allowing the analysis of its spatial clustering capability, logistical prioritization, and adaptation to the system operational constraints. The results indicated that the model was able to learn coherent routing patterns, favoring clusters of nearby units and reducing unnecessary displacements. Subsequently, the problem complexity was significantly increased by incorporating multiple agents, a larger number of production units, and a geographically inspired scenario based on the Vale do Taquari region, in Rio Grande do Sul, enabling a conceptual comparison with classical approaches based on Mixed Integer Linear Programming (MILP). In this expanded scenario, the model demonstrated the ability to coordinate multiple trucks, fulfill daily demands, and adapt to different spatial distributions of production units, although it still presented limitations related to the fine-tuning of the reward function, especially regarding the prioritization of distant units and the anticipation of overflow events. The comparison with the MILP approach showed that, despite the high computational cost associated with training the reinforcement learning-based model, route inference after training occurs within a few seconds, a characteristic particularly relevant in dynamic logistical systems subject to operational disturbances and frequent replanning requirements. Finally, it is concluded that the integration of GNNs and deep reinforcement learning represents a promising alternative for complex logistical problems, offering flexibility, adaptive capability, and scalability potential for real-world applications.