Route trip building in urban traffic : accelerating learning convergence through information exchange among drivers with similar experiences

Abstract

The escalating reliance on private transportation calls for better traffic management strate gies to efficiently allocate routes in increasingly congested networks. The present study integrates Multiagent Reinforcement Learning (MARL) with Car-to-Infrastructure (C2I) Communication and further enriches this integration by introducing a virtual graph (VG). This VG connects origin-destination (OD) pairs that exhibit similar attributes, which en ables the provision of variable information to drivers. By sharing information exclusively among similar or adjacent OD pairs, the VG injects a level of variability into the data drivers receive. The proposed method (dubbed QL-C2I ODVG) was assessed against other established approaches: a centralized iterative route assignment approach, a tra ditional en-route trip-building Q-Learning (QL) methodology, and a QL with C2I frame work without the VG integration. Results show that QL-C2I ODVG not only expedites the learning process towards equilibrium but also outperforms traditional methods in achiev ing shorter travel times. These findings underscore the potential of the proposed method at improving route distribution and traffic flow, suggesting that it could be a valuable tool in the development of intelligent traffic systems. It also highlights the benefits of intro ducing variability in shared information and points to future research directions, including exploring different VG configurations and their impact on learning dynamics in multiob jective traffic scenarios

A dependência crescente de transporte rodoviário privado exige estratégias mais eficientes de gestão de trânsito, especialmente para distribuir rotas em cidades cada vez mais congestionadas. Este estudo propõe uma integração de Aprendizado por Reforço Multiagente (MARL) com a Comunicação Carro-Infraestrutura (C2I), aprimorada pela introdução de um grafo virtual (VG). Este VG estabelece conexões entre pares origem-destino (OD) com atributos similares, permitindo assim a distribuição de informações variadas aos motoristas. Compartilhando dados apenas entre pares OD similares ou adjacentes, o VG acrescenta variabilidade às informações recebidas pelos condutores. O método pro posto, denominado QL-C2I ODVG, foi comparado com outras abordagens: um método centralizado e iterativo de atribuição de rotas, um método tradicional de Q-Learning (QL) para construção de rotas ao longo do trajeto, e um framework QL com C2I sem a inclu são do VG. Os resultados indicam que o QL-C2I ODVG não só acelera o processo de aprendizado rumo ao equilíbrio, mas também supera métodos convencionais na redução dos tempos de viagem. Esses resultados ressaltam o potencial do método proposto para melhorar a distribuição de rotas e o fluxo de trânsito, sugerindo que ele pode ser uma ferramenta valiosa no desenvolvimento de sistemas de tráfego inteligentes. Este estudo também destaca os benefícios de introduzir variabilidade nas informações compartilhadas e sugere futuras direções de pesquisa, como explorar diferentes configurações do VG e seu impacto na dinâmica de aprendizado em cenários de tráfego com múltiplos objetivos.