Evaluation of mapless navigation for unknown indoor environment exploration by single and multiple autonomous mobile robots using Deep Reinforcement Learning

Abstract

Efficient exploration of unknown environments is a fundamental requirement for modern autonomous mobile robot applications. The traditional exploration approach focuses on sensing the world to build a map and using the generated map to decide where to go next. In the specific case of collaborative exploration by multi-robot systems, map sharing and merging is often employed. Such methods tend to result in high computational costs, which can restrict their application in scenarios with limited memory and processing re sources. An alternative to this is to employ mapless navigation when performing explo ration. However, defining a resilient exploration strategy is not a straightforward task, especially in a mapless fashion. Concurrently, the employment of Deep Reinforcement Learning (DRL) has enabled optimal or near-optimal solutions for several complex prob lems with high-dimensional inputs. To the best of our knowledge, there are no works that investigate the application of DRL solutions for mapless exploration aiming at efficient area coverage, without pre-determined goal positions. In that context, this dissertation reviews recent research works that use RL to design unknown environment exploration strategies for single and multi-robots. Based on the gathered information, we propose an end-to-end mapless exploration framework based in DRL, suitable for single robots and teams of n robots. The exploration policy is trained and tested in different simula tion environments. Our solution enabled exploration with efficiency comparable to DRL methods that use much more complex representations of the environment. The method also promoted cooperation between agents without the need of map merging algorithms, being able to generalize to different environments.

A exploração eficiente de ambientes desconhecidos é uma condição fundamental para aplicações modernas de robôs móveis autônomos. A abordagem de exploração tradicional consiste em usar medidas de sensores para construir um mapa, e se basear no mapa gerado para decidir para onde ir. No caso específico da exploração colaborativa por sistemas multi-robôs, o compartilhamento e a fusão de mapas são frequentemente empregados. Tais métodos tendem a resultar em altos custos computacionais, o que pode restringir sua aplicação em cenários com recursos limitados de memória e processamento. Uma alternativa para isso é empregar a navegação sem mapa ao realizar a exploração. No entanto, definir o funcionamento de uma estratégia de exploração resiliente e apropriada não é uma tarefa simples, especialmente de forma sem geração de mapa. Ao mesmo tempo, o emprego do Aprendizado por Reforço Profundo (ARP) tem permitido soluções ótimas ou quase ótimas para vários problemas complexos com entradas de alta dimensionalidade. No entanto, até onde sabemos, não existem trabalhos que investiguem a aplicação de soluções DRL para exploração sem mapa visando a cobertura eficiente da área, sem posições alvo pré-determinadas. Nesse contexto, esta dissertação revisa pesquisas recentes que usam Aprendizado por Reforço para projetar estratégias de exploração de ambientes desconhecidos. Com base nas informações coletadas, propomos uma estrutura de exploração sem mapeamento de ponta a ponta baseada em ARP e adequada para n robôs. A política de exploração é treinada e testada em diferentes ambientes de simulação. Nossa solução permitiu a exploração com eficiência comparável aos métodos DRL que usam representações muito mais complexas do ambiente. O método também promoveu a cooperação entre os agentes sem a necessidade de algoritmos de fusão de mapas, podendo generalizar para diferentes ambientes.