Avaliação da navegação sem mapeamento para exploração de ambientes internos desconhecidos por múltiplos robôs móveis autônomos usando Aprendizagem por Reforço

Abstract

Em aplicações de exploração de regiões desconhecidas com utilização de robôs, existe uma grande preocupação de que o método utilizado nos projetos não seja apenas eficiente, mas também demande o menor custo computacional para realizar a tarefa. A maneira mais tradicional de resolver esse problema seria primeiro mapear a região utilizando os robôs e, conforme o mapa da região é criado, a partir do conhecimento adquirido pelos robôs decidir qual direção deve seguir. Porém, esse tipo de método conforme o tamanho da região e número de robôs aumentam significamente o custo de memória e computacional. Desta forma, algoritmos de exploração com multi-robôs de forma que não necessite de um mapa ganharam notoriedade nos últimos anos. Neste trabalho, temos como objetivo avaliar se as técnicas de Aprendizado por Reforço permitem estratégias de exploração eficientes para aplicações com múltiplos robôs em ambientes não mapeados. Para isso, utilizamos o método otimização de política proximal, que é um algoritmos de aprendizado profundo, na qual resultou em bom resultados para o problema de exploração sem mapa. Também focamos de como o número de robôs modifica a qualidade dos resulta dos utilizando o mesmo método de aprendizado. Para isso, foram criados estruturas de comunicações entre os robôs de modo que o aumento do número de robôs, não cause um aumento significativo no custo de memória ou processamento computacional.

In applications for exploring unknown regions using robots, there is a great concern that the method used in the projects is not only efficient, but also requires the lowest compu tational cost possible to carry out the task. The most traditional way to solve this problem would be to first map the region using the robots and, as the map of the region is cre ated, based on the knowledge acquired by the robots, decide which direction to follow. However, this type of method, depending on the size of the region and number of robots, significantly increases memory and computational costs. In this way, multi-robot explo ration algorithms that use mapless navigation have gained notoriety in recent years.In this work, we aim to evaluate whether Reinforcement Learning techniques allow efficient ex ploration strategies for applications with multiple robots in unmapped environments. For this, we use the proximal policy optimization method, which is a deep learning algorithm, which has been studied with good results for the mapless exploration problem. We also focus on how the number of robots modifies the quality of the results using the same learning method. To achieve this, communication structures were created between the robots so that the increase in the number of robots does not cause a significant increase in the cost of memory or computational processing.