Exploiting organisational semantic information in indoor environments for the object search problem

Abstract

Nowadays, the mobile robotics research community deals with different high-level tasks that require the robot to manipulate or interact with objects that may not be in the robot’s field of view. To find an object in unknown environments, the robot needs to look for it while gaining information about the environment and making decisions in real-time, known as the object search (OS) problem. The research community has proposed dif ferent approaches for dealing with the OS problem, relying on the objects’ color or 3D shape as visual cues to guide the search. However, this geometric information (i.e., color or size) limits the robot’s perception and, consequently, the robot’s performance during the search. Therefore, we propose two OS systems that exploit the advantages of seman tic information inferred from the organisation of both the environment and objects. The first one relies on semantic information inferred from numbers in text signs found in the environment. The goal is to find a target door label. The use of organisational semantic information in this scenario allows the robot to reduce the search costs by avoiding not promising corridors to contain the target door label. The detected numbers are used to estimate either the search continues towards unknown parts of the environment, or care fully search in the already known parts. The second proposed OS system is based on the changes in the organisation and arrangement of objects over time in the environment. It observes the environment and gathers data from the objects’ placement through the time by executing its recording mode. This recorded data is later used when the robot exe cutes the requesting mode to search for the target object. Both systems were evaluated in different environments and compared against other OS approaches in simulated and real scenarios. Even though our systems do not depend on specific SLAM systems and object detection algorithms, we have used Gmapping and YOLO in our experiments, respec tively. The results of the experiments support our systems’ efficiency and demonstrate the improvement in the searching performance with the aid of organisational semantic information.

Atualmente, a comunidade científica de robótica móvel está lidando com diferentes tarefas de alto-nível que requerem que o robô manipule ou interaja com objetos que podem não estar no campo de visão do robô. Para encontrar um objeto em um ambiente desconhecido, o robô precisa procurar por ele enquanto ganha informação sobre o ambiente e toma decisões em tempo real, conhecido como o problema de busca por objetos (BPO). A comunidade de pesquisa propôs diferentes soluções para abordar o problema de BPO, se baseando na cor, tamanho ou no que existe ao redor dos objetos. Contudo, todas es sas informações geométricas (como por exemplo cor ou tamanho) limita a percepção do robô e, por consequência, o seu desempenho durante a busca. Portanto, nós propomos dois sistemas de BPO que exploraram as vantagens de informações semânticas inferidas a partir da organização tanto do ambiente quanto dos objetos presentes. O primeiro se baseia em informações semânticas inferidas de números em placas de texto encontrados no ambiente. O objetivo é encontrar a placa de texto da porta alvo. O uso da informação semântica organizacional neste cenário permite que o robô reduza os custos da busca por evitar corredores não promissores para conter a placa de texto da porta alvo. Os números detectados são usados para estimar se busca continua em direção a regiões desconhecidas ou se realiza a busca cuidadosamente em regiões já conhecidas. O segundo sistema de BPO é baseado nas mudanças na organização e arranjo dos objetos ao longo do tempo no ambiente. Nosso sistema observa o ambiente e coleta dados do posicionamento dos objetos ao longo do tempo executando o seu modo de gravação. Os dados gravados são usados posteriormente quando o robô executa o modo de requisição para buscar pelo ob jeto. Ambos os sistemas foram avaliados em diferentes ambientes e comparados contra outros sistemas de BPO em simulação e ambiente real. Apesar dos nossos sistemas não dependerem de um sistema de SLAM ou algoritmo para detecção de objectos específicos, nós usamos o Gmapping e o YOLO nos nossos experimentos, respectivamente. Os resultados dos nossos experimentos confirmam a eficiência dos nossos sistemas e demonstram a melhora no desempenho da busca com o auxílio das informações semânticas organizacional.