Sistema de visão computacional para identificação de posição e orientação de peças dispostas aleatoriamente na área de trabalho de um robô de manipulação

Abstract

Nos últimos anos, a utilização de robôs na indústria vem crescendo significativamente. Cada vez mais as empresas utilizam os robôs em tarefas repetitivas que são previamente programadas, executando sempre o mesmo movimento, sem nenhuma flexibilidade. Para resolver essa falta de flexibilidade, sistemas de visão computacional tem sido desenvolvidos para trabalhar em conjunto com robôs, dando aos mesmos a capacidade de observar a área de trabalho através das lentes de uma câmera e, utilizando ferramentas de processamento de imagem, interpretar o que estão “enxergando”, flexibilizando seu uso. Neste trabalho é apresentado um sistema de visão computacional capaz de, através da captura e processamento de imagens digitais, identificar a posição e orientação de vários objetos dispostos aleatoriamente no mesmo plano da área de trabalho. Primeiramente a imagem é capturada por uma câmera e enviada ao software MATLAB®, onde é realizada a limiarização dos mesmos, afim de obter-se uma imagem final com os objetos segmentados e identificados. Outros processos como dilatação morfológica das imagens e rotulagem de objetos são utilizados nessa etapa. A partir da imagem segmentada, utilizando uma função do MATLAB® chamada regionprops, são encontradas as posições dos centros de massa de cada objeto, e utilizando uma rede neural artificial determina-se a orientação dos mesmos. A rede neural utilizada possui arquitetura multi-camada, com uma camada escondida e alimentação para frente (feed forward), treinada previamente com várias imagens de peças semelhantes às que seriam utilizadas para os testes. As coordenadas obtidas são enviadas ao controlador de um manipulador robótico, que realiza a coleta dessas peças e as coloca em outro local previamente definido. Esse sistema de visão acrescenta ao robô a capacidade de coletar peças dispostas aleatoriamente em um plano, sem a necessidade prévia de informar suas coordenadas. O método proposto foi testado utilizando algumas imagens que simulam uma situação real em um ambiente industrial, com várias peças dispostas de forma aleatória em um plano, onde foram comparados os valores para a posição e orientação encontrados pelo método com os valores reais. Também foi avaliado o tempo de processamento total necessário para obter as coordenadas e movimentar as peças. Os testes mostraram que o método apresenta resultados adequados e robustez nas respostas para diferentes cenários.

In recent years, the use of robots in the industry has been growing significantly. More and more companies use the robots in repetitive tasks that are pre-programmed, always executing the same routines, without any flexibility. To fix this lack of flexibility, computer vision systems have been developed to work in conjunction with robots, giving them the ability to observe the work area through a camera lens, and using image processing tools interpret what they are "seeing", making their use more flexible. This work presents a computer vision system capable of capturing and processing digital images, identifying the position and orientation of several objects, randomly arranged in the same level of the work area. First, the image is captured by a camera and sent to MATLAB® software, where the image is thresholded, in order to obtain a final image with the objects segmented and identified. From the segmented image, using a MATLAB® function called regionprops, we find the position of the centre of mass of each object, and using an artificial neural network, we determine their orientation. The neural network used has a feed forward multi-layer architecture, with one hidden layer, that was previously trained with several images of pieces, similar to those used for the tests. The coordinates obtained are sent to a robotic manipulator controller, which performs the collection of these objects and places them in another pre-defined place. This vision system give to the robot the ability to collect randomly arranged pieces in the same surface, without the prior need to inform its coordinates. The proposed method was tested using some images that simulate a real situation in an industrial environment, with several pieces randomly arranged in the same surface, where the values found by the method for the position and orientation of the pieces were compared with the real values. The total processing time required to obtain the coordinates and to move parts was also evaluated. The tests showed that the method shows good results and robustness with different scenarios.