MPVUE - plataforma multiprocessador em chip para visão computacional

Abstract

O processamento de imagens e a visão computacional evoluíram significativamente nos últimos anos com o progresso da microeletrônica e dos sensores de imagem. A visão é muito útil para os animais se movimentarem e interagirem com o meio ambiente. Para os seres humanos, é ainda mais importante, pois a maioria das atividades depende da capacidade de ver e entender o contexto visual. Imagens estão em toda parte em nossas vidas diárias para comunicação, saúde, transporte e muitos outros aspectos. A visão é uma função muito complexa: além da aquisição de imagens, muitas outras tarefas são necessárias para compor um modelo de cena. Por enquanto, estamos interessados na captura de informações visuais para construir um modelo de cena 3D e reconhecer sinais e formas, tentando imitar a capacidade natural de ver. O sistema pode ser embarcado em objetos móveis ou pontos de observação, como veículos autônomos, sistemas de assistência ao motorista (DAS), monitoramento de tráfego e vigilância. Esta tese apresenta a plataforma MPVue, um Sistema MultiProcessador Heterogêneo de Memória Distribuída em Chip (DM-HMPSoC) estruturado sobre uma rede em chip (NoC) em malha 2-D, adaptada para realizar eficientemente o paralelismo de comunicação e execução em sistemas embarcados, visando aplicações de visão computacional. A arquitetura é descrita em uma RTL sintetizável e validada em FPGA. A comparação de desempenho foi feita usando algoritmos tipicamente usados no Processamento de Imagens: um Filtro Passa Baixas e a FFT. Uma implementação de arquitetura de software flexível baseada na Arquitetura Orientada a Serviços (SOA) facilita o encadeamento de funções para diferentes aplicativos. A arquitetura MPVue é adequada para os processos de visão de alto nível e trabalhos futuros avaliarão, por exemplo, seu desempenho para executar uma CNN treinada para capturar imagens de placas de veículos em vídeos de tráfego. Estudos em andamento definirão e portarão um sistema operacional para aumentar o desempenho do agendamento de tarefas e para executar vários aplicativos simultaneamente. Além disso, a API deve ser padronizada para facilitar o desenvolvimento de novos aplicativos.

Image processing and computer vision had evolved significantly in recent years hanged on the progress of microelectronics and image sensors. Vision is very helpful for animals to move and interact with the environment. For human beings, it is even more important since most activities rely on the ability to see and understand the visual context. Images are everywhere in our daily lives for communication, health-care, transportation and many other domains. Vision is a very complex function indeed: in addition to the image acquisition many other tasks are needed to compose a scene model. For now, we are interested in the capture of visual information to build a 3D scene model and recognize signs and shapes, trying to mimic the natural ability to see. The system may be embedded on moving objects or observation points like autonomous vehicles, Driver Assistance Systems (DAS), traffic monitoring and surveillance. This thesis presents the MPVue platform, a Distributed Memory Heterogeneous MultiProcessor System on Chip (DM-HMPSoC) structured over a 2-D Mesh Network on Chip (NoC), tailored to efficiently perform communication and execution parallelism on embedded systems, targeting computer vision applications. The architecture is described in a synthesizable RTL and was validated on a Xilinx KC705 development board. To check the flexibility and the performance of the architecture, two versions were generated: one with 3X3 NoC and one with a 4X4 NoC. Performance comparison was done using algorithms typically used on Image Processing: a Low Pass Filter and Fast Fourier Transform. A flexible software architecture implementation based on Service-Oriented Architecture (SOA) facilitates functions chaining for different applications. The MPVue architecture is suitable for the high-level vision processes and future works will evaluate, for example, its performance to run a convolutional neural network (CNN) trained to grab vehicle license images on traffic video. Ongoing studies will define and port an OS to increase task scheduling performance and to run multiple applications simultaneously. Furthermore, the API must be standardized ease the development of new applications.