Distributed near real-time processing of sensor network data flows for smart grids

Abstract

Sensor networks have become ubiquitous, ranging from personal mobile phones to smart grids, and are producing each time higher amounts of data, in ever shorter time intervals. Distributed event stream processing systems, in its turn, are systems that help us to parallelize not only the processing, but also the input of multiple data streams into a single processing engine, providing us capabilities to produce near real-time insights based on multiple data streams, as well as make decisions more quickly. Joining together these ideas, in this work, we propose an architecture based on open source tools that represent the state-of-the-art in distributed event stream processing systems. In this manner, we aim to provide a platform for processing large scale sensor network data, focused on data profiles of smart grids. To evaluate the feasibility of a system of this kind, we use a dataset based on a sensor network for smart energy consumption meters, in order to generate load forecasts based on this dataset. In the end, we evaluate the proposed architecture regarding to processing scale and latency issues. Achieving the conclusions that it is possible to build a distributed processing platform, for processing of sensor network data flows coming from smart grids, as it was designed on this work. The platform is able to process up to approximately 45K messages per second using 8 processing nodes, while providing stable latencies for micro-batches above 30 seconds.

Redes de sensores tornaram-se ubíquas, indo desde telefones móveis pessoais até redes inteligentes de energia, e estão produzindo cada vez maiores quantidades de dados, em intervalos de tempo cada vez menores. Sistemas para o processamento distribuído de fluxo de eventos, por sua vez, são sistemas que ajudam-nos a paralelizar não somente o processamento, mas também a inserção de múltiplos fluxos de dados em um único mecanismo de processamento, proporcionando-nos capacidades para produzir análises em tempo real baseadas em múltiplos fluxos da dados, assim como tomar decisões mais rapidamente. Unindo essas idéias, neste trabalho, propomos uma arquitetura baseada em ferramentas de código aberto que representam o estado-da-arte em processamento distribuído de fluxo de eventos. Desta maneira, nosso objetivo é oferecer uma plataforma para o processamento de dados em redes de sensores em grande escala, focada em perfis de dados de redes inteligentes de energia. Para avaliar a viabilidade de um sistema desse tipo, nós utilizamos um conjunto de dados baseado em uma rede de sensores para medidores de consumo de energia inteligentes, a fim de gerar previsões de carga baseadas nesse conjunto de dados. No final, nós avaliamos a arquitetura proposta com relação à escala de processamento e problemas de latência. Alcançando as conclusões de que é possível contruir uma plataforma de processamento distribuída, para o processamento de fluxos de dados de redes de sensores provenientes de redes inteligentes de energia, como foi projetado nesse trabalho. A plataforma é capaz de processar até 45 mil mensagens por segundo utilizando 8 nós de processamento, enquanto provê latências estáveis para micro-lotes acima de 30 segundos.