A model for distributed data aggregation in edge and cloud environments

Abstract

The Internet of Things generates each time larger amounts of data through devices that range from personal smartphones sensors to large scale smart cities sensor deployments. Edge Computing and Fog Computing hardware resources nowadays have processing power that in the past was only found on Cloud Computing resources. These capabilities enable the possibility of aggregating data directly on the edge of the network, avoiding network traffic that was previously necessary to transfer data to the cloud. However, the ability to leverage each time more powerful edge nodes to decentralize data processing and aggregation is still a significant challenge for both industry and academia. Although large scale sensor deployments and powerful edge nodes are now available, the proper frameworks and processing patterns for these profiles of data are still under active research. In this work, it is analyzed the impact of a model for data aggregation in a large scale smart grid application dataset. The results obtained show that the implemented testbed application, through the usage of edge node aggregation and messaging windows, was able to achieve data aggregation rates of above 400 million measurements per second. These results were obtained using machines on 15 distinct geographic regions on the Microsoft Azure platform, for a total of 1366 machines in the largest evaluation scenario.

A internet das coisas é responsável pela geração de quantidades de dados cada vez maiores, oriundas de dispositivos que vão de sensores de smartphones até implementações de sensores em larga escala para cidades inteligentes. Os recursos de hardware dos dispositivos de edge computing e fog computing apresentam poder de processamento que no passado só era encontrado em recursos de computação em nuvem. O aumento da capacidade de processamento habilita a possibilidade de agregar dados na borda da rede, evitando tráfego de rede que anteriormente era necessário para transmitir os dados para a nuvem. Por outro lado, a capacidade de alavancar nodos de borda cada vez mais poderosos, para descentralizar o processamento e agregação de dados, ainda é um desafio significante tanto para a indústria quanto para a academia. Ainda que nodos de borda poderosos e grandes instalações de sensores estejam disponíveis hoje em dia, as frameworks e padrões de processamento necessários para esses perfis de dados ainda são material de ativa pesquisa. Nesse trabalho, é analisado o impacto de um modelo para agregação de dados em um conjunto de dados para redes de energia inteligentes de larga escala. Os resultados obtidos mostram que, para a aplicação de testes desenvolvida, através da utilização de agragação na borda da rede e janelas de mensagens, foi possível atingir taxas de agregação acima de 400 milhões de medidas por segundo. Estes resultados foram obtidos utilizando máquinas em 15 regiões geográficas distintas na plataforma Microsoft Azure, totalizando 1366 máquinas no maior cenário de avaliação.