Um estudo sobre a performance de aplicações big data em ambientes de névoa e de borda

Abstract

O uso de processadores ARM para o processamento Big Data já é objeto de estudo de vários autores. Entretanto, a grande maioria desses autores leva em conta o processamento em lotes (batch) utilizando o framework Hadoop. Além disso, poucos trabalhos comparam o desempenho entre diferentes processadores ARM. Não há uma comparação de como diferentes arquiteturas influenciam na execução de aplicações Big Data. Desse modo, percebe-se a necessidade de um estudo que avalie o desempenho dos frameworks (e aplicações Big Data) sob ambos os modelos de processamento (em lotes e em tempo real). Além disso, torna-se importante avaliar o impacto de diferentes arquiteturas ARM sobre os frameworks e aplicações Big Data. Assim, esse trabalho apresenta uma avaliação experimental de processadores ARM para processamento Big Data. Os dois principais modelos de processamento Big Data foram avaliados neste trabalho (processamento em lotes e processamento em tempo real). Assim, como os frameworks Hadoop, Spark e Flink. Como representantes ARM foram avaliados a arquitetura ARMv7 com processador Cortex-A7 e a arquitetura ARMv8 com os processadores Cortex-A57 e Denver2. O benchmark utilizado neste trabalho foi o Hibench que apresenta aplicações que utilizam ambos os modelos de processamento e que suportam os frameworks citados. Os resultados mostraram que é possível utilizar processadores ARM no processamento Big Data e que a escolha da arquitetura e do processador a serem utilizados passa pelas necessidades da aplicação a ser processada, assim, como pelas características do ambiente de execução a ser construído.

The two main Big Data processing models were evaluated in this work (batch processing and real time processing), just as the Hadoop, Spark and Flink frameworks. Representing ARM, we evaluated the ARMv7 architecture with Cortex-A7 processor and the ARMv8 architecture with Cortex-A57 and Denver2 processors. The benchmark that was used in this work was HiBench, that contains applications that use both processing models, and that support the previously mentioned frameworks. The results showed that it is possible to use ARM processors in the Big Data processing, and also that both the choice of architecture and the processor that will be used are dependent on the application that will be processed, as well as it is dependent on the features of the execution environment to be built.