Um estudo sobre a performance de aplicações Big Data com Deep Learning

Abstract

Deep Learning (DL) e Big Data (BD) convergiram para um paradigma de computação híbrido capaz de unir o processamento dinâmico fornecido pelos modelos DL aliado ao poder do processamento paralelo e distribuído de frameworks BD. Este trabalho avalia o impacto causado na performance das aplicações Deep Learning junto ao modelo de programação paralelo e distribuído proveniente de frameworks de processamento Big Data. O ambiente de experimentação é controlado e representa um cenário de testes real e é composto por um cluster virtual criado na Microsoft Azure e configurado para suportar o framework Apache Spark sob o sistema YARN junto ao sistema de arquivos distribuídos do Hadoop (HDFS). Além disso, para suportar o desenvolvimento das aplicações TensorFlow sob o Apache Spark, foi utilizado o framework BigDL. Os resultados obtidos indicam a eficácia do modelo de processamento Big Data com Deep Learning, constata-se um ganho de desempenho de até 87,4% no ambiente distribuído de ; redução de custodo treinamento de até 41,3%, e perda de precisão dos modelos menor que 5%.

Deep Learning (DL) and Big Data (BD) have converged to a hybrid computing paradigm that merges the dynamic processing provided by DL models compled with the power of parallel and distributed processing of Big Data frameworks. This paper presents the performance evaluation of Big Data Deep Learning applications. Our experimental environment setup was controlled and represents a real test scenario. It is composed of a virtual cluster created in Microsoft Azure and configured to support the Apache Spark framework into the YARN system with the Hadoop Distributed File System (HDFS). In addition, to support the development of TensorFlow applications under Apache Spark, the framework BigDL was used. The obtained results indicate the effectiveness of the Big Data processing model with Deep Learning. It was attested that performance with distributed environment was improved up to 87.4%; cost reduces until 41.3%, and loss in accuracy was less than 5% for the testbed.