Assessing performance and cost efficiency for parallel workloads on public clouds

Abstract

Cloud computing has emerged as a scalable and economically viable alternative for ex ecuting high-performance computing (HPC) workloads, traditionally deployed on dedi cated on-premises supercomputers or clusters. Cloud platforms offer flexibility, allow ing users to allocate resources dynamically according to their computational demands, avoiding large upfront investments and long-term infrastructure maintenance costs. How ever, identifying optimal cloud resources for HPC workloads remains challenging and non-trivial. This complexity arises primarily from the heterogeneous pricing strategies adopted by cloud providers, which include varied billing schemes based on reserved, on demand, or spot instances, each with distinct cost-performance trade-offs. Additionally, providers offer a broad spectrum of resource configurations—spanning general-purpose, compute-optimized, memory-optimized, and GPU-accelerated instances—further com plicating the selection process. Finally, HPC workloads exhibit diverse computational behaviors, such as varying degrees of parallelism, different memory access patterns, and distinct computational intensities. This dissertation systematically evaluates the trade-offs between performance and cost for parallel applications executed on major public cloud platforms—Amazon Web Services (AWS), Google Cloud Platform (GCP), and Microsoft Azure. Through an extensive benchmarking study with 104 distinct cloud instances and 18 representative parallel workloads, we analyze performance variations arising from thread scalability, memory access patterns, and computational intensity differences. Re sults indicate substantial performance variability across cloud instances, confirming that no single instance type consistently optimizes both cost and performance for all work loads. Instead, compute- and HPC-optimized instances offer superior performance for highly parallel and computationally intensive applications. In contrast, general-purpose instances yield more cost-effective performance for memory-bound or moderately paral lel workloads

Acomputação em nuvem surgiu como uma alternativa escalável e economicamente viá vel para a execução de cargas de trabalho de computação de alto desempenho (HPC), tradicionalmente realizadas em supercomputadores ou clusters dedicados locais. As pla taformas em nuvem oferecem flexibilidade, permitindo que os usuários aloquem recursos dinamicamente conforme suas demandas computacionais, evitando investimentos iniciais elevados e custos de manutenção de infraestrutura a longo prazo. No entanto, identificar os recursos ideais em nuvem para cargas de trabalho HPC (Computação de Alto Desem penho) continua sendo um desafio complexo. Essa dificuldade decorre principalmente das estratégias de precificação heterogêneas adotadas pelos provedores de nuvem, que in cluem diferentes esquemas de cobrança baseados em instâncias reservadas, sob demanda ou spot, cada uma com diferentes compensações entre custo e desempenho. Além disso, os provedores oferecem uma ampla gama de configurações de recursos — abrangendo instâncias de uso geral, otimizadas para computação, otimizadas para memória e acelera das por GPU — oque torna o processo de seleção ainda mais complexo. Por fim, cargas de trabalho HPC apresentam comportamentos computacionais diversos, como diferentes graus de paralelismo, padrões de acesso à memória variados e intensidades computacio nais distintas. Esta dissertação avalia sistematicamente os trade-offs entre desempenho e custo para aplicações paralelas executadas nas principais plataformas de nuvem pública —AmazonWebServices (AWS), Google Cloud Platform (GCP) e Microsoft Azure. Por meio de um estudo extensivo de benchmarking com 104 instâncias distintas de nuvem e 18 cargas de trabalho paralelas representativas, analisamos variações de desempenho decorrentes da escalabilidade de threads, dos padrões de acesso à memória e das diferen ças de intensidade computacional. Os resultados indicam uma variabilidade substancial de desempenho entre as instâncias de nuvem, confirmando que nenhum tipo de instância otimiza consistentemente custo e desempenho para todas as cargas de trabalho. Em vez disso, instâncias otimizadas para computação e HPC oferecem desempenho superior para aplicações altamente paralelas e computacionalmente intensivas. Em contraste, instâncias de uso geral apresentam um desempenho mais custo-efetivo para cargas de trabalho com uso intensivo de memória ou com paralelismo moderado.