A Study of the prefetcher impact on high-performance computing applications

Abstract

Data prefetching algorithms are widely used in modern processors as a tool to mitigate the higher latency of memory accesses with respect to processor latency to execute instructions. However, understanding the contribution of prefetching to the application performance is a difficult task when we consider the high complexity found in the several architectures and prefetchers available. Developing accurate architecture simulators is also a challenge, especially when considering High-Performance Computing systems (HPC) with several processor cores. In this work, we contribute to shed light on the role of data prefetchers in the performance of parallel HPC applications, considering both the prefetcher algorithms offered in the real hardware and in the simulators. We performed a careful experimental investigation, executing the NAS parallel benchmark (NPB) on a real Skylake machine and in a simulated environment with the ZSim and Sniper simulators, using prefetcher algorithms offered by both Skylake and the simulators. Our experimental results show that: (i) prefetching from the L3 to L2 cache is responsible for the larger percentage of performance improvement, (ii) the memory contention in the parallel execution constrains the effectiveness of the prefetcher, (iii) the parallel memory contention in Skylake is poorly simulated by ZSim and Sniper, and (iv) the non-inclusive L3 cache present in the Skylake architecture hinders the accurate simulation of NPB with the Sniper prefetchers.

Algoritmos de prefetching são vastamente utilizados em processadores modernos como uma forma de mitigar a diferença de desempenho que existe entre o processador e o sistema de memória. No entanto, se considerarmos a complexidade das diversas arquiteturas de computadores e dos algoritmos de prefetching disponíveis, compreender como o prefetcher afeta o desempenho das aplicações se torna uma tarefa difícil. Além disso, desenvolver simuladores de arquiteturas que sejam precisos também é desafiador, e essa tarefa pode se tornar ainda mais difícil em um contexto no qual sistemas de computação de alto desempenho (High-Performance Computing – HPC) possuem dezenas de núcleos de processamento. Neste trabalho, nós buscamos ampliar o conhecimento a respeito do papel do sistema de prefetching sobre o desempenho de aplicações paralelas de alto desempenho, estudando tanto os algoritmos presentes em uma máquina real quanto os oferecidos por simuladores de arquiteturas. Em nossa investigação experimental, nós executamos o conjunto de benchmarks paralelos NPB (NAS Parallel Benchmarks) em uma máquina de arquitetura Skylake, bem como em um ambiente de simulação composto pelos simuladores de arquiteturas paralelas ZSim e Sniper. Nossos resultados mostram que: (i) realizar prefetcher da cache L3 para a cache L2 apresentou os melhores ganhos de desempenho, (ii) a contenção de memória observada durante a execução paralela acaba restringindo o efeito do prefetcher, (iii) ambos os simuladores ZSim e Sniper simulam de forma imprecisa a contenção de memória observada na máquina Skylake, e (iv) a característica não-inclusiva da cache L3 da Skylake dificulta a simulação do NPB com os algoritmos de profetching do Sniper.