Applying partial instruction set architectures and instruction offloading to enhance asymmetric multicores

Abstract

For generations, General-Purpose Processors (GPPs) have implemented specialized instructions in the form of Instruction Set Architecture (ISA) extensions aiming to increase the performance of emerging applications. Nonetheless, these extensions impose a significant overhead in the area and power of the processor, as they require custom components to implement the specialized datapaths. Examples are the Single Instruction Multiple Data (SIMD) and Floating-Point (FP) instructions, which pipelines can represent more than half of the total area of the core. Exploiting the fact that these instructions are not used as often as the instructions from the base ISA, we propose solutions to reduce the amount of support for instructions extensions in Asymmetric Multicores (AMCs) (multicores that usually implement cores of high performance - big cores - and high energy/area efficiency - small cores), enhancing their area and energy efficiency. This thesis proposes two complementary methods that can be combined to achieve such efficiency. We start by introducing the Partially Heterogeneous ISA (PHISA) multicore. PHISA is composed of heterogeneous cores of single base ISA, but asymmetric functionality. In other words, some of the cores in the multicore system do not fully implement the costly instruction extensions, but all share a mutual base ISA. Therefore, by replacing full-ISA by partial-ISA cores and migrating tasks when necessary, it is possible to free valuable area and power from the processor design, while maintaining support for the extended instructions. While migrating jobs can be efficient in single-threaded workloads, this might not be the case in parallel applications. Migrations can increase the time a thread requires to reach a synchronization point, introducing a bottleneck in the execution. For these applications, we propose to increment PHISA with the Tightly Coupled Instruction Offloader (TUNE) component. The TUNE architecture implements a PHISA system in which the big core is a partial-ISA and responsible for executing only the serial regions of the applications. The small cores, on the other hand, are all full-ISA and responsible for the parallel regions. Whenever the serial region requires to execute a non-implemented instruction, TUNE offloads this operation to the small cores in a transparent manner. In this thesis, we show how PHISA and TUNE can be used to improve performance and energy consumption in both serial and parallel applications, compared to other traditional heterogeneous designs.

Por gerações, os processadores de propósito geral implementam instruções especializadas na forma de extensões de conjuntos de instruções ISA com o objetivo de aumentar o desempenho de aplicações emergentes. Contudo, tais extensões impõe um custo significativo na área e potência do processador. Um exemplo está nas instruções do tipo instrução única, múltiplos dados SIMD e de ponto flutuante FP, cujos pipelines podem representar mais da metade da área total de um núcleo do processador. Aproveitando o fato de que tais instruções não são tão comumente usadas como as da ISA base, são propostas soluções para reduzir a quantidade de suporte que é dado a extensões de instruções em processadores multinúcleo assimétricos AMC (sistemas que usualmente implementam núcleos de alto desempenho - núcleos grandes - e alta eficiência de área/energia - núcleos pequenos), aprimorando sua eficiência em área e energia. Inicialmente, é introduzido o sistema multinúcleo de ISA parcialmente heterogênea PHISA. PHISA é composto de núcleos heterogêneos com uma única ISA base, mas funcionalidades diferentes. Em outras palavras, alguns dos núcleos deste sistema heterogêneo não implementam completamente as caras extensões de ISA, mas ainda assim todos compartilham uma ISA base mútua. Desta forma, ao substituir núcleos de ISA completa por núcleos de ISA parcial e migrando tarefas sempre que necessário, é possível liberar recursos valiosos de área e potência do projeto do processador, sem abrir mão completamente do suporte as extensões de ISA. Por outro lado, enquanto a migração de tarefas é eficiente em aplicações de thread única, este pode não ser o caso em aplicações paralelas. Migrações podem aumentar o tempo em que uma das múltiplas threads precisa para atingir seus pontos de sincronização, criando assim um gargalo em sua execução. Para tais aplicações, é proposto aprimorar o sistema PHISA com um despachador de instruções fortemente acoplado TUNE. A arquitetura com TUNE implementa um sistema PHISA cujo núcleo grande implementa parcialmente a ISA e é responsável pela execução das regiões seriais das aplicações. Os núcleos pequenos, por outro lado, implementam todos a ISA completa do sistema e são responsáveis pela execução das regiões paralelas da aplicação. Sempre que a região sequencial da aplicação precisar executar uma instrução não implementada no núcleo grande, o TUNE irá despachar estas operações para os núcleos pequenos de forma transparente. Nesta tese, é mostrado como o PHISA e TUNE podem ser usados para melhorar o desempenho e consumo energético ambos de aplicações seriais e paralelas, quando comparado a projetos tradicionais de AMCs.