A resource-aware multicore CGRA architecture for edge applications

Abstract

Edge devices on the Internet of Things (IoT) are intelligent, cloud-connected, usually battery-operated systems that are increasing in numbers and that are used in many applications, including smart homes, agriculture, healthcare, transportation, security, and telecommunication. In particular, these performance-hungry devices have exposed designers to the problem of achieving high throughput and low latency in environments with limited power supply. Moreover, as applications migrate from the cloud to the edge, these devices must concurrently execute a broad range of applications, and now feature multiple cores to address this demand. However, as multicore systems do not provide the best adaptability between the hardware and the various applications with distinct resource requirements, many works have investigated the use of reconfigurable architectures, in particular, Coarse-Grained Reconfigurable Architectures (CGRAs), to enable energy-efficient processing. Currently, this adaptation is limited to either homogeneous organizations, aiming at the highest performance, or heterogeneous organizations, aiming at improved energy efficiency. We propose in this work a novel approach to increase the energy efficiency of CGRAs by dynamically monitoring their underutilized resources and applying power gating to them in order to save power with minimal impact on performance. Then, we extend the approach to a multicore architecture featuring multiple CGRAs, where a central controller detects which applications are underutilizing their CGRAs and cleverly tunes the power gating of each unit to meet a system-wide power constraint. By using the proposed approach, we enable a homogeneous CGRA architecture to achieve the energy consumption levels of a heterogeneous one, since the extra degree of adaptability offered by the online management transparently matches the system’s resources to the applications at hand. Overall, it is possible to achieve average reductions in EDP of over to 40% when the proposed architecture is compared to its homogeneous and heterogeneous counterparts.

Dispositivos Edge na Internet das Coisas (IoT) são sistemas inteligentes, conectados à nuvem, normalmente movidos a bateria que estão aumentando em número e são utilizados em muitas aplicações, que incluem casas inteligentes, agricultura, saúde, transporte, segurança, e telecomunicações. Em especial, esses dispositivos de alta demanda computacional vem expondo projetistas ao problema de alcançar alta vazão e baixa latência em ambientes de alimentação limitada. E mais, com aplicações migrando da nuvem para Edge, esses dispositivos estão executando paralelamente mais e mais aplicações, e hoje em dia possuem múltiplos processadores para este tipo de processamento. Entretanto, como as arquiteturas multiprocessadas não oferecem a melhor adaptabilidade entre o hardware e as várias aplicações com requisitos de recursos diversos, muitos trabalhos têm investigado o uso de arquiteturas reconfiguráveis. em especial, as Arquiteturas Reconfiguráveis de Grão Grosso (CGRA), para prover processamento eficiente energeticamente. Atualmente, essa adaptabilidade está limitada a ter organização homogênea, objetivando maior desempenho, ou a ter organização heterogênea, objetivando melhoria da eficiência energética. É proposta neste trabalho uma nova abordagem para aumentar a eficiência energética das CGRAs que dinamicamente monitora os recursos subutilizados e aplica power gate de forma a economizar potência com mínimos impactos em performance. Então, ampliamos a abordagem para uma arquitetura multiprocessada com múltiplas CGRAs, onde um controlador centralizado detecta quais aplicações estão subutilizando suas CGRAs e regula o power gate de cada unidade para satisfazer uma restrição de potência em nível de sistema. Usando a abordagem proposta, promovemos uma arquitetura de CGRAs homogêneas para atingir níveis de consumo energético de uma heterogênea, uma vez que o grau adicional de adaptabilidade oferecido pelo gerenciamento online adequa de forma transparente os recursos do sistema às aplicações em uso. No geral, é possível atingir reduções em EDP de mais de 40% quando a arquitetura proposta é comparada com suas equivalentes homogênea e heterogênea.