Automated design space exploration of approximate VLSI architectures for low-power tree-based learning models

Abstract

The evolution in CMOS technology has led to an increased computational capacity of electronic devices, enabling complex applications to be processed in embedded platforms. An example of this is the growth of machine learning (ML) applications processed ondevice. These techniques are efficient for pattern-recognition and prediction, but require huge amounts of data and operations to generate models that can learn efficiently. Hence, when considering devices with battery constraints, such as wearables, simpler models like tree-based ones may be more suitable, given their power/energy efficiency. ML algorithms allow for the insertion of errors without necessarily compromising the output, making approximate computing (AxC) techniques promising alternatives to further decrease the power/energy costs of these applications. The problem that arises from this approach is that the use of AxC combined with model selection substantially increases the amount of parameters that must be considered and optimized during design space exploration (DSE). This thesis proposes the use of automated frameworks to generate ML VLSI accelerators and perform automatic synthesis, for different degrees of approximation, greatly speeding up the DSE process. The proposed frameworks automatically map ML models to HDL, employing AxC techniques in different layers to achieve improved energy/area savings. The efficiency of the proposed frameworks is assessed by exploring approximate VLSI architectures for Decision Trees (DT) and Random Forests (RF). Different model/design parameters were tested, namely tree depth, number of trees, and quantization level, adding up to 1540 compared designs. The other proposed frameworks explore techniques for approximating comparators and performing gate-level pruning in DTs/RFs. The models generated from the initial framework present power reductions of 10× or more for the same inference throughput reported in previous works. The remaining frameworks also obtained significant savings compared to the current state-of-the-art. The main contribution of this thesis is to enable an automated and comprehensive DSE of ML models, allowing designers to make a better-informed assessment of the trade-offs involved in this process.

A evolução da tecnologia CMOS tem levado a um aumento da capacidade computacional de dispositivos eletrônicos, permitindo o processamento de aplicações complexas em plataformas embarcadas. Um exemplo disso é o aumento de aplicações de aprendizado de máquina (ML) processadas no dispositivo. Essas técnicas são eficientes para reconhecimento de padrões e predição, mas requerem muitos dados e operações para gerar modelos eficientes. Assim, ao considerar dispositivos com limitações de bateria, como wearables, modelos simples como os baseados em árvores podem ser mais adequados, dada sua eficiência em potência/energia. Algoritmos de ML permitem a inserção de erros sem necessariamente comprometerem a saída, tornando técnicas de computação aproximada (AxC) alternativas promissoras para diminuir os custos energéticos dessas aplicações. O problema que surge é que o uso de AxC combinado com a seleção do modelo aumenta o número de parâmetros a serem considerados durante a exploração do espaço de projeto (DSE). Essa tese propõe o uso de frameworks para gerar aceleradores VLSI de ML e fazer a síntese automaticamente, para diferentes graus de aproximação, acelerando a DSE. Os frameworks propostos mapeiam modelos de ML para HDL, utilizando técnicas de AxC em diferentes camadas para atingir melhores economias de energia/área. A eficiência dos frameworks propostos é verificada explorando arquiteturas VLSI aproximadas para árvores de decisão (DT) e florestas randômicas (RF). Diferentes parâmetros foram testados, como profundidade da árvore, número de árvores e nível de quantização, somando 1540 designs. Os outros frameworks propostos exploram técnicas de aproximação de comparadores e gate-level pruning nas DTs/RFs. Os modelos gerados pelo framework inicial apresentam reduções de potência de 10× ou mais para a mesma vazão de inferência reportada em trabalhos anteriores. Os outros frameworks também obtiveram economias de potência significativas comparados ao estado-da-arte. A principal contribuição dessa tese é permitir uma DSE de modelos de ML automatizada, permitindo que projetistas façam uma verificação mais precisa dos trade-offs envolvidos no processo.