Análise da razão entre precisão, área e consumo de potência das unidades multiplicadoras do vetor espacial do Gemmini

Abstract

A Inteligência Artificial nunca esteve tão popular quanto neste momento. Seu uso adentra diversos setores da sociedade, desde recomendações de busca em sites até carros autônomos e criação de entretenimento. Dentre os diversos recursos no universo de IA estão as Redes Neurais, uma estrutura de dados que simula o comportamento dos neurônios do corpo humano, muito utilizadas para reconhecimento de padrões e classificação de dados. Dado que as redes neurais são estruturas complexas e custosas em termos de hardware, estruturas para melhorar seu desempenho foram criadas, como o Gemmini. O Gemmini é um gerador de aceleradores de redes neurais. Nele há um estrutura chamada vetor sistólico, que é um vetor bidimensional formado por unidades MAC (multiplicaacumula) cuja função é acelerar operações convolucionais. Com o objetivo de buscar ganhos de área e potência no vetor sistólico do Gemmini, este trabalho irá alterar o vetor sistólico do Gemmini utilizando multiplicadores aproximativos, que são multiplicadores menos custosos em termos de hardware comparados a um multiplicador regular mas que apresentam um nível de perda na precisão do resultado, e analisar os efeitos dessa troca quanto a ganhos de área e potência e sobre a qualidade da inferência da rede neural, ou seja, o quanto a rede acerta sua predição. Ao final do trabalho, conclui-se que os vetores sistólicos testados com os melhores resultados obtiveram ganhos de potência de 3% com um aumento de área de 5% e perda de precisão de 1% ou ganho de potência de 17%, ganho de área de 4% e perda de precisão de 16,25%.

Artificial Intelligence has never been as popular as it is today. Its use reaches many sectors of society, from website search recommendations to self-driving cars and even creation of entertainment. Between all the resources in the AI universe are the Neural Networks, a data structure that simulates the behaviour of the human body’s neurons, very useful for recognizing patterns and data classification. Since neural networks are structures very complex and demanding in terms of hardware, structures to improve its performance were developed, like Gemmini. Gemmini is a neural network accelerator generator. In Gemmini there is a structure called the systolic array, a bidimensional array made with MAC (multiply-accumulate) units, which its function is to accelerate convolutional operations. With the objective of obtaining gains of area and power in Gemmini’s systolic array, this assignment will change Gemmini’s spatial array and use approximate multipliers, which are multipliers less expensive in terms of hardware compared to a regular multiplier but show a precision loss in its results, and analyze the effects of this replacement as for gains in area and power and about its inference quality, which is how much the network hits the prediction. At the end of this assignment, it concludes that the tested systolic arrays with the best results had a gains of 3% in power with an increase of 5% in area and precision loss around 1% or gain of 17% of power, gain of 4% in area and precision loss around 16,25%.