Towards an efficient fault mitigation technique for quantized convolutional neural networks via selective weight scrubbing

Abstract

Deploying Quantized Convolutional Neural Networks (QNNs) on commercial-off-theshelf processors in radiation-prone environments requires balancing memory reliability with inference speed. While on-chip static random access memory enables better latency, it is highly susceptible to single event upsets, and standard mitigation via full-memory scrubbing imposes severe time and energy penalties. This work proposes a selective weight refreshing technique that exploits the non-uniform fault sensitivity of CNN layers, prioritizing the restoration of the most critical parameters from a radiation-resistant backup. The technique operates at the software level and is hardware-agnostic, targeting any CNN accelerator where model weights are held in a radiation-susceptible memory and a more robust backup copy can be maintained. In this work, it is validated on an Arm Cortex-M3 using characterization data from both emulated fault injection and a physical alpha particle radiation campaign on the SAT-6 aerial image dataset. The experimental campaigns successfully characterized the fault sensitivity of the evaluated networks, with the emulated fault injection and the physical alpha particle results reinforcing one another. The results show that 4-bit quantization can be more fault tolerant than 8-bit representations, depending on how the weights are encoded and stored in memory. Faults were found to be more critical in the earlier layers, as the resulting errors propagate through and corrupt the subsequent layers. From this characterization, reliability curves were derived for the evaluated topologies, showing the different fault tolerance of each layer of each network. These curves were generalized beyond the scope of our experiments, so they can be used to guide the selective weight scrubbing mechanism. Ultimately, this work lays the groundwork for maintaining high system reliability while minimizing the performance overhead of monolithic scrubbing.

A implantação de Redes Neurais Convolucionais Quantizadas (QNNs) em processadores de prateleira (COTS) em ambientes propensos à radiação exige um equilíbrio entre a confiabilidade da memória e a velocidade de inferência. Embora a memória de acesso aleatório estática (SRAM) embutida permita uma melhor latência, ela é altamente suscetível a eventos de efeito único (SEUs), e a mitigação padrão por meio do scrubbing de toda a memória impõe severas penalidades de tempo e energia. Este trabalho propõe uma técnica de atualização seletiva de pesos que explora a sensibilidade não uniforme das camadas da CNN a falhas, priorizando a restauração dos parâmetros mais críticos a partir de uma cópia de segurança mais resistente à radiação. A técnica opera em nível de software e é agnóstica ao hardware, destinando-se a qualquer acelerador de CNN em que os pesos do modelo sejam armazenados em uma memória suscetível à radiação e uma cópia de segurança mais robusta possa ser mantida. Neste trabalho, ela é validada em um Arm Cortex-M3, utilizando dados de caracterização obtidos tanto por injeção de falhas emulada quanto por uma campanha física de radiação com partículas alfa no conjunto de dados SAT-6. As campanhas experimentais caracterizaram com sucesso a sensibilidade a falhas das redes avaliadas, com os resultados da injeção de falhas emulada e da campanha física com partículas alfa reforçando-se mutuamente. Os resultados mostram que a quantização em 4 bits pode ser mais tolerante a falhas do que representações de 8 bits, dependendo de como os pesos são codificados e armazenados na memória. Verificou-se que as falhas são mais críticas nas primeiras camadas, uma vez que os erros resultantes se propagam e corrompem as camadas subsequentes. A partir dessa caracterização, foram traçadas curvas de confiabilidade para as topologias avaliadas, evidenciando a diferente tolerância a falhas de cada camada de cada rede. Essas curvas foram generalizadas para além do escopo dos nossos experimentos, de modo que possam ser utilizadas para guiar o mecanismo de atualização seletiva de pesos. Em suma, este trabalho estabelece as bases para manter uma alta confiabilidade do sistema e, ao mesmo tempo, minimizar a sobrecarga de desempenho associada a técnicas monolíticas de atualização.