Integer-only quantization : towards efficient neural network deployment on diverse platforms
Visualizar/abrir
Data
2026Autor
Orientador
Nível acadêmico
Graduação
Outro título
Quantização apenas com inteiros : rumo à implementação eficiente de redes neurais em plataformas diversas
Assunto
Abstract
The deployment of deep neural networks on edge and embedded devices faces critical challenges due to strict constraints on computation, latency, and energy consumption. Prior work has demonstrated that integer-only quantization can deliver remarkable reductions in inference latency while maintaining accuracy, enabling efficient deployment even on limited mobile CPUs. However, the broader implications of this approach across diverse embedded hardware remain less explored. In this graduation thes ...
The deployment of deep neural networks on edge and embedded devices faces critical challenges due to strict constraints on computation, latency, and energy consumption. Prior work has demonstrated that integer-only quantization can deliver remarkable reductions in inference latency while maintaining accuracy, enabling efficient deployment even on limited mobile CPUs. However, the broader implications of this approach across diverse embedded hardware remain less explored. In this graduation thesis, we present a systematic evaluation of 8-bit integer (INT8) quantization across highly heterogeneous platforms: an Apple M4 Pro, a Qualcomm Snapdragon 8 Elite, and an NVIDIA RTX 4070 desktop GPU. Utilizing the AI Model Efficiency Toolkit (AIMET), we apply both Post- Training Quantization (PTQ) and Quantization-Aware Training (QAT) to edge-optimized (MobileNetV1, SqueezeNet) and general-purpose (ResNet) architectures. Our results demonstrate that QAT successfully recovers the representational capacity lost by PTQ in compact models. Furthermore, we show that domain-specific edge accelerators natively executing INT8 workloads not only rival the sequential latency of a 200-Watt desktop GPU but do so with extraordinary efficiency. Specifically, quantization yielded up to an 89.5% energy reduction on the Apple Neural Engine and a 9.14× latency speedup on the Snapdragon Hexagon NPU compared to their unquantized baselines, proving that integer quantization is an architectural prerequisite for overcoming the memory wall and enabling sustainable real-time edge AI. ...
Resumo
A implementação de redes neurais profundas em dispositivos de borda e embarcados enfrenta desafios críticos devido às restrições rigorosas de computação, latência e consumo de energia. Trabalhos anteriores demonstraram que a quantização baseada apenas em inteiros pode proporcionar reduções notáveis na latência de inferência, mantendo a precisão, permitindo uma implementação eficiente mesmo em CPUs com recursos limitados. No entanto, as implicações mais amplas dessa abordagem em diversos hardwar ...
A implementação de redes neurais profundas em dispositivos de borda e embarcados enfrenta desafios críticos devido às restrições rigorosas de computação, latência e consumo de energia. Trabalhos anteriores demonstraram que a quantização baseada apenas em inteiros pode proporcionar reduções notáveis na latência de inferência, mantendo a precisão, permitindo uma implementação eficiente mesmo em CPUs com recursos limitados. No entanto, as implicações mais amplas dessa abordagem em diversos hardwares permanecem pouco exploradas. Neste trabalho de conclusão, apresentamos uma avaliação sistemática da quantização de inteiros de 8 bits (INT8) em plataformas altamente heterogêneas: um Apple M4 Pro, um Qualcomm Snapdragon 8 Elite e uma GPU de desktop NVIDIA RTX 4070. Utilizando o AI Model Efficiency Toolkit (AIMET), aplicamos tanto a Quantização Pós-Treinamento (PTQ) quanto o Treinamento Ciente da Quantização (QAT) em arquiteturas otimizadas para borda (MobileNetV1, SqueezeNet) e de uso geral (ResNet). Nossos resultados demonstram que o QAT recupera com sucesso a capacidade representacional perdida pela PTQ em modelos compactos. Além disso, mostramos que aceleradores de borda de domínio específico executando cargas de trabalho INT8 nativamente não apenas rivalizam com a latência sequencial de uma GPU de desktop de 200 Watts, mas o fazem com uma eficiência extraordinária. Especificamente, a quantização proporcionou uma redução de energia de até 89,5% no Apple Neural Engine e uma aceleração de latência de 9,14× na NPU Snapdragon Hexagon em comparação com suas linhas de base não quantizadas, provando que a quantização de inteiros é um pré-requisito arquitetural para superar o gargalo de memória e viabilizar uma IA de borda sustentável em tempo real. ...
Instituição
Universidade Federal do Rio Grande do Sul. Instituto de Informática. Curso de Ciência da Computação: Ênfase em Engenharia da Computação: Bacharelado.
Coleções
-
TCC Ciência da Computação (1246)
Este item está licenciado na Creative Commons License


