Computationally-efficient neural networks for image compression

Abstract

Neural-network image compression (NNIC) is an emerging field, with notable works achieving promising results in terms of image quality, but yet to achieve feasible computational times. NNIC solutions employ the use of Autoencoders (AEs) (compression networks made of an encoder and a decoder part), commonly built with convolutional layers. Recent publications show that NNIC networks are capable of obtaining equal or better rate-distortion performance and visual quality on image compression when comparing with traditional compression methods, while allowing more flexibility on the model design. However, these networks introduce new challenges regarding computational cost, since NNIC demands high computational power for compression and decompression and has not achieved great results in regards to processing time, even when specialized platforms like GPUs are used. This work proposes to optimize one of the reference models available in the literature to achieve better processing time while trying to maintain the compression quality. Differently from other solutions that aim at achieving higher compression or better image quality, our proposal will focus on reducing the computational cost of NNIC techniques, with special focus on the decoder side of these networks. Experimental results, gathered from compressing and decompressing images from the Kodak dataset, show that with small pruning-based changes on the decoder layers of the network, it is possible to achieve, on average, for the lowest compression ratio, 33.33% reduction in decompression time when using the best model for GPU, with an average PSNR loss of 0.01 dB. When using the best model for CPU, the decompression time reduction was of 55%, with a PSNR loss of 0.07 dB. The quality and performance metrics were gathered from compressing/decompressing the images of the Kodak dataset. Although, the CPU decompression time does not achieve ideal decompression times when compared to JPEG 2000, while the GPU reaches similar results as JPEG 2000. We expect that this work sparks interest in developing ways to make NNIC as accessible as possible with current technology and that it can help the development of current, and future, media formats.

A compressão de imagens em redes neurais (NNIC) é uma área emergente, com trabalhos notáveis alcançando resultados promissores em termos de qualidade de imagem, mas ainda sem atingir tempos computacionais viáveis. As soluções NNIC empregam o uso de Autoencoders (AEs) (redes de compressão compostas por um codificador e uma parte decodificadora), comumente construídas com camadas convolucionais. Publicações recentes mostram que as redes NNIC são capazes de obter desempenho de taxa-distorção e qualidade visual iguais ou melhores na compressão de imagens quando comparadas com métodos de compressão tradicionais, ao mesmo tempo que permitem maior flexibilidade no design do modelo. Porém, essas redes introduzem novos desafios em relação ao custo computacional, uma vez que NNIC demanda alto poder computacional para compressão e descompressão e não tem alcançado grandes resultados em relação ao tempo de processamento, mesmo quando são utilizadas plataformas especializadas, como GPUs. Este trabalho propõe otimizar um dos modelos de referência disponíveis na literatura para obter melhor tempo de processamento e ao mesmo tempo tentar manter a qualidade da compressão. Diferentemente de outras soluções que visam obter maior compressão ou melhor qualidade de imagem, nossa proposta focará na redução do custo computacional das técnicas NNIC, com um foco especial no lado decodificador destas redes. Resultados experimentais, obtidos pela compressão e descompressão das imagens do conjunto de imagens Kodak, mostram que com pequenas alterações baseadas em poda nas camadas decodificadoras da rede, é possível atingir, em média, para a menor taxa de compressão, redução de 33.33% no tempo de descompressão, ao utilizar o melhor modelo para GPU, com uma perda média de PSNR de 0.01 dB. Ao utilizar o melhor modelo para CPU, a redução do tempo de descompressão foi de 55%, com perda de PSNR de 0.07 dB. Porém, o tempo de descompressão da CPU não atinge tempos de descompressão ideais quando comparado ao JPEG 2000, enquanto a GPU atinge resultados semelhantes aos do JPEG 2000. Esperamos que este trabalho desperte o interesse no desenvolvimento de formas de tornar o NNIC tão acessível quanto possível, com a tecnologia atual, e que possa ajudar no desenvolvimento de formatos de mídia atuais e futuros.