Super-resolucao de audio utilizando redes neurais artificiais

Abstract

A super-resolução de áudio é um problema da teoria de processamento de sinais cujo objetivo é aumentar o número de pontos no conjunto de amostras de um sinal de forma inteligente, resultando em uma aproximação de uma frequência de amostragem superior e uma melhor qualidade percebida. Recentemente, técnicas de redes neurais artificiais têm recebido muita atenção para a resolução de inúmeras diferentes categorias de problemas. O presente trabalho busca, portanto, estudar as metodologias de super-resolução de sinais de voz com foco no uso de redes neurais artificiais, que demonstram um grande potencial nesta área. Para isso, são investigadas duas diferentes arquiteturas de redes neurais (um autoencoder e uma rede convolucional baseada em autoencoders) para 3 diferentes taxas de ampliação de frequência de amostragem (2, 4 e 6), bem como diferentes técnicas de treinamento para avaliar o seu desempenho no problema proposto. Além disso, são realizadas comparações com abordagens tradicionais de processamento de sinais, utilizando as métricas de desempenho SNR (relação sinal-ruído), LSD (distância logarítmica do espectro) e o tempo de inferência. Por fim, é avaliada a possibilidade de se empregar uma rede neural de super-resolução para a conversão de sinais de áudio em tempo real. Foi concluído que, para todas as taxas r = 2 e r = 4 de ampliação de frequência de amostragem, a rede convolucional possui o melhor desempenho: SNR de 27,2 e 22,6, enquanto que para r = 6 a rede mais performática foi um autoencoder de pequeno porte e rápido tempo de inferência. A baseline considerada foi a interpolação spline, cuja maior vantagem é o tempo de inferência extremamente rápido, apesar de não resultar em boas métricas de desempenho quando comparada às redes neurais.

Audio super-resolution is a problem of signal processing theory whose goal is to intelligently increase the number of points of a signal sample set, resulting in an approximation of a higher sampling frequency and improved perceived quality. Recently, artificial neural network techniques have been used to solve different kinds of problems. The present work aims to study existing techniques of voice signal super-resolution focusing on artificial neural networks, which demonstrate great potential in this area. To this end, two different neural network architectures (an autoencoder and a convolutional network based on autoencoders) are investigated for 3 different upsampling rates (2,4 and 6), as well as different training techniques to evaluate their performance on said problem. In addition, comparisons with traditional signal processing techniques are made, using SNR (signalto- noise ratio), LSD (log-spectral distance), and inference time as performance metrics. Finally, the possibility of using a super-resolution neural network for real-time audio signal conversion is assessed. It was concluded that, for all the amplification rates of r = 2 and r = 4, the convolutional network has the best performance: SNR of 27.2 and 22.6, while for r = 6 the most performant network was a small and fast-inference autoencoder. The considered baseline was the spline interpolation, whose greatest advantage is the extremely fast inference time, despite not resulting in good performance metrics when compared to neural networks.