Desempenho e expressividade da função de ativação PReLU em modelos neurais

Abstract

Este estudo investiga a eficiência e expressividade da função de ativação PReLU (Parametric Rectified Linear Unit) em redes neurais profundas, com foco em sua capacidade de substituir outras funções amplamente utilizadas, como ReLU, Tanh e Abs. A PReLU, uma extensão da ReLU, destaca-se por introduzir um parâmetro adaptável que resolve limitações como o problema de unidades mortas, além de ser capaz de assumir a forma de outras funções de ativação. A pesquisa parte da hipótese de que essa flexibilidade pode oferecer vantagens práticas emtarefas complexas, como maior acurácia e/ou aprendizado mais eficiente. Para avaliar essas hipóteses, foram realizados experimentos com arquiteturas consagradas, como LeNet e RDNet, utilizando datasets de classificação de imagens amplamente reconhecidos, como MNIST, FashionMNIST e CIFAR-10. Os resultados indicam que a PReLU apresenta um desempenho competitivo em relação às demais funções, frequentemente apresentando valores de acurácia superiores. Estes achados reforçam seu potencial como uma solução simples e versátil para problemas de classificação de imagens em redes neurais.

This study investigates the efficiency and expressiveness of the Parametric Rectified Linear Unit (PReLU) activation function in deep neural networks, focusing on its ability to replace other widely used functions such as ReLU, Tanh, and Abs. PReLU, an extension of ReLU, introduces a learnable parameter that addresses limitations such as the dying neuron problem while also being capable of assuming the shape of other activation functions. The research hypothesizes that this flexibility can offer practical advantages in complex tasks, such as improved accuracy and/or more efficient learning. To evaluate these hypotheses, experiments were conducted with established architectures, including LeNet and RDNet, using well-known datasets such as MNIST, FashionMNIST, and CIFAR-10. The results indicate that PReLU not only achieves competitive performance but also reduces the need for neurons in certain scenarios, contributing to the development of more compact and expressive models. These findings reinforce its potential as a simple and versatile solution for activation function challenges in neural networks.