Otimização de parâmetros de redes neurais do tipo feedforward com algoritmos meta-heurísticos

Abstract

O campo das meta-heurísticas tem experimentado um crescimento notável tanto em ter mos de interesse acadêmico quanto de produção científica. As meta-heurísticas, uma classe de métodos de otimização inspirados por processos naturais e heurísticas adaptativas, têm desem penhado um papel crucial na solução de problemas complexos em diversos domínios, como, por exemplo, na otimização de redes neurais, design de sistemas e análise de dados. Este tra balho teve como objetivo implementar e analisar combinações de algoritmos convencionais e meta-heurísticos para otimização de parâmetros em Redes Neurais Feedforward (FNNs), uti lizando tanto técnicas de busca local quanto global. Utilizou-se o Método Experimental para comparar quatro métodos de otimização: aleatório (RAND), Algoritmo Genético (GA), Oti mização por Enxame de Partículas (PSO) e um híbrido GA-PSO (HGAPSO), aplicados a três datasets distintos. Os testes mostraram que o PSO foi o mais eficaz, seguido pelo GA, en quanto o HGAPSO apresentou desempenho intermediário e o RAND teve maior variabilidade e desempenho inferior. A análise estatística confirmou a eficácia das meta-heurísticas em com paração com abordagens aleatórias. Os resultados destacam o PSO como a técnica mais eficaz para otimização de FNNs nos problemas de regressão escolhidos, de acordo com o comparativo da métrica RMSE e o tempo de execução dos algoritmos como um limitante

The field of metaheuristics has experienced remarkable growth in both academic interest and scientific output. Metaheuristics, a class of optimization methods inspired by natural pro cesses and adaptive heuristics, have played a crucial role in solving complex problems across various domains, such as neural network optimization, system design, and data analysis. This study aimed to implement and analyze combinations of conventional and metaheuristic al gorithms for parameter optimization in Feedforward Neural Networks (FNNs), utilizing both local and global search techniques. The Experimental Method was employed to compare four optimization methods: random (RAND), Genetic Algorithm (GA), Particle Swarm Optimiza tion (PSO), and a hybrid GA-PSO (HGAPSO), applied to three different datasets. The tests showed that PSO was the most effective, followed by GA, while HGAPSO performed interme diately, and RAND exhibited greater variability and inferior performance. Statistical analysis confirmed the effectiveness of metaheuristics compared to random approaches. The results highlight PSO as the most effective technique for optimizing FNNs in the selected regression problems, considering the RMSE metric and the execution time of the algorithms as a limiting factor