Neuroevolution of neural network architectures using CoDeepNEAT and Keras

Abstract

Evolution of Neural Network Architectures Using CoDeepNEAT and Keras Machine learning is a huge field of study in computer science and statistics dedicated to the execution of computational tasks through algorithms that do not require explicit instructions, but instead rely on learning patterns from data samples for the purpose of automating inferences. A large portion of the work involved in a machine learning project is to define the best type of algorithm to solve a given problem. Neural networks - especially deep neural networks - are the predominant type of solution in the field, but the networks themselves can produce very different results according to the architectural choices made for them. Finding the optimal network topology and configurations for a given problem is a challenge that requires domain knowledge and testing efforts due to the large amount of parameters that need to be considered. The purpose of this work is to propose an adapted implementation of a well-established evolutionary technique from the neuroevolution field that manages to automate the tasks of topology and hyperparameter selection, using a popular and accessible machine learning framework - Keras - as back-end, presenting results and proposed changes in relation to the original algorithm.

Aprendizado de máquina é um extenso campo de estudo nas áreas de ciência da computação e estatística dedicado à execução de tarefas computacionais através de algoritmos que não requerem instruções explícitas, mas dependem do aprendizado de padrões em conjuntos de dados para o propósito de automatizar inferências. Grande porção do trabalho envolvido em um projeto de aprendizado de máquina é definir o melhor tipo de algoritmo para resolver um dado problema. Redes neurais, especialmente redes neurais profundas, são o tipo de solução predominante no campo de estudo de aprendizado de máquina, mas as próprias redes podem produzir resultados muito diferentes de acordo com as decisões arquiteturais feitas para as mesmas. Encontrar a topologia de rede neural e as configurações adequadas para um dado problema é um desafio que requer conhecimento de domínio e esforços de teste devido à imensa quantidade de parâmetros que devem ser considerados. O propósito deste trabalho de conclusão de curso é propor uma implementação adapatada de uma técnica evolutiva do campo de neuroevolução que consegue automatizar as tarefas de seleção de topologia e hiperparâmetros, usando um framework de aprendizado de máquina acessível e popular - Keras - como base, apresentando resultados e mudanças propostas em relação ao algoritmo original.