Modelo neuro-evolutivo de coordenação adaptativa em ambientes dinâmicos

Abstract

Em ambientes dinâmicos e complexos, a política ótima de coordenação não pode ser derivada analiticamente, mas, deve ser aprendida através da interação direta com o ambiente. Geralmente, utiliza-se aprendizado por reforço para prover coordenação em tais ambientes. Atualmente, neuro-evolução é um dos métodos de aprendizado por reforço mais proeminentes. Em vista disto, neste trabalho, é proposto um modelo de coordenação baseado em neuro-evolução. Mais detalhadamente, desenvolveu-se uma extensão do método neuro-evolutivo conhecido como Enforced Subpopulations (ESP). Na extensão desenvolvida, a rede neural que define o comportamento de cada agente é totalmente conectada. Adicionalmente, é permitido que o algoritmo encontre, em tempo de treinamento, a quantidade de neurônios que deve estar presente na camada oculta da rede neural de cada agente. Esta alteração, além de oferecer flexibilidade na definição da topologia da rede de cada agente e diminuir o tempo necessário para treinamento, permite também a constituição de grupos de agentes heterogêneos. Um ambiente de simulação foi desenvolvido e uma série de experimentos realizados com o objetivo de avaliar o modelo proposto e identificar quais os melhores valores para os diversos parâmetros do modelo. O modelo proposto foi aplicado no domínio das tarefas de perseguição-evasão.