Codificação de sequências temporais em padrões espaciais em redes neurais

Abstract

Há evidências de que diferentes redes neuronais cerebrais podem ter formas distintas de manter informações, tanto em termos de mecanismo quanto de codificação. Em particular, quando se modela a função de memória no cérebro, dois referenciais teóricos são frequentemente usados: redes atratoras recorrentes e buffers de memória de trabalho baseados na biestabilidade. Neste trabalho, propomos estudar o acoplamento funcional entre diferentes mecanismos de armazenamento e processamento de informação, focalizando o caso especial de uma arquitetura neural composta de dois buffers de memória de trabalho e uma rede recorrente (RNN) que é capaz de manter memórias de longo prazo como atratores. A sequência temporal que chega do buffer de entrada é armazenada como um padrão espacial na RNN, e depois decodificada como um padrão temporal no buffer de saída. Analisamos a questão que diz respeito a possibilidade de uma estrutura de rede aleatória na RNN ser suficiente para garantir a transferência de informação entre os dois buffers. Exploramos quatro modelos de conectividade aleatória: Erdös-Rényi (ER), Watts-Strogatz (WS), Newman-Watts-Strogatz (NWS) e Barabási-Albert (BA). Usando como métrica para o erro de codificação a distância de edição entre as sequências de entrada e saída, mostramos que os modelos de conectividade que correspondem a redes com propriedades de pequeno-mundo são mais eficientes do que os outros modelos.

There are evidences that different brain networks may have distinct forms of holding information, both in terms of mechanism and coding. In particular, when modeling memory function in the brain, two theoretical frameworks have been used: recurrent attractor networks and bistability based working memory buffers. In this work we propose a mechanism using inhibitory competition that provides a satisfactory functional coupling between such different forms of information storage and processing. We focus in the simpler case of a neural architecture comprised of two working memory buffers that interact via a recurrent neural network (RNN) that is capable of holding long term memories as attractors. The temporal sequence coming from the input buffer is stored as a spatial pattern in the RNN, and subsequently decoded as a temporal pattern in the output buffer. We address the question of whether a random network structure in RNN could be sufficient to guarantee information transfer between the two buffers. We explore four models of random connectivity: Erdös-Rényi (ER), Watts-Strogatz (WS), Newman-Watts-Strogatz (NWS) and Barabási-Albert (BA). Using as a metric for the encoding error the edit distance between the output and input sequences, we show that the connectivity models which correspond to networks that have small-world properties are more efficient than the other models.