TS2Image : a software to convert EEG time series into images for training brain-computer interface convolutional neural networks

Abstract

The current advances in neuroscience, signal processing, and artificial intelligence allow scientists to explore new ways to communicate with computers continually. These ef forts will drastically impact society, especially individuals with neuromuscular disorders that prevent them from using conventional communication and/or motor methods. Brain Computer Interfaces (BCI) are the current state-of-the-art method that seeks to tackle the mentioned difficulties. Due to the lack of pre-existing software tooling, BCI research workflows and pipelines are currently developed on-demand, requiring a computer sci ence background. Therefore, this work presents a new software tool and pipeline to make BCI research accessible to those lacking a computer science background for signal pro cessing. The proposed software generates images from EEG signals to then be used to train a Deep Learning model, namely, a Convolutional Neural Network (CNN), which aims to extract and classify the BCI features automatically. The initial implementation comprises Python algorithms for generating the images from the time series (EEG signals) using the Gramian Angular Field (GAF) and Event-Related Spectral Dynamics (ERSP) techniques. This software aims to reduce time and effort in creating image data sets to train CNN models, using rich diversity of customizable settings, like the window size, channels, and method (GAF or ERSP), that can improve the classification rates. Thus, we expect the BCI research community to benefit from this tool, allowing the ability to ex plore the EEG classification problem using different images rather than the time series for explaining BCI signatures and improving the classification stage. Finally, we experiment with the software training a Deep Learning architecture (VGG-16) using the generated images from the well-known BCI Competition IV data set B.

Os recentes avanços em neurosciencia, processamento de sinais, e inteligência artificial permitem cientistas explorar novas formas de se comunicar com computador continuamente. Estes esforços impactarão drásticamente a sociedade, especialmente indivíduos com distúrbios neuromusculares que os impedem de utilizar métodos convencionais de comunicação e/ou motores. As Interfaces Cérebro-Computador (ICC) são o atual método estado da arte que busca contornar as dificuldades mencionadas. Devido à falta de ferramentas de software pré-existentes, os fluxos de trabalho e pipelines de pesquisa em ICC são desenvolvidos sob demanda, exigindo conhecimentos em ciência da computação. Portanto, este trabalho apresenta uma nova ferramenta de software e pipeline para tornar a pesquisa em ICC mais acessível aqueles que não possuem experiência em ciência da computação para processamento de sinais. O software proposto gera imagens a partir de sinais de EEG para, então, serem utilizadas no treinamento de um modelo de Deep Le arning, mais especificamente, uma Rede Neural Convolucional (RNC), visando extrair e classificar as características da ICC de forma automática. A implementação inicial inclui algoritmos em Python para geração de imagens a partir de séries temporais (sinais EEG) usando as técnicas Gramian Angular Field (GAF) e Event-Related Spectral Dynamics (ERSP). Este software visa reduzir o tempo e esforço na criação de conjuntos de dados de imagem para treinar modelos CNN, utilizando uma rica diversidade de configurações personalizáveis, como o tamanho da janela, canais e método (GAF ou ERSP), que podem melhorar as taxas de classificação. Assim, esperamos que a comunidade de pesquisa em ICC se beneficie desta ferramenta, permitindo a capacidade de explorar o problema de classificação EEG usando imagens diferentes ao invés de séries temporais para explicar assinaturas de sinais de ICCs e melhorar o estágio de classificação. Finalmente, expe rimentamos o de treinamento uma arquitetura de Deep Learning (VGG-16) usando as imagens geradas pelo software a partir do conhecido conjunto de dados BCI Competition IV.