CNNs multi-entrada para detecção de sonolência via sinais de EEG

Abstract

Com o aumento drástico do número de veículos conduzidos diariamente, também há o aumento no total de acidentes de trânsito, sendo uma parcela desses causados pela falta de atenção ou sonolência ao volante. Visando remediar essa situação, diferentes trabalhos da literatura propõem identificar o nível de sonolência do condutor, permitindo tomar a devida providência de forma antecipada, alertando-o. Sinais de eletroencefalograma (EEG) capturam a atividade elétrica do escalpo de indivíduos de forma não-invasiva. Analisando a intensidade, duração e algumas outras características desses sinais, incluindo as frequências dominantes, é possível associá-los a estados cognitivos, atividades mentais ou motoras e patologias. Informações desses sinais são usualmente extraídas de dois domínios: temporal e espectral. Ainda há discussões sobre qual domínio oferece maior capacidade de reconhecimento quando utilizado por algoritmos de aprendizado de má- quina. Este trabalho investiga a adoção de uma rede neural convolucional (convolutional neural network, CNN) com diversas entradas (multi-branch) para o problema de detecção de sonolência. As várias entradas da CNN processam diferentes versões do sinal de EEG, filtradas pela transformada wavelet discreta de Haar, que se relacionam a ritmos cerebrais associados aos estados de sonolência e alerta. São consideradas diferentes combinações de entradas (ritmos utilizados). Nossa metodologia é avaliada em uma base de dados pública e comparada a um trabalho do estado da arte. Os resultados indicam que a modelagem com filtragem dos sinais em ritmos cerebrais atinge 81.6% de acurácia e supera outras que trabalham sobre sinais não filtrados.

With the drastic increase in the number of vehicles driven daily, there is also an increase in the total number of traffic accidents, some of which are caused by lack of attention or drowsiness at the wheel. To remedy this situation, different works in the literature propose identifying the driver’s sleepiness level, allowing them to take the appropriate action in advance, alerting him. Electroencephalogram (EEG) signals non-invasively capture electrical activity from the scalp of individuals. Analyzing the intensity, duration, and some other characteristics of these signals, including the dominant frequencies, it is possible to associate them with cognitive states, mental or motor activities, and pathologies. Information from these signals is usually extracted from two domains: temporal and spectral. There are still discussions about which domain offers greater recognition capacity when used by machine learning algorithms. This work investigates the adoption of a convolutional neural network (CNN) with multiple inputs (multi-branch) for the sleepiness detection problem. The various CNN inputs process different versions of the EEG signal, filtered by the discrete Haar wavelet transform, which relates to brain rhythms associated with sleepiness and alertness. Different combinations of inputs are considered (rhythms used). Our methodology is evaluated in a public database and compared to a state-of-theart work. The results indicate that the modeling with filtering of the signals in rhythms reaches 81.6% accuracy and surpasses approaches that work on raw signals.