Do I have a third arm? Towards a Supernumerary Motor Imagery Brain-Computer Interface in Virtual Reality

Abstract

Brain-Computer Interface (BCI) opened the possibility of communicating the human with sys- tems and devices using brain signals. This area has inspired researchers to develop several applications such as medical rehabilitation of disabled people, robotic prostheses, games, and assisted virtual reality (VR) scenarios. In effect, VR is currently employed to improve the BCI’s reliability through realistic and natural training and feedback. Motor imagery Brain-Computer Interface (MI-BCI) is a paradigm widely used for controlling external devices by imagining bodily movements. So far, nevertheless, MI-BCI has only used embodied limbs for the imag- inary tasks, even though that psychology has conclusively demonstrated the existence of body transfer illusions (rubber hand illusion).Thus, this thesis studies and explores the inclusion of an imaginary third arm as a part of the control commands for MI-BCI while comparing the ef- fectiveness of using the conventional arrows and fixation cross as training step (Graz condition) against a first-person view of a human-like avatar performing the corresponding task (Hands condition). Both conditions made in a VR scenario. Ten healthy subjects participated in a two- session experiment involving open-close hand tasks (including a third arm that comes out from the chest). The EEG analysis shows a strong power decrease in the sensory-motor areas for the third arm task in both conditions. Furthermore, the offline classification results show that a third arm can be effectively used as a control command (accuracy > 0.62%). Likewise, Hands condition (67%) outperforms Graz condition (63%) significantly, suggesting that the realistic scenario can reduce the abstractness of the third arm and improve the performance, however, this condition induces a cognitive load. Finally, with this thesis, a door is open towards the cre- ation of a supernumerary MI-BCI system with the inclusion of non-embodied motor imagery tasks.

As interfaces cérebro-computador (BCI) abriu a possibilidade de comunicar ao hómem com sistemas e dispositivos usando sinais cerebrais. Essa area tem inspirado pesquisadores a de- senvolver várias applicações, como reabilitação médica de pessoas com deficiência, próteses robóticas, jogos e cenarios assitivos em Realidade Virtual (VR). De fato, VR está atualmente sendo empregada para melhorar a confiabilidade do BCI por meio de treinamentos e feedback realisticos e naturais. Imaginação motora Interface cérebro-computador (MI-BCI) é um pa- radigma amplamente utilizado para controlar dispositivos externos, imaginando movimentos corporais. Até agora, no entanto, o MI-BCI usou apenas membros incorporados para as tare- fas imaginárias, mesmo que a psicologia tenha demonstrado conclusivamente a existência de ilusões de transferência do corpo (ilusão mão de borracha). Assim, esta tese estuda e explora a inclusão de um terceiro braço imaginário como parte dos comandos de controle do MI-BCI, comparando a eficácia do uso das setas convencionais e da cruz de fixação como etapa de trei- namento (condição Graz) contra uma visão em primeira pessoa de um avatar semelhante ao humano executando a tarefa correspondente (condição Hands) Ambas condições feitas num cenário de VR. Dez indivíduos saudáveis participaram de um experimento de duas sessões en- volvendo tarefas de mão aberta. A análise do EEG mostra uma forte queda de potência nas áreas sensório-motoras para a tarefa do terceiro braço em ambas as condições. Além disso, os resultados da classificação off-line mostram que um terceiro braço pode ser efetivamente usado como um comando de controle (accuracia > 0.62%) Da mesma forma, a condição Hands (67%) supera significativamente a condição Graz (63%), sugerindo que o cenário realista pode reduzir a abstração do terceiro braço e melhorar o perfomance, no entanto, esta condição induz uma carga cognitiva. Finalmente, com esta tese, abre-se uma porta para a criação de um sistema MI-BCI supranumerário com a inclusão de tarefas de imaginação motora não incorporadas.