Desenvolvimento de metodologia baseada em aprendizado por reforço e Sistema de Inferência Fuzzy para identificação e minimização de contaminantes em sinais de sEMG com aplicação em identificação de movimentos do segmento mão-braço

Abstract

A incessante busca por novas tecnologias que proporcionem aumento da qualidade de vida do ser humano tem norteado a pesquisa acadêmica ao longo da história. Isso é observado na evolução dos meios de transporte, dos dispositivos de comunicação e até mesmo de serviços como o bancário. No entanto, para pessoas com deficiência motora, em especial aquelas que sofreram amputação ou não possuem parte do membro superior, a conquista de melhores condições de vida está potencialmente relacionada com liberdade e independência. Visando suprir esta necessidade, muitos pesquisadores têm trabalhado no desenvolvimento de algoritmos preditores de movimento do segmento mão-braço a partir de sinais de eletromiografia para o controle de próteses na expectativa de aumentar o número de graus de liberdade do dispositivo. Contudo, para que se obtenha sistemas eficientes e que tenham elevados índices de assertividade, é imprescindível que o nível de interferência e ruído, os quais inevitavelmente estão presentes nos registros de eletromiografia devido à instrumentação, ambiente, aspectos fisiológicos, dentre outros, seja o menor possível. Neste contexto, alguns trabalhos foram desenvolvidos visando a minimização do efeito de interferências no classificador, contudo todos aqueles abrangidos pela pesquisa realizada demandam um estágio de treinamento off-line, não são adaptáveis às variações do sinal de EMG e/ou dependem do sinal dos outros canais de medição para a minimização do efeito degradador. Diante disso, a presente proposta de tese apresenta uma metodologia baseada em aprendizagem por reforço (Reinforcement Learning) e Sistema de Inferência Fuzzy para detecção, identificação do tipo e atenuação do efeito de contaminantes em registros de eletromiografia, com aplicação em sistemas de reconhecimento de gestos do membro superior. O mesmo está fundamentado em um modelo de agente e ambiente, sendo constituído dos seguintes elementos: ambiente (atividade elétrica muscular), estado (conjunto de 6 características extraídas do sinal de EMG), ações (aplicação de filtros/procedimentos específicos para a redução do impacto de cada interferência) e agente (controlador que fará a identificação do tipo da contaminação e executará a ação adequada). Para cada ação exercida pelo agente será atribuída uma recompensa a qual, por sua vez, é determinada em virtude do impacto da primeira nas características do sinal (estado) por meio de um Sistema de Inferência Fuzzy. O treinamento, realizado através do método Ator-Crítico, consiste na obtenção de uma política de ações que maximize a recompensa percebida a longo prazo. Por meio de um experimento realizado de forma off-line conseguiu-se taxas de acerto de 92,96% na identificação de 4 tipos de contaminantes (interferência por eletrocardiografia (ECG), artefato de movimento, interferência eletromagnética oriunda da rede de energia elétrica e ruído branco gaussiano) e 69,5% quando se considerou também sinal íntegro. Além disso, por meio de um estudo de caso simulando-se o treinamento online do agente evidenciou-se que o modelo de Transfer Learning adotado foi eficaz na dispensa da necessidade do uso de dados adquiridos previamente do usuário além de acelerar o processo de aprendizado. Estas propriedades são fundamentais para a implementação de qualquer sistema de forma online. Logo, verificou-se indícios de que o SIF-ACRL tem, de fato, potencial para ser implementado de forma online.

The incessant search for new technologies that provide increased quality of life for human beings has guided academic research throughout history. This is observed in the evolution of transports, communication devices and even services such as banking. However, for people with motor disabilities, especially those who have had an amputation or do not have part of the upper limb, achieving better living conditions is potentially related to freedom and independence. To meet this need, many researchers have been working on the development of hand-arm segment movement predictors algorithms from electromyography signals for the control of prostheses in the hope of increasing the device's degrees of freedom. However, to obtain efficient systems that have high levels of assertiveness, it is essential that the interference and noise level, which are inevitably present in the electromyography records due to the instrumentation, environment, physiological aspects, among others, is the lowest possible. In this context, some works were developed aiming at minimizing the effect of interference in the classifier, however, all those covered by the performed research demand an offline training stage, are not adaptable to the EMG signal variations, and/or depend on the signal of others measurement channels to minimize the degrading effect. In view of this, the present thesis proposal presents a methodology based on Reinforcement Learning and Fuzzy Inference System for detection, identification of the type and mitigation of the effect of contaminants in electromyography records, with application in gesture recognition systems of the upper limb. It is based on an agent and environment model, consisting of the following elements: environment (muscle electrical activity), state (set of 6 characteristics extracted from the EMG signal), actions (application of specific filters/procedures to reduce impact of each interference) and agent (controller who will identify the type of contamination and take the appropriate action). For each action performed by the agent, a reward will be attributed which, in turn, is determined by the impact of the actions on the signal features (state) by means of a Fuzzy Inference System. The training, carried out through the Actor-Critic method, consists of obtaining an action policy that maximizes the long term perceived reward. Through an experiment carried out offline, success rates of 92.96% were achieved in the identification of 4 types of contaminants (interference by electrocardiography (ECG), motion artifact, electromagnetic interference from the electricity network and Gaussian white noise) and 69.5% when a clean signal class was added. In addition, a case study simulating the agent's online training showed that the Transfer Learning model adopted was effective in dispensing with the need to use data previously acquired from the user, in addition to accelerating the learning process. These properties are fundamental for the implementation of any system online. Therefore, there were indications that the SIF-ACRL has the potential to be implemented online.