Análise de aplicação de visão computacional e redes neurais, em conjunto com o uso de técnicas de aumento de dados, na tradução automática de libras

Abstract

A Língua Brasileira de Sinais (LIBRAS), uma língua de modalidade gestual-visual empregada pela comunidade surda no Brasil, enfrenta cotidianamente o desafio da barreira comunicacional entre surdos e ouvintes. Nesse contexto, este estudo busca desenvolver um sistema de visão computacional capaz de identificar sinais para auxiliar na tradução de LIBRAS para português, visando aumentar a inclusão da comunidade surda através da comunicação. O escopo da pesquisa aborda fundamentos da LIBRAS, redes neurais com memória de longo e curto prazo (Long Short-Term Memory - LSTM), e a tecnologia Mediapipe. Além disso, o estudo compreendeu os treinamentos de 10 conjuntos, realizando modificações nos conjuntos de dados para avaliar o impacto nas métricas de desempenho. As modificações realizadas nos conjuntos de dados foram realizadas através do espelhamento horizontal, translação e aumento do brilho das sequências de imagens extraídas de vídeos contendo três sinais distintos. A avaliação do sistema se deu por meio de métricas de desempenho, incluindo a taxa de acerto na tradução dos gestos. Os melhores resultados foram obtidos com o Conjunto 9. Esse conjunto utilizou um grupo de dados gerado a partir de vídeos de cinco indivíduos, cada um executando cada sinal por dez vezes, com subsequente aplicação das três técnicas de aumento de dados avaliadas. Isso resultou em uma acurácia de 100% tanto no treinamento quanto na validação, indicando um potencial promissor das ferramentas e metodologias empregadas neste trabalho na tradução de línguas de sinais

Brazilian Sign Language (LIBRAS) is a gestural-visual language used by the deaf community in Brazil that consistently faces the challenge of communicational barriers between deaf and hearing individuals. In this context, this study develops a computer vision system to translate LIBRAS into Portuguese, aiming to increase the inclusion of the deaf community through communication. The research scope covers the fundamentals of LIBRAS, long short-term memory (LSTM) neural networks, and Mediapipe technology. Moreover, the study comprised ten distinct training sets, applying data augmentation techniques to the datasets to assess their impact on the performance metrics. The data augmentation techniques applied to the image sequences extracted from the videos in which three different signs were recorded were horizontal mirroring, offset, and brightness increase. System evaluation was conducted through the analysis of performance metrics, including gesture translation accuracy rate. The best results were obtained by Set 9. This training used a dataset in comprised by videos of five individuals in whose each sign was performed ten times, followed by the use of the three data augmentation techniques evaluated. This resulted in a 100% accuracy rate for both training and validation, indicating good feasibility of translating sign languages with the tools and methodology employed in this work