A UNet MobileNetV2 palpebral fissure segmentation model in the context of blink analysis

Abstract

The analysis of the eyes region and its movements in a video can be used in areas such as health, user authentication, awareness detection, and detection of fake videos. In one of the possible health applications, partial blinks are related to Computer Vision Syndrome and are higher in Dry Eye Disease patients than in normal subjects. Conventional measurement techniques have limitations for detecting and analyzing the completeness of blinks due to the different eye and blink characteristics of individuals, as well as their position and movements, and the need for high-resolution images of the eye’s region. However difficult, these measurements are interesting for determining the presence of incomplete blinks in videos obtained from cameras or generated by artificial intelligent models. This work investigates the use of a UNet with a pretrained MobileNetV2 encoder to measure the palpebral fissure in pixels in situations where the eyes cover a small region of the images, such as images from a computer webcam. The semantic segmentation of the palpebral fissure is the first step in solving this problem, characterizing individuals well regardless of these factors. Training, validation and test sets were generated based on the CelebAMask-HQ, Closed Eyes in the Wild and FF-HQ datasets. Applying data augmentation and the fine-tuned model, a Dice Coefficient metric of 0.899 for the test data was obtained, a result similar to that obtained by models trained with high-resolution images in which the eye region occupies most of the image. The discussion of the application of this type of model in videos in which the eyes cover only a small region is then proposed for the video dataset Eyeblink8, in which the models were applied.

A análise da região dos olhos e seus movimentos em um vídeo pode ser usada em áreas como saúde, autenticação de usuários, detecção de consciência e detecção de vídeos falsos. Em uma das possíveis aplicações na área da saúde, as piscadas incompletas estão relacionadas à Síndrome da Visão do Computador e são mais frequentes em pacientes com doença do olho seco do que em indivíduos normais. As técnicas de medição convencionais têm limitações para detectar e analisar a completude das piscadas devido às diferentes características dos olhos e dos indivíduos, bem como sua posição e movimentos, e à necessidade de imagens de alta resolução da região dos olhos. Por mais difíceis que sejam, essas medições são interessantes para determinar a presença de piscadas incompletas em vídeos obtidos por câmeras ou gerados por modelos de inteligência artificial. Este trabalho investiga o uso de uma UNet com um codificador MobileNetV2 pré-treinado para medir a fenda palpebral em pixels em situações em que os olhos cobrem uma pequena região das imagens, como imagens de uma webcam de computador. A segmentação semântica da fenda palpebral é o primeiro passo para resolver esse problema, caracterizando bem os indivíduos, independentemente desses fatores. Os conjuntos de treinamento, validação e teste foram gerados com base nos conjuntos de dados CelebAMask-HQ, Closed Eyes in the Wild e FF-HQ. Aplicando o aumento de dados e o modelo ajustado, obteve-se uma métrica de Coeficiente de Dice de 0,899 para os dados de teste, um resultado semelhante ao obtido por modelos treinados com imagens de alta resolução nas quais a região dos olhos ocupa a maior parte da imagem. A discussão da aplicação desse tipo de modelo em vídeos nos quais os olhos cobrem apenas uma pequena região da imagem é proposta para o dataset de vídeo Eyeblink8, nos quais os modelos foram aplicados.