Adaptive face tracking based on online learning

Abstract

Object tracking can be used to localize objects in scenes, and also can be used for locating changes in the object’s appearance or shape over time. Most of the available object tracking methods tend to perform satisfactorily in controlled environments but tend to fail when the objects appearance or shape changes, or even when the illumination changes (e.g., when tracking non-rigid objects such as a human face). Also, in many available tracking methods, the tracking error tends to increase indefinitely when the target is missed. Therefore, tracking the target objects in long (uninterrupted) video sequences tends to be quite challenging for these methods. This thesis proposes a face tracking algorithm that contains two operating modes. Both the operating modes are based on feature learning techniques that utilize the useful data accumulated during the face tracking and implements an incremental learning framework. To accumulate the training data, the quality of the test sample is checked before its utilization in the incremental and online training scheme. Also, a novel error prediction scheme is proposed that is capable of estimating the tracking error during the execution of the tracking algorithm. Furthermore, an improvement in the Constrained Local Model (CLM) is proposed that utilize the training data to assign weights to the landmarks based on their consistency. These weights are used in the CLM search process to improve CLM search optimization process. The experimental results show that the proposed tracking method (both variants) perform better than the comparative state of the art methods in terms of Root Mean Squared Error (RMSE) and Center Location Error (CLE). In order to prove the efficiency of the proposed techniques, an application in yawning detection is presented.

Rastreamento de objetos pode ser usado para localizar objetos em cenas e pode ser também usado para localizar mudanças na aparência ou na forma dos objetos ao longo do tempo. A maioria dos métodos de rastreamento de objetos disponíveis tendem a apresentar um desempenho satisfatório em ambientes controlados, mas tendem a falhar quando a aparência ou a forma dos objetos muda (por exemplo, quando objetos não-rígidos são rastreados), ou mesmo quando ocorrem mudanças de iluminação. Além disso, em muitos métodos de rastreamento disponíveis, o erro de rastreamento tende a aumentar indefinidamente quando o alvo é perdido. Portanto, rastrear objetos em sequencias de vídeos longas (e ininterruptas) tende a ser bastante desafiador para os mesmos métodos. Essa tese propõe um algoritmo de rastreamento facial que contém dois modos de operação. Ambos os modos de operação são baseados em técnicas de aprendizado de feições que utilizam os dados úteis acumulados durante o rastreamento da face e implementam um framework de aprendizado incremental. Para acumular os dados de treinamento, a qualidade da amostra de teste é verificada antes de sua utilização no esquema de treinamento on-line incremental. Adicionalmente, um esquema inovador de predição de erro é proposto e é capaz de estimar o erro de rastreamento durante a execução do algoritmo de rastreamento. Além disso, uma melhora em Modelo Local Restrito (Constrained Local Model - CLM) é proposta e utiliza os dados de treinamento para designar pesos aos pontos de referência (landmarks) baseados em suas consistências. Esses pesos são usados no processo de busca do CLM a fim de melhorar o processo de otimização da busca do CLM. Os resultados experimentais mostram que o método proposto de rastreamento (ambas variações) tem uma melhor performance que os métodos comparativos do estado da arte em termos de Erro Quadrático Médio (Root Mean Squared Error - RMSE) e Erro de Localização de Centro (Center Localization Error - CLE). A fim de provar a eficiência das técnicas propostas, uma aplicação em detecção de bocejos é apresentada.