GANs para detecção de anomalias em séries temporais : um estudo de caso

Abstract

O problema geral da detecção de anomalias se manifesta em diversos campos e se relaciona intimamente com inúmeros problemas específicos. A formulação habitual totalmente não supervisionada gera dificuldades adicionais na obtenção de representações relevantes para o problema, e restringe os métodos aplicáveis. Nesse contexto, o grande sucesso recente de soluções baseadas em GANs na modelagem de distribuições e processos arbitrários a partir de dados não supervisionados suscita grande interesse na sua aplicação ao problema de detecção de anomalias. Com objetivo de abordar esse tema, a aplicação de soluções baseadas em GANs para detecção de anomalias no contexto não supervisionado em séries temporais foi estudada. A partir de uma revisão da literatura dos princípios gerais de GANs e detecção de anomalias, trabalhos recentes aplicando GANs à séries temporais foram compilados e apresentados. Em sequência, um método específico, TadGan (GEIGER et al., 2020), foi selecionado para experimentação e estudos aprofundados sob o formato de estudo de caso. Uma implementação foi obtida e verificada, e uma metodologia para demonstrar o funcionamento e os princípios gerais do método e da aplicação de GANs às séries temporais sobre dados sintetizados a partir de funções analíticas desenvolvida e executada. Avaliou-se, em sequência, possíveis limitações do método, extraídas da literatura e propostas com base nos ensaios executados. Explorou-se a instabilidade do treinamento, e os possíveis impactos da entropia e características do processo de interesse na capacidade de detecção de anomalias. Sinais foram então sintetizados com a adição de tipos específicos de anomalias, a fim de verificar a generalidade do método quanto à natureza das anomalias, e uma coleção de sinais reais de domínios diversos compilados do conjunto UCR Anomaly Benchmark, de maneira a serem aplicados ao método. Por fim, alterações no método foram propostas, com maneiras alternativas de quantificar a anormalidade a partir dos modelos obtidos, e brevemente avaliadas. Os resultados obtidos permitiram a verificação e corroboração da grande aplicabilidade de GANs para detecção de anomalias em séries temporais, bem como da utilidade de experimentação com dados sintéticos analíticos para desenvolvimento de compreensão e validação de modificações. A exploração das limitações efetuadas permitiu o desenvolvimento de intuições sobre seus impactos no método, e sugeriram a possibilidade de influência de características do processo alvo na performance, e as modificações propostas apresentaram potencial de ganhos de performance, e apontaram a necessidade de estudos futuros aprofundados para a investigação posterior.

The general problem of unsupervised anomaly detection in time series has applications in several different fields and is related to many specific problems. In the context of time series data, however, expert knowledge in the target application is often required in order to extract meaningful features of the process, which can be expansive and at times not possible. The field of Deep Learning provided techniques to tackle such problems with the possibility of automatic features extractions techniques, and present great potential in time series anomaly detection. The need for labeled data, however, restricts the direct application of several methods. GAN-based solutions have recently presented great performance in modeling arbitrary data distribution in unsupervised problems, showing a considerable conceptual potential in anomaly detection. In that context, with the goal of exploring the potential and applicability of GAN-based solutions for time series anomaly detection, the literature was reviewed for GAN and anomaly detection principles, and recent works specifically on GAN-based methods for time series anomaly detection summarized and presented. In sequence, a method was selected, TadGan (GEIGER et al., 2020), due to the presence of the main principles of GAN application to anomaly detection and its good reported performance in public benchmarks, for detailed investigation and exploration. An implementation of the method was obtained, and verified over a partial reproduction of the original article results. A series of experiments over synthetic generated data from analytical functions were then proposed and executed in order to verify the method’s principles in a controlled environment, as well as to raise intuitions of possible limitations. Limitations raised by the literature were then explored, and a new limitation, based on the influence of the signal entropy in the method performance, was informally formulated and investigated. Time series containing different types of anomalies were then synthesized, in order to verify the generality with respect to the nature of the anomalies, and data from real applications compiled from the UCR Anomaly Benchmark, and applied to the method. Finally, some modifications and suggestions of new scores derived from the method were presented, implemented and superficially analyzed. The results allowed to verify the great potential of the application of GAN-based techniques for unsupervised anomaly detection, as well as the benefits from exploring the method in synthetic data. The experimentation showed evidence of the explored limitations, in particular the influence of the target process entropy, and the proposed metrics showed potential of improvements and the need for further investigations.