Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation

Abstract

Object detection, a critical feature for autonomous vehicles, is performed today using Convolutional Neural Networks (CNNs). Errors in a CNN execution can modify the way the vehicle sense the surrounding environment, potentially causing accidents or unexpected behaviors. The high computational requirements of CNNs combined with the need to perform detection in real-time allow little margin for implementing error detection. In this project, an extremely efficient error detection solution for radiation induced errors in CNN is presented based on the observation that, in the absence of errors, the differences between the input frames and the detection provided by the CNN should be strictly correlated. In other words, if the image between two subsequent frames does not change significantly, the detection should also be very similar. Similarly, if the detection varies considerably from a frame to the next, then the input image should also have been different. Whenever input images and output detection don’t correlate, it is possible to detect an error. After formalizing and evaluating the inter-frame and output correlation thresholds, the detection strategy is implemented and validated, utilizing data from previous radiation experiments. Exploiting the intrinsic efficiency in processing images of devices used to execute CNNs, up to 80% of errors are detected, while adding low overhead. The same error detection solution is then proposed to detect false positives in fault-free CNN executions. This strategy is also implemented and validated, utilizing ground truth annotations and fault-free CNN executions. For this application, 9% of the false positives can be detected reliably. A deeper analysis shows that more false positives can be detected, if a certain percentage of wrong detections is accepted.

Detecção de objetos, um recurso crítico para veículos autônomos, é realizada hoje usando Redes Neurais de Convolução (CNNs). Erros em uma execução de uma CNN podem modificar a maneira como o veículo detecta o ambiente ao redor, potencialmente causando acidentes ou comportamentos inesperados. Os altos requisitos computacionais de CNNs, combinados com a necessidade de realizar a detecção em tempo real, permitem pouca margem para a implementação da detecção de erros. Neste projeto, uma solução de detecção de erros extremamente eficiente para erros induzidos por radiação em CNN é apresentada com base na observação de que, na ausência de erros, as diferenças entre os quadros de entrada e a detecção fornecida pela CNN devem ser estritamente correlacionadas. Em outras palavras, se a imagem entre dois quadros subseqüentes não mudar significativamente, a detecção também deve ser muito semelhante. Da mesma forma, se a detecção variar consideravelmente de um quadro para outro, a imagem de entrada também deve ter sido diferente. Sempre que as imagens de entrada e a detecção de saída não se correlacionarem, é possível detectar um erro. Depois de formalizar e avaliar os limiares de correlação entre-quadros e de saída, a estratégia de detecção é implementada e validada, utilizando dados de experimentos anteriores de radiação. Explorando a eficiência intrínseca no processamento de imagens de dispositivos usados para executar CNNs, até 80% de erros são detectados, adicionando também pouca sobrecarga. A mesma solução de detecção de erro é então proposta para detectar falsos positivos em execuções de CNN sem falhas. Esta estratégia também é implementada e validada, utilizando anotações de valores de referência e execuções de CNN sem falhas. Para esta aplicação, 9 % dos falsos positivos podem ser detectados de forma confiável. Uma análise mais profunda mostra que mais falsos positivos podem ser detectados, se uma certa porcentagem de detecções incorretas for aceita.