Reliability of google’s tensor processing units for embedded applications

Abstract

Convolutional Neural Networks (CNNs) have become the most used and efficient way to identify and classify objects in a scene. CNNs are today fundamental not only for autonomous vehicles, but also for Internet of Things (IoT) and smart cities or smart homes. Vendors are developing low-power, extremely efficient, and low-cost dedicated accelerators to allow the execution of the computational-demanding CNNs even in appli cations with strict power and cost budgets. In this work we investigate the reliability of Google’s Coral Tensor Processing Units (TPUs) to both high-energy atmospheric neutrons (at ChipIR) and thermal neutrons from a pulsed source (at EMMA) and from a reactor (at TENIS). We report data obtained with an overall fluence of 3.41×1012n/cm2 for atmospheric neutrons (equivalent to more than 30 million years of natural irradiation) and of 7.55×1012n/cm2 for thermal neutrons. We evaluate the behavior of TPUs executing elementary operations with increas ing input sizes (standard convolutions or depthwise convolutions) as well as eight CNNs configurations. Regarding the CNNs, we consider four well-known and widely-used net work architectures (SSD MobileNet v2, SSD MobileDet, Inception v4 and ResNet-50) trained with popular datasets, such as COCO and ILSVRC2012. Through retraining, we also assess the impact of transfer learning and a reduced number of object classes to be detected/classified on the CNN prediction robustness. We found that, despite the high error rate, most neutrons-induced errors only slightly modify the convolution output and do not change the CNNs detection or clas sification. By reporting details about the error model we provide valuable information on how to design the CNNs to avoid neutron-induced events to lead to miss detections or classifications.

Redes neurais convolucionais (CNNs) têm se tornado a maneira mais utilizada e eficiente de identificar e classificar objetos em uma cena. Hoje, as CNNs são fundamen tais não apenas para os veículos autônomos, mas também para aplicações relacionada a Internet of Things (IoT), casas e cidades inteligentes. Fabricantes estão desenvolvendo acelaradores dedicados extremamente eficientes, de baixa potência e baixo custo para permitir a execução de CNNs de alta demanda computacional mesmo em aplicações com rigorosos orçamentos de energia e custos. Neste trabalho, investigamos a confiabilidade da Google Coral Tensor Processing Units (TPUs) a nêutrons atmosféricos de alta energia (no ChipIR) e nêutrons térmicos gerados por uma fonte pulsada (no EMMA) e por um reator (no TENIS). Reportamos dados obtidos com um fluência média de 3.41 × 1012 n/cm2 para nêutrons atmosféricos (equivalente a mais de 30 milhões de anos de irradiação natural), e de 7.55 × 1012 n/cm2 para nêutrons térmicos. Avaliamos o comportamento das TPUs executando operações elementares (convolução standard e convolução depthwise) com tamanhos de entrada crescentes, bem como oito configurações de CNNs. Com relação às CNNs, considera mos quatro arquiteturas de redes conhecidas e amplamente utilizadas (SSD MobileNet v2, SSD MobileDet, Inception v4 e ResNet-50) treinadas com datasets populares, como COCO e ILSVRC2012. Por meio do retreinamento, também analisamos o impacto da técnica de transfer learning e de um númbero reduzido de classes de objetos a serem detectadas/classificadas na robustez da predição da CNN. Descobrimos que, apesar da alta taxa de erros, a maioria dos erros induzidos por nêutrons modifica apenas ligeiramente a saída da convolução e não altera o resultado da classificação/detecção. Ao reportar detalhes a respeito do modelo de erros, fornecemos informações valiosas sobre como projetar CNNs de maneira a evitar que eventos induzi dos por nêutrons levem a erros de classificação/detecção