Real time detection of traffic signs using onboard vehicular cameras

Abstract

The application of new technologies has been profoundly affecting the automobile industry, especially when talking about autonomous cars. The self-driving scenario is close to becoming reality, however many challenges still need to be solved for this. Another aspect that is motivating the technological advances is the need to increase safety, in which much of the effort is being made to reduce the number of traffic accidents, especially those caused by driver errors. The reduction of accidents brings as a consequence a decrease in the resulting injuries and fatalities, as well as the related financial costs. Within this context, this thesis presents an approach for traffic sign detection and recognition using off-the-shelf onboard vehicular cameras. Assuming that the camera intrinsic parameters are obtained off-line, an on-line calibration scheme is used to estimate the extrinsic camera parameters, and Regions of Interest (ROIs) are created in the image domain based on the expected geometry and location of the traffic signs. Given the reduced size and background complexity of these ROIs, we developed a lightweight regional Convolutional Neural Network (CNN), called ScapNet. Our experimental results for Brazilian traffic signs indicate that the proposed approach presents classification accuracy comparable to state-of-the-art methods at much faster running times, with over 30 FPS on embedded devices.

A aplicação de novas tecnologias tem afetado profundamente a indústria automobilística, especialmente quando se fala de carros autônomos. O cenário de auto-condução está próximo de se tornar realidade, entretanto, muitos desafios ainda precisam ser resolvidos. Outro aspecto que está motivando os avanços tecnológicos é a necessidade pelo aumento da segurança, no qual grande parte do esforço está sendo feito para reduzir o número de acidentes de trânsito, especialmente aqueles causados por erro do motorista. A redução de acidentes traz como conseqüência, uma diminuição nas mortes, lesões e nos custos financeiros associados aos acidentes. Dentro desse contexto, esta dissertação apresenta uma abordagem para detecção e reconhecimento de sinais de trânsito usando câmeras veiculares a bordo. Assumindo que os parâmetros intrínsecos da câmera são obtidos off-line, um esquema de calibração on-line é usado para estimar os parâmetros da câmera extrínseca, e as Regiões de Interesse (ROIs) são criadas no domínio da imagem com base na geometria e localização esperadas dos sinais de trânsito. Dado o tamanho reduzido e a complexidade de fundo desses ROIs, desenvolvemos uma Rede Neural Convolucional Regional (CNN), chamada ScapNet. Nossos resultados experimentais para os sinais de trânsito brasileiros indicam que a abordagem proposta apresenta uma precisão de classificação comparável a métodos de última geração em tempos de funcionamento muito mais rápidos.