Using a super resolution network and general-purpose optical character recognition for license plate recognition

Abstract

The extraction and identification of license plates from images have numerous applica tions and can be used to automate and improve various processes in our society. By using artificial intelligence, we can extract information without human interaction, reducing er rors, saving resources, and increasing the number of applicable use cases. In recent years, several applications and studies have been conducted in this area, and a common problem is the low resolution of images. In this monograph, we describe the implementation of a license plate identification pipeline using neural networks for different purposes and ad dress this particular problem by introducing a Text Super-Resolution Network (TSRN). Besides that, we analyze the results by combining different optical character recognition (OCR) modules aiming to increase the system accuracy and robustness. Our experimental results indicate that pre-trained OCR approaches perform very poorly for recognizing li cense plates, but fine-tuning them with license plate images strongly improves the results. TSRN performed satisfactorily and produced well-defined high-resolution image, but the overall OCR accuracy presented a marginal gain. We believe that the low-resolution prob lem we were trying to solve with this network was not the critical one in our test dataset

Extração e identificação de placas veiculares a partir de imagens têm diversas aplica ções e podem ser utilizadas para automatizar e melhorar inúmeros processos na nossa sociedade. Além disso, usando inteligência artificial, é possível extrair informações sem interação humana, o que pode reduzir falhas, economizar recursos e aumentar o número de casos de uso aplicáveis. Nos últimos anos, diversas aplicações e estudos foram con duzidos nessa área e um problema frequente está relacionado às imagens de baixa reso lução. Dessa forma, neste trabalho, iremos descrever a implementação de um fluxo de execução para identificar placas veiculares usando redes neurais de diferentes propósi tos e endereçar esse problema em particular introduzindo uma Rede de Super Resolução de Texto. Além disso, analisamos os resultados obtidos combinando diferentes modelos de reconhecimento óptico de caracteres visando aumentar a acurácia e robusteza do sis tema. Nossos resultados experimentais indicam que as abordagens de OCR pré-treinadas têm um desempenho muito ruim no reconhecimento de placas, mas realizar o fine-tuning com imagens de placas melhora consideravelmente os resultados. A técnica TSRN teve um desempenho satisfatório e produziu imagens de alta resolução bem definidas, mas a precisão geral do OCR apresentou um ganho marginal. Acreditamos que o problema de baixa resolução que estávamos tentando resolver com essa rede não era o crítico em nosso conjunto de dados de teste.