Efficient acquisition and synthesis in computerized handwriting

Abstract

Although nowadays people rely almost full time on digital text, the use of handwriting has earned a special status for specific cases. We still learn to write by hand and use it as an identifying tool throughout our entire life. The computerized handwriting area addresses solutions in the three main handwritten fields: acquisition, recognition, and synthesis. In particular, handwriting synthesis generates renderings of text which resemble natural handwriting but are, in fact, synthesized by a model. The results in this area have several uses, such as artistic applications, CAPTCHA generation, and by providing new examples for handwriting recognition. It is still a challenging research area since it is challenging to mimic natural handwriting due to individual characteristics. Most of the current research in the field present robust approaches with sophisticated techniques, such as neural networks, which require a large number of samples and deal with large time-consuming optimization problems. Although they produce natural-looking results overall, these techniques require a large number of resources, which most of the time make them non-trivial for daily usage. In this thesis, we introduce two main contributions to computerized handwriting. First, in the acquisition field, we present an in-depth look investigating the number of samples needed for reproducing natural variability. We show that writing samples collected from a minimal set are statistically equivalent in variation with larger sets. This discovery provides many benefits, such as the shorter time needed to collect the samples. Our samples were collected from a special tablet device that captures the users handwriting using pen and paper, without introducing typical distortion produced by graphics tablets. Second, in the synthesis area, we introduce a novel technique to generate handwriting from public fonts. Given a digitalized input sample of the desired handwriting, we present an algorithm that finds the best match between characters using as a source for the output text the extensive collection of publicly available fonts designed to look like handwriting. Our results show that even though human calligraphy is highly individual and specialized, visually similar renderings are possible for many applications that do not demand full similarity, considerably increasing its synthesis variability from a few inputs without the complexity of state-of-the-art approaches.

Apesar de hoje em dia ser comum trabalhar durante quase todo tempo com textos escritos digitalmente, escrever textos à mão possui um status especial em casos específicos. Ainda é comum que pessoas aprendam a escrever à mão desde pequenas, inclusive sendo uma das formas mais conhecidas de identificação pessoal ao longo da vida. A área de escrita à mão computadorizada provê soluções nos seus três campos principais: aquisição, reconhecimento e síntese. Em particular, a área de síntese de caligrafia é responsável por gerar textos utilizando modelos matemáticos de forma que pareçam ter sido feitos por alguém à mão. Esta área possui diversos usos, sendo eles artísticos, na produção de novos CAPTCHAS e até mesmo servindo como novas entradas para o reconhecimento de escrita à mão. Ainda é um campo desafiador, pois é muito difícil imitar uma escrita à mão devido a características individuais. A maioria dos trabalhos atuais dessa área apresentam abordagens com técnicas complexas, como redes neurais, as quais necessitam de um grande número de amostras e lidam com longos problemas de otimização. Embora estas técnicas gerem bons resultados, também requerem uma grande quantidade de recursos, os quais na maioria das vezes se tornam não triviais para uso cotidiano. Nesta tese são exploradas novas abordagens para caligrafia computadorizada. Primeiramente, na área de aquisição, é apresentada uma investigação sobre o número de amostras necessárias para reproduzir variabilidade natural. É apresentado que amostras coletadas de um conjunto mínimo são estatisticamente equivalentes em variação quando comparadas a conjuntos maiores. Esta descoberta possui diversos benefícios, tais como tempo menor para coletar as amostras. Além disso, foi utilizado um dispositivo especial que captura a escrita à mão de usuários utilizando papel e caneta comum sem introduzir distorção dos tablets. Na área de síntese é apresentada uma nova técnica para gerar escrita à mão a partir de fontes públicas. Dado um texto de entrada digitalizado, é apresentado um algoritmo que encontra a forma mais similar entre diferentes caracteres utilizando para saída de dados uma grande coleção de fontes disponíveis publicamente. Nossos resultados mostram que, apesar da caligrafia humana ser altamente individual e específica, é possível obter bons resultados com baixo custo computacional, sendo útil para aplicações que não necessitam de alta similaridade.