Ferramenta para inclusão de web forms à base WFSim

Abstract

A quantidade de informações disponíveis na internet cresce em um ritmo descontrolado. O número de websites criados no ano de 2012 gira em torno de 50 milhões, segundo levantamento1 feito pela empresa Pingdom. Dentre o conteúdo gerado, estão os formulários web, que, apesar de parecerem estruturas simples, escondem uma série de especificações e tecnologias utilizadas para representá-los. Ainda no ano de 2012, no primeiro semestre, uma ferramenta para a captura destes objetos foi criada, conseguindo extrair uma série de formulários e gravá-los em meio persistente. Mais tarde, no segundo semestre do mesmo ano, uma outra ferramenta implementou um índice de pesquisa aos dados que foram persistidos. O presente trabalho, junto com as duas ferramentas mencionadas acima, está inserido no projeto VIDAS, e tem como foco a criação de uma estratégia que permita atualizar a base de dados persistida e atualizar o índice descrito, tornando a pesquisa por esses novos registros mais rápida. Para tanto, foi preciso estender a ferramenta geradora índice e integrá-la com a outra ferramenta.

The amount of information on the internet is increasing without control. More than 50 million websites were created during 2012, according a research1 made by Pingdom. Within this new content were web forms, and, while seemingly simple structures, there were a lot of specifications and technologies used to represent them. In the first semester of 2012, a tool, named crawler, was built in order to capture these objects, providing a way to extract web forms and persist them into a database. Later that year, another tool, called WFSim, was built to implement a search engine on that database, creating an index structure over those persisted web forms. This work, along with the two programs mentioned above, is part of the VIDAS project, and aims to build a strategy to allow updates to the referred database and its index. To make the Web forms Insertion Tool, it was necessary to extend the WFSim proposal and integrate it with the crawler.