Aplicação big data para predição de tempo de viagens de táxi

Abstract

Em uma iniciativa para melhorar acessibilidade, transparência e prestação de contas da cidade, os legisladores de Nova York aprovaram em 2012 uma legislação sobre Open Data. O projeto NYC Open Data disponibiliza dados gerados por diversos órgãos públicos da cidade. Qualquer pessoa pode utilizar esses dados para realizar pesquisas e desenvolver aplicações. Como parte desse projeto, a New York City Taxi Limousine Commission disponibiliza dados de mais de um bilhão de viagens de táxi realizadas na cidade de Nova York desde 2009. Este trabalho propõe uma aplicação que cruza dados de corridas de táxi com dados climáticos para identificar a influência de diferentes variáveis climáticas no tempo de viagem. A aplicação faz uma predição da duração de uma corrida de táxi a ser realizada baseada no histórico de corridas similares, as variáveis que definem a similaridade são a data/hora inicial, data/hora de chegada, local de origem, local de destino e informações climáticas (chuva, neve e vento). Para fazer essa predição, foi utilizado um modelo que inicialmente agrupa corridas similares geograficamente e temporalmente, e depois utiliza regressão para definir a influência das variáveis climáticas e estimar o tempo. Devido ao grande volume dos conjuntos de dados utilizados, é necessária uma implementação paralela e execução da aplicação em um ambiente com maior capacidade de processamento para obter um bom desempenho. A implementação é feita utilizando o modelo de programação MapReduce. Os experimentos para avaliação dos resultados e do desempenho são feitos utilizando Hadoop em um cluster na plataforma Microsoft Azure.

As an initiative to improve the accessibility, transparency, and accountability of City government, New York City lawmakers passed an Open Data legislation in 2012. The NYC Open Data project provides data generated by various New York City public agencies. Anyone can use this data to research and develop applications. As part of this project, the New York City Taxi Limousine Commission provides information covering over 1 bilion taxi trips in the city from January 2009 through December 2016. This work proposes an application that uses taxi trip data and weather data to identify the influence of weather variables on travel time. The application predicts the travel time of a future trip based on similar trips, the variables that define similarity are starting time, arrival time, origin, destination, and weather information (rain, snow and wind). First, similar trips are grouped based on geographical and temporal information, and then a regression model is used to define the influence of weather variables and estimate time. The application is implemented based on the MapReduce programming model. Experiments to evaluate results and performance are done using Hadoop in a cluster on the Microsoft Azure platform.