Cluster implementation for the link assessment problem finding a heuristic to estimate the number of swaps

Abstract

Recommendation Systems play a important role in the markets nowadays, they are responsible for offering new products to costumers based on this costumer’s interest. For such a problem, called Link Assessment Problem, katharina A. Zweig proposed an algorithm, such algorithm was implemented on a cluster intended to run on several nodes in parallel. This thesis aims to reduce the time consuming of this implementation. Swapping and co-occurrence calculation represent the major time consuming of this algorithm. The propose of this thesis is to show a runtime heuristic that tries to decrease the time consuming in the swapping part. Besides a better understanding of the swapping procedure, the time consuming in swapping was reduced by up to 82% and the whole time computation by up to 30% using netflix datasets with 1k, 10k, 20k and 100k users. The tests were performed on a Intel Xeon architecture.

Sistemas de recomendação desempenham um importante papel no cenário de vendas, eles são responsáveis por oferecer novos produtos a consumidores tendo como base o interesse desse consumidor. Para tal problema, chamado de Link Assessment Problem, katharina A. Zweig propôs um algoritmo. Tal algoritmo foi implementado em um cluster visando rodar em diversos nodos em paralelo. Esta tese tem por objetivo reduzir o tempo consumido por essa implementação. Cálculos de swap e co-ocorrência representam o maior consumo de tempo desse algoritmo. A proposta dessa tese é demonstrar uma heurística que execute em tempo de execução e diminua o tempo empregado em swaps. Além de uma melhor compreensão do procedimento de swaps, o tempo de execução de swaps foi reduzido em até 82% e o tempo global de execução em até 30%. Para testes, forma usados datasets do Netflix de 1k, 10k, 20k and 100k usuários. Os testes foram executados em uma arquitetura Intel Xeon.