Evaluating a prediction engine based on collaborative filtering and binary ratings

Abstract

There are some problems with some of the most prominent recommendation systems for movies available today on the internet. Some of the techniques these systems use may lower the success rate of their predictions. The content-based filtering techniques used by said recommendation systems may introduce kinds of false positives that can be specially bothering to some users. Many of the systems available also employ user interface elements that can confuse users and lead them to misunderstanding the scale for rating items, which may taint one important part of the input that will be used to generate predictions for all the users of that given system. This work questions how effective this approach really is and reflects on more intuitive and simpler ways to generate predictions and gather input from users on their experiences with the items they are rating. Employing a simpler scale with a binary rating system and basing predictions solely on collaborative filtering, a prediction engine for movie recommendations is proposed, described, prototyped and analysed. The model hereby presented consumes binary user ratings (a rating can be either “liked” or “disliked”) to generate predictions of the likability of movies using item-based collaborative filtering for those users. An implementation of the model is presented and used in order to test the model's effectiveness. An experiment is conducted so that the accuracy of the prediction engine can be verified, as well as its validity. The results of an experiment for the rating system and prediction engine are laid out and analysed.

Existem alguns problemas com alguns dos mais famosos e utilizados sistemas de recomendação para filmes disponíveis nos dias de hoje na internet. Algumas das técnicas usadas por esses sistemas podem ter influências negativas no grau de sucesso de suas predições. As técnicas de filtragem baseada em conteúdo aplicadas pelos sistemas de recomendação podem introduzir tipos de falso-positivos que podem incomodar a alguns usuários desses sistemas. Vários dos sistemas disponíveis utilizam-se de certos elementos nas suas interfaces que podem confundir seus usuários e levá-los a interpretar erroneamente as escalas de avaliação de itens, o que pode invalidar uma parte importante dos dados que são coletados e utilizados para gerar predições para todos os usuários do sistema. Este trabalho questiona a efetividade de algumas das técnicas utilizadas por essas plataformas e reflete em maneiras mais simples e intuitivas para gerar predições e coletar avaliações sobre as experiências dos usuários com os itens do sistema. O sistema utiliza-se de uma escala simples com um sistema de avaliação binário (uma avaliação corresponde a “gostei" ou “não gostei”) para gerar predições probabilidade de usuários gostarem de filmes via filtragem colaborativa item-item. Uma implementação do modelo é apresentada e usada para avaliar a efetividade do modelo. Um experimento é conduzido de maneira a verificar a precisão do sistema de predições, assim como sua validade. Os resultados desse experimento para o sistema de avaliações e predições são descritos e analisados.