Rating prediction of product reviews : an approach based on the BERT language model

Abstract

Nowadays online shopping has become increasingly common. Without the possibility to try on the products, customers became dependent on other customers’ reviews. Those are usually written in natural language and can be displayed along with a rating scale. These ratings can then be easily used by a computer to filter those reviews and bring useful in formation for customers and sellers. However, in general, ratings are an optional field in reviews and, due to this, it is common for users to provide only textual reviews without ratings. In these cases, processing the sentiment of these reviews is not trivial for com puters. In this context, recent advances in the field of Machine Learning are allowing us to develop approaches that present a promising performance for inferring the ratings from textual reviews. Recent works have investigated the adoption of fine-tuned pre-trained language models for sentiment analysis and rating prediction. The goal of this work is to investigate the performance of an approach based on BERT pre-trained language model for predicting ratings from textual book reviews. We performed four experiments, con sidering different variations of the original problem. Each variation involved considering different aggregations of the original set of classes of the dataset. As a general conclusion of our experiments, our BERT-based approach achieved a good performance in some of the considered experimental settings. The best performances were achieved in the exper imental setting considering only 2 classes, grouping neutral and negative classes in one class (negative) and the positives as the other.

Hoje em dia, compras online estão se tornando cada vez mais comuns. Sem a possibili dade de experimentar os produtos, os clientes se tornaram dependentes das avaliações de outros clientes. Essas avaliações geralmente são escritas em linguagem natural e podem ser exibidas juntamente com uma escala de classificação. Essas classificações podem ser facilmente usadas por um computador para filtrar essas avaliações e fornecer informações úteis para clientes e vendedores. No entanto, em geral, as classificações são um campo opcional nas avaliações e, devido a isso, é comum os usuários fornecerem apenas avali ações textuais sem classificações. Nesses casos, processar o sentimento dessas opiniões não é trivial para computadores. Nesse contexto, avanços recentes no campo do Apren dizado de Máquina estão permitindo o desenvolvimento de abordagens que apresentam um desempenho promissor para inferir as classificações de avaliações textuais. Trabalhos recentes investigaram a adoção de modelos de linguagem pré-treinados e posteriormente especificamente ajustados para análise de sentimento e previsão de classificação. O ob jetivo deste trabalho é investigar o desempenho do abordagens baseadas no modelo de linguagem pré-treinado BERT na previsão de classificações de avaliações textuais sobre livros da Amazon. Para alcançá-lo, realizamos quatro experimentos considerando quatro diferentes variações do problema original. Cada variação envolveu considerar diferen tes agregações das classes originais do problema. Como conclusão geral, a abordagem baseada em BERT atingiu uma boa performance em alguns dos cenários considerads. O melhor resultado foi alcançado no experimento que considera apenas 2 classes, agrupando as classes neutras e negativas como uma e as positivas como outra.