Recuperação de evidências em relatórios de ensaios clínicos utilizando o modelo biomédico RoBERTa

Abstract

Nos últimos anos, houve um aumento significativo de publicações de relatórios de ensaios clínicos com mais de 10.000 relatórios somente para câncer de mama. Consequentemente, tornou-se inviável para os profissionais de saúde ficarem atualizados sobre toda a literatura, com o fim de fornecer o melhor tratamento possível de acordo com os sintomas dos pacientes, dada a elevada quantidade de informações disponíveis a todo momento. Seguindo nesse contexto, o workshop SemEval de 2023 propôs um desafio que envolve desenvolver um sistema que faz a recuperação de um conjunto de evidências que suportam uma consulta em relatórios de ensaios clínicos. Muitos times participaram desse desafio utilizando diversas técnicas diferentes. Observou-se que as técnicas que utilizaram modelos generativos obtiveram os melhores resultados com relação à métrica F1, contudo, os modelos discriminativos que implementaram um modelo com base no DeBERTa-large também obtiveram resultados competitivos. O objetivo do trabalho foi desenvolver um modelo que faz a recuperação de evidências nesses relatórios clínicos utilizando o modelo Biomed RoBERTa. Nossa abordagem envolveu realizar uma serie de treinamentos variando a métrica a de otimização (acurácia, reovcação e F1) e os hiperparâmetros (taxa de aprendizado e tamanho máximo da sequência de entrada). Nossos melhores resultados foram obtidos com o treinamento baseado na métrica de revocação, que foram superiores ao resultado que obtivemos no workshop, com o valor de F1 de 0,733.

In recent years, there has been a significant increase in the publication of clinical trial reports, with over 10,000 reports for breast cancer alone. Consequently, it has become unfeasible for healthcare professionals to stay updated on the entire literature in order to provide the best possible treatment based on patients’ symptoms, given the vast amount of constantly available information. In this context, the SemEval 2023 workshop pro posed a challenge involving the development of a system that retrieves a set of evidence supporting a query in clinical trial reports. Many teams participated in this challenge us ing various techniques. It was observed that techniques using generative models achieved the best results in terms of the F1 metric; however, discriminative models implementing a DeBERTa-large-based model also achieved competitive results. The objective of this work was to develop a model for evidence retrieval in these clinical reports using the Biomed RoBERTa model. Our approach involved a series of training iterations, varying the optimization metric (accuracy, recall, and F1) and hyperparameters (learning rate and maximum input sequence length). Our best results were obtained with training based on the recall metric, which outperformed our workshop result with an F1 score of 0.733.