Empirical evaluation on approaches to transform tabular data into textual input for QA systems

Abstract

Question answering (QA) systems aim to automatically and precisely answer a specific question provided in natural language over a knowledge base. Although there are models that already work well with regular textual knowledge bases for those systems, when it comes to tabular data this scenario changes. Transforming tabular data into a textual in put for a model is a difficult task and this research explores different approaches for this transformation of data by testing on JarvisQA, a prototype QA system which uses BERT pre-trained models to answers questions on top of the Question Answering Benchmark for Scholarly Knowledge (SciQA). SciQA is benchmark developed with the collaboration of researchers from different Universities that leverages the Open Research Knowledge Graph (ORKG).The proposed methodology consists of: (1) creating an approach to gen erate text from tabular data, (2) running JarvisQA using the text generated by the approach as knowledge base for the benchmark questions and (3) perform an empirical evaluation of the results. The analysis on these approaches, their results and the difficulties faced can help researchers dealing with such scenarios.

Sistemas de pergunta e resposta tem como objetivo responder automaticamente e precisamente perguntas específicas feitas em linguagem natural usando uma base de conhecimento. Embora existam modelos que funcionam bem com bases de conhecimento textuais para estes sistemas, quando envolve dados tabulares esse cenário muda. A transformação de dados tabulares em dados de entrada textuais para modelos é uma tarefa difícil e essa pesquisa explora diferentes abordagens para essa transformação, testando em cima do protótipo JarvisQA, que utiliza modelos pré-treinados baseados em BERT para responder as perguntas em cima do benchmark Question Answering Benchmark for Scholarly Knowledge (SciQA). SciQA é um benchmark que foi desenvolvido em colaboração de pesquisadores de diferentes universidades que utiliza o Open Research Knowledge Graph (ORKG). A metodologia proposta é a seguinte: (1) criação de uma abordagem para gerar textos através de dados tabulares, (2) utilizar o texto gerado através da abordagem como base de conhecimento do JarvisQA enquanto respondendo as perguntas do benchmark e (3) executar uma avaliação empírica dos resultados. A análise dessas abordagens, seus resultados e as dificuldades encontradas podem ajudar pesquisadores lidando com tais cenários.