Large language models em contabilidade : potenciais usos, desafios e limitações

Abstract

Os LLMs atraíram um enorme número de usuários desde quando o ChatGPT foi lançado ao público, em novembro de 2022. Pesquisadores começaram a investigar sob diversos aspectos a IA Generativa em diferentes áreas do conhecimento. O crescimento de artigos que contém a palavra-chave “ChatGPT” é exponencial, no entanto poucos são na temática da contabilidade. Esta pesquisa propôs, portanto, preencher essa lacuna, abordando os potenciais usos da ferramenta, seus desafios e limitações percebidos e evidenciados na literatura contábil. Foi realizada uma síntese das atividades nas quais esse LLM pode ser utilizado no domínio contábil, como contabilidade financeira e gerencial, auditoria e contabilidade forense, tributação, consultoria e assistência virtual e automação de tarefas (rotinas). Como benefícios foram identificados na literatura aumento de eficiência, produtividade, ganho de qualidade, maior disponibilidade para alocação de tempo em atividades que requerem maiores especificidades, entre outros. Por outro lado, estudos apontam que existem desafios decorrentes de sua utilização como questões éticas, legais e sociais, assim como limites que a tecnologia enfrenta, como alucinação, precisão, consistência, temporalidade, conformidade e necessidade de recursos. Além disso, o ChatGPT foi explorado em dois cenários do domínio contabilístico para criar avisos aos acionistas e comunicados ao mercado. Com uma abordagem exploratória quanto aos objetivos, o problema foi abordado de maneira qualiquantitativa com a utilização de dados secundários disponíveis na CVM. Verificou-se a capacidade do modelo em gerar conteúdo específico não conversacional com poucos dados de treinamento adicionais, com definição de persona e uso de técnica de prompting zero-shot para obtenção de respostas mais acuradas ao contexto. Com os conteúdos gerados, análises qualitativa e quantitativa foram realizadas. Qualitativamente, informações e características dos documentos gerados foram analisados. O ChatGPT é capaz auxiliar no processo de criação de avisos aos acionistas sobre o pagamento de proventos de forma que parece plausível, porém pode levar a incoerências resultando em erros de grandes proporções. Na elaboração de comunicados ao mercado pode induzir um agente a cometer equívocos e deixar companhias à mercê de sanções de órgãos fiscalizadores pela possibilidade de cometer infração grave conforme a legislação vigente. Quantitativamente, os resultados foram submetidos a testes estatísticos de similaridade como o Índice de Jaccard e a Distância de Jaccard para verificar o quão semelhantes os conteúdos estavam aos elaborados por humanos. Os resultados revelaram que o conteúdo gerado pela ferramenta se assemelhou mais ao elaborado por humanos no cenário de pagamentos de proventos do que em esclarecimentos de questionamentos da CVM/B3 sobre oscilações atípicas de valores mobiliários. Adicionalmente, a Similaridade de Cossenos foi conduzida como um teste alternativo para verificar a consistência do conteúdo gerado dada a aplicação de protocolo de prompts em cada cenário. Verificou-se, em ambos os cenários, aumento na semelhança das respostas, inclusive entre as distintas instituições. Por fim, observa-se que o uso colaborativo das virtudes homemmáquina traz melhores resultados que seu uso exclusivo e indiscriminado, sendo o julgamento humano fator necessário para atingir os objetivos desejados.

LLMs have attracted a huge number of users since ChatGPT was launched to the public in November 2022. Researchers have begun to investigate Generative AI in different areas of knowledge from many aspects. The growth of articles containing the keyword “ChatGPT” is exponential, however, few are in the accounting field. Therefore, this research proposed to fill this gap, exploring potential applications, challenges and limitations in the accounting field. The activities in which this LLM can be used in the accounting domain where synthesized, such as financial and managerial accounting, auditing and forensic accounting, taxation, consulting and virtual assistance, and automation of tasks (routines). The benefits identified in the literature includes increasing efficiency, productivity, quality gains, allowing accountants to redirect efforts toward higher-value activities. In contrast, studies indicate associated challenges with applying LLM in accounting practices, such as ethical, legal and social issues, as well as acknowledge of the limits that the technology faces off, such as hallucination, accuracy, consistency, temporality, compliance and resources. In addition, ChatGPT was explored in two scenarios in the accounting domain to create disclosures known as Information to Shareholders and Information to the Market. Using an exploratory purpose to the objectives, the problem was approached qualitatively and quantitatively using secondary data available at CVM. The model's ability to generate specific, non-conversational content with minimal additional training data was verified, with persona definition and the use of a zero-shot prompting technique to obtain more accurate responses to the context. Qualitative and quantitative analyses were performed on the generated content. Qualitative analysis included information and characteristics of the generated documents. ChatGPT is able to assist in the process of creating Information to Shareholders about the payment of dividends in a way that seems plausible, but it can lead to inconsistencies resulting in issues of great proportions. In the preparation of Information to the Market, it can induce an agent to make mistakes and companies to sanctions from regulatory agencies, potentially committing serious violations under current legislation. Quantitatively, the results were subjected to statistical similarity tests such as the Jaccard Index and Jaccard Distance to determine how similar the content was to that elaborated by humans. The results demonstrate that the content generated by ChatGPT was more similar to humans generated content in the scenario of dividend payments than in the comment letters in replies for request for clarification form CVM/B3’s about atypical fluctuations in securities. Additionally, Cosine Similarity was conducted as an alternative test to verify the consistency of the generated content given the application of the prompt protocol in each scenario. In both scenarios, an increase in response similarity was observed, even among the different institutions. Finally, it is observed that the collaborative use of man-machine virtues brings better results than their exclusive and indiscriminate use, with human judgment being a necessary key to achieve the desired objectives.