Development and evaluation of an interactive web interface for BPMN elements identification from natural language text

Abstract

Process discovery represents a high percentage of the time demanded along the business process management life cycle. One important source of information explored at this stage is texts in natural language called process descriptions. Automatically extracting information from this sort of document presents a series of challenges due to its inherent ambiguity and complexity. Although the literature proposes a variety of (semi-)automated solutions, access to functional code is rare, and the deployment of tools containing these solutions is almost nonexistent. This work presents the development of an accessible web interface that allows the user to upload a process description and interact with the text in which the main process elements from the BPMN are automatically identified. These interactions include, for example, the highlight of all the elements associated with a specific participant. In order to evaluate the benefits of using this tool, an evaluation experiment was developed. This experiment enlisted the participation of ten potential real-world final users and compared the performance of answering questions related to given process descriptions in three distinct scenarios: Using only plain text, using our proposed tool, and using ChatGPT. The results pointed to an advantage of using our tool, mainly in relation to time consumption. The data related to ChatGPT collected during the experiment also permitted an interesting analysis of how users use this emergent technology to help solve questions.

A descoberta de processos representa uma alta porcentagem do tempo demandado ao longo do ciclo de vida da gestão de processos de negócio. Uma importante fonte de informação explorada nessa etapa são os textos em linguagem natural chamados descrições de processos. Extrair automaticamente informações desse tipo de documento apresenta uma série de desafios devido à sua ambiguidade e complexidade inerentes. Embora a literatura proponha uma variedade de soluções (semi-)automatizadas, o acesso a código funcional é raro e a implementação de ferramentas contendo essas soluções é quase inexistente. Este trabalho apresenta o desenvolvimento de uma interface web acessível que permite ao usuário carregar uma descrição de processo e interagir com o texto no qual os principais elementos de processo da BPMN são identificados automaticamente. Essas interações incluem, por exemplo, o destaque de todos os elementos associados a um participante específico. Para avaliar os benefícios do uso desta ferramenta, um experimento de avaliação foi desenvolvido. Este experimento contou com a participação de dez potenciais usuários finais do mundo real e comparou o desempenho na resposta a perguntas relacionadas a descrições de processos fornecidas em três cenários distintos: Usando apenas texto simples, usando nossa ferramenta proposta e usando ChatGPT. Os resultados apontaram uma vantagem no uso de nossa ferramenta, principalmente em relação ao consumo de tempo. Os dados relacionados ao ChatGPT coletados durante o experimento também permitiram uma análise interessante de como os usuários utilizam essa tecnologia emergente para ajudar a resolver questões.