A study on prompt engineering for software engineering data : ChatGPT integration into software engineering metric generation tool

Abstract

With constant innovation in technology and continuous digital transformation, Artificial Intelligence is becoming more present in different aspects of our lives. The ChatGPT is based on the GPT (Generative Pre-trained Transformer) architecture and is a good example of a system that can be trained in a variety of topics and knowledge areas, what allows it to generate precise and useful answers on multiple situations. This project aims to investigate how to integrate ChatGPT (and how to use it in the most effective way) into a code analyzer and smells detection tool suite – the DR-Tools Suite. The intention is that this integration provides guidance to the software engineer in relation to the code quality and even some automation to his/her refactoring job. This work summarizes the characteristics of the main technologies involved, presents the integration approach and some use cases, and finally discusses the results achieved. It concludes by presenting best practices for prompt engineering, evaluating the potential of the technologies, and proposing potential future research.

Com o avanço constante da tecnologia e a contínua transformação digital, a inteligência artificial tem se tornado cada vez mais presente em diversos aspectos de nossas vidas. O ChatGPT é baseado na arquitetura GPT (Generative Pre-trained Transformer), e é um exemplo de sistema que pode ser treinado em uma variedade de tópicos e áreas de conhecimento, o que permite que ele gere respostas precisas e úteis em uma variedade de situações. Este trabalho visa investigar como integrar o ChatGPT (e como usá-lo de maneira mais eficaz) à uma suíte de ferramentas de análise de código que usa métricas e indicadores sobre code smells e qualidade de código – a DR-Tools Suite. O objetivo é que tal integração produza orientações para o engenheiro de software em relação à qualidade do código ou até mesmo algum nível de automação em apoio a seu trabalho de refatoração. O trabalho resume as características principais das tecnologias envolvidas, desenvolve a engenharia de prompt para o trabalho, apresenta a abordagem de integração e alguns exemplos de uso, e finalmente discute os resultados obtidos. Por fim, apresenta melhores práticas para a engenharia de prompt, avalia os potenciais das tecnologias e o propõe potenciais avanços em futuras pesquisas.