Chattronics : utilizando GPTs para auxílio a projeto de sistemas de aquisição de sinais

Abstract

Modelos especialistas têm sido um dos focos da academia e da indústria, uma vez que procuram cumprir tarefas atribuídas a especialistas da área, assim otimizando processos e custos. Contudo, os grandes modelos de linguagem pré-treinados permitem que ferramentas especializadas possam ser desenvolvidas sem exigir o próprio dataset ou poder computacio nal para treinamento, uma vez que a engenharia de prompt tem se mostrado promissora para diversas aplicações. Os últimos meses têm sido caracterizados pelo crescimento no número de pesquisas que utilizam Generative Pre-Trained Transformers (GPTs), em que os autores procuram encontrar novas aplicações para os modelos conversacionais - os chat-bots, mesmo que estes não sejam inseridos na área de linguísticas. Entretanto, não há na literatura a utilização de modelos de linguagem focados em auxílio a projeto de sistemas de aquisição de sinal. Portanto, este trabalho apresenta uma ferramenta com o intuito de fornecer sugestões de sistemas de aquisição de sinal seguindo uma metodologia de síntese a nível de sistema por uma abordagem top-down. Dessa maneira, por meio do GPT-4-Turbo, o aplicativo fornece o diagrama da arquitetura do projeto e, em seguida, apresenta os detalhes de implementação de cada bloco. No total, a ferramenta dispõe de 26 prompts distintos, nos quais as técnicas de personas, perguntas e templates foram empregadas. Para testar a ferramenta, se desenvolveu um método novo de teste, no qual dois GPTs adicionais são utilizados, um para emular o usuário humano e outro para avaliar a qualidade da solução. Com o intuito de aproximar os testes do caso de uso proposto, foram selecionados dois projetos da disciplina de Instrumentação A da UFRGS e dois projetos do livro Data Acquisition for Sensor Systems de Taylor (1997) para compor o conjunto de testbenches. Além de testar o desempenho do modelo em gerar sugestões adequadas, foram implementados dois cenários distintos de contexto, uma nas quais todos as restrições de projeto são fornecidas diretamente ao modelo, e outra na qual o modelo é obrigado a fazer perguntas ao usuário para obtê-las. Assim, após 160 iterações de teste, o trabalho concluiu que existe um potencial das LLMs se tornarem adequados para a síntese e/ou auxílio ao projeto de sistemas de aquisição de sinal, mas que ainda existem limitações tecnológicas. Os resultados apresentam arquiteturas e topologias coerentes com o solicitado, porém os GPTs têm dificuldades em considerar simultaneamente todos os requisitos e, ocasionalmente, cometem erros teóricos. A hipótese de que os diferentes contextos - com ou sem necessidade de perguntas - são igualmente efetivos foi rejeitada para metade dos testbenches.

Expert models have been a focus in the industry and in academia, given they aim to fulfil tasks attributed to specialists in the field, therefore optimzing processes and costs. However, pre-trained large language models have enabled the development of specialized tools without the need for much computational power, or their own dataset for training, given that prompt engineering has shown to be promising in many fields. In recent months, there has been an increase in the number of projects using Generative Pre-Trained Transformers (GPTs), where the authors are aiming to discover new applications for large language models, even beyond the field of linguistics. However, no research on language models being used for the design of data acquisition systems has been found in literature, therefore, the aim of this study is to introduce the development of an application that provides a comprehensive design for data acquisition systems using a system-level synthesis methodology with a top-down approach. Utilizing GPT-4-Turbo, the tool offers the user a diagram of the suggested architecture and later provides implementation details for each block. In total, the tool has 26 distinct prompts at its disposal, in which persona, questions and template techniques were used. To run automated tests, a novel method was developed, employing two additional GPTs — one for emulating the human user and another for evaluating the quality of the final solution. In order to close the tests for the proposed user case, two projects from the Instrumentation A laboratories in UFRGS and two projects from the book, Taylor (1997), were selected to compose the testbenches. Besides testing the tools capabilities for generating adequate suggestions, two distinct types of contexts were implemented; one of which has access to all project requirements, whilst the other is forced to ask questions to get them. After 160 test iterations, the study concludes that there is potential for these models to serve adequately as synthesis/assistant tools for data acquisition systems, but there are still technological limitations. The results show coherent architectures and topologies, but that GPTs have difficulties in simultaneously considering all requirements and occasionally commit theoretical errors. The hypothesis that the different contexts are equally effective - with our without the need for questions - was rejected for half of the testbenches.