Redes neurais informadas pela física: solução de equações diferenciais ordinárias utilizando redes neurais profundas

Abstract

A compreensão de fenômenos físicos está fortemente correlacionada com o desenvolvimento tecnológico nos últimos três séculos. Impressiona a quantidade de vertentes que o conhecimento matemático-físico possui e ainda assim, reconhece-se que muitas metodologias ainda precisam ser aperfeiçoadas, seja por razões de otimização computacional, predições precisas ou quebra de pressuposições. Em aprendizado de máquina, as Redes Neurais surgem como um algoritmo extremamente eficaz para estimar a verdadeira função dos dados, reconhecimento e geração de imagens, categorizações e afins. Agregar essa metodologia à descrição de fenômenos físicos foi um importante passo científico, porém, notou-se que a rede quando não possuía dados suficientes para treinamento, apresentava previsões ingênuas. O objetivo deste trabalho foi apresentar uma metodologia que agrega conhecimento prévio a Rede Neural, fazendo com que princípios científicos sejam levados em consideração no momento preditivo. O método explorado foi a Rede Neural Informada pela Física (PINN), aplicação conhecida por definir uma arquitetura eficiente e boa adaptabilidade conforme as características do evento, mesmo trabalhando com poucos dados. Para melhor ilustrar a funcionalidade do método, optou-se por problemas que são descritos através de Equações Diferenciais Ordinárias (EDOs). O Oscilador Harmônico Amortecido (OHA) foi o fenômeno escolhido pois apresenta boa interpretabilidade e conseguimos observar a diferença matemática entre seus estados, focando na condição de subamortecimento. Após explorar e solucionar cada caso do oscilador, foi montada uma arquitetura como base para criar uma comparação equânime entre o método e uma rede ingênua, avaliando suas predições com o formato real da função, o número de iterações necessários e o tempo de execução. Manipulando a função perda com o objetivo de alcançar um possível ganho em tempo computacional, foi definida uma métrica para realizar uma mescla entre os pontos positivos apresentados por ambas as redes. Os resultados das explorações indicam que as abordagens propostas superaram as limitações de dados insuficientes gerando predições mais alinhadas ao fenômeno estudado e posteriormente, verificou-se que ao modificar a métrica dos erros gerados, foi possível reduzir significativamente o tempo de execução.

The understanding of physical phenomena is strongly correlated with technological development over the past three centuries. The vast range of perspectives offered by mathematical and physical knowledge is impressive, and yet, it is acknowledged that many methodologies still require refinement, whether for reasons of computational optimization, accurate predictions, or breaking assumptions. In machine learning, Neural Networks emerge as an extremely effective algorithm for estimating the true function of data, recognizing and generating images, categorizations, and more. Integrating this methodology into the description of physical phenomena was a significant scientific step; however, it was observed that when the network lacked sufficient training data, it produced naive predictions. The objective of this work was to present a methodology that incorporates prior knowledge into the Neural Network, ensuring that scientific principles are considered during the predictive process. The method explored was the Physics-Informed Neural Network (PINN), an approach known for defining an efficient architecture with good adaptability to the characteristics of the event, even when working with limited data. To better illustrate the functionality of the method, problems described by Ordinary Differential Equations (ODEs) were chosen. The Damped Harmonic Oscillator (DHO) was the selected phenomenon due to its interpretability, allowing us to observe the mathematical differences between its states, focusing on the underdamped condition. After exploring and solving each case of the oscillator, an architecture was designed as a basis for creating an equitable comparison between the method and a naïve network, evaluating their predictions against the real function’s shape, the number of required iterations, and execution time. By manipulating the loss function to achieve potential computational time gains, a metric was defined to combine the positive aspects demonstrated by both networks. The results of the explorations indicate that the proposed approaches overcame the limitations of insufficient data, producing predictions more aligned with the studied phenomenon. Furthermore, it was found that by modifying the metric of generated errors, execution time could be significantly reduced.