Reinforcement Learning aplicado para otimização da produção de poços de elevação de petróleo

Abstract

A indústria petrolífera agrega grandes lucros a pequenos ganhos na produção, sendo de interesse otimizar o processo produtivo. Com o intuito de buscar novas formas para isso, o estudo explora a aplicabilidade do conceito de reinforcement learning (RL) em poços de elevação de petróleo. RL é um método de aprendizagem de máquina em crescente estudo e utilização na academia e indústria. RL possui um caráter exploratório, essa característica situacionalmente possibilita encontrar caminhos não ortodoxos que geram resultados excepcionais. Contudo, atualmente não há literatura envolvendo a utilização desse método para a otimização da produção de petróleo. Foi utilizado um método denominado actor-critic (AC) que, como todos os métodos de RL, envolve a interação de um agente no ambiente, com base em uma política, de modo a maximizar um sinal de recompensa. O método em questão atualiza continuamente a política com base nas recompensas obtidas, possibilitando explorar de maneira mais robusta a dinâmica do sistema de elevação de petróleo. Foi utilizado o modelo denominado FOWM para poços de petróleo como base para os testes de otimização. Nele atuou o método AC e, para comparação, dois métodos de otimização: um determinístico e local (COBYLA) e outro estocástico e global (Differential Evolution). O objetivo era o mesmo para todos: alcançar a maior produção, também entendido como a maior abertura da válvula choke, sem gerar golfadas. O método AC teve sucesso em gerar resultados viáveis, alcançando 72,8% de abertura de válvula, sem golfadas. Contudo, o tempo de execução é de aproximadamente 11,6 horas, demasiadamente elevado. Differential Evolution apresentou resultados inferiores para otimização do problema em questão, gerando resultados mais ágeis que os do método AC, porém menos eficazes. O método COBYLA apresentou o melhor resultado com o menor tempo de execução, alcançando 73,70% de abertura de válvula em aproximadamente 6 minutos. Entende-se que, de acordo com a configuração implementada neste estudo, não há motivos para escolher o método AC em detrimento ao método COBYLA. Os resultados também apontam uma não dependência do resultado do AC com o número de iterações, direcionando possíveis aprimoramentos para aumentar a efetividade desse algoritmo. Todavia, considera-se que o estudo obteve sucesso em implementar a metodologia de RL para poços de elevação de petróleo e que o tópico apresenta diversas oportunidades.

The oil industry adds large profits to small gains in production, and it is of interest to optimize the production process. In order to seek new ways to do this, this study explores the applicability of the reinforcement learning (RL) concept in oil lift wells. RL is a learning method under increasing study and use in academia and industry. RL has an exploratory character, this characteristic situationally makes it possible to find unorthodox paths that yield exceptional results. However, there is currently no literature involving the use of this method for the optimization of oil production. A method called actor-critic (AC) was used which, like all RL methods, involves the interaction of an agent in the environment, based on a policy, in order to maximize a reward signal. The method in question continuously updates the policy based on the rewards obtained, making it possible to more robustly explore the dynamics of the oil lifting system. The so-called FOWM oil-well model was used as the basis for the optimization tests. The AC method was used and, for comparison, two optimization methods: one deterministic and local (COBYLA) and the other stochastic and global (Differential Evolution). The objective was the same for all: to reach the highest production, also understood as the largest choke opening, without generating slug flow. The AC method was successful in generating feasible results, achieving 72.8% valve opening, without slugging. However, the execution time is excessive, taking approximately 11.6 hours. Differential Evolution showed inferior results for optimization of the problem in question, generating more agile results than the AC method, but less effective. The COBYLA method presented the best result with the shortest execution time, reaching 73.70% of valve opening in approximately 6 minutes. It is understood that, according to the configuration implemented in this study, there is no reason to choose the AC method over the COBYLA method.