Reinforcement learning aplicado para otimização do custo da energia elétrica em um modelo computacional de planta de chuveiro com aquecimento com dois graus de liberdade

Abstract

Com o crescente aumento da tarifa da energia elétrica no Brasil, é imprescindível que novas estratégias sejam exploradas para a redução do consumo de energia elétrica nos eletrodomésticos que mais encarecem a conta de luz do consumidor, a exemplo do chuveiro elétrico. Assim, este estudo aplicou Reinforcement Learning (RL) para otimização do custo da energia elétrica em um modelo computacional de planta de chuveiro com aquecimento com dois graus de liberdade. RL é um método de aprendizado de máquina que pode ser utilizado como uma alternativa ou complementação às estratégias clássicas de controle e otimização de processos industriais. Na primeira fase deste estudo, buscou-se compreender qual é a melhor estratégia de aplicação de RL no modelo de planta de chuveiro para maximizar a qualidade do banho: RL como ferramenta da camada supervisória ou RL como ferramenta de otimização em tempo real. Assim, três configurações de chuveiro foram treinadas com os algoritmos Proximal Policy Optimization (PPO) e Soft Actor-Critic (SAC) para diferentes temperaturas ambiente. O PPO obteve uma performance superior ao SAC em um tempo menor de treinamento, logo optou-se por utilizar somente o PPO. Além disso, o PPO alcançou recompensas médias maiores quando RL foi aplicado como ferramenta de otimização em tempo real, que incluía duas configurações de chuveiro, sendo que em uma delas foi implementada uma estratégia de splitrange para a fração da resistência elétrica. Logo, essas duas configurações e o algoritmo PPO foram utilizados na segunda fase do estudo, cujo objetivo principal era verificar se é possível aplicar RL para otimizar os custos do banho, com ênfase no custo da energia elétrica, ao mesmo tempo que a qualidade é maximizada. Foram testados diversos modelos para ambas as configurações, variando os objetivos e os cenários de temperatura ambiente e tarifa da energia elétrica. O modelo que obteve em média os menores custos do banho e a maior qualidade foi o da configuração com split-range onde foi implementado um agente que construía uma política específica para cada cenário, e depois aprendia a selecionar qual a melhor política a ser aplicada dependendo das condições iniciais. Portanto, considera-se que este estudo obteve sucesso em aplicar RL para otimização da planta de chuveiro em questão e que o tópico apresenta diversas oportunidades e possibilidade para estudos futuros.