Otimização de produção de lipídeos de microalgas : comparativo entre métodos clássicos e Reinforcement Learning

Abstract

Diante do crescimento dos preços do petróleo e da crise ambiental enfrentada nos dias atuais, a busca por outras fontes de combustíveis que possam suprir a demanda mundial de forma sustentável é de extrema importância. O biodiesel produzido a partir de microalgas tem a capacidade de ser este substituto, no entanto, ainda são necessárias melhoras nos processos de produção de modo a torná-lo economicamente viável. Neste trabalho foi realizada a aplicação e comparação de um método de aprendizado por reforço com dois métodos de otimização clássicos em um modelo de crescimento de microalgas em biorreator contínuo. Os métodos de otimização utilizados foram: o método Advantage Actor Critic, um método de aprendizado por reforço com caráter exploratório que visa maximizar uma recompensa dada a ele dependendo do estado atingido por uma determinada ação; o algoritmo de busca local Cobyla,; e o algoritmo de busca global determinístico Direct. Os métodos tem como objetivo a maximização da produção de lipídeos no período de 300 horas. O método Advantage Actor Critic obteve valores de produção de lipídeos igual a 22,48 g, enquanto os métodos de otimização Cobyla e Direct obtiveram cerca de 200% da produção obtida pelo aprendizado por reforço. O tempo de operação do Advantage Actor Critic foi de 340,14 s, já os tempos para os métodos Cobyla e Direct foram de 70% e 50% do tempo do aprendizado por reforço respectivamente. Pela comparação dos resultados obtidos é possível observar que o método Advantage Actor Critic não obteve resultados que justificariam o seu uso frente aos otimizadores ao qual foi comparado.

In face of growing oil prices and the environmental crisis that can’t be ignored, the search for an alternative fuel source that can fully supply the worldwide demand is of extreme importance. Microalgae based biodiesel is a possible substitute, though optimization of the current microalgae production processes is still needed so that it can be economically viable. In this paper, a comparison is made between a reinforcement learning algorithm and two classic optimizers applied to a microalgae growth model in a continuous bioreactor. The methods used in this paper are the Advantage Actor Critic algorithm, an exploratory reinforcement learning method that maximizes a given reward based on the states reached taken a certain action, the Cobyla algorithm and the Direct algorithm. The three methods had the objective of maximizing the lipid production over the period of 300 hours. The Advantage Actor Critic method obtained the lipid production value of 22,48 g, while the cobyla and the Direct method obtained about 200% of the production obtained by the reinforcement learning method. The operating time of the Advantage Actor Critic method was 340,14 s, while the operating time for the Cobyla and Direct method were about 70% and 50% of the time used by the reinforcement learning respectively. By comparison of the tested methods, it can be determined that the Advantage Actor Critic method had a lower result that does not justify its use as opposed to the use of the other two methods.