Otimização de portfólio financeiro utilizando aprendizado por reforço

Abstract

Portfólio financeiro pode ser definido como o conjunto de ativos que um investidor detém. Estes ativos podem ser tanto investimentos em renda fixa como em renda variável. Otimização de portfólio financeiro é uma área que visa maximizar os resultados de uma carteira de investimento. Essa campo tem tido muita relevância recentemente, gerando diversos modelos matemáticos para melhorar os resultados dos portfólios. Porém, devido a sua complexidade, muitos dos modelos não conseguem se aproximar o suficiente da realidade a ponto de se adaptar a cenários mais extremos. Por exemplo, dentre eles a queda acentuada que a bolsa de valores sofreu com a pandemia da Covid-19. Em busca de solucionar o problema de adaptação, esse trabalho aplica 5 algoritmos de Aprendizado por Reforço para otimizar os pesos de carteiras de ações em diferentes mercados e obter o maior retorno possível. Além disso, foram exploradas combinações de execução dos algoritmos de forma concorrente, com o objetivo de reduzir o tempo global de treinamento e tornar o processo de melhora dos modelos mais rápido. O retorno final obtido no mercado Brasileiro foi de 1,91 e no Americano foi de 1,86. O tempo global de treinamento dos algoritmos reduziu em 33% e o consumo energético em 15%. Dessa forma, foi possível realizar adaptações nos modelos de forma mais rápida e personalizada para cada mercado financeiro.

A financial portfolio can be defined as the set of assets that an investor holds. These assets can be either fixed-income or variable-income investments. Financial portfolio optimization is an area that aims to maximize the results of an investment portfolio. This field has been very relevant recently, generating various mathematical models to improve portfolio results. However, due to their complexity, many of the models cannot get close enough to reality to adapt to more extreme scenarios. For example, the sharp drop in the stock market caused by the Covid-19 pandemic. In order to solve the adaptation problem, this work applies 5 Reinforcement Learning algorithms to optimize the weights of stock portfolios in different markets and obtain the highest possible return. In addition, combinations of running the algorithms concurrently were explored, with the aim of reducing the overall training time and making the model improvement process faster. The final return obtained in the Brazilian market was 1.91 and in the American market it was 1.86. The overall training time of the algorithms was reduced by 33% and the energy consumption by 15%. In this way, it was possible to make adaptations to the models in a faster and more personalized way for each financial market.