Aplicação de arquiteturas de redes neurais no deep reinforcement learning para otimização de estratégias de negociação do índice IBOVESPA

Abstract

Este trabalho propõe a utilização de três arquiteturas distintas de redes neurais e duas funções de recompensa aplicadas no Deep Reinforcement Learning para negociação do índice Ibovespa no mercado financeiro brasileiro. A análise se concentra em comparar o desempenho das diferentes estratégias. As funções de recompensa utilizadas se baseiam no rendimento das negociações realizadas pelo agente, se diferenciando no momento em que a recompensa é informada para o agente, sendo no final de uma negociação ou a cada etapa de tempo. As arquiteturas utilizadas foram redes neurais densas, Long Short-Term Memory (LSTM) e redes neurais convolucionais (CNN). As abordagens propostas serão analisadas em termos de rentabilidade e comparadas com a prática comum de traders, a estratégia de compra e manutenção (buy and hold). Essa comparação será baseada no retorno acumulado, considerando os custos de transação envolvidos no mercado brasileiro, o desempenho durante crises e outros indicadores de desempenho como retorno esperado anualizado, desvio padrão do retorno anualizado, Índice de Sharpe anualizado, Sortino, Índice de Calmar, percentual de retornos positivos e razão entre retornos positivos e negativos. O objetivo deste projeto é propor e verificar o desempenho de diferentes abordagens dentro do framework de Deep Reinforcement Learning, utilizando o modelo Deep Q-Network (DQN). Adicionalmente, o trabalho visa incentivar o desenvolvimento de estratégias robustas e de alto rendimento no mercado financeiro brasileiro. Os experimentos realizados indicaram que os modelos que utilizam as LSTM e CNN obtiveram retornos superiores às redes densas. Durante os períodos da crise financeira global e da pandemia, todos modelos superaram o benchmark buy and hold. Contudo, somente o modelo LSTM que utiliza a função nomeada por “passo”, tendo a recompensa calculada a cada etapa de tempo, obteve rendimentos totais superiores à estratégia buy and hold.

This work proposes the use of three different neural network architectures and two reward functions applied to Deep Reinforcement Learning to trade the Ibovespa index in the Brazilian financial market. The analysis focuses on comparing the performance of different strategies. The reward functions used are based on the returns from the trades executed by the agent, differing in the timing of when the reward is provided to the agent: either at the end of a trade or at each time step. The architectures used include dense neural networks, Long ShortTerm Memory (LSTM), and convolutional neural networks (CNN). The proposed approaches will be analyzed in terms of profitability and compared to the common practice among traders: the buy-and-hold strategy. This comparison will be based on the accumulated return, considering the transaction costs involved in the Brazilian market, performance during crises, and other performance indicators such as the annualized expected return, standard deviation of the annualized return, annualized Sharpe ratio, Sortino ratio, Calmar ratio, percentage of positive returns, and the ratio between positive and negative returns. The objective of this project is to propose and verify the performance of different approaches within the same type of Deep Reinforcement Learning, specifically the Deep Q-Network. Furthermore, the work aims to encourage the development of robust and highyield strategies in the Brazilian financial market. The experiments showed that models utilizing LSTM and CNN achieved superior performance compared to dense networks. During periods of the global financial crisis and the pandemic, all models outperformed the buy and hold strategy. However, only the LSTM model utilizing the function named "step," with the reward calculated at each time step, achieved total returns higher than the buy and hold strategy.