On range value at risk backtesting : a study from expected shortfall procedures

Abstract

Risk forecasting has played a major role in the risk management process, drawing the attention of financial organizations, regulators, and the academic community over the past decades to develop better tools to measure market risk. In this context, we slightly modified the definitions of Expected Shortfall (ES) backtesting procedures based on exceedance residuals with the main objective of making them effective for evaluating risk forecasts of Range Value at Risk (RVaR). To assess the performance of all procedures, we conducted Monte Carlo simulations to evaluate the size and power properties across different scenarios. In addition, we executed an empirical exercise with different asset classes, rolling window estimations, and significance levels. Jointly with each backtest, we applied the loss function of RVaR to assess the results and verify if they remained following both methods.We identified that none of the proposed backtesting procedures display significant superiority over the others in numerical and empirical analyses. Besides, the size and power of the tests deteriorate as the out-of-sample size increases. Also, with the increase of in-sample observations, we noted a degradation of sizes and improvement of powers for data generated with normal distribution at the significance levels of α = 1%,β = 2.5%. For DGPs with third and fourth moments, the proposed procedures exhibit higher powers when the predictions are conducted using the normal distribution. Regarding the empirical application, we identified that the results closely follow both methods in the best-performing scenarios, exhibiting the opposite in the worst-performing ones.

Previsões de risco desempenham um papel importante no processo de gerenciamento de risco, atraindo a atenção de organizações financeiras, reguladores e da comunidade acadêmica nas últimas décadas para desenvolver ferramentas melhores para medir o risco de mercado. Nesse contexto, modificamos ligeiramente as definições dos procedimentos de backtesting do Expected Shortfall (ES) com base em resíduos de excedentes, com o principal objetivo de torná-los eficazes na avaliação das previsões de risco do Range Value at Risk (RVaR). Para avaliar o desempenho de todos os procedimentos, conduzimos simulações de Monte Carlo para examinar as propriedades de tamanho e poder em diferentes cenários. Além disso, realizamos um exercício empírico com diferentes classes de ativos, janelas rolantes e níveis de significância. Em conjunto com cada backtest, aplicamos a função de perda do RVaR para avaliar os resultados e verificar se eles se mantiveram seguindo ambos os métodos. Identificamos que nenhum dos procedimentos de backtesting propostos exibe superioridade significativa sobre os outros tanto nas análises numéricas quanto na análise empírica. Além disso, o tamanho e o poder dos testes se deterioram à medida que o tamanho da amostra fora do período de amostragem aumenta. Além disso, com o aumento das observações dentro da amostra, observamos uma degradação dos tamanhos e uma melhoria dos poderes para dados gerados com distribuição normal nos níveis de significância de α = 1%,β = 2.5%. Para DGP’s com terceiro e quarto momentos, os procedimentos propostos exibem maiores poderes quando as previsões são realizadas usando a distribuição normal. Em relação à aplicação empírica, identificamos que os resultados seguem de perto ambos os métodos nos cenários de melhor desempenho, exibindo o oposto naqueles de pior desempenho.