Forecasting with high-dimensional data using linear and P-splines L2-boosting : an exercise for the unemployment rate in Brazil

Abstract

The main purpose of this paper is to verify the validity of the component-wise boosting algorithm to predict the monthly unemployment rate in the São Paulo Metropolitan Region. For this, we developed three models, a completely linear model, with only linear learners, a completely non-linear model, with only p-splines learners, and a mixed model. The mixed model uses p-spline learners for price-related predictors and linear learners for the rest of them. Such a confguration is motivated by studies that point out a non-linear relationship of the Phillips curve; thus, the mixed model applies non-linear modeling with awareness of the relationships between the dependent variable and its predictors. The boosting models use 159 predictors and are tested between 2013 and 2019, the years when one of the biggest recessions in Brazilian history occurred. To test the validity of the model, we used the SARIMA model as a benchmark. The results indicated a superiority compared to the benchmark of the three models for the forecast horizons h = 2 through h = 11. In addition, the mixed model stands out with the best results in performance metrics, followed by the linear model and then by the completely non-linear model. The work concludes that mixed modeling tended to be superior, especially for intermediate forecast horizons (h = 5 trough h = 11), and also highlights the importance of using nonlinear modeling with awareness of the relationships between predictors and the dependent variable.

Este trabalho tem por objetivo principal verifcar a validade do algoritmo component-wise boosting para prever a taxa de desemprego mensal na Região Metropolitana de São Paulo. Para isto, desenvolvemos três modelos, um modelo completamente linear, apenas com learners lineares, um modelo completamente não-linear, apenas com learners p-splines, e um modelo misto. O modelo misto utiliza learners p-spline para os preditores relacionados a preços e learners lineares para os demais. Tal confguração é motivada por estudos que apontam uma relação não-linear da curva de Phillips; assim, o modelo misto aplica a modelagem não-linear com consciência das relações entre a variável dependente e seus preditores. Os modelos boosting utilizam 159 preditores e são testado entre 2013 e 2019, os anos em que ocorreu uma das maiores recessões da história brasileira. Para testar a validade do modelo, utilizamos o modelo SARIMA como benchmark. Os resultados indicaram uma superioridade em comparação com o benchmark dos três modelos para os horizontes de previsão h = 2 até h = 11. Além disso, o modelo misto se destaca com os melhores resultados em métricas de desempenho, seguido pelo modelo linear e depois pelo modelo completamente não-linear. O trabalho conclui que a modelagem mista tendeu a ser superior, especialmente para horizontes de previsão intermediários (h = 5 até h = 11), e também destaca a importância de usar a modelagem não linear com consciência das relações entre os preditores e a variável dependente.