mFFORMS : multi-level Feature-based FORecast Model Selection

Abstract

Montero-Manso et al. [2020] propôs um método de combinação de meta-aprendizagem, denominado FFORMA, que fornece pesos para cada método de previsão candidato, dado as características da série temporal. Esse método obteve o segundo lugar geral na competição M4, concurso que contou com edição especial no International Journal of Forecasting. A relevância da competição M4 advém do grande número de séries temporais (100.000) com características variadas que são encontradas por pesquisadores e profissionais em seus desafios. Inspirados por desenvolvimentos recentes na literatura de combinação de previsão, propômos o mFFORMS, um meta-learner que seleciona um método de combinação de previsão de modelos de séries temporais com base em características de séries temporais. Esta abordagem consiste em duas fases. Na primeira, usamos uma coleção de séries temporais para treinar um meta-learner que seleciona o método de combinação de previsão que minimiza uma medida de erro. Cada método de combinação usa dados de validação cruzada para estimar os pesos de cada modelo de previsão presentes no pool de candidatos. As entradas para o meta-learner são as características da série temporal e a resposta é o rótulo do método de combinação que produz o menor erro esperado. Na segunda fase, usamos o meta-learner previamente treinado para selecionar o método de combinação dado às características da série temporal. Em seguida, empregamos o método de combinação selecionado para atribuir pesos às previsões produzidas pelos métodos de previsão. Em nossa comparação, consideramos o mesmo conjunto de modelos de previsão e as mesmas informações disponíveis ao longo da competição. Nas configurações M4, nossa abordagem fornece melhores resultados do que os métodos de combinação candidatos; no entanto, tem desempenho inferior ao FFORMA e é mais intensivo computacionalmente.

Montero-Manso et al. (2020) proposed a meta-learning combination method that outputs weights for each candidate forecast method given the time series features, named FFORMA. It reached the second overall place in the M4 competition, a contest that received a special edition at the International Journal of Forecasting. The competition’s relevance stems from the vast number of diverse time series (100,000) that reflect the characteristics of the time series often encountered by researchers and practitioners in their challenges. Inspired by recent developments in forecast combination literature, we propose mFFORMS, a meta-learner to select a forecast combination method of time series models based on time series features. This novel approach consists of two phases. First, we use a collection of time series to train a meta-learner that selects the forecasting combination method that minimises an error measure. Each combination method uses cross-validated data to estimate the weights of each forecasting model in the pool. The inputs for the metalearner are the time series features, and the response is the label of the combination method that produces the lowest error. In the second phase, we use the previously trained meta-learner to select the combination method given the time series features. Afterwards, we employ the selected combination method to assign weights to the forecasts produced by the forecasting methods. In our comparison, we consider the same pool of forecasting models and the same information available throughout the competition. In the M4 settings, our approach provides better results than the candidate combination methods; however, it underperforms FFORMA and is more intensive computationally.