Deep learning macroeconomics

Abstract

Limited datasets and complex nonlinear relationships are among the challenges that may emerge when applying econometrics to macroeconomic problems. This research proposes deep learning as an approach to transfer learning in the former case and to map relationships between variables in the latter case. Several machine learning techniques are incorporated into the econometric framework, but deep learning remains focused on time-series forecasting. Firstly, transfer learning is proposed as an additional strategy for empirical macroeconomics. Although macroeconomists already apply transfer learning when assuming a given a priori distribution in a Bayesian context, estimating a structural VAR with signal restriction and calibrating parameters based on results observed in other models, to name a few examples, advance in a more systematic transfer learning strategy in applied macroeconomics is the innovation we are introducing. When developing economics modeling strategies, the lack of data may be an issue that transfer learning can fix. We start presenting theoretical concepts related to transfer learning and proposed a connection with a typology related to macroeconomic models. Next, we explore the proposed strategy empirically, showing that data from different but related domains, a type of transfer learning, helps identify the business cycle phases when there is no business cycle dating committee and to quick estimate an economic-based output gap. In both cases, the strategy also helps to improve the learning when data is limited. The approach integrates the idea of storing knowledge gained from one region’s economic experts and applying it to other geographic areas. The first is captured with a supervised deep neural network model, and the second by applying it to another dataset, a domain adaptation procedure. Overall, there is an improvement in the classification with transfer learning compared to baseline models. To the best of our knowledge, the combined deep and transfer learning approach is underused for application to macroeconomic problems, indicating that there is plenty of room for research development. Secondly, since deep learning methods are a way of learning representations, those that are formed by the composition of multiple non-linear transformations, to yield more abstract representations, we apply deep learning for mapping low-frequency from high-frequency variables. There are situations where we know, sometimes by construction, that there is a relationship be-tween input and output variables, but this relationship is difficult to map, a challenge in which deep learning models have shown excellent performance. The results obtained show the suitability of deep learning models applied to macroeconomic problems. Additionally, deep learning proved adequate for mapping low-frequency variables from high-frequency data to interpolate, distribute, and extrapolate time series by related series. The application of this technique to Brazilian data proved to be compatible with benchmarks based on other techniques.

Conjuntos de dados limitados e complexas relações não-lineares estão entre os desafios que podem surgir ao se aplicar econometria a problemas macroeconômicos. Esta pesquisa propõe aprendizagem profunda como uma abordagem para transferir aprendizagem no primeiro caso e para mapear relações entre variáveis no último caso. Várias técnicas de aprendizado de máquina estão incorporadas à estrutura econométrica, mas o aprendizado profundo continua focado na previsão de séries temporais. Primeiramente, aprendizagem por transferência é proposta como uma estratégia adicional para a macroeconomia empírica. Embora os macroeconomistas já apliquem aprendizagem por transferência ao assumir uma dada distribuição a priori em um contexto Bayesiano, estimar um VAR estrutural com restrição de sinal e calibrar parâmetros com base em resultados observados em outros modelos, para citar alguns exemplos, avançar em uma estratégia mais sistemática de transferência de aprendizagem em macroeconomia aplicada é a inovação que estamos introduzindo. Ao desenvolver estratégias de modelagem econômica, a falta de dados pode ser um problema que aprendizagem por transferência pode corrigir. Começamos por apresentar conceitos teóricos relacionados à transferência de aprendizagem e propomos uma conexão com uma tipologia relacionada a modelos macroeconômicos. Em seguida, exploramos a estratégia proposta empiricamente, mostrando que os dados de domínios diferentes, mas relacionados, um tipo de aprendizagem por transferência, ajudam a identificar as fases do ciclo de negócios quando não há comitê de datação do ciclo de negócios e a estimar rapidamente um hiato do produto de base econômica. Em ambos os casos, a estratégia também ajuda a melhorar o aprendizado quando os dados são limitados. A abordagem integra a ideia de armazenar conhecimento obtido de especialistas em economia de uma região e aplicá-lo a outras áreas geográficas. O primeiro é capturado com um modelo de rede neural profunda supervisionado e o segundo aplicando-o a outro conjunto de dados, um procedimento de adaptação de domínio. No geral, há uma melhora na classificação com a aprendizagem por transferência em comparação com os modelos de base. Até onde sabemos, a abordagem combinada de aprendizagem profunda e transferência é subutilizada para aplicação a problemas macroeconômicos, indicando que há muito espaço para o desenvolvimento de pesquisas. Em segundo lugar, uma vez que os métodos de aprendizagem profunda são uma forma de aprender representações, aquelas que são formadas pela composição de várias transformações não lineares, para produzir representações mais abstratas, aplicamos aprendizagem profunda para mapear variáveis de baixa frequência a partir de variáveis de alta frequência. Há situações em que sabemos, às vezes por construção, que existe uma relação entre as variáveis de entrada e saída, mas essa relação é difícil de mapear, um desafio no qual os modelos de aprendizagem profunda têm apresentado excelente desempenho. Os resultados obtidos mostram a adequação de modelos de aprendizagem profunda aplicados a problemas macroeconômicos. Além disso, o aprendizado profundo se mostrou adequado para mapear variáveis de baixa frequência a partir de dados de alta frequência para interpolar, distribuir e extrapolar séries temporais por séries relacionadas. A aplicação dessa técnica em dados brasileiros mostrou-se compatível com benchmarks baseados em outras técnicas.