Avaliação de desempenho de modelo hidrológico conforme a estratégia de divisão de dados na calibração

Abstract

A calibração e validação de modelos hidrológicos são etapas da modelagem hidrológica. Normalmente, isso é feito dividindo o banco de dados em um período de calibração e em um período de validação. Essa divisão muitas vezes é feita de maneira subjetiva e a maior parte dos dados é utilizada na calibração e o restante é utilizado na etapa da validação. Devido a isso a modelagem pode estar suscetível a erros da divisão subjetiva dos dados. Neste trabalho, foram criadas nove estratégias de divisão de dados para avaliar o desempenho de um modelo hidrológico em cinco bacias hidrográficas brasileiras utilizando quatro funções-objetivo, resultando em 180 processos de calibração. Essas estratégias usam diferentes períodos para calibração e validação, e em algumas estratégias apenas ocorre a calibração. Foram utilizados dois tipos de teste: “teste próximo” e “teste longe”, onde métricas de desempenho como KGE, NSE, DAM e RMSEI foram avaliadas. Após isso, foi criado um sistema de pontuação para comparar o desempenho dos cenários sem validação com os demais, e também comparar cenários calibrados com dados antigos versus dados mais recentes. A frequência dos eventos de interesse foi calculada para cada métrica de desempenho. Os principais resultados foram evidências de que calibrar modelos com dados mais antigos e depois validar os modelos com dados mais recentes produz um desempenho inferior no período de teste do modelo. As funções KGE, NSE e DAM foram as mais afetadas pela estratégia de calibrar com dados antigos e validar com dados recentes, isso foi observado nos testes e nas frequências calculadas dos eventos de interesse. Também foi observado que a estratégia de não realizar a validação parece ser pouco efetiva para as bacias brasileiras estudadas.

Calibration and validation of hydrological models are steps in hydrological modeling. Typically, this is done by dividing the database into a calibration period and a validation period. This division is often done subjectively, with most of the data being used for calibration and the remainder for validation. Due to this, modeling can be susceptible to errors from subjective data division. In this work, nine data division strategies were created to evaluate the performance of a hydrological model in five Brazilian river basins using four objective functions, resulting in 180 calibration processes. These strategies use different periods for calibration and validation, and in some strategies, only calibration occurs. Two types of tests were used: “near test” and “far test,” where performance metrics such as KGE, NSE, DAM, and RMSEI were evaluated. Following this, a scoring system was created to compare the performance of scenarios without validation with the others, and also compare scenarios calibrated with older data versus more recent data. The frequency of events of interest was calculated for each performance metric. The main results provided evidence that calibrating models with older data and then validating the models with more recent data results in inferior performance during the model testing period. The KGE, NSE, and DAM functions were most affected by the strategy of calibrating with older data and validating with recent data; this was observed in the tests and the calculated frequencies of the events of interest. It was also observed that the strategy of not performing validation seems to be ineffective for the Brazilian basins studied.