Desenvolvimento e validação de um modelo de mortalidade intra-hospitalar pós-operatória em 30 dias utilizando técnicas de aprendizado de máquina em pacientes adultos submetidos a cirurgia não cardíaca no Hospital de Clínicas de Porto Alegre

Abstract

Procedimentos cirúrgicos são parte essencial do sistema de saúde, uma vez que aproximadamente um terço das doenças são tratadas com procedimentos invasivos. De acordo com diretrizes internacionais, o Brasil ainda precisa expandir a oferta de serviços de assistência cirúrgica à população. Entretanto, à medida que esta cobertura é ampliada, espera-se que ocorra aumento proporcional de complicações e mortalidade pós-operatória, mantido o contexto atual. Estima-se que a mortalidade geral pós-operatória em trinta dias seja próxima de 0,5%; entretanto, a incidência deste evento pode chegar a 4% em países em desenvolvimento. Sabe-se que pacientes de alto risco são mais suscetíveis à mortalidade. Desta forma, determinar quais pacientes são de alto risco para mortalidade pós-operatória, antes de submetê-los a procedimentos invasivos, permite ofertar cuidados custo-efetivos, adaptados ao sistema de saúde. A linha de pesquisa ao qual pertence a presente tese vem desenvolvendo soluções inovadoras e contextualizadas para o sistema de saúde público brasileiro com o objetivo de estratificar e criar abordagens que otimizem o cuidado de pacientes vulneráveis. Destacam-se, o desenvolvimento de uma ferramenta de estratificação de risco, que posteriormente foi validada em dez hospitais do Brasil; a construção de uma linha de cuidado para pacientes de alto risco que reduziu a mortalidade pós-operatória em 30 dias; e avaliação da custo-efetividade desta linha de cuidado no contexto do Sistema Único de Saúde (SUS). Neste sentido, o modelo parcimonioso de regressão logística, chamado ExCareBR, foi desenvolvido e validado em dez hospitais brasileiros. Este modelo incorporou variáveis da estrutura hospitalar, escore da classificação da American Society of Anesthesiology Physical Status (ASA-PS), urgência do procedimento, porte cirúrgico e idade do paciente, e está disponível em aplicativo para dispositivos móveis. O modelo apresentou excelente discriminação e calibração, com estatística c de 0,93 (Intervalo de Confiança - IC 95% 0,93-0,94) e escore de Brier de 0,017. Embora modelos de risco parcimoniosos sejam capazes de estratificar os pacientes de forma adequada, métodos preditivos baseados em aprendizado de máquinas (AM) podem oferecer algumas vantagens em relação aos métodos tradicionais neste contexto, pois permitem analisar grandes quantidades de dados e a relação não linear entre as variáveis. Desta forma, com base em uma coorte retrospectiva de todos os pacientes adultos submetidos a cirurgia não cardíaca, entre o período de janeiro de 2015 a dezembro de 2019, a presente tese apresenta o desenvolvimento e validação de um modelo preditivo para mortalidade intra-hospitalar pós-operatória em 30 dias baseado em aprendizado de máquinas utilizando variáveis demográficas, clínicas e laboratoriais pré-operatórias de pacientes adultos submetidos a cirurgias não cardíacas no Hospital de Clínicas de Porto Alegre (HCPA). Além disso, a presente tese apresenta a comparação do modelo de AM com um modelo conceitual de regressão logística desenvolvido na mesma amostra e com o modelo de risco validado ExCareBR. Foram desenvolvidos modelos de AM e um modelo conceitual de Regressão Logística. O desfecho escolhido foi a mortalidade intra-hospitalar por qualquer causa no pós-operatório em até 30 dias. As variáveis preditoras foram aquelas associadas ao desfecho com base em estudos prévios e que estivessem disponíveis no pré-operatório no sistema de prontuário eletrônico (AGHUse) do HCPA. Os modelos de AM construídos foram os seguintes: Regressão Logística, Regressão Regularizada Lasso, Extreme Gradient Boosting Trees (XGBoost), Random Forest, Radial Basis Function Support Vector Machine e Multivariate Adaptative Regression Splines. Um modelo de imputação com regressão linear foi criado durante a fase de pré-processamento e todos os modelos foram desenvolvidos na amostra de treinamento com imputação. Após, os modelos de Random Forest e XGBoost foram desenvolvidos na amostra de treinamento sem imputação, uma vez que estes algoritmos são capazes de lidar naturalmente com dados faltantes. As métricas dos modelos foram, então, comparadas com ANOVA Bayesiana para escolha do melhor modelo final. O modelo final foi avaliado quanto à calibração, visualizações de SHAP e análise de Curva de Decisão na amostra de teste e comparado ao ExCareBR. No período avaliado, 62.223 pacientes foram submetidos a 106.587 procedimentos. Após realizarmos a exclusão dos pacientes que não preenchiam os critérios de inclusão, foram incluídos na amostra 36.112 pacientes, submetidos a um único procedimento que preencheram os critérios de inclusão. A mortalidade em 30 dias na amostra foi de 2,36%. O modelo conceitual final de regressão logística incluiu as variáveis de idade, classificação ASA-PS, hemoglobina pré-operatória, razão de neutrófilo/linfócito (RNL), natureza do agendamento, especialidade cirúrgica, risco cirúrgico, previamente internado em Unidade de Terapia Intensiva (UTI), e procedimentos de alto risco (intra-abdominal, vascular supra inguinal e intratorácico). Na análise Bayesiana, este modelo apresentou distribuição posteriori da ROC AUC posteriori de 0,948 (Intervalo de Credibilidade 95% 0,946 – 0,950), e PR AUC posteriori 0,413 (Intervalo de Credibilidade 95% 0,399 – 0,427). O melhor modelo de AM na amostra com imputação foi uma configuração de Random Forest com ROC AUC posteriori de 0,954 (Intervalo de Credibilidade 95% 0,952 – 0,956) e PR AUC de 0,420 (Intervalo de Credibilidade 95% 0,406 – 0,434). Já na amostra sem imputação, o melhor modelo foi uma configuração de XGBoost com ROC AUC posteriori de 0,957 (Intervalo de Credibilidade 95% 0,956 – 0,959), e PR AUC de 0,433 (Intervalo de Credibilidade 95% 0,419 – 0,447). Quando comparados com ANOVA Bayesiana, todos os modelos apresentaram ROC AUC semelhantes, mas a PR AUC do modelo XGBoost foi superior ao modelo conceitual, mas não ao modelo Random Forest. O modelo XGBoost foi então escolhido como modelo final por não necessitar de imputação de dados. Na amostra de teste, o modelo XGBoost apresentou ROC AUC de 0,955 (Intervalo de Confiança 95% 0,942 - 0,968), que foi superior ao modelo ExCareBR de 0,925 (Intervalo de Confiança 95% 0,908 – 0,942), p < 0,001. Além disso, este modelo apresentou maior PR AUC de 0,478 (Intervalo de Confiança 95% 0,395 – 0,557), do que o ExCareBR de 0,413 (Intervalo de Confiança 95% 0,330 – 0,491). As variáveis mais importantes na análise com visualizações SHAP foram: previamente internado em UTI, ASA-PS, especialidade ginecologia, procedimento maior, escore de Elixhauser, idade, doença cardiovascular, especialidade vascular, concentração de hemoglobina e procedimento eletivo. As cinco variáveis mais influentes na predição de um paciente de alto risco foram um ASA-PS alto, Taxa de Filtração Glomerular baixa, creatinina sérica elevada, contagem de plaquetas baixas e hemoglobina baixa. Além disso o modelo apresentou boa calibração (Escore de Brier de 0,0157) e utilidade clínica superior ao modelo ExCareBR avaliado por análise de curva de decisão. A presente tese foi pioneira ao relatar o desenvolvimento e validação de um modelo acurado e bem calibrado para estratificação de risco de pacientes cirúrgicos utilizando AM em contexto de um hospital público brasileiro. Além disso, comparamos o desempenho dos modelos desenvolvidos com um teste estatístico robusto e escolhemos o modelo final com base em suas métricas, usabilidade e utilidade clínica. Este modelo melhorou a identificação de pacientes de alto risco quando comparado a modelos de regressão logística conceitual e ao modelo validado ExCareBR.

Surgical procedures are an essential part of the healthcare system, as approximately one third of diseases are treated with invasive procedures. According to international guidelines, Brazil still needs to expand the provision of surgical care services to the population. However, as this coverage expands, a proportional increase in complications and postoperative mortality is expected, given the current context. It is estimated that overall 30-day postoperative mortality is close to 0.5%; however, the incidence of this event can reach 4% in developing countries. It is known that high-risk patients are more susceptible to mortality. Therefore, determining which patients are at high risk for postoperative mortality before submitting them to invasive procedures allows for cost-effective care, tailored to the health system. The research line to which this thesis belongs has been developing innovative and contextualized solutions for the Brazilian public health system, aiming to stratify and create approaches that optimize care for vulnerable patients. Noteworthy achievements include the development of a risk stratification tool, later validated in ten hospitals in Brazil; the creation of a care pathway for high-risk patients, which reduced 30-day postoperative mortality; and the assessment of the cost-effectiveness of this care pathway in the context of the Unified Health System. In this regard, the parsimonious logistic regression model, called ExCareBR, was developed and validated in ten Brazilian hospitals. This model incorporated variables related to hospital infrastructure, the American Society of Anesthesiology (ASA-PS) classification score, procedure urgency, surgical complexity, and patient age, and is available as a mobile app. The model demonstrated excellent discrimination and calibration, with a c-statistic of 0.93 (95% CI 0.93-0.94) and a Brier score of 0.017. Although parsimonious risk models are capable of adequately stratifying patients, predictive methods based on machine learning (ML) may offer certain advantages over traditional methods in this context, as they enable analysis of large amounts of data and non-linear relationships among variables. Thus, based on a retrospective cohort of all adult patients undergoing non-cardiac surgery between January 2015 and December 2019, this thesis presents the development and validation of a predictive model for 30-day in-hospital postoperative mortality based on machine learning, using demographic, clinical, and preoperative laboratory variables from adult patients who underwent non-cardiac surgeries at Hospital de Clínicas de Porto Alegre. Furthermore, this thesis compared the developed model with a conceptual logistic regression model built on the same sample and with the validated ExCareBR risk model. ML models and a conceptual Logistic Regression model were developed. The chosen outcome was in-hospital mortality from any cause within 30 days postoperatively. Predictor variables were those associated with the outcome based on previous studies and available preoperatively in the Hospital de Clínicas de Porto Alegre (HCPA) electronic health record system (AGHUse). The ML models constructed were as follows: Logistic Regression, Regularized Lasso Regression, Extreme Gradient Boosting Trees (XGBoost), Random Forest, Radial Basis Function Support Vector Machine, and Multivariate Adaptive Regression Splines. A linear regression imputation model was created during preprocessing, and all models were developed on the training sample with imputation. Subsequently, Random Forest and XGBoost models were developed on the training sample without imputation, since these algorithms can naturally handle missing data. The models’ metrics were compared using Bayesian ANOVA to select the best final model. The final model was evaluated for calibration, SHAP visualizations, and Decision Curve Analysis in the test sample and compared to ExCareBR. During the evaluated period, 62,223 patients underwent 106,587 procedures. The sample included 36,112 patients, each undergoing a single procedure, who met the inclusion criteria. Thirty-day mortality in the sample was 2.36%. The final conceptual logistic regression model included age, ASA-PS classification, preoperative hemoglobin, neutrophil/lymphocyte ratio, scheduling nature, surgical specialty, surgical risk, prior ICU admission, and high-risk procedures (intra-abdominal, supra-inguinal vascular, and intrathoracic). In the Bayesian analysis, this model showed a posterior ROC AUC distribution of 0.948 (95% Credibility Interval 0.946 – 0.950) and PR AUC of 0.413 (95% Credibility Interval 0.399 – 0.427). The best ML model in the sample with imputation was a Random Forest configuration with a posterior ROC AUC of 0.954 (95% Credibility Interval 0.952 – 0.956) and PR AUC of 0.420 (95% Credibility Interval 0.406 – 0.434). In the sample without imputation, the best model was an XGBoost configuration with a posterior ROC AUC of 0.957 (95% Credibility Interval 0.956 – 0.959) and PR AUC of 0.433 (95% Credibility Interval 0.419 – 0.447). When compared using Bayesian ANOVA, all models showed similar ROC AUC, but the PR AUC of the XGBoost model was superior to the conceptual model, though not to the Random Forest. The XGBoost model was chosen as the final model because it did not require data imputation. In the test sample, the XGBoost model presented a ROC AUC of 0.955 (95% Confidence Interval 0.942 - 0.968), superior to the ExCareBR model’s 0.925 (95% Confidence Interval 0.908 – 0.942), p < 0.001. In addition, this model showed a higher PR AUC of 0.478 (95% Confidence Interval 0.395 – 0.557), compared to ExCareBR’s 0.413 (95% Confidence Interval 0.330 – 0.491). The most important variables in the SHAP visualizations were: prior admission to the Intensive Care Unit (ICU), ASA-PS, gynecology specialty, major procedure, Elixhauser score, age, cardiovascular disease, vascular specialty, hemoglobin concentration, and elective procedure. The five most influential variables for predicting a high-risk patient were a high ASA-PS, low Glomerular Filtration Rate, elevated serum creatinine, low platelet count, and low hemoglobin. Additionally, the model showed good calibration (Brier score of 0.0157) and superior clinical utility compared to the ExCareBR model, as evaluated by decision curve analysis. This thesis was a pioneer in reporting the development and validation of an accurate and well-calibrated model for risk stratification of surgical patients using ML in the context of a Brazilian public hospital. Furthermore, we compared the performance of the developed models with a robust statistical test and selected the final model based on its metrics, usability, and clinical utility. This model improved the identification of high-risk patients compared to conceptual logistic regression models and the validated ExCareBR model.