Aprimoramento do instrumento de avaliação da atenção primária à saúde (PCATool – Brasil) : imputação de dados e uma versão reduzida via teoria da resposta ao item

Abstract

A atenção primária à saúde (APS) no Brasil passou por inovações importantes, especialmente a partir do grande investimento na expansão da rede e dos recursos humanos vinculados a esse nível de atenção. Em meados de 2016, aproximadamente 125 milhões de brasileiros estavam cadastrados nas equipes de Saúde da Família. Um dos exemplos inovadores é o município do Rio de Janeiro, que, desde 2009, aumentou a cobertura da Estratégia de Saúde da Família (ESF) e introduziu um modelo de qualificação assistencial por meio das Clínicas da Família. A expansão da APS tem a finalidade de qualificar o cuidado ofertado à população, tornando essencial o desenvolvimento e a implantação de instrumentos para a avaliação permanente da qualidade nos serviços de APS. Neste contexto, destaca-se o instrumento Primary Care Assessment Tool (PCATool), desenvolvido para medir o grau de orientação à APS, disponível nos formatos para usuários crianças (Child Consumer), usuários adultos (Adult Consumer), profissionais de saúde (Provided Survey) e gestores (Facility Survey). As versões adaptadas ao Brasil, com medidas de validade e de fidedignidade conhecidas, podem ser consideradas extensas para medir o grau de orientação à APS, principalmente no monitoramento e/ou na avaliação com o propósito de ser incorporadas à rotina de trabalhadores e de gestores. Além da adequação de tempo e das dificuldades habituais no processo de coleta, existe sempre a ocorrência de dados faltantes, que demanda estratégia da imputação de dados para produzir os escores dos atributos (ou componentes) da APS, e também estimar o grau de orientação à APS. Portanto, a fim de qualificar o PCATool-Brasil como instrumento de avaliação é relevante buscar soluções para os dois problemas citados acima. Foram contemplados, neste estudo, a avaliação da imputação múltipla (IM) de dados para o PCATool-Brasil, comparando-a com a proposta de imputação única sugerida pela autora do instrumento original; o desenvolvimento, a validade e a fidedignidade de uma versão reduzida do PCATool-Brasil para usuários crianças. Para a IM foi utilizado o método Markov Chain Monte Carlo (MCMC) e os escores dos atributos (ou componentes) da APS foram comparados com a metodologia de imputação única pelo teste t para duas amostras pareadas. Para identificar os itens com maior contribuição para estimar o grau de orientação à APS foi utilizada a Teoria da Resposta ao Item (TRI), particularmente o modelo de Resposta Gradual (MRG). A validade convergente foi avaliada pela correlação e pela concordância (Bland Altman) e a fidedignidade pelo alfa de Cronbach. Os resultados revelaram que o método de IM não difere da aplicação de imputação única (e conceitual) sugerida pela autora do instrumento para estimar os escores dos atributos (ou componentes) da APS, assim como, para estimar o grau de orientação à APS (valores-p > 0,05). A partir das estimativas dos parâmetros de inclinação de cada item pelo MRG e da sua relevância conceitual, foi elaborado o PCATool-Brasil reduzido para usuários crianças, constituído por 30 itens, enquanto que a versão extensa é constituída por 55 itens. O instrumento reduzido indicou validade e fidedignidade adequadas, sendo a correlação (intervalo de confiança 95%) em torno de 0,97 (0,96; 0,97) com valor-p<0,0001, o viés de -0,03 (valor-p>0,01) e o alfa de Cronbach (intervalo de confiança 95%) foi de 89,3% (87,8%; 90,6%). Este estudo evidencia que não há importantes diferenças entre os métodos de imputação estudados, produzindo resultados acurados e precisos. Além disso, fornece refinado conhecimento sobre as características dos itens que compõem o PCATool-Brasil para usuários crianças e a sua relevância na estimação do grau de orientação à APS, fornecendo evidências fundamentais para o desenvolvimento do PCATool-Brasil reduzido que se mostrou válido e fidedigno para mensurar o grau de orientação à APS na perspectiva do cuidado de usuários crianças.

Primary health care (PHC) in Brazil has undergone major innovations, especially with growing investment in the expansion of health service networks and human resources at this level of care. By mid-2016, approximately 125 million Brazilians were registered with Family Health Teams. One example of the aforementioned innovation is found in the city of Rio de Janeiro, which, since 2011, has scaled up Family Health Strategy coverage and implemented a model for improving care quality through facilities known as Family Clinics. As the expansion of PHC is meant to improve the quality of care provided to the population, the development and implementation of instruments for continuous evaluation of care quality at PHC services is essential. One such instrument is the Primary Care Assessment Tool (PCATool), which was designed to assess the degree of PHC orientation of health services and is available in several formats, geared toward child users (Child Consumer), adult users (Adult Consumer), health providers (Provider Survey), and health service managers (Facility Survey). The versions adapted for use in Brazil, which have known validity and reliability, may be considered overlong for evaluation of the degree of PHC orientation, particularly for incorporation into the routine practice of health providers and managers. In addition to time constraints and the other usual challenges of data collection, the problem of missing data is ubiquitous, and requires the use of imputation strategies to produce scores for the attributes (or components) of PHC, as well as to estimate the degree of PHC orientation. Therefore, enhancing the quality of the PCATool-Brasil as an assessment instrument requires finding solutions for these two problems. The present study addresses two aspects: evaluation of a multiple imputation (MI) procedure for PCATool-Brasil by comparison to the single imputation method proposed by the author of the original instrument; and development and evaluation of the validity and reliability of a short-form version of the PCATool-Brasil instrument for child consumers. MI was performed by the Markov chain Monte Carlo (MCMC) method. A t-test for two paired samples was used to compare the resulting PHC attribute (or component) scores to those obtained with the single imputation method. Item response theory (IRT), specifically the Graded Response Model (GRM), was used to identify those items which most contributed to estimation of the degree of PHC orientation. Convergent validity was assessed by correlation and agreement (Bland–Altman), and reliability, by Cronbach's alpha coefficient. The results showed that the MCMC-based MI method did not differ from the conceptual single imputation method suggested by the author of the original instrument for estimating PHC attribute (or component) scores, nor for estimating the degree of PHC orientation (p>0.05). Based on the slope parameters estimated for each item by the GRM and their conceptual relevance, a 30-item short-form version of the PCATool-Brasil instrument for child customers was developed, while the extensive version consists of 55 items. The short-form instrument had acceptable validity and reliability, with a correlation (confidence interval 95%) of approximately 0.97 (0.96; 0.97), p<0.0001, a bias coefficient of -0.03 (p>0.01), and a Cronbach's alpha (confidence interval 95%) of 89.3% (87.8%; 90.6%). This study demonstrates that there are no significant differences between the imputation methods studied, producing accurate and precise results. Furthermore, it provides refined knowledge on the characteristics of the component items of the Child Consumer version of the PCATool-Brasil and its relevance for estimation of the degree of PHC orientation, which constitutes essential evidence for the development of the short-form version of the instrument. This version proved to be valid and reliable for measuring the degree of PHC orientation from the perspective of child consumers of health services.