Interobserver agreement regarding the Fleischner Society diagnostic criteria for usual interstitial pneumonia patterns on computed tomography

Abstract

Objective: To assess interobserver agreement among radiologists regarding the current Fleischner Society diagnostic criteria for usual interstitial pneumonia (UIP) patterns on computed tomography (CT). Materials and Methods: Using the Fleischner Society criteria for UIP CT patterns, five raters, working independently, categorized the high-resolution CT (HRCT) scans of 44 patients with interstitial lung disease who underwent lung biopsy. The raters also evaluated the presence, extent, and distribution of the most relevant imaging findings, as well as indicating their level of confidence in the most likely diagnosis and in up to three diagnostic hypotheses. Results: There was moderate to substantial interobserver agreement regarding the UIP patterns on HRCT—kappa statistic (κ) = 0.59-0.61. Interobserver agreement for the binary scores was substantial (κ = 0.77-0.79), whereas that for the presence of honeycombing was almost perfect (κ = 0.81-0.96). There was agreement regarding at least one of the three diagnostic hypotheses in only 36.4% of the cases. For the level of confidence in the most likely diagnosis, there was only slight to fair agreement (κ = 0.19-0.21). Conclusion: Interobserver agreement regarding the current Fleischner Society CT criteria for UIP was moderate to substantial among raters with varying levels of experience. There was only slight to fair agreement regarding the diagnostic hypotheses and for the level of confidence in the most likely diagnosis.

Objetivo: Avaliar a concordância interobservador entre radiologistas para os critérios atuais da Fleischner Society para categorias diagnósticas de pneumonia intersticial usual (PIU) em tomografia computadorizada (TC). Materiais e Métodos: Cinco observadores categorizaram independentemente as imagens de TC de 44 pacientes com doença pulmonar intersticial que foram submetidos a biópsia pulmonar empregando as últimas categorias de diagnóstico da Sociedade Fleischner para UIP. Também foram avaliadas presença, extensão e distribuição dos achados de imagem mais relevantes, bem como a confiança no diagnóstico mais provável e em até três hipóteses diagnósticas. Resultados: Houve concordância moderada a alta para as categorias diagnósticas entre os observadores (κ = 0,59-0,61). A concordância interobservador para a pontuação binária foi alta (κ = 0,77-0,79), enquanto para a presença de faveolamento foi considerada de alta a muito alta (κ = 0,81-0,96). Houve concordância em uma das três hipóteses diagnósticas em apenas 36,4% dos casos. Baixa concordância foi encontrada para o diagnóstico mais provável (κ = 0,19-0,21). Conclusão: A concordância entre observadores para os critérios atuais de TC da Fleischner Society para UIP foi moderada a alta entre observadores com diferentes níveis de experiência. Houve baixa concordância nas hipóteses diagnósticas e quanto ao grau de confiança no diagnóstico primário.