Interobserver agreement in using a checklist for the safe administration of enteral nutrition

Abstract

Objective: to describe an evaluation of interobserver agreement in the use of a checklist related to the use of nasoenteral tube (NSS) as a presupposition for quality in obtaining data. Method: a methodological study conducted in 2018 in a Brazilian hospital, preceding the data collection of an open-label clinical trial. Independent observers, blinded to the evaluation of their peers, evaluated patients with NSS through a 25-item checklist. The data collected by eight previously trained research assistants (RA) were compared to those obtained by an experienced nurse (reference standard). Agreement was measured using the kappa coefficient and PABAK. Results: a total of 451 observations were made in pairs. Considering the total items on the checklist there was almost perfect agreement (k > 0.80) in all observation pairs (nurse vs. each RA): RA 1 (k = 0.91; 95 % CI = 0.89-0.93); RA 2 (k = 0.83; 95 % CI = 0.80-0.85); AP 3 (k = 0.92; 95 % CI = 0.90-0.94); RA 4 (k = 0.83; 95 % CI = 0.80-0.86); RA 5 (k = 0.94; 95 % CI = 0.92-0.96); RA 6 (k = 0.94; 95 % CI = 0.92- 0.96); RA 7 (k = 0.96; 95 % CI = 0.95-0.98); RA 8 (k = 0.73; 95 % CI = 0.70-0.77). However, for isolated items, and in specific RAs, there were fair agreements, unacceptable to effectively collect data from a clinical trial. Retraining and supervision of RAs were able to improve agreement between observers. Conclusion: an evaluation of interobserver agreement proved to be fundamental to ensure the reliability of data collection and, therefore, to avoid measurement biases.

Objetivo: describir una evaluación de la concordancia entre observadores en el uso de una lista de control en la atención a pacientes con sonda nasoenteral (SNE) como premisa de la recogida de datos. Método: este estudio de fiabilidad se realizó en 2018 en un hospital brasileño, antes de la recogida de datos para un ensayo clínico abierto. Ocho observadores independientes, previamente capacitados y “cegados” con respecto a las evaluaciones de los demás, evaluaron a pacientes con SNE por medio de una lista de comprobación de 25 elementos. Los datos obtenidos por estos asistentes de investigación (AI) se compararon con los obtenidos por una enfermera experimentada. Se midió la concordancia mediante los coeficientes kappa y PABAK. Resultados: se realizaron 451 observaciones por pares. Considerando la totalidad de los elementos, hubo una concordancia casi perfecta (k > 0,80) en todos los pares de observación (enfermera vs. cada AI): AI 1 (k = 0,91; IC95 % = 0,89-0,93); AI 2 (k = 0,83; IC95 % = 0,80-0,85); AI 3 (k = 0,92; IC95 %= 0,90-0,94 ); AI 4 (k = 0,83; IC95 % = 0,80-0,86); AI 5 (k = 0,94; IC95 % = 0,92-0,96); AI 6 (k = 0,94; IC95 % = 0,92-0,96); AI 7 (k = 0,96; IC95 % = 0,95-0,98); AI 8 (k = 0,73; IC95 % = 0,70-0,77). Se identificó un menor número de concordancia en los elementos individuales y en determinados AI. La recapacitación y supervisión de los AI mejoró su desempeño y la concordancia entre observadores. Conclusión: la evaluación de la concordancia entre observadores resultó fundamental para asegurar la fiabilidad de la recogida de datos y, por consiguiente, evitar sesgos de medición en los estudios clínicos de enfermería.