Development and validity of a method for the evaluation of printed education material

Abstract

Objectives: To develop and study the validity of an instrument for evaluation of Printed Education Materials (PEM); to evaluate the use of acceptability indices; to identify possible influences of professional aspects. Methods: An instrument for PEM evaluation was developed which included tree steps: domain identification, item generation and instrument design. A reading to easy PEM was developed for education of patient with systemic hypertension and its treatment with hydrochlorothiazide. Construct validity was measured based on previously established errors purposively introduced into the PEM, which served as extreme groups. An acceptability index was applied taking into account the rate of professionals who should approve each item. Participants were 10 physicians (9 men) and 5 nurses (all women). Results: Many professionals identified intentional errors of crude character. Few participants identified errors that needed more careful evaluation, and no one detected the intentional error that required literature analysis. Physicians considered as acceptable 95.8% of the items of the PEM, and nurses 29.2%. The differences between the scoring were statistically significant in 27% of the items. In the overall evaluation, 66.6% were considered as acceptable. The analysis of each item revealed a behavioral pattern for each professional group. Conclusions: The use of instruments for evaluation of printed education materials is required and may improve the quality of the PEM available for the patients. Not always are the acceptability indices totally correct or represent high quality of information. The professional experience, the practice pattern, and perhaps the gendre of the reviewers may influence their evaluation. An analysis of the PEM by professionals in communication, in drug information, and patients should be carried out to improve the quality of the proposed material.

Objetivos: Desarrollar y estudiar la validez de un instrumento para la evaluación del material educativo impreso (MEI); evaluar el uso de los índices de aceptabilidad; identificar las posibles influencias de los aspectos profesionales. Métodos: Se desarrolló un instrumento para evaluación del MEI en tres pasos: identificación de dominios, generación de ítems y diseño del instrumento. Se desarrolló un MEI fácil de leer para la educación de pacientes con hipertensión sistémica y su tratamiento con hidroclorotiazida. Se midió la validez del instrumento mediante los errores previamente introducidos a propósito en el MEI, lo que sirvió de grupo extremo. Se aplicó un índice de aceptabilidad teniendo en cuenta la tasa de profesionales que tenía que aprobar cada ítem. Participaron 10 médicos (9 hombres) y 5 enfermeras (todas mujeres). Resultados: Muchos profesionales identificaron los errores intencionales de carácter crudo. Pocos participantes identificaron los errores que necesitaban una evaluación más cuidadosa, y ninguno identificó el error intencional que requería análisis de la literatura. Los médicos consideraron aceptable el 95,8% de los ítems del MEI y las enfermeras el 29,2%. Las diferencias de puntuación fueron estadísticamente significativas en el 27% de los ítems. En la evaluación total, el 66,6% fue considerado aceptable. El análisis de cada ítem reveló un modelo de comportamiento para cada grupo de profesionales. Conclusiones: Es necesario el uso de instrumentos para la evaluación de materiales educativos impresos y puede mejorar la calidad de los MEI disponibles para los pacientes. Los índices de aceptabilidad no son siempre totalmente correctos ni representan la calida de la información. La experiencia profesional, el modelo de ejercicio, y quizás el género de los revisores puede influir en la evaluación. Debería realizarse un análisis de los MEI por profesionales de comunicación, de la información sobre medicamentos y por pacientes para mejorar la calidad del material propuesto.