Analysis and adaptation of questionnaires based on item response theory

Abstract

This work presents a model for the design and creation of virtual adaptive evaluations for elearning environments, combining Item Response Theory (IRT) along with log analysis of previous questionnaires. The proposed model allows the definition of a methodology for the ranking and categorization of questions. Such ranking provides valuable feedback to the teacher or tutor who can refine and adapt the questionnaire. The results of the experiments showed the existence of questions that concentrate the greatest amount of knowledge acquired by the students leaving the other questions with the possibility of being improved to increase the quality of the questionnaire used. We believe that this approach should become an essential tool for the creation of questionnaires that are more concise and effective in the context of virtual courses.

Este trabalho apresenta um modelo para o planejamento e a criação de questionários adaptativos utilizados em ambientes virtuais de aprendizagem. O modelo apresentado combina o uso da Teoria de Resposta ao Item (TRI) com a análise histórica de questionários. Com base nisso, propõe-se uma metodologia para a categorização e ranqueamento das questões pertencentes aos questionários. Tal ranking provê um feedback valioso para o professor ou tutor, que pode então refinar e adaptar o questionário. Os resultados dos experimentos evidenciaram a existência de questões que concentram a maior quantidade de conhecimento adquirido pelos alunos deixando as demais questões com a possibilidade de serem aprimoradas para aumentar a qualidade do questionário utilizado. Espera-se que o uso da metodologia auxilie o docente na elaboração de questionários mais concisos e eficazes.