Questões calculadas Moodle : evitam a cola?

Abstract

Durante o Ensino Remoto Emergencial foram suspensas todas as avaliações presenciais trazendo grande desconforto e questionamentos sobre a autenticidade das respostas dadas às provas elaboradas a distância sem a existência de uma supervisão para garantir que os estudantes não copiassem as respostas dos colegas (cola). Uma das opções que foram exploradas para minimizar o risco de cola foi desenvolver questionários com respostas numéricas diferentes para cada estudante, explorando a funcionalidade Questões Calculadas, disponibilizadano ambiente virtual de aprendizagem Moodle. Como saber se esta estratégica foi eficaz? Em que proporção podemos confiar que a exigência de uma resposta numérica diferente para cada estudante aumentará a probabilidade de que a resposta correta tenha sido efetivamente calculada pelo respondente? Neste artigo foram analisados 12 semestres letivos (desde 2016 até 2021) ministrados para Cursosde Engenharia utilizando questionários semanais assíncronos compostos por Questões Calculadas Moodle. Utilizando-se a informação de “tempo para responder” foram obtidas curvas típicas de distribuição, considerando a primeira vez que as questões são apresentadas. Observou-se que, após algum tempo, os tempos médios e desvios padrões se reduzem, indicando que os estudantes estão obtendo as respostas sem aplicar o tempo que seria necessário para a realização de cálculos complexos exigidos para obter a resposta. O objetivo deste trabalho é apresentar uma metodologia capaz de, a partir de relatórios padrão do Moodle, coletar indicativos sobre a eficácia do uso de “Questões Calculadas” para evitar a cola.

During the Emergency Remote Teaching, all in-person assessments were suspended, causing great discomfort and raising questions about the authenticity of the answers given in remotely administered exams without the presence of supervision to ensure that students did not copy answers from their peers (cheating). One of the options explored to minimize the risk of cheating was to develop quizzes with different numerical answers for each student, using the Calculated Questions feature provided in the Moodle virtual learning environment. How can we determine if this strategy was effective? To what extent can we trust that the requirement for a different numerical answer for each student will increase the likelihood that the correct answer was actually calculated by the respondent? In this article, 12 academic semesters (from 2016 to 2021) taught in Engineering courseswere analyzed, using asynchronous weekly quizzes composed of Moodle Calculated Questions. By using the "time to respond" information, typical distribution curves were obtained, considering the first time the questions were presented. It was observed that, over time, the average response times and standard deviations decrease, indicating that students are obtaining the answers without applying the timethat would be necessary for complex calculations required to obtain the answer. The objective of this study is to present a methodology capable of collecting indicators on the effectiveness of using "Calculated Questions" to prevent cheating, based on standard Moodle reports.

Durante la Enseñanza Remota de Emergencia, se suspendieron todas las evaluaciones presenciales, lo que generó gran malestar y planteó interrogantes sobre la autenticidad de las respuestas dadas en los exámenes elaborados a distancia sin la supervisión necesaria para garantizar que los estudiantes no copiaran las respuestas de sus compañeros (hacer trampa). Una de las opciones exploradas para minimizar el riesgo de hacer trampa fue desarrollar cuestionarios con respuestas numéricas diferentes para cada estudiante, aprovechando la funcionalidad de las Preguntas Calculadas disponibles en el entorno virtual de aprendizaje Moodle. ¿Cómo saber si esta estrategia fue eficaz? ¿En qué medida podemos confiar en que la exigencia de una respuesta numérica diferente para cada estudiante aumentará la probabilidad de que la respuesta correcta haya sido efectivamente calculada por el encuestado? En este artículo se analizaron 12 semestres académicos (desde 2016 hasta 2021) impartidos en cursosde Ingeniería utilizando cuestionarios semanales asincrónicos compuestos por Preguntas Calculadas de Moodle. Utilizando la información de "tiempo de respuesta", se obtuvieron curvas típicas de distribución considerando la primera vez que se presentaron las preguntas. Se observó que, con el tiempo, los tiempos promedio y las desviaciones estándar disminuyen, lo que indica que los estudiantes están obteniendo las respuestas sin aplicar el tiempo necesario para realizar cálculos complejos requeridos para obtener la respuesta. El objetivo de este trabajo es presentar una metodología capaz de recopilar indicadores sobre la eficacia del uso de las "Preguntas Calculadas" para evitar hacer trampa, basada en los informes estándar de Moodle.