A perspectiva dos examinadores sobre o uso da grade de avaliação oral do IELTS

Abstract

Este trabalho investiga como os examinadores do exame de proficiência IELTS atuando no Brasil utilizam a grade de avaliação da entrevista oral do exame buscando os critérios focalizados para a tomada de decisão em relação às notas atribuídas. Foram analisadas as transcrições de cinco entrevistas com examinadores de IELTS que avaliaram o desempenho de um mesmo candidato durante uma entrevista gravada em vídeo para fins desta pesquisa. Os comentários avaliativos dos examinadores entrevistados foram classificados conforme referencias a um dos quatro critérios descritos na grade de avaliação utilizada – Fluência e Coerência, Recursos Lexicais, Abrangência e Correção Gramaticais e Pronúncia. A análise das notas atribuídas ao candidato e dos comentários dos examinadores revelou uma maior dificuldade na avaliação dos critérios Fluência e Coerência e Pronúncia, e a subsequente análise dos comentários em relação aos componentes de cada critério salientes durante a avaliação indicou como relevantes para a avaliação deste candidato justamente alguns dos pontos de sobreposição entre Fluência e Pronúncia – velocidade de fala, chunking e ritmo. Além de indicar pontos de sobreposição entre os critérios, os comentários dos examinadores revelaram dificuldades em relação à interpretação dos critérios, por exemplo, quanto a levar em consideração ou não um modelo de falante nativo imaginado, ou quanto a inferir os contextos futuros de uso da língua do candidato, bem como dificuldades quanto à condução da entrevista oral de proficiência do IELTS, como em manter os papeis de interlocutor e avaliador considerando todos os descritores da grade analítica utilizada. As questões levantadas pela análise dos comentários dos examinadores para este estudo podem contribuir para a discussão sobre a utilização de grades analíticas para entrevistas de proficiência oral, bem como sobre a separabilidade ou não dos critérios de avaliação das mesmas.

This study investigates how IELTS examiners working in Brazil use the Speaking Band Descriptors and searches for the criteria they focus when deciding on the grades given. The transcriptions of five interviews with IELTS examiners who assessed the performance of the same candidate in a video interview specifically done for this study were analyzed. The assessing comments of the examiners were classified according to references to one of the four criteria described in the scale used – Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy and Pronunciation. The analysis of the grades given to the candidate and of the examiners’ comments showed that the examiners had more difficulty with the criteria Fluency and Coherence and Pronunciation. The analysis of the comments in relation to the salient components of the criteria indicated that they considered relevant to the assessment of this candidate some of the overlapping criteria between Fluency and Pronunciation – speech rate, chunking and rhythm. Besides indicating overlaps between the criteria, the examiners pointed out their difficulties in interpreting the criteria, for example, in relation to taking into consideration or not the ideal native-speaker standard, or their inferences about the candidate’s future contexts of language use, as well as difficulties related to the IELTS oral interview procedures, such as playing both the interlocutor and assessor roles while considering all the descriptors included in the scales. The issues raised by the analysis of the examiners’ comments in this study may contribute to the debate on the use of analytic scales for oral proficiency interviews, as well as on the distinctiveness of the assessing criteria.