Características lexicais das produções escritas do exame CELPE-BRAS na tarefa 3 de 2016-2 : uma pesquisa guiada por corpus

Abstract

Este trabalho tem por objetivo analisar quantitativamente as características lexicais dos textos avaliados com nota 2 e nota 5 na Tarefa 3 da edição 2016-2 do Celpe-Bras utilizando ferramentas de Linguística de Corpus, a fim de contribuir para uma descrição mais detalhada dos níveis de proficiência avaliados na Parte Escrita do exame. O Celpe-Bras busca avaliar, em práticas de usos linguísticos reais, o nível de proficiência em português como língua adicional (BRASIL, 2020). Apoiado na noção bakhtiniana de gêneros do discurso (BAKHTIN, 2003), o Celpe-Bras propõe, na Parte Escrita, tarefas nas quais são apresentados ao examinando situações comunicativas específicas, um papel de enunciador específico que deve endereçar o texto a interlocutores determinados com propósitos específicos (SCHLATTER ET AL., 2009). Todos esses aspectos devem ser contemplados nos textos para cumprir os propósitos da tarefa. Os examinandos precisam lançar mão de elementos lexicais para realizar a tarefa com sucesso, selecionados a partir do enunciado da tarefa, do texto de insumo e de seu repertório pessoal (SCHOFFEN, 2009; MENDEL, 2019). A Linguística de Corpus é muito útil para evidenciar esses elementos em avaliações de língua, contribuindo, por exemplo, para o refinamento dos descritores de proficiência, diferenciando suas notas (GABLASOVA, 2020; CALLIES; GÖTZ, 2015). Para este trabalho, foram utilizados dois subcorpora do CorCel (SCHOFFEN, et al., em preparação), nomeados corcel20162t3n2 (referente aos textos que receberam nota 2) e corcel20162t3n5 (referente aos textos que receberam nota 5), com o intuito de realizar análises quantitativas e automáticas, e, em conjunto, análises qualitativas (KENNEDY, 2001). O software escolhido para o estudo foi o Sketch Engine (KILGARRIFF et al., 2004), que contém várias ferramentas disponíveis para realizar as análises, como keywords, wordlist, n-grams e concordance, utilizadas neste trabalho. Com base em estudos anteriores (DIVINO, 2021; 2024; HANAUER, 2023; SOSTRUZNIK, 2023), esta pesquisa, guiada por corpus, identificou características lexicais importantes para a descrição de padrões nos textos que receberam as notas 2 e 5 na Tarefa 3 de 2016-2. Identificou-se que os textos de nota 5 são, em média, mais extensos do que os textos de nota 2. Ademais, em ambos os subcorpora há a presença de inadequações ortográficas, mas essas inadequações são mais recorrentes nos textos de nota 2 e podem ter influenciado alguns resultados das análises realizadas no corpus desta nota, como o cálculo Type-Token-Ratio (TTR), que mostra a riqueza lexical de um corpus. Ao recuperar informações do material de insumo, ambos os subcorpora recuperam informações importantes para o cumprimento da tarefa, em alguns casos, utilizando paráfrases e sinônimos. No entanto, os textos de nota 5 fazem isso de forma mais articulada, enquanto os textos de nota 2 realizam essa recuperação de forma fragmentada, não organizando o texto de forma clara. Com base nas análises realizadas, este estudo busca contribuir para a descrição mais robusta dos níveis de proficiência do Celpe-Bras, como também para o refinamento dos parâmetros de avaliação da parte escrita, dando evidência para a importância das análises de corpus para a área de avaliação de proficiência em línguas.

This study analyzes the characteristics of texts rated grades 2 and 5 in Task 3 of the 2016-2 edition of Celpe-Bras using Corpus Linguistics tools, aiming to contribute to a more detailed description of the proficiency levels assessed in the written section of the exam. Celpe-Bras assesses Portuguese proficiency as an additional language through real linguistic practices (BRASIL, 2020). Grounded in Bakhtin's notion of discourse genres (BAKHTIN, 2003), the exam presents examinees with tasks requiring them to address texts to specific interlocutors with defined purposes (SCHLATTER ET AL., 2009). All these aspects must be incorporated into the texts to meet the task's objectives. Examinees must use lexical elements drawn from the task's prompt, the input text, and their personal repertoire to successfully complete the task (SCHOFFEN, 2009; MENDEL, 2019). Corpus Linguistics is a valuable methodology in language assessment, helping to refine proficiency descriptors by differentiating grades (GABLASOVA, 2020; CALLIES; GÖTZ, 2015). This study utilized two subcorpora from CorCel (SCHOFFEN et al., in preparation), named corcel20162t3n2 (for texts rated grade 2) and corcel20162t3n5 (for texts rated grade 5), to conduct both quantitative and qualitative analyses (KENNEDY, 2001). The study employed Sketch Engine software (KILGARRIFF et al., 2004), chosen for its tools, including keywords, wordlists, n-grams, and concordance. Previous corpus-driven studies (DIVINO, 2021; 2024; HANAUER, 2023; SOSTRUZNIK, 2023) identified key characteristics that describe patterns in texts rated grades 2 and 5 in Task 3 of 2016-2 edition. The analysis revealed that texts rated grade 5 are generally longer than those rated grade 2. Both subcorpora exhibited spelling inadequacies, but these were more frequent in grade 2 texts and may have influenced some results, such as the Type-Token Ratio (TTR), which measures lexical richness. When retrieving information from the input material, both subcorpora extracted essential information, sometimes using paraphrases and synonyms. However, grade 5 texts did so more cohesively, while grade 2 texts retrieved information in a fragmented and less organized manner. This study not only contributes to a more robust description of Celpe-Bras proficiency levels but also offers valuable insights for refining the assessment parameters of the written section, emphasizing the significance of corpus analysis in language proficiency assessment.