Entre o material de insumo e o repertório : caracterização dos textos produzidos em resposta à tarefa 3 da edição 2015/2 do exame Celpe-Bras à luz da linguística de corpus

Abstract

O Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) busca avaliar o desempenho dos examinandos em Português como Língua Adicional em situações que simulam o uso da língua em situações reais (Brasil, 2020), integrando habilidades de compreensão e produção por meio de gêneros do discurso (Bakhtin, 2003). Esta pesquisa tem como objetivo responder à seguinte pergunta: Como as análises lexicais realizadas por meio de Linguística de Corpus podem contribuir para a caracterização dos níveis Intermediário e Avançado Superior na Tarefa 3 da edição 2015/2 do Exame Celpe-Bras? Tendo em vista a relevância de análises automáticas para fornecer dados mais robustos a uma série de estudos, como a descrição dos níveis de proficiência (Cushing, 2022; Nagasawa, 2023). Foram utilizados dois subcorpora do CorCel (Schoffen et al, no prelo): CorCel20152t3n5 (referente aos textos que obtiveram nota 5, nível Avançado Superior) e CorCel20152t3n2 (referente aos textos que obtiveram nota 2, nível Intermediário). Para este trabalho, optou-se pelo Software Sketch Engine (Kilgarriff et al., 2004) para verificar a extensão dos textos, a relação entre o léxico de cada subcorpus e o material de insumo e o que as análises lexicais informam sobre a configuração do gênero carta/e-mail. Os resultados apontam para textos, em média, mais extensos no subcorpus referente ao nível Avançado Superior, com maior número de tokens, types e sentenças. Além disso, verificou-se que os textos de nível mais avançado recuperam mais informações do material de insumo relevantes para o cumprimento da tarefa, articulando-as com palavras do repertório linguístico dos examinandos. Os textos de ambos os subcorpora utilizam itens lexicais para adequar-se ao gênero do discurso solicitado pela tarefa, contudo, os textos de nível Avançado Superior materializam o gênero com mais facilidade, instaurando-se na ação proposta pela tarefa, enquanto os textos de nível Intermediário apresentam maior fragilidade nessa articulação, com uma ocorrência menor de palavras para indicar o gênero. Assim, esta pesquisa colabora para a descrição dos níveis de proficiência do Exame Celpe-Bras, oferecendo dados que possam subsidiar futuras análises, bem como auxiliar professores e avaliadores da área de Português como Língua Adicional no desenvolvimento de práticas pedagógicas e avaliativas alinhadas ao construto do Exame.

The Certificate of Proficiency in Portuguese for Foreigners (Celpe-Bras) aims to assess examinees’ performance in Portuguese as an Additional Language in situations that simulate real-life language use (Brasil, 2020), integrate comprehension and production skills through discursive genres (Bakhtin, 2003). This study aims to answer the following question: How can lexical analyses conducted through Corpus Linguistics contribute to the characterization of the Intermediate and Upper Advanced levels in Task 3 of the 2015/2 edition of the Celpe-Bras Exam? Given the relevance of automated analyses in providing more robust data for a range of studies, such as the description of proficiency levels (Cushing, 2022; Nagasawa, 2023). Two subcorpora from CorCel (Schoffen et al., in press) were used: CorCel20152t3n5 (referring to texts that received grade 5, Upper Advanced level) and CorCel20152t3n2 (referring to texts that received grade 2, Intermediate level). The software Sketch Engine (Kilgarriff et al., 2004) was chosen to examine text length, the relationship between each subcorpus’s lexicon and the input material, and what the lexical analyses reveal about the configuration of the letter/email genre. The results indicate that, on average, texts in the Upper Advanced subcorpus are longer, containing more tokens, types, and sentences. Furthermore, it was found that texts at the higher level retrieve more relevant information from the input material for task completion, articulating it with words from the examinees’ linguistic repertoire. Texts in both subcorpora use lexical items to conform to the discourse genre required by the task; however, Upper Advanced texts instantiate the genre more effectively, engaging more fully with the action proposed by the task, whereas Intermediate texts show greater fragility in this articulation, with fewer occurrences of words indicating the genre. Thus, this study contributes to the description of proficiency levels in the Celpe-Bras Exam by providing data that may support future analyses and assist teachers and assessors in the field of Portuguese as an Additional Language in developing pedagogical and assessment practices aligned with the construct of the Exam.