Critérios e indicadores para avaliação de revistas científicas: uma análise de revistas brasileiras da área do Direito

Abstract

Investiga os critérios e os indicadores para a avaliação de revistas científicas a partir de uma revisão da literatura e da análise de documentos das bases SciELO, SCOPUS, Web of Science, Redalyc e Latindex, bem como das normas da Associação Brasileira de Normas Técnicas referentes a revistas científicas e analisa sete revistas científicas da área do Direito com base no referencial teórico. Reúne os critérios e indicadores em uma lista de verificação e os classifica em obrigatórios, altamente recomendados e recomendados, a partir da frequência em que cada um é citado na literatura e nos documentos estudados. Os critérios que aparecem com maior frequência, sendo considerados ‘obrigatórios’ para uma revista científica, são: periodicidade/regularidade, indexação em bases de dados, normalização, responsabilidade pela revista científica (equipe, conselho, editores), arbitragem por pares e dados para contato com a revista/editor (identificaçãodos autores). Os critérios classificados como ‘altamente recomendados’ são: acesso aberto, Ciência Aberta e preservação, acompanhamento das métricas/estatísticas/índices, visibilidade, prestígio na comunidade, qualidade da publicação, gestão editorial, colaboração e divisão de conteúdo, idioma do texto dos artigos e recursos financeiros. Os critérios mencionados com menor frequência foram classificados como ‘recomendados’ e dizem respeito ao formato de apresentação da revista, ética e direito autoral, edição e editoração, política, diretrizes e normas e capital organizacional e humano. A segunda etapa da pesquisa realiza pesquisa exploratória em sete revistas brasileiras eletrônicas correntes da área do Direito a fim de verificar a aplicabilidade da lista de verificação de critérios e indicadores para a avaliação de revistas científicas. A análise revela que, quanto aos critérios obrigatórios, 62% foram totalmente cumpridos pelas revistas analisadas. Além disso, nenhum critério obrigatório foi cumprido por menos do que 43% das revistas analisadas. Conclui que há uma tendência a mudanças e melhorias no cumprimento de critérios de qualidade pelas revistas científicas da área do Direito e que a lista de verificação servirá tanto para a avaliação de revistas da área do Direito, objeto deste estudo, quanto para a avaliação de revistas de outras áreas do conhecimento.

Investigates the criteria and indicators for scientific journals evaluating based on a literature review and analysis of documents from SciELO, SCOPUS, Web of Science, Redalyc and Latindex databases, as well as the standards of the Brazilian Association of Technical Standards relating scientific journals and analyzes seven scientific journals in the area of Law based on the criteria theoretical framework. It brings together the criteria and indicators in a checklist and classifies them into mandatory, highly recommended or recommended, based on the frequency with which each one is cited in literature and documents studied. The criteria that appear most frequently, and are considered 'mandatory' for a scientific journal, are: periodicity/regularity, indexing in databases, standardization, responsibility for the scientific journal (team, board, editors), peer arbitration and data for contact with the magazine/editor (identification of authors). The criteria classified as 'highly recommended' are: open access, Open Science and preservation, monitoring of metrics/statistics/indices, visibility, prestige in the community, publication quality, editorial management, collaboration and content division, language of the articles' text and financial resources. The criteria mentioned less frequently were classified as 'recommended' and relate to the magazine's presentation format, ethics and copyright, editing and publishing, policy, guidelines and standards and organizational and human capital. The second stage of the research carries out exploratory research in seven current Brazilian electronic journals in the area of Law in order to verify the applicability of the checklist of criteria and indicators for the evaluation of scientific journals. The analysis reveals that, regarding the mandatory criteria, 62% were fully met by the journals analyzed. Furthermore, no mandatory criteria were met by less than 43% of the journals analyzed. It concludes that there is a tendency for changes and improvements in the fulfillment of quality criteria by scientific journals in the field of Law and that the checklist will serve both for the evaluation of journals in the field of Law, the object of this study, and for the evaluation of journals from other areas of knowledge.