Modern code review : from foundational studies to proposed approaches and their evaluation

Abstract

Modern Code Review (MCR) has gained increasing popularity both in academia and industry as a static verification technique that can promote improved product and code quality as well as knowledge sharing and learning. This practice has been target of a large amount of research, including exploratory studies and proposals to support it. However, the body of knowledge of MCR already built is currently not understood as a whole. We thus present a systematic literature review of research work that has been done in this context. Our systematic procedure to select existing work led us to a total of 110 publications. These are analyzed in three main categories that are associated with our research questions. FOUNDATIONAL STUDIES are those that analyze quantitative or qualitative data to extract lessons learned from the adoption of MCR. PROPOSALS consist of techniques and tools proposed to support the MCR process, while EVALUATIONS are studies to assess an individual proposal or compare a set of them. From the analysis of reviewed literature, we identified that most part of the existing studies of MCR consists of FOUNDATIONAL STUDIES that have been conducted to better understand the adoption of the practice and the analysis of which influence factors lead to which MCR outcomes. From the novel approaches to support MCR, the most common is code reviewer recommenders. EVALUATIONS of MCR approaches have been done mostly offline and few studies involving human subjects have been conducted. We describe investigated studies in terms of their key characteristics and contrast their findings. In addition to introducing the state of the art of MCR, we provide insights derived from our review, which point out directions of future work in the area.

A revisão de código moderna (MCR) tem se popularizado como uma técnica de verificação estática que pode promover tanto a melhoria da qualidade do software e do código, como o compartilhamento de conhecimento e o aprendizado. Diversas pesquisas tem endereçado a prática, incluindo estudos exploratórios e propostas de abordagem para apoiála. Entretanto, o corpo de conhecimento já construído sobre MCR não é totalmente compreendido atualmente. Assim, apresentamos uma revisão sistemática da literatura sobre as pesquisas realizadas nesse contexto. Adotando um procedimento sistemático, a seleção dos trabalhos existentes resultou em 110 artigos científicos, os quais são analisados em três principais categorias. ESTUDOS FUNDAMENTAIS são estudos que examinam dados quantitativos ou qualitativos para extrair as lições aprendidas com a adoção do MCR. PROPOSTAS consistem em técnicas e ferramentas propostas para apoiar o processo MCR, enquanto AVALIAÇÕES são estudos para avaliar uma proposta individual ou comparar um conjunto delas. A partir da análise da literatura revisada, identificamos que a maior parte dos estudos sobre MCR é formado por ESTUDOS FUNDAMENTAIS que foram realizados para entender melhor a adoção da prática e para a análise de quais fatores de influência levam a que resultados do MCR. Das novas abordagens para oferecer suporte ao MCR, o tipo mais comum são os recomendadores de revisores de código. As avaliações das abordagens de MCR foram feitas principalmente offline e poucos estudos envolvendo seres humanos foram realizados. Descrevemos os estudos investigados em termos de suas principais características e contrastamos com seus resultados. Além de apresentar o estado da arte do MCR, fornecemos informações derivadas de nossa revisão, que apontam as direções de trabalhos futuros na área.