A regression testing prioritization component for testlink

Abstract

Analytical software quality assurance is an expensive set of activities – both in time and cost – on a software project development. The literature attributes more than 50% of the costs of a project just for the testing process. Testing results are often managed by test management tools. This type of software is used to define, plan and track the testing activities, providing reports on the current status of the system under test quality. Software testing automation is a widespread attempt to reduce the testing costs. In this work, we will develop a module that automates the execution and planning of regression testing, a recurring form of testing that checks if new modifications to a software do not introduce new defects with them. This module shall be implemented as a component of an existing test management framework. We will analyze test management tools, consider their current features and licenses, select the most appropriate one, and modify it in order to support the automated definition and execution of regression tests in a time constrained environment. The execution results data of the test plans will be used to prioritize the test cases in subsequent regression testing executions. The data generated by the solution should then be available to focus subsequent quality assurance activities based on defect and coverage data.

Garantia de qualidade de software analítica é um caro conjunto de atividades – tanto em tempo quanto em custo – do desenvolvimento de um projeto de software. A literatura atribui mais de 50% dos custos de um projeto apenas para o processo de testes. Os resultados dos testes são frequentemente gerenciados por ferramentas de gerência de testes. Este tipo de software é usado para definir, planejar e rastrear as atividades de teste, fornecendo relatórios do estado atual da qualidade do sistema em teste. A automação de testes de software é uma difundida tentativa de reduzir os custos de teste. Nesta tese, nós iremos desenvolver um módulo que automatiza a execução e planejamento de testes de regressão, uma recorrente forma de testes que verifica se novas modificações em um software não introduzem novos defeitos com elas. Este módulo deve ser implementado como um componente em um framework existente de gerência de testes. Nós analisaremos ferramentas de gerência de testes, consideraremos as funcionalidades e licenças presentes, selecionaremos a mais apropriada, e a modificaremos para que ela suporte a definição e execução automatizada de testes de regressão em um ambiente com tempo limitado. Os dados dos resultados dos planos de teste serão usados para priorizar os casos de teste em execuções subsequentes dos testes de regressão. Os dados gerados pela solução devem, então, estar disponíveis para focar as subsequentes atividades de garantia de qualidade baseadas em dados de defeito e cobertura.