No desenvolvimento de software, a qualidade do produto está diretamente relacionada à qualidade do processo de desenvolvimento. Diante disso, atividades de Verificação, Validação & Teste (VV&T) realizadas por meio de métodos, técnicas e ferramentas são de extrema necessidade para o aumento da produtividade, qualidade e diminuição de custos no desenvolvimento de software. Do mesmo modo, técnicas e critérios contribuem para a produtividade das atividades de teste. Um ponto crucial para o teste de software é sua automatização, tornando as atividades mais confiáveis e diminuindo significativamente os custos de desenvolvimento. Na automatização dos testes, os oráculos são essenciais, representando um mecanismo (programa, processo ou dados) que indica se a saída obtida para um caso de teste está correta. Este trabalho de mestrado utiliza a ideia de mutação para criar implementações alternativas de oráculos de teste e, assim, avaliar a sua qualidade. O teste de mutação se refere à criação de versões do sistema em desenvolvimento com pequenas alterações sintáticas de código. A mutação possui alta eficácia na detecção de defeitos e é bastante flexível na sua aplicação, podendo ser utilizada em diversos tipos de artefatos. Adicionalmente, este trabalho propõe operadores de mutação específicos para oráculos, implementa uma ferramenta de apoio à utilização desses operadores para oráculos e também descreve um estudo empírico dos operadores, destacando benefícios e desafios associados ao seu uso. / In software development, product quality is directly related to the quality of the development process. Therefore, activities of Verification, Validation & Testing (VV&T) performed by methods, techniques and tools are urgently required to increase productivity, quality and cost reduction in software development. Similarly, testing technique and criteria contribute to the productivity of test activities. A crucial point for the software testing automation is making the most reliable activities and significantly reducing development costs. Regarding software testing automation, test oracles are essential, representing an mechanism (program, process or data) to indicate whether the actual output for a given test case is correct. This masters thesis aims to explore concepts of mutation testing to create alternative implementations of the oracle procedure and thus assess their quality. Mutation testing refers to the creation of system development versions with minor syntactic code changes. It has high efficiency on defects detecting and it is very flexible in its application and it is being used in various types of artifacts. This work also proposes specific mutation operators for oracles, implements an useful support tool for using these oracle mutation operators and conducts an empirical study of operators, highlighting benefits and challenges associated with their use.

Estudos empíricos têm mostrado que a Análise de Mutantes – um dos critérios de teste baseado em erros – é bastante eficaz em revelar a presença de erros. Entretanto, seu alto custo, decorrente principalmente do grande número de mutantes gerados, tem motivado a proposição de diversas abordagens alternativas para a sua aplicação. Um estudo relevante nesse sentido resultou na determinação de um conjunto essencial de operadores de mutação para a linguagem Fortran, mostrando-se que é possível reduzir o custo de aplicação do critério, preservando um alto grau de adequação em relação à Análise de Mutantes. Alguns estudos também têm demonstrado que a redução da eficácia não é significativa. Este trabalho tem como objetivo investigar alternativas pragmáticas para a aplicação do critério Análise de Mutantes e, nesse contexto, é proposto um procedimento para a determinação de um conjunto essencial de operadores de mutação para a linguagem C, a partir dos operadores implementados na ferramenta Proteum. Procurando aplicar e validar o procedimento proposto, dois grupos distintos de programas são utilizados. Para ambos os grupos, o conjunto essencial obtido apresenta resultados bastante significativos quanto à redução de custo, com um decréscimo muito pequeno no grau de adequação em relação à Análise de Mutantes. Estratégias para evoluir e refinar um conjunto essencial para diferentes domínios de aplicação também são investigadas. / Mutation Analysis – one of the error based criteria – has been found to be effective on revealing faults. However, its high cost, due to the high number of mutants created, has motivated the proposition of many alternative approaches for its application. In this perspective, a relevant study resulted on the determination of a sufficient mutant operator set for Fortran, indicating that it is possible to have a large cost reduction of mutation testing, preserving a high mutation score. Some studies have also shown that the reduction on the effectiveness is not significant. This work aims to investigate pragmatic alternatives for mutation analysis application and, in this context, a procedure for the determination of a sufficient mutant operators set for C is proposed, using Proteum testing tool. Aiming to apply and validate the proposed procedure, two different groups of programs are used. For both of them, the sufficient mutant operator set presents very significant results in terms of cost reduction, with a very small reduction on the mutation score. Strategies to evolve and refine an essential mutant operator set to different application domains are also investigated.

No desenvolvimento de software, a qualidade do produto está diretamente relacionada à qualidade do processo de desenvolvimento. Diante disso, atividades de Verificação, Validação & Teste (VV&T) realizadas por meio de métodos, técnicas e ferramentas são de extrema necessidade para o aumento da produtividade, qualidade e diminuição de custos no desenvolvimento de software. Do mesmo modo, técnicas e critérios contribuem para a produtividade das atividades de teste. Um ponto crucial para o teste de software é sua automatização, tornando as atividades mais confiáveis e diminuindo significativamente os custos de desenvolvimento. Na automatização dos testes, os oráculos são essenciais, representando um mecanismo (programa, processo ou dados) que indica se a saída obtida para um caso de teste está correta. Este trabalho de mestrado utiliza a ideia de mutação para criar implementações alternativas de oráculos de teste e, assim, avaliar a sua qualidade. O teste de mutação se refere à criação de versões do sistema em desenvolvimento com pequenas alterações sintáticas de código. A mutação possui alta eficácia na detecção de defeitos e é bastante flexível na sua aplicação, podendo ser utilizada em diversos tipos de artefatos. Adicionalmente, este trabalho propõe operadores de mutação específicos para oráculos, implementa uma ferramenta de apoio à utilização desses operadores para oráculos e também descreve um estudo empírico dos operadores, destacando benefícios e desafios associados ao seu uso. / In software development, product quality is directly related to the quality of the development process. Therefore, activities of Verification, Validation & Testing (VV&T) performed by methods, techniques and tools are urgently required to increase productivity, quality and cost reduction in software development. Similarly, testing technique and criteria contribute to the productivity of test activities. A crucial point for the software testing automation is making the most reliable activities and significantly reducing development costs. Regarding software testing automation, test oracles are essential, representing an mechanism (program, process or data) to indicate whether the actual output for a given test case is correct. This masters thesis aims to explore concepts of mutation testing to create alternative implementations of the oracle procedure and thus assess their quality. Mutation testing refers to the creation of system development versions with minor syntactic code changes. It has high efficiency on defects detecting and it is very flexible in its application and it is being used in various types of artifacts. This work also proposes specific mutation operators for oracles, implements an useful support tool for using these oracle mutation operators and conducts an empirical study of operators, highlighting benefits and challenges associated with their use.

Estudos empíricos têm mostrado que a Análise de Mutantes – um dos critérios de teste baseado em erros – é bastante eficaz em revelar a presença de erros. Entretanto, seu alto custo, decorrente principalmente do grande número de mutantes gerados, tem motivado a proposição de diversas abordagens alternativas para a sua aplicação. Um estudo relevante nesse sentido resultou na determinação de um conjunto essencial de operadores de mutação para a linguagem Fortran, mostrando-se que é possível reduzir o custo de aplicação do critério, preservando um alto grau de adequação em relação à Análise de Mutantes. Alguns estudos também têm demonstrado que a redução da eficácia não é significativa. Este trabalho tem como objetivo investigar alternativas pragmáticas para a aplicação do critério Análise de Mutantes e, nesse contexto, é proposto um procedimento para a determinação de um conjunto essencial de operadores de mutação para a linguagem C, a partir dos operadores implementados na ferramenta Proteum. Procurando aplicar e validar o procedimento proposto, dois grupos distintos de programas são utilizados. Para ambos os grupos, o conjunto essencial obtido apresenta resultados bastante significativos quanto à redução de custo, com um decréscimo muito pequeno no grau de adequação em relação à Análise de Mutantes. Estratégias para evoluir e refinar um conjunto essencial para diferentes domínios de aplicação também são investigadas. / Mutation Analysis – one of the error based criteria – has been found to be effective on revealing faults. However, its high cost, due to the high number of mutants created, has motivated the proposition of many alternative approaches for its application. In this perspective, a relevant study resulted on the determination of a sufficient mutant operator set for Fortran, indicating that it is possible to have a large cost reduction of mutation testing, preserving a high mutation score. Some studies have also shown that the reduction on the effectiveness is not significant. This work aims to investigate pragmatic alternatives for mutation analysis application and, in this context, a procedure for the determination of a sufficient mutant operators set for C is proposed, using Proteum testing tool. Aiming to apply and validate the proposed procedure, two different groups of programs are used. For both of them, the sufficient mutant operator set presents very significant results in terms of cost reduction, with a very small reduction on the mutation score. Strategies to evolve and refine an essential mutant operator set to different application domains are also investigated.