Atividades de teste no desenvolvimento de sistemas Reativos são de grande relevância, bem como a disponibilidade de ferramentas que apóiem essas atividades, pois falhas nesses sistemas podem causar graves conseqüências econômicas e/ou sociais. A Análise de Mutantes tem sido explorada no teste de especificações do aspecto comportamental de Sistemas Reativos baseadas em Máquinas de Estados Finitos, Statecharts e Redes de Petri. Este trabalho tem como objetivo a implementação da Proteum-RS/ST, que apóia o teste de especificações Statecharts baseada na Análise de Mutantes. Dessa forma, fornecem-se subsídios para se investigar a adequação de critérios tradicionalmente usados no teste de programas, como a Análise de Mutantes, no teste de especificações de Sistemas Reativos, em particular no contexto de especificações baseadas em Statecharts.

Atividades de teste no desenvolvimento de sistemas Reativos são de grande relevância, bem como a disponibilidade de ferramentas que apóiem essas atividades, pois falhas nesses sistemas podem causar graves conseqüências econômicas e/ou sociais. A Análise de Mutantes tem sido explorada no teste de especificações do aspecto comportamental de Sistemas Reativos baseadas em Máquinas de Estados Finitos, Statecharts e Redes de Petri. Este trabalho tem como objetivo a implementação da Proteum-RS/ST, que apóia o teste de especificações Statecharts baseada na Análise de Mutantes. Dessa forma, fornecem-se subsídios para se investigar a adequação de critérios tradicionalmente usados no teste de programas, como a Análise de Mutantes, no teste de especificações de Sistemas Reativos, em particular no contexto de especificações baseadas em Statecharts.

Com o objetivo de auxiliar a definição e evolução de estratégias de testes, estudos experimentais vêm sendo realizados comparando diferentes técnicas e critérios de teste em relação ao custo, eficácia e dificuldade de satisfação (strength). Entretanto poucos estudos buscam avaliar os critérios em diferentes paradigmas. Esta avaliação é importante pois o paradigma de implementação influência significativamente no programa gerado e as características entre programas implementados em diferentes paradigmas pode influenciar em diversos aspectos da atividade de teste. Este estudo é complementar a um outro trabalho do grupo do laboratório de engenharia de software do ICMC em que foram comparados o custo da aplicação dos critérios da técnica Estrutural em relação aos paradigmas Procedimental e Orientado a Objetos. Este trabalho apresenta um estudo experimental comparando o custo e o strength do critério Análise de Mutantes nos dois paradigmas. Além da avaliação do critério Análise de Mutantes, o material gerado para este estudo será construído de forma que possa ser utilizado para o ensino e treinamento das principais técnicas e critérios de teste e espera-se que este possa contribuir de alguma forma para que o ensino de teste de software possa ser aplicado em paralelo com o ensino de algoritmos e estrutura de dados. Para a condução deste estudo, foi utilizado um conjunto de 32 programas do domínio de estrutura de dados com versões implementadas em C e em Java. O critério Análise de Mutantes foi aplicado com auxílio das ferramentas Proteum e MuClipse. Para a avaliação do strength, o conjunto de casos de teste adequado a um programa foi executado contra os mutantes gerados na mesma versão do programa implementado no outro paradigma de interesse e o escore de mutação avaliado (cross scoring). Resultados indicam que tanto o custo quanto o strength do teste de mutação é maior em programas implementados no paradigma Procedimental do que no paradigma OO. Resultados estes certamente influenciados pelo conjunto de operadores implementado nas duas ferramentas. No paradigma procedimental, também foi avaliado o escore de mutação obtido por um subconjunto dos operadores da Proteum, construído com o objetivo de reduzir o custo da aplicação do critério. O escore obtido foi satisfatório e as reduções no custo significativas. Também foi avaliado strength das técnicas Funcional e Estrutural em relação ao critério AM nos dois paradigmas. Os resultados mostram que os conjuntos de casos de teste adequados aos critérios das técnicas Funcional e Estrutural no paradigma OO obtiveram, em geral, um escore de mutação maior do que no paradigma Procedimental / AIming at to assist the definition and evolution of testing strategies, empirical studies have been conducted comparing the test criteria in terms of cost effectiveness and strength. However few studies were conducted comparing the criteria in different paradigms. This assessment is important because program paradigm can cause a big influence in the result program and the characteristics of this programs can cause influences in testing activities. This study complements another work in this group that compared the cost of Structural test technique considering the Procedural and Object Oriented paradigms. This paper presents an experimental study comparing the cost and strength of Mutation Test in Procedural and OO paradigms. Besides the evaluation of mutation test, the results of this study can be used to help teaching and training many test criteria and it may somehow contribute to teach software testing n parallel with algorithms and data structures programs. It was used a set of 32 programs of data structure programs with versions in C and Java. For this study it were used Proteum and MuClipse to execute the mutation tests. It was also evaluated the strength of a set of test cases (TC) appropriate to a program in a paradigm in the same version of the program implemented in the other paradigm of interest (cross scoring). Results indicate that both cost and strength is higher in Procedural programs than in OO. This results are certainly influenced by the set of operators built in each tool studied. It was also measured the mutation score of a subset of Proteums operators built to reduce the cost of Mutation Testing in Procedural programs. The mutation score obtained was satisfactory and there was a significant reduction in cost. It was also evaluated the strength of Functional and Structural techniques in Mutation Test for both paradigms. The results show that the mutation score of the set of test cases adequate to Functional and Structural techniques were in general, higher in OO paradigm than in Procedural paradigm

Este trabalho propõe a extensão do critério Análise de Mutantes, originalmente desenvolvido para o teste de programas, para sua aplicação no teste de especificações do aspecto comportamental de Sistemas Reativos. Esses sistemas constituem hoje um componente fundamental em várias atividades humanas e, em geral, falhas nos mesmos podem envolver grandes riscos a vida ou ao patrimônio. Isso toma imprescindível um maior rigor no processo de desenvolvimento e, em particular, na atividade de teste, que é fundamentalmente baseada em simulação, não fornecendo critério que avalie essa atividade de forma quantitativa. A proposta aborda a aplicação da Análise de Mutantes na validação de especificações de Sistemas Reativos baseadas em três técnicas formais, que possuem apoio gráfico, mais utilizadas para este fim: Máquinas de Estados Finitos, Redes de Petri e Statecharts. Para a aplicação do critério nesse contexto, estabeleceu-se um paralelo entre os níveis de programa e de especificação, quanto as suas hipóteses básicas do programador competente e do efeito de acoplamento. Foram definidos os operadores de mutação para cada uma das três técnicas consideradas, além de critérios de mutação alternativa que visam a minimização no custo de aplicação do critério. Foram realizados, manualmente, dois experimentos com o objetivo de validar os mecanismos propostos. Um deles foi aplicado em Máquinas de Estados Finitos e o outro, em Redes de Petri. Os resultados mostram evidências do aspecto complementar do critério Análise de Mutantes em relação as formas disponíveis de teste de especificações existentes na literatura. Apresenta-se também um protótipo da ferramenta Proteum-RSIFSM que apóia a aplicação da Análise de Mutantes em Máquinas de Estados Finitos e discute-se a instanciação dessa ferramenta para apoiar a aplicação do critério nos contextos de Statecharts e Redes de Petri / Reactive Systems are a fundamental component in severa1 activities and failures in these systems may cause risks to life or financia1 losses. Thus, the development process and particularly the test activity must be carried on with extreme care. This work proposes the use of Mutation Analysis - a technique originally proposed at program level testing - in the context of testing and validation of specifications of Reactive Systems; three graphical techniques are considered: Finite State Machines, Petri Nets and Statecharts. Currently, the test of such specifications is mainly based on simulation. The relevance of a test adequacy assessment criterion for such activity has been recognized by many researchers and practitioners and constitutes the objective of this work. The application of Mutation Analysis in this context is based in the assumption that the basic hypothesis valid to the program level - the hypothesis of the competent programmer and coupling effect also hold to the specification level. Mutation operators are defined for the three specification techniques. Also, alternative criteria were defined aiming at reducing the cost of application of Mutation Analysis in this context. Two experiments were manually conducted in order to validate the proposed ideas. The results show evidences of the complementary aspects among existent methods and Mutation Analysis for testing specifications of Reactive Systems. A prototype of Proteum-RSIFSM, a to01 to support Mutation Analysis for Finite State Machines is presented and its extensions to Statecharts and to Petri Nets are discussed

Estudos empíricos têm mostrado que a Análise de Mutantes – um dos critérios de teste baseado em erros – é bastante eficaz em revelar a presença de erros. Entretanto, seu alto custo, decorrente principalmente do grande número de mutantes gerados, tem motivado a proposição de diversas abordagens alternativas para a sua aplicação. Um estudo relevante nesse sentido resultou na determinação de um conjunto essencial de operadores de mutação para a linguagem Fortran, mostrando-se que é possível reduzir o custo de aplicação do critério, preservando um alto grau de adequação em relação à Análise de Mutantes. Alguns estudos também têm demonstrado que a redução da eficácia não é significativa. Este trabalho tem como objetivo investigar alternativas pragmáticas para a aplicação do critério Análise de Mutantes e, nesse contexto, é proposto um procedimento para a determinação de um conjunto essencial de operadores de mutação para a linguagem C, a partir dos operadores implementados na ferramenta Proteum. Procurando aplicar e validar o procedimento proposto, dois grupos distintos de programas são utilizados. Para ambos os grupos, o conjunto essencial obtido apresenta resultados bastante significativos quanto à redução de custo, com um decréscimo muito pequeno no grau de adequação em relação à Análise de Mutantes. Estratégias para evoluir e refinar um conjunto essencial para diferentes domínios de aplicação também são investigadas. / Mutation Analysis – one of the error based criteria – has been found to be effective on revealing faults. However, its high cost, due to the high number of mutants created, has motivated the proposition of many alternative approaches for its application. In this perspective, a relevant study resulted on the determination of a sufficient mutant operator set for Fortran, indicating that it is possible to have a large cost reduction of mutation testing, preserving a high mutation score. Some studies have also shown that the reduction on the effectiveness is not significant. This work aims to investigate pragmatic alternatives for mutation analysis application and, in this context, a procedure for the determination of a sufficient mutant operators set for C is proposed, using Proteum testing tool. Aiming to apply and validate the proposed procedure, two different groups of programs are used. For both of them, the sufficient mutant operator set presents very significant results in terms of cost reduction, with a very small reduction on the mutation score. Strategies to evolve and refine an essential mutant operator set to different application domains are also investigated.

Sistemas Reativos caracterizam-se por reagir continuamente a estímulos externos e internos e controlar atividades humanas. A ocorrência de falhas nesses sistemas pode resultar em grandes prejuízos. Dessa forma, o uso de métodos e técnicas rigorosas para a especificação do comportamento desse tipo de sistema é essencial, buscando-se evitar inconsistências e ambigüidades no modelo. Redes de Petri é uma das técnicas que têm sido usadas para a especificação de sistemas reativos. Teste e validação são atividades essenciais na produção dessa classe de sistemas. Por isso, o critério Análise de Mutantes, um critério de teste baseado em erros normalmente aplicado ao teste de programas, tem sido explorado no contexto de teste de especificações de sistemas reativos. É necessário o desenvolvimento de ferramentas que apóiem sua utilização, visto que a aplicação manual do critério é impraticável. O objetivo deste trabalho é a implementação da ferramenta Proteum-RS/PN, que apóia a aplicação do critério Análise de Mutantes para validar especificações baseadas em Redes de Petri. / Reactive Systems are characterized by continuously reacting to external as well as internal stimuli and controlling human activities. In these systems, faults can result in large losses. The use of rigorous methods and techniques for the specification of their behavior is essential to avoid inconsistencies and ambiguities. Petri Nets have been used for reactive-system specification. The test and validation of the underlying model are essential activities for the production of such systems. Thus, the Mutant Analysis -- a fault-based criterion usually used for program testing -- has been explored in the context of specification testing. The development of tools to support its application is necessary, since its manual application is unrealistic. The objective of this work is the implementation of Proteum-RS/PN, a testing tool which supports the application of Mutant Analysis criterion to validate Petri-Nets based specifications.

Com o objetivo de auxiliar a definição e evolução de estratégias de testes, estudos experimentais vêm sendo realizados comparando diferentes técnicas e critérios de teste em relação ao custo, eficácia e dificuldade de satisfação (strength). Entretanto poucos estudos buscam avaliar os critérios em diferentes paradigmas. Esta avaliação é importante pois o paradigma de implementação influência significativamente no programa gerado e as características entre programas implementados em diferentes paradigmas pode influenciar em diversos aspectos da atividade de teste. Este estudo é complementar a um outro trabalho do grupo do laboratório de engenharia de software do ICMC em que foram comparados o custo da aplicação dos critérios da técnica Estrutural em relação aos paradigmas Procedimental e Orientado a Objetos. Este trabalho apresenta um estudo experimental comparando o custo e o strength do critério Análise de Mutantes nos dois paradigmas. Além da avaliação do critério Análise de Mutantes, o material gerado para este estudo será construído de forma que possa ser utilizado para o ensino e treinamento das principais técnicas e critérios de teste e espera-se que este possa contribuir de alguma forma para que o ensino de teste de software possa ser aplicado em paralelo com o ensino de algoritmos e estrutura de dados. Para a condução deste estudo, foi utilizado um conjunto de 32 programas do domínio de estrutura de dados com versões implementadas em C e em Java. O critério Análise de Mutantes foi aplicado com auxílio das ferramentas Proteum e MuClipse. Para a avaliação do strength, o conjunto de casos de teste adequado a um programa foi executado contra os mutantes gerados na mesma versão do programa implementado no outro paradigma de interesse e o escore de mutação avaliado (cross scoring). Resultados indicam que tanto o custo quanto o strength do teste de mutação é maior em programas implementados no paradigma Procedimental do que no paradigma OO. Resultados estes certamente influenciados pelo conjunto de operadores implementado nas duas ferramentas. No paradigma procedimental, também foi avaliado o escore de mutação obtido por um subconjunto dos operadores da Proteum, construído com o objetivo de reduzir o custo da aplicação do critério. O escore obtido foi satisfatório e as reduções no custo significativas. Também foi avaliado strength das técnicas Funcional e Estrutural em relação ao critério AM nos dois paradigmas. Os resultados mostram que os conjuntos de casos de teste adequados aos critérios das técnicas Funcional e Estrutural no paradigma OO obtiveram, em geral, um escore de mutação maior do que no paradigma Procedimental / AIming at to assist the definition and evolution of testing strategies, empirical studies have been conducted comparing the test criteria in terms of cost effectiveness and strength. However few studies were conducted comparing the criteria in different paradigms. This assessment is important because program paradigm can cause a big influence in the result program and the characteristics of this programs can cause influences in testing activities. This study complements another work in this group that compared the cost of Structural test technique considering the Procedural and Object Oriented paradigms. This paper presents an experimental study comparing the cost and strength of Mutation Test in Procedural and OO paradigms. Besides the evaluation of mutation test, the results of this study can be used to help teaching and training many test criteria and it may somehow contribute to teach software testing n parallel with algorithms and data structures programs. It was used a set of 32 programs of data structure programs with versions in C and Java. For this study it were used Proteum and MuClipse to execute the mutation tests. It was also evaluated the strength of a set of test cases (TC) appropriate to a program in a paradigm in the same version of the program implemented in the other paradigm of interest (cross scoring). Results indicate that both cost and strength is higher in Procedural programs than in OO. This results are certainly influenced by the set of operators built in each tool studied. It was also measured the mutation score of a subset of Proteums operators built to reduce the cost of Mutation Testing in Procedural programs. The mutation score obtained was satisfactory and there was a significant reduction in cost. It was also evaluated the strength of Functional and Structural techniques in Mutation Test for both paradigms. The results show that the mutation score of the set of test cases adequate to Functional and Structural techniques were in general, higher in OO paradigm than in Procedural paradigm

Este trabalho propõe a extensão do critério Análise de Mutantes, originalmente desenvolvido para o teste de programas, para sua aplicação no teste de especificações do aspecto comportamental de Sistemas Reativos. Esses sistemas constituem hoje um componente fundamental em várias atividades humanas e, em geral, falhas nos mesmos podem envolver grandes riscos a vida ou ao patrimônio. Isso toma imprescindível um maior rigor no processo de desenvolvimento e, em particular, na atividade de teste, que é fundamentalmente baseada em simulação, não fornecendo critério que avalie essa atividade de forma quantitativa. A proposta aborda a aplicação da Análise de Mutantes na validação de especificações de Sistemas Reativos baseadas em três técnicas formais, que possuem apoio gráfico, mais utilizadas para este fim: Máquinas de Estados Finitos, Redes de Petri e Statecharts. Para a aplicação do critério nesse contexto, estabeleceu-se um paralelo entre os níveis de programa e de especificação, quanto as suas hipóteses básicas do programador competente e do efeito de acoplamento. Foram definidos os operadores de mutação para cada uma das três técnicas consideradas, além de critérios de mutação alternativa que visam a minimização no custo de aplicação do critério. Foram realizados, manualmente, dois experimentos com o objetivo de validar os mecanismos propostos. Um deles foi aplicado em Máquinas de Estados Finitos e o outro, em Redes de Petri. Os resultados mostram evidências do aspecto complementar do critério Análise de Mutantes em relação as formas disponíveis de teste de especificações existentes na literatura. Apresenta-se também um protótipo da ferramenta Proteum-RSIFSM que apóia a aplicação da Análise de Mutantes em Máquinas de Estados Finitos e discute-se a instanciação dessa ferramenta para apoiar a aplicação do critério nos contextos de Statecharts e Redes de Petri / Reactive Systems are a fundamental component in severa1 activities and failures in these systems may cause risks to life or financia1 losses. Thus, the development process and particularly the test activity must be carried on with extreme care. This work proposes the use of Mutation Analysis - a technique originally proposed at program level testing - in the context of testing and validation of specifications of Reactive Systems; three graphical techniques are considered: Finite State Machines, Petri Nets and Statecharts. Currently, the test of such specifications is mainly based on simulation. The relevance of a test adequacy assessment criterion for such activity has been recognized by many researchers and practitioners and constitutes the objective of this work. The application of Mutation Analysis in this context is based in the assumption that the basic hypothesis valid to the program level - the hypothesis of the competent programmer and coupling effect also hold to the specification level. Mutation operators are defined for the three specification techniques. Also, alternative criteria were defined aiming at reducing the cost of application of Mutation Analysis in this context. Two experiments were manually conducted in order to validate the proposed ideas. The results show evidences of the complementary aspects among existent methods and Mutation Analysis for testing specifications of Reactive Systems. A prototype of Proteum-RSIFSM, a to01 to support Mutation Analysis for Finite State Machines is presented and its extensions to Statecharts and to Petri Nets are discussed

Estudos empíricos têm mostrado que a Análise de Mutantes – um dos critérios de teste baseado em erros – é bastante eficaz em revelar a presença de erros. Entretanto, seu alto custo, decorrente principalmente do grande número de mutantes gerados, tem motivado a proposição de diversas abordagens alternativas para a sua aplicação. Um estudo relevante nesse sentido resultou na determinação de um conjunto essencial de operadores de mutação para a linguagem Fortran, mostrando-se que é possível reduzir o custo de aplicação do critério, preservando um alto grau de adequação em relação à Análise de Mutantes. Alguns estudos também têm demonstrado que a redução da eficácia não é significativa. Este trabalho tem como objetivo investigar alternativas pragmáticas para a aplicação do critério Análise de Mutantes e, nesse contexto, é proposto um procedimento para a determinação de um conjunto essencial de operadores de mutação para a linguagem C, a partir dos operadores implementados na ferramenta Proteum. Procurando aplicar e validar o procedimento proposto, dois grupos distintos de programas são utilizados. Para ambos os grupos, o conjunto essencial obtido apresenta resultados bastante significativos quanto à redução de custo, com um decréscimo muito pequeno no grau de adequação em relação à Análise de Mutantes. Estratégias para evoluir e refinar um conjunto essencial para diferentes domínios de aplicação também são investigadas. / Mutation Analysis – one of the error based criteria – has been found to be effective on revealing faults. However, its high cost, due to the high number of mutants created, has motivated the proposition of many alternative approaches for its application. In this perspective, a relevant study resulted on the determination of a sufficient mutant operator set for Fortran, indicating that it is possible to have a large cost reduction of mutation testing, preserving a high mutation score. Some studies have also shown that the reduction on the effectiveness is not significant. This work aims to investigate pragmatic alternatives for mutation analysis application and, in this context, a procedure for the determination of a sufficient mutant operators set for C is proposed, using Proteum testing tool. Aiming to apply and validate the proposed procedure, two different groups of programs are used. For both of them, the sufficient mutant operator set presents very significant results in terms of cost reduction, with a very small reduction on the mutation score. Strategies to evolve and refine an essential mutant operator set to different application domains are also investigated.

Sistemas Reativos caracterizam-se por reagir continuamente a estímulos externos e internos e controlar atividades humanas. A ocorrência de falhas nesses sistemas pode resultar em grandes prejuízos. Dessa forma, o uso de métodos e técnicas rigorosas para a especificação do comportamento desse tipo de sistema é essencial, buscando-se evitar inconsistências e ambigüidades no modelo. Redes de Petri é uma das técnicas que têm sido usadas para a especificação de sistemas reativos. Teste e validação são atividades essenciais na produção dessa classe de sistemas. Por isso, o critério Análise de Mutantes, um critério de teste baseado em erros normalmente aplicado ao teste de programas, tem sido explorado no contexto de teste de especificações de sistemas reativos. É necessário o desenvolvimento de ferramentas que apóiem sua utilização, visto que a aplicação manual do critério é impraticável. O objetivo deste trabalho é a implementação da ferramenta Proteum-RS/PN, que apóia a aplicação do critério Análise de Mutantes para validar especificações baseadas em Redes de Petri. / Reactive Systems are characterized by continuously reacting to external as well as internal stimuli and controlling human activities. In these systems, faults can result in large losses. The use of rigorous methods and techniques for the specification of their behavior is essential to avoid inconsistencies and ambiguities. Petri Nets have been used for reactive-system specification. The test and validation of the underlying model are essential activities for the production of such systems. Thus, the Mutant Analysis -- a fault-based criterion usually used for program testing -- has been explored in the context of specification testing. The development of tools to support its application is necessary, since its manual application is unrealistic. The objective of this work is the implementation of Proteum-RS/PN, a testing tool which supports the application of Mutant Analysis criterion to validate Petri-Nets based specifications.