O teste de programas concorrentes e uma atividade desaadora, devido a fatores que não estão presentes em programas sequenciais, como comunicação, sincronização e não determinismo. Algumas técnicas de teste têm sido propostas para o contexto de programação concorrente, mas raramente sua aplicabilidade e avaliada por estudos teóricos ou experimentais. Este trabalho contribui nesse sentido, propondo e conduzindo um estudo experimental para avaliar o custo, eficácia e aspecto complementar dos critérios de teste estruturais para programas concorrentes no contexto de memória compartilhada, implementados usando o padrão PThreads (Posix Threads). A ferramenta de teste ValiPThread e usada para auxiliar a condução do experimento. Os programas usados no experimento foram selecionados de benchmarks, como o Inspect, Helgrind e Rungta. Esses benchmarks são comumente usados no estudo de técnicas de teste para programas concorrentes. Programas que resolvem problemas clássicos da programação concorrente também foram incluídos no estudo. Com base nos resultados obtidos foi definida uma estratégia de aplicação, considerando aspectos de custo e eficácia dos critérios de teste. Além disso, todo o material utilizado e gerado durante o experimento foi reunido em um pacote de laboratório, a fim de contribuir com a comunidade de pesquisa, possibilitando replicações e comparações desses critérios com outras técnicas de teste no contexto de programas concorrentes / Concurrent program testing is a challenging activity due to the communication, synchronization and nondeterminism of this application domain. Despite that, some testing techniques for concurrent programs have been proposed, but their applicability is rarely evaluated by theoretical or experimental studies. This work contributes in this direction proposing and conducting an experimental study to evaluate the cost, effectiveness and strength of structural testing criteria for multithreaded programs, implemented using the Pthreads standard (POSIX Threads). The testing tool ValiPThread is used to support the conduction of the experiment. The programs used in this experiment were selected from classical benchmarks, such as Inspect, Helgring and Rungta. These benchmarks are commonly used to study testing techniques for concurrent programs. We also include programs that solve concurrent classical problems. Based on the obtained results, we defined an application testing strategy, considering cost and effectiveness aspects of the testing criteria. Furthermore, all material used and generated during the experiment was incorporated in a lab package, in order to contribute with further research studies making possible replications and comparisons of these testing criteria with other testing techniques in context of concurrent programs

A Engenharia de Software evolui gradativamente para uma disciplina científica baseada em observação, formulação teórica e experimentação. Nesse contexto, estudos experimentais têm sido conduzidos para proporcionar evidências sobre a qualidade e a produtividade de técnicas, ferramentas e métodos de desenvolvimento de software. Porém, resultados obtidos a partir de pesquisas experimentais são úteis somente se os pesquisadores puderem consolidá-las em um contexto significativo de conhecimento. O projeto Readers: A Collaborative Research to Develop, Validate and Package Reading Techniques for Software Defect Detection aborda diversos aspectos envolvidos na construção de um corpo significativo de resultados a partir de experimentos controlados. Nesse contexto, sustenta-se que a aplicação de meios alternativos de análise e exploração de dados dos experimentos conduzidos pode colaborar para a evolução do Pacote de Laboratório, e como efeito colateral, contribuir com a formação do corpo de conhecimento almejado. Este projeto propõe mecanismos para integrar técnicas de visualização exploratória à análise de dados de experimentos controlados. Para isso, foram propostas adequações ao processo de experimentação, bem como um processo de visualização para Engenharia de Software Experimental ? V iDAESE. Para ilustrar o V iDAESE, ciclos de análises são apresentados, juntamente com as conclusões obtidas em cada um. As análises visuais apóiam o processo de consolidação de conhecimento a partir dos dados e a melhoria do Pacote de Laboratório. Adicionalmente, uma abordagem para simulação de dados experimentais foi proposta, permitindo explorar cenários que apóiem o planejamento de experimento. / A Engenharia de Software evolui gradativamente para uma disciplina científica baseada em observação, formulação teórica e experimentação. Nesse contexto, estudos experimentais têm sido conduzidos para proporcionar evidências sobre a qualidade e a produtividade de técnicas, ferramentas e métodos de desenvolvimento de software. Porém, resultados obtidos a partir de pesquisas experimentais são úteis somente se os pesquisadores puderem consolidá-las em um contexto significativo de conhecimento. O projeto Readers: A Collaborative Research to Develop, Validate and Package Reading Techniques for Software Defect Detection aborda diversos aspectos envolvidos na construção de um corpo significativo de resultados a partir de experimentos controlados. Nesse contexto, sustenta-se que a aplicação de meios alternativos de análise e exploração de dados dos experimentos conduzidos pode colaborar para a evolução do Pacote de Laboratório, e como efeito colateral, contribuir com a formação do corpo de conhecimento almejado. Este projeto propõe mecanismos para integrar técnicas de visualização exploratória à análise de dados de experimentos controlados. Para isso, foram propostas adequações ao processo de experimentação, bem como um processo de visualização para Engenharia de Software Experimental ? V iDAESE. Para ilustrar o V iDAESE, ciclos de análises são apresentados, juntamente com as conclusões obtidas em cada um. As análises visuais apóiam o processo de consolidação de conhecimento a partir dos dados e a melhoria do Pacote de Laboratório. Adicionalmente, uma abordagem para simulação de dados experimentais foi proposta, permitindo explorar cenários que apóiem o planejamento de experimento.

O teste de programas concorrentes e uma atividade desaadora, devido a fatores que não estão presentes em programas sequenciais, como comunicação, sincronização e não determinismo. Algumas técnicas de teste têm sido propostas para o contexto de programação concorrente, mas raramente sua aplicabilidade e avaliada por estudos teóricos ou experimentais. Este trabalho contribui nesse sentido, propondo e conduzindo um estudo experimental para avaliar o custo, eficácia e aspecto complementar dos critérios de teste estruturais para programas concorrentes no contexto de memória compartilhada, implementados usando o padrão PThreads (Posix Threads). A ferramenta de teste ValiPThread e usada para auxiliar a condução do experimento. Os programas usados no experimento foram selecionados de benchmarks, como o Inspect, Helgrind e Rungta. Esses benchmarks são comumente usados no estudo de técnicas de teste para programas concorrentes. Programas que resolvem problemas clássicos da programação concorrente também foram incluídos no estudo. Com base nos resultados obtidos foi definida uma estratégia de aplicação, considerando aspectos de custo e eficácia dos critérios de teste. Além disso, todo o material utilizado e gerado durante o experimento foi reunido em um pacote de laboratório, a fim de contribuir com a comunidade de pesquisa, possibilitando replicações e comparações desses critérios com outras técnicas de teste no contexto de programas concorrentes / Concurrent program testing is a challenging activity due to the communication, synchronization and nondeterminism of this application domain. Despite that, some testing techniques for concurrent programs have been proposed, but their applicability is rarely evaluated by theoretical or experimental studies. This work contributes in this direction proposing and conducting an experimental study to evaluate the cost, effectiveness and strength of structural testing criteria for multithreaded programs, implemented using the Pthreads standard (POSIX Threads). The testing tool ValiPThread is used to support the conduction of the experiment. The programs used in this experiment were selected from classical benchmarks, such as Inspect, Helgring and Rungta. These benchmarks are commonly used to study testing techniques for concurrent programs. We also include programs that solve concurrent classical problems. Based on the obtained results, we defined an application testing strategy, considering cost and effectiveness aspects of the testing criteria. Furthermore, all material used and generated during the experiment was incorporated in a lab package, in order to contribute with further research studies making possible replications and comparisons of these testing criteria with other testing techniques in context of concurrent programs

Made available in DSpace on 2014-06-12T15:49:48Z (GMT). No. of bitstreams: 1 license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2009 / Em mercados competitivos como, por exemplo, o de celulares, empresas de software que liberam produtos com baixa qualidade podem rapidamente perder os seus clientes. A fim de evitar esse problema, essas empresas devem garantir que a qualidade dos produtos atenda a expectativa de seus clientes. Nesse contexto, testes é uma das atividades mais utilizadas para se tentar melhorar a qualidade de um software. Além disso, o resultado da atividade de teste está sendo considerado tão importante que em muitos casos é preferível alocar equipes exclusivamente para exercer atividades de teste. Essas equipes de teste devem ser capazes de estimar o esforço exigido para exercer as suas atividades dentro do prazo ou para solicitar mais recursos ou negociar prazos quando necessário. Na prática, as consequências de se ter estimativas ruins são onerosas para a organização: redução de escopo, atraso nas entregas ou horas extras de trabalho. O impacto dessas consequências é ainda maior em se tratando de execução manual de testes. Visando uma melhor forma de estimar esforço de execução manual de casos de teste funcionais, esta pesquisa propõe e valida uma medida de tamanho de teste e de complexidade de execução baseada nas próprias especificações dos testes, bem como um método de medição para a métrica proposta. Além disso, diversos estudos de caso, survey e experimentos foram realizados para avaliar o impacto desse trabalho. Durante esses estudos, verificamos uma melhoria significativa proporcionada por nossa abordagem na precisão das estimativas de esforço de execução de testes manuais. Também identificamos fatores de custo relacionados a atividades de execução manual de testes utilizando julgamento de especialistas. O efeito desses fatores foram investigados através da execução de experimentos controlados, onde pudemos constatar que apenas alguns dos fatores identificados tiveram efeito significativo. Por fim, diversas ferramentas de suporte foram desenvolvidas durante essa pesquisa, incluindo a automação das estimativas de esforço de execução de testes a partir de especificações de testes escritas em linguagem natural

Made available in DSpace on 2014-06-12T15:54:24Z (GMT). No. of bitstreams: 2 arquivo7096_1.pdf: 2072025 bytes, checksum: ca8b71b9cfdeb09118a7c281cafe2872 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2010 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Aplicações para celular estão se tornando cada vez mais complexas, bem como testá-las. Teste de interfaces gráficas (GUI) é uma tendência atual e se faz, em geral, através da simulação de interações do usuário. Várias técnicas são propostas, no qual, eficiência (custo de execução) e eficácia (possibilidade de encontrar bugs) são os aspectosmais cruciais desejados pela industria. No entanto, avaliações mais sistemáticas são necessárias para identificar quais técnicas melhoram a eficiência e eficácia de tais aplicações. Esta tese apresenta uma avaliação experimental de duas técnicas de testes de GUI, denominadas de DH e BxT, que são usadas para testar aplicações de celulares com um histórico de erros reais. Estas técnicas são executadas por um longo período de tempo (timeout de 40h, por exemplo) tentando identificar as situações críticas que levam o sistema a uma situação inesperada, onde o sistema pode não continuar sua execução normal. Essa situação é chamada de estado de crash. A técnicaDHjá existia e é utilizadapela industriade software, propomos outra chamada de BxT. Em uma avaliação preliminar, comparamos eficácia e eficiência entre DH e BxT através de uma análise descritiva. Demonstramos que uma exploração sistemática, realizada pela BxT, é uma abordagem mais interessante para detectar falhas em aplicativos de celulares. Com base nos resultados preliminares, planejamos e executamos um experimento controlado para obter evidência estatística sobre sua eficiência e eficácia. Como ambas as técnicas são limitadas por um timeout de 40h, o experimento controlado apresenta resultados parciais e, portanto, realizamos uma investigação mais aprofundada através da análise de sobrevivência. Tal análise permite encontrar a probabilidade de crash de uma aplicação usando tanto DH quanto BxT. Como experimentos controlados são onerosos, propomos uma estratégia baseada em experimentos computacionais utilizando a linguagem PRISM e seu verificador de modelos para poder comparar técnicas de teste de GUI, em geral, e DH e BxT em particular. No entanto, os resultados para DH e BxT tem uma limitação: a precisão do modelo não é estatisticamente comprovada. Assim, propomos uma estratégia que consiste em utilizar os resultados anteriores da análise de sobrevivência para calibrar nossos modelos. Finalmente, utilizamos esta estratégia, já com os modelos calibrados, para avaliar uma nova técnica de teste de GUI chamada Hybrid-BxT (ou simplesmente H-BxT), que é uma combinação de DH e BxT

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2017-04-06T14:40:56Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação[Final] - Thiago Rodrigues Cavalcanti (3).pdf: 3773887 bytes, checksum: c9be5fcff2f29f4495fef60413a169f6 (MD5) / Made available in DSpace on 2017-04-06T14:40:56Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação[Final] - Thiago Rodrigues Cavalcanti (3).pdf: 3773887 bytes, checksum: c9be5fcff2f29f4495fef60413a169f6 (MD5) Previous issue date: 2011-03-15 / O Simpósio Brasileiro de Engenharia de Software (SBES) está na sua 25ª edição em 2011. Ao longo da sua história, vários progressos no campo da engenharia de software foram publicados e debatidos. Durante o Simpósio, os avanços e pesquisas ganham voz e repercutem no meio acadêmico nacional. Entender como a pesquisa de engenharia de software publicada no SBES evoluiu nesse período é o principal objetivo deste trabalho. Os demais objetivos se relacionam com o primeiro diretamente. Compreender quais as áreas de pesquisa e os métodos mais utilizados, e ainda traçar um histórico das abordagens, das unidades de análise e dos gêneros de pesquisa. Neste trabalho ainda quantificamos os artigos publicados em inglês, a quantidade de referências e citações de cada paper. Para entendermos essa evolução foi necessário utilizar algumas classificações difundidas na literatura visando avaliar os trabalhos publicados e os simpósios como um todo. A metodologia utilizada passou pela leitura dos últimos 24 anos do SBES e a consolidação em um formulário de extração. O método inclui ainda detalhes e exemplos dos critérios utilizados, visando dar maior qualidade ao processo. Por fim, uma ferramenta de consolidação automatizada integra os valores encontrados. Os resultados mostram como cada um dos critérios acima definidos evoluiu ao longo do tempo, quais centros de pesquisa têm mais espaço no contexto do SBES e quais aspectos do estudo da engenharia de software podem ser aprimorados. Deste modo, este trabalho ajuda a entender o panorama brasileiro de engenharia de software e demonstra o papel relevante da pesquisa para evolução da ciência. / The Brazilian Symposium on Software Engineering (SBES) is on its 25th edition in 2011. Throughout its history, several improvements in the field of software engineering have been published and discussed. During the Symposium, the advances and researches gained voice and repercussions in the national academic environment. Understanding how software engineering research published in SBES evolved in this period is the main objective of this work. The other objectives are directly related to the first. To understand the areas of research and the methods used, and build a historical analysis of the research approaches, the unit of analysis and the type of research. This work has quantified the articles published in English, the number of references, and citations of each paper. In order to understand this evolution, it was necessary to use some widespread classifications in literature to evaluate the published works and symposia as a whole. The methodology began by reading the last 24 years of SBES and the consolidation in an extraction form. The method also includes details and examples of the criteria employed to give more quality to the process. Finally, an automated consolidation tool integrated the values found. The results show how each of the criteria described above has evolved over time, research centers which have more space in the context of SBES and also which aspects of the study in software engineering can be improved. Thus, this work assists to understand the Brazilian panorama of software engineering and demonstrates the important role of research for science advance.

Orientadores: Mario Jino, Manoel Gomes de Mendonça Neto, Victor Robert basili / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-09T03:08:37Z (GMT). No. of bitstreams: 1 Cruzes_DanielaSoares_D.pdf: 5878913 bytes, checksum: 3daddec5bb0c08c955c288b74419bccc (MD5) Previous issue date: 2007 / Resumo: Enquanto é claro que existem muitas fontes de variação de um contexto de desenvolvimento de software para outro, não é claro, a priori, quais variáveis específicas influenciarão a eficácia de um processo, de uma técnica ou de um método em um determinado contexto. Por esta razão, o conhecimento sobre a engenharia de software deve ser construído a partir de muitos estudos, executados tanto em contextos similares como em contextos diferentes entre si. Trabalhos precedentes discutiram como projetar estudos relacionados documentando tão precisamente quanto possível os valores de variáveis do contexto para assim poder comparálos com os valores observados em novos estudos. Esta abordagem é importante, porém argumentamos neste trabalho que uma abordagem oportunística também é prática. A abordagem de análise secundária de estudos discutida neste trabalho (SecESE) visa combinar resultados de múltiplos estudos individuais realizados independentemente, permitindo a expansão do conhecimento experimental em engenharia de software. Usamos uma abordagem baseada na codificação da informação extraída dos artigos e dos dados experimentais em uma base estruturada. Esta base pode então ser minerada para extrair novos conhecimentos de maneira simples e flexível / Abstract: While it is clear that there are many sources of variation from one software development context to another, it is not clear a priori, what specific variables will influence the effectiveness of a process, technique, or method in a given context. For this reason, we argue that knowledge about software engineering must be built from many studies, in which related studies are run within similar contexts as well as very different ones. Previous works have discussed how to design related studies so as to document as precisely as possible the values of context variables and be able to compare with those observed in new studies. While such a planned approach is important, we argue that an opportunistic approach is also practical. This approach would combine results from multiple individual studies after the fact, enabling the expansion of empirical software engineering knowledge from large evidence bases. In this dissertation, we describe a process to build empirical knowledge about software engineering. It uses an approach based on encoding the information extracted from papers and experimental data into a structured base. This base can then be mined to extract new knowledge from it in a simple and flexible way / Doutorado / Engenharia de Computação / Doutor em Engenharia Elétrica

A Engenharia de Software evolui gradativamente para uma disciplina científica baseada em observação, formulação teórica e experimentação. Nesse contexto, estudos experimentais têm sido conduzidos para proporcionar evidências sobre a qualidade e a produtividade de técnicas, ferramentas e métodos de desenvolvimento de software. Porém, resultados obtidos a partir de pesquisas experimentais são úteis somente se os pesquisadores puderem consolidá-las em um contexto significativo de conhecimento. O projeto Readers: A Collaborative Research to Develop, Validate and Package Reading Techniques for Software Defect Detection aborda diversos aspectos envolvidos na construção de um corpo significativo de resultados a partir de experimentos controlados. Nesse contexto, sustenta-se que a aplicação de meios alternativos de análise e exploração de dados dos experimentos conduzidos pode colaborar para a evolução do Pacote de Laboratório, e como efeito colateral, contribuir com a formação do corpo de conhecimento almejado. Este projeto propõe mecanismos para integrar técnicas de visualização exploratória à análise de dados de experimentos controlados. Para isso, foram propostas adequações ao processo de experimentação, bem como um processo de visualização para Engenharia de Software Experimental ? V iDAESE. Para ilustrar o V iDAESE, ciclos de análises são apresentados, juntamente com as conclusões obtidas em cada um. As análises visuais apóiam o processo de consolidação de conhecimento a partir dos dados e a melhoria do Pacote de Laboratório. Adicionalmente, uma abordagem para simulação de dados experimentais foi proposta, permitindo explorar cenários que apóiem o planejamento de experimento. / A Engenharia de Software evolui gradativamente para uma disciplina científica baseada em observação, formulação teórica e experimentação. Nesse contexto, estudos experimentais têm sido conduzidos para proporcionar evidências sobre a qualidade e a produtividade de técnicas, ferramentas e métodos de desenvolvimento de software. Porém, resultados obtidos a partir de pesquisas experimentais são úteis somente se os pesquisadores puderem consolidá-las em um contexto significativo de conhecimento. O projeto Readers: A Collaborative Research to Develop, Validate and Package Reading Techniques for Software Defect Detection aborda diversos aspectos envolvidos na construção de um corpo significativo de resultados a partir de experimentos controlados. Nesse contexto, sustenta-se que a aplicação de meios alternativos de análise e exploração de dados dos experimentos conduzidos pode colaborar para a evolução do Pacote de Laboratório, e como efeito colateral, contribuir com a formação do corpo de conhecimento almejado. Este projeto propõe mecanismos para integrar técnicas de visualização exploratória à análise de dados de experimentos controlados. Para isso, foram propostas adequações ao processo de experimentação, bem como um processo de visualização para Engenharia de Software Experimental ? V iDAESE. Para ilustrar o V iDAESE, ciclos de análises são apresentados, juntamente com as conclusões obtidas em cada um. As análises visuais apóiam o processo de consolidação de conhecimento a partir dos dados e a melhoria do Pacote de Laboratório. Adicionalmente, uma abordagem para simulação de dados experimentais foi proposta, permitindo explorar cenários que apóiem o planejamento de experimento.

Nesta tese de doutorado, apresentamos uma abordagem para a observação das métricas de código-fonte, estudando-as através de suas distribuições e associações, além de discutir as relações de causalidade e implicações práticas-gerenciais para monitoramento das mesmas. Em nossos estudos avaliamos a distribuição e correlações dos valores das métricas de 38 projetos de software livre, dentre os com mais contribuidores ativos em seus repositórios. Para tal, coletamos e analisamos os valores para cada métrica em mais de 344.872 classes e módulos dos projetos avaliados. Complementarmente, para mostrarmos a utilidade do monitoramento de métricas, descrevemos uma extensão e adaptação do modelo de causalidade do conceito de atratividade de projetos de software livre, que indica uma relação estatística entre os valores das métricas de código-fonte e a quantidade de downloads, contribuidores e atualizações (commits) nos repositórios dos projetos. Para isso, realizamos estudos empíricos com milhares de projetos de software livre. Do ponto de vista prático, também contribuímos com um conjunto de ferramentas inovador para a automação da avaliação de projetos de software livre, com ênfase nos estudos e na seleção de métricas, o que permite a análise de código-fonte de acordo com a percepção de qualidade das comunidades de software livre. Entre as principais contribuições desta tese está uma análise detalhada, em relação ao comportamento, valores e estudos de caso, de 15 métricas de código-fonte, o que representa um avanço em comparação a literatura relacionada ao ampliar o número de métricas avaliadas e propor uma abordagem que visa diminuir as contradições das análises das métricas. / In this Ph.D dissertation we present an approach about source code metrics tracking. We have researched source code metrics distributions and associations to discuss their causality and management-practices implications. Our studies have assessed distributions and correlations of source code metric values on 38 free software projects, which have a lot of activated contributors in their repositories. We have collected and analyzed metrics from 344,872 classes and modules of about 38 free software projects. Additionally, to show how it is useful to track source code metrics, we have extended the model of free software attractiveness to include source code metrics. Our technical attractiveness model indicates a statistical relationship between source code metrics and number of downloads, contributors, and commits in the analyzed free software repositories. For that, we have conducted empirical studies with 8,450 free software projects. From a practical point of view, we have contributed with a set of innovative tools for automated evaluation of free software projects. Our tool allow the analyses of source code metrics that mirror quality perceptions from the free software communities point of view.

A Engenharia de Software tem desenvolvido t[écnicas e métodos para apoiar o desenvolvimento de software confiável, flexível, com baixo custo de desenvolvimento e fácil manutenção. Técnicas e critérios de teste contribuem nessa direção, fornecendo mecanismos para produzir software com alta qualidade. Este trabalho apresenta um estudo experimental para avaliar o custo, eficácia e a dificuldade de satisfação (strength) dos critérios estruturais propostos para programas concorrentes. Esta avaliação foi conduzida usando oito programas implementados em MPI e utilizando a ferramenta de teste ValiMPI. Com base em taxonomias, defeitos foram injetados nos programas de modo a avaliar a eficácia dos critérios de teste em revelar os defeitos inseridos. Os resultados obtidos demonstraram o aspecto complementar dos critérios e informações sobre o custo e eficácia, que contribuíram para o estabelecimento de uma estratégia de teste incremental para aplicar os critérios de teste em uma boa relação custo-eficácia. Para concluir, os resultados indicam que os critérios de teste estrutural propostos para programas concorrentes em MPI são promissores e podem auxiliar a detectar defeitos nessas aplicações, melhorando a qualidade das mesmas / The software engineering has developed techniques and methods to help the software development reliable, exible and with lower development costs and easy maintenance. Testing techniques and criteria contribute in this sense, providing mechanisms to produce high quality software. This work presents an experimental study to evaluate the cost, effectiveness and strength of the structural testing criteria for concurrent programs. This evaluation has been conducted using eight programs implemented in MPI and the ValiMPI testing tool. Based on a fault taxonomy for concurrent programs, defects have been injected in these programs in order to evaluate the effectiveness of the testing criteria. The results indicate the complementary aspect of the criteria and the information about cost and effectiveness have contributed to the establishment of an incremental testing strategy to apply the testing criteria in good relation cost-effectiveness. To conclude, the results indicate that the structural testing criteria, proposed for MPI concurrent programs, are promising and they can help to find defects in these applications, improving their quality