A qualidade dos sistemas de software é uma preocupação de todo bom projeto e muito tem se estudado para melhorar tanto a qualidade do produto final quanto do processo de desenvolvimento. Teste de Software é uma área de estudo que tem crescido significativamente nos últimos tempos, em especial a automação de testes que está cada vez mais em evidência devido à agilidade e qualidade que pode trazer para o desenvolvimento de sistemas de software. Os testes automatizados podem ser eficazes e de baixo custo de implementação e manutenção e funcionam como um bom mecanismo para controlar a qualidade de sistemas. No entanto, pouco conhecimento sobre a área e erros comuns na escrita e manutenção dos testes podem trazer dificuldades adicionais aos projetos de software. Testes automatizados de baixa qualidade não contribuem efetivamente com o controle de qualidade dos sistemas e ainda demandam muito tempo do desenvolvimento. Para evitar esses problemas, esta dissertação apresenta de forma crítica e sistemática as principais práticas, padrões e técnicas para guiar o processo da criação, manutenção e gerenciamento dos casos de testes automatizados. Inicialmente, são feitas comparações entre a automação de testes e outras práticas de controle e garantia de qualidade. Em seguida, são apresentados os problemas e soluções mais comuns durante a automação de testes, tais como questões relacionadas a tipos específicos de algoritmos, sistemas com persistência de dados, testes de interfaces de usuário e técnicas de desenvolvimento de software com testes automatizados. Para finalizar, a dissertação traz uma reflexão sobre o gerenciamento e a abordagem da automação de testes para tornar o processo mais produtivo e eficaz. / The quality of software systems is a concern of every good project and much has been studied to improve the quality of the final product and process development. Software Testing is an increasing area, especially test automation, which is in evidence due to the speed and quality that it may bring to the development of software systems. Automated tests can be effective and can have a low cost of implementation and maintenance to ensure and control the quality of the systems. However, little knowledge about the area and common errors in writing and maintaining tests may bring additional difficulties to the software projects. Low quality automated tests do not contribute effectively to quality control systems and still take a long time of development. To avoid these problems, we present critically and systematically the core practices, standards and techniques to guide the process of creation, maintenance and management of automated test cases. Initially, comparisons are made between the test automation, other control practices, and quality assurance. Next, we present the most common problems and solutions for the automation of tests, such as issues related to specific types of algorithms, systems with data persistence, testing user interfaces and techniques for software development with automated tests. Finally, this essay reflects on the management and approach to test automation to make the process more productive and effective.

Submitted by Geyciane Santos (geyciane_thamires@hotmail.com) on 2015-06-17T13:05:26Z No. of bitstreams: 1 Disssertação- Jardelane de Brito Costa.pdf: 2340050 bytes, checksum: 5f23cc3aa127017a2229e21ce654aba5 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-17T20:24:38Z (GMT) No. of bitstreams: 1 Disssertação- Jardelane de Brito Costa.pdf: 2340050 bytes, checksum: 5f23cc3aa127017a2229e21ce654aba5 (MD5) / Made available in DSpace on 2015-06-17T20:24:38Z (GMT). No. of bitstreams: 1 Disssertação- Jardelane de Brito Costa.pdf: 2340050 bytes, checksum: 5f23cc3aa127017a2229e21ce654aba5 (MD5) Previous issue date: 2012-04-30 / Outras / The quality of testing applied to a software project is an important factor to reach the quality of the final product. This becomes more evident in methodologies based on testing to measure the software development progress or that consider testing the central element in the evaluation of its quality. Several strategies can be applied to evaluate the quality of testing in a software project. A possible strategy is to ensure the quality of artifacts produced during testing process. In this context, a technique that has been largely used to ensure the quality of software artifacts is inspection. There are many works dealing with inspection of documents produced during the software development process. However, we have not identified in the technical literature works that apply inspection in software testing artifacts. We identified just studies indicating the importance of applying inspection in these artifacts. Thus, with the purpose of evaluating the quality of testing artifacts, contributing to defects detection before tests execution, this thesis presents a checklist-based approach, TestCheck, for inspection of software testing artifacts (test plans, cases, and procedures). In order to evaluate the proposed approach, experimental studies (feasibility, observation and case studies) were conducted. They analyzed and indicated the efficacy, efficiency, and maturity of the proposed approach in relation to detection of defects in testing artifacts. / A qualidade dos testes aplicados em um projeto de Software é um fator determinante para a qualidade do produto final. Isso se torna mais evidente em metodologias que se baseiam em testes para progressão do desenvolvimento do Software ou consideram os testes pontos centrais da avaliação da sua qualidade. Diversas estratégias podem ser aplicadas para avaliação da qualidade dos testes em um projeto de Software. Uma delas é garantir a qualidade dos artefatos de testes produzidos ao longo do processo de testes. Neste contexto, uma técnica que vem sendo bastante utilizada para garantir a qualidade de artefatos de Software é inspeção. Existem diversos trabalhos que abordam inspeção em documentos produzidos ao longo do processo de desenvolvimento de software. No entanto, não foram encontrados na literatura técnica trabalhos que utilize inspeção em artefatos de Teste de Software. O que existe são trabalhos que mencionam a importância de se fazer inspeção nesses artefatos. Assim, com o objetivo de avaliar a qualidade dos artefatos de teste, proporcionando que defeitos sejam encontrados antes da execução dos testes, esta dissertação apresenta uma abordagem baseada em Checklist, TestCheck, para inspeção de artefatos de teste de Software (planos, casos e procedimentos de teste). Para avaliar a abordagem proposta, foram realizados estudos experimentais (estudo de viabilidade, segundo estudo de viabilidade e estudo de observação na indústria). Eles analisaram e indicaram a eficácia, eficiência e amadurecimento da abordagem proposta em relação à detecção de defeitos em artefatos de teste.

O teste de programas concorrentes e uma atividade desaadora, devido a fatores que não estão presentes em programas sequenciais, como comunicação, sincronização e não determinismo. Algumas técnicas de teste têm sido propostas para o contexto de programação concorrente, mas raramente sua aplicabilidade e avaliada por estudos teóricos ou experimentais. Este trabalho contribui nesse sentido, propondo e conduzindo um estudo experimental para avaliar o custo, eficácia e aspecto complementar dos critérios de teste estruturais para programas concorrentes no contexto de memória compartilhada, implementados usando o padrão PThreads (Posix Threads). A ferramenta de teste ValiPThread e usada para auxiliar a condução do experimento. Os programas usados no experimento foram selecionados de benchmarks, como o Inspect, Helgrind e Rungta. Esses benchmarks são comumente usados no estudo de técnicas de teste para programas concorrentes. Programas que resolvem problemas clássicos da programação concorrente também foram incluídos no estudo. Com base nos resultados obtidos foi definida uma estratégia de aplicação, considerando aspectos de custo e eficácia dos critérios de teste. Além disso, todo o material utilizado e gerado durante o experimento foi reunido em um pacote de laboratório, a fim de contribuir com a comunidade de pesquisa, possibilitando replicações e comparações desses critérios com outras técnicas de teste no contexto de programas concorrentes / Concurrent program testing is a challenging activity due to the communication, synchronization and nondeterminism of this application domain. Despite that, some testing techniques for concurrent programs have been proposed, but their applicability is rarely evaluated by theoretical or experimental studies. This work contributes in this direction proposing and conducting an experimental study to evaluate the cost, effectiveness and strength of structural testing criteria for multithreaded programs, implemented using the Pthreads standard (POSIX Threads). The testing tool ValiPThread is used to support the conduction of the experiment. The programs used in this experiment were selected from classical benchmarks, such as Inspect, Helgring and Rungta. These benchmarks are commonly used to study testing techniques for concurrent programs. We also include programs that solve concurrent classical problems. Based on the obtained results, we defined an application testing strategy, considering cost and effectiveness aspects of the testing criteria. Furthermore, all material used and generated during the experiment was incorporated in a lab package, in order to contribute with further research studies making possible replications and comparisons of these testing criteria with other testing techniques in context of concurrent programs

Arquitetura de software e teste de software são importantes áreas com o objetivo comum de prover meios para que sistemas de software sejam desenvolvidos com alta qualidade. Foi constatado, por meio de um mapeamento sistemático, que existem poucos estudos relacionando essas duas áreas de modo que uma possa contribuir para a outra, principalmente em arquiteturas de referência e teste de software. Esse projeto tem por objetivo estender o modelo para arquiteturas de referência (RAModel), para que arquiteturas de referência sejam estabelecidas com informações de teste de software. Assim, além de promover padronização, uniformização e reúso a informações relacionadas a arquiteturas de software, promove-se também o reúso, a padronização e a uniformização das informações de teste de software no desenvolvimento das soluções para um dado domínio de aplicação. Para isso, elementos de teste relacionados ao planejamento de teste foram extraídos do TMMi e da norma ISO/IEC/IEEE 29119 e inseridos no RAModel, definindo, assim, o RAModelT . Dessa forma, a atividade de teste é incorporada aos estágios iniciais do desenvolvimento de software. Um estudo de viabilidade realizado para avaliar a extensão do RAModelT e um exemplo de aplicação são apresentados. / Software architecture and software testing are important areas with the common goal of providing the means to develop high-quality software systems. It was found through a systematic mapping that there are few studies relating these two areas so that one can contribute to the other, especially in reference architectures and software testing. This project aims at extending the Reference Architecture Model (RAModel), so that reference architectures are established with software test information. Thus, in addition to promoting standardization, standardization, and reuse of information related to software architectures, it is also promoted the reuse, standardization, and standardization of software test information in the development of solutions for a given application domain. For this, test elements related to the test planning were extracted from the TMMi and the ISO/IEC/IEEE 29119 standard and inserted into the RAModel, thus defining the RAModelT . In this way, the test activity is incorporated into the early stages of software development. A feasibility study performed to evaluate the extent of the RAModelT and an application example are presented.

O teste baseado em modelos tem como objetivo auxiliar a atividade de testes, gerando conjuntos de casos de teste a partir de modelos, como Máquinas de Estados Finitos (MEFs). Diversos métodos de geração de conjuntos de caso de teste têm sido propostos ao longo das últimas décadas, com algumas contribuições recentes. Dentre esses trabalhos, há os que geram seqüências de verificação que são conjuntos de caso de teste formados por uma única seqüência e que são capazes de detectar os defeitos de uma implementação cujo comportamento pode ser modelado a partir de uma MEF. Neste trabalho é proposto um algoritmo de geração de seqüências de verificação que tem a finalidade de gerar seqüências menores que as seqüências geradas pelos métodos existentes. O algoritmo, que é baseado na técnica de algoritmos genéticos e nas condições de suficiência para a completude de casos de teste, consiste basicamente em criar novas seqüências a partir de seqüências menores. Por meio de mutações, novas seqüências são geradas pelo algoritmo. As condições de suficiência são utilizadas para determinar quais seqüências geradas são seqüências de verificação. Também são apresentados neste trabalho os estudos experimentais realizados para determinar o comportamento do algoritmo diante de diferentes contextos / Model-based testing aims at aiding the testing activity, generating test cases from models such as Finite State Machines (FSM). Several test cases generation methods have been proposed along the last decades, with some recent contributions. Among these works, there are those that generate checking sequences, which are test cases formed by a single sequence and which are capable of detecting faults in an implementation whose behavior can be modeled as an FSM. This work proposes a checking sequences generation algorithm which aims at generating sequences smaller than the sequences generated by existing methods. The algorithm, which is based on the genetic algorithms technique and sufficient conditions for completeness of test cases, basically consists of creating new sequences from small sequences. Through mutations, new sequences are generated by the algorithm. The suffcient conditions are used to determine which sequences are checking sequences. Experimental studies are presented in this work to determine the behavior of the algorithm on different contexts

O teste de software é reconhecido como uma importante atividade na garantia da qualidade de sistemas de software. Com o objetivo de dar apoio a essa atividade, uma diversidade de ferramentas de teste têm sido desenvolvida. Entretanto, grande parte dessas ferramentas é construída de forma isolada, possuindo arquiteturas e estruturas próprias, o que tem impactado negativamente a capacidade de integração e o reúso dessas ferramentas. Nesse contexto, esforços têm sido dedicados à disponibilização de ferramentas de teste orientadas a serviço, ou seja, ferramentas que são baseadas na SOA (Service Oriented Architecture). Em uma outra perspectiva, arquiteturas de referência têm desempenhado um importante papel no desenvolvimento de sistemas de software, uma vez que contém informações sobre como desenvolver sistemas para um determinado domínio de aplicação, buscando contribuir para o sucesso de sistemas desse domínio. Assim, o principal objetivo deste trabalho é o estabelecimento de uma arquitetura de referência orientada a serviço, denominada RefTEST-SOA (Reference Architecture for Software Testing Tools based on SOA), que agrega o conhecimento e a experiência de como organizar ferramentas de teste orientadas a serviço, visando também à integração, à escalabilidade e o reúso providos pela SOA. Para o estabelecimento dessa arquitetura, foi utilizado o ProSA-RA, um processo que sistematiza o projeto, representação e avaliação de arquiteturas de referência. Resultados alcançados no estudo de caso conduzido evidenciam que a RefTEST-SOA é uma arquitetura viável e reusável para o desenvolvimento de ferramentas de teste orientadas a serviço / Software testing is considered as an important activity to ensure the quality of software systems. To support such activity, a diversity of testing tools have been developed. However, most of them have been separately built and have usually their particular structures and architectures, which has hindered the integration and reuse of these tools. In this context, efforts have been employed in order to provide service-oriented testing tools, i.e., tools that are based on SOA (Service Oriented Architecture). In another perspective, reference architectures have played an important role in the development of software systems, since they contain information about how to develop systems for a particular application domain, contributing to the success of systems in that domain. Thereby, our main objective is to establish a service-oriented reference architecture, named RefTEST-SOA (Reference Architecture for Software Testing Tools based on SOA), which aggregates the knowledge and experience about how to organize service-oriented testing tools, also aiming at integration, scalability and reuse provided by SOA. To establish this architecture, we have used ProSA-RA, a process that provides guidelines to the design, representation and evaluation of reference architectures. Results achieved by a conducted case study indicate that RefTEST-SOA is a viable and reusable architecture for developing service-oriented testing tools

Contexto: Apesar de existirem muitas informações sobre a área de teste de software, elas se encontram de forma dispersa e sem conexão, o que aumenta a já existente dificuldade por parte de usuários em compreender os conceitos e as tecnologias dessa área e, conseqüentemente, em tomar a decisão de onde e quando usálas. Objetivo: O objetivo deste trabalho foi criar o arcabouço KITest (Knowledge and Improvement on Test) capaz de agregar o conhecimento em teste e disponibilizá-lo para a comunidade com a intenção de facilitar a sua transferência, a definição e a melhoria de processos de teste, com mais qualidade. Metodologia: Para facilitar a transferência de conhecimento modelou-se o conhecimento em teste por meio de um processo genérico de teste organizado em um mapa mental (KITMap). Para contemplar a questão de qualidade estabeleceu-se como base as práticas do modelo TMMi, distribuídas no processo de teste genérico. Para permitir que a comunidade interaja com essa base de conhecimento em teste criou-se uma ferramenta (KITTool) que permita acesso a essas informações, faça diagnóstico do processo de teste vigente e sugira melhorias. Para gerenciar toda essa estrutura utilizou-se uma estratégia de melhoria para que essa estrutura esteja sempre em evolução com base na realimentação da comunidade que a utiliza. Resultados e Conclusões: os resultados e as conclusões sobre a aplicação do arcabouço KITest estão apresentados no relatório técnico anexo a esta tese / Background: Although there is much information about the software testing area, they are dispersed and disconnected, thus hardening the understanding of concepts and technologies within this area. Consequently, this increases the difficulty on making decisions on where and when to use such testing-related information. Objective: The objective of this work was to create the KITest framework (Knowledge and Improvement on Test) aiming at aggregating knowledge of software testing and making it available to the community. The purpose of KITest is facilitating the knowledge transfer and supporting the definition and improvement of testing processes with respect to its quality. Methodology: Aiming to facilitate the knowledge transfer, the testingrelated knowledge was modeled through a generic testing process organized as a mental map (KITMap). TMMi was chosen as the underlying model to address the intended quality issues. The TMMi practices were distributed into the general testing process. To allow the communitys interaction with the testing knowledge base, we created a tool named KITTool. The tool allows the access to the testing-related information, supports the diagnosis of the current testing process and the suggestion of improvements to it. To manage all this structure, an improvement strategy is used to maintain a continuous evolution based on the communitys feedback. Results and Conclusions: The results and conclusions on the implementation of the KITest framework are described in the technical report that is attached to this dissertation

Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro / A utilização de sistemas de informações geográficas via Web (Sigweb) tem crescido nos últimos anos pela facilidade na manipulação e visualização de informações de diferentes lugares através da Internet. O objetivo deste estudo é realizar testes de sistemas de informações geográficas na Internet com ênfase na técnica funcional para avaliar a funcionalidade, usabilidade, a navegabilidade dos programas conhecidos como Sigweb prontos para usar. Para tanto, foi necessária a identificação dos casos de uso dos programas propostos para o estudo. Como resultado se pode conferir o comportamento dos sistemas durante os testes, além de distinguir as características de cada SigWeb e as dificuldades encontradas. / The use of Geographic Information System by Web (SIGWeb) has grown in the last years by the facility in manipulation and visualization of informations of different places through of Internet. The purpose of this work is accomplish test methods with emphasis in the functional technique where is valuated the functionality, usability, navigability among other types of test programs that are known as Ready Sigweb to use. Therefore, it was necessary to identify cases of use of each proposed for the study. As a result it can check the behavior of systems during the tests, and distinguish the characteristics of each Sigweb and the difficulties.

[pt] Este trabalho visa explorar os requisitos de software, descritos na forma de casos de uso, como instrumento capaz de apoiar a geração e execução automática de testes funcionais, com o intuito de verificar automaticamente se o resultado obtido nos testes gerados e executados estão em conformidade com o especificado. O trabalho consiste em utilizar um processo e ferramenta para documentar casos de uso e automaticamente gerar e executar scripts de teste para verificar o comportamento funcional de aplicações web. As informações do caso de uso, em especial os fluxos de eventos (principal e alternativos), devem ser estruturados obedecendo um modelo de comportamento para que seja possível armazenar os dados e utilizá-los como entrada na integração com a ferramenta de testes. Neste trabalho, utilizou-se a ferramenta Selenium para a automação da interação com o navegador. A avaliação do esforço deu-se através da aplicação do processo em sistemas reais e através de comparação com outras técnicas aplicadas nos mesmos sistemas. / [en] This work aims at exploring the software requirements, described in the form of use cases, as an instrument to support the automatic generation and execution of functional tests, in order to automatically check if the results obtained in the tests generated and executed are in accordance with specified. The establishes a process and a tool for documenting use cases and automatically generating and executing test scripts that verify the behavior of web applications. The content of the use case, especially the flow of events (main and alternative), is structured in accordance to a "behavior model" that stores the test data and generates input for a browser testing tool. In this work, we have used the Selenium tool to automate the interaction with the browser. The assessment of our approach involved the application of the process and generating tool in real systems, comparing the results with other techniques applied in the same systems.

SANTOS, Ismayle de Sousa. Um ambiente para geração de cenários de testes para linhas de produtos de software sensíveis ao contexto. 2013. 135 f. Dissertação (Mestrado em ciência da computação)- Universidade Federal do Ceará, Fortaleza-CE, 2013. / Submitted by Elineudson Ribeiro (elineudsonr@gmail.com) on 2016-07-11T16:56:08Z No. of bitstreams: 1 2013_dis_issantos.pdf: 3899116 bytes, checksum: 671b1907d9f723390441a5b8ed58142c (MD5) / Approved for entry into archive by Rocilda Sales (rocilda@ufc.br) on 2016-07-18T14:56:20Z (GMT) No. of bitstreams: 1 2013_dis_issantos.pdf: 3899116 bytes, checksum: 671b1907d9f723390441a5b8ed58142c (MD5) / Made available in DSpace on 2016-07-18T14:56:20Z (GMT). No. of bitstreams: 1 2013_dis_issantos.pdf: 3899116 bytes, checksum: 671b1907d9f723390441a5b8ed58142c (MD5) Previous issue date: 2013 / A Context-Aware Software Product Line (CASPL) is a product line for developing context-aware applications, which dynamically change their behavior or provide services based on context information. With this kind of line, the productivity can be increased and the development costs of the context-aware application can be cut down. In this scenario, the testing activity needs to deal with the peculiarities of both context-aware applications and the product line development paradigm. Through the complexity involved in testing a CASPL is essential to have methods or tools for supporting this activity, especially with the goal of creating tests from requirements. The aim of this early testing generation is to identify and fix the defects in the early stages of development. Therefore, this work aims to propose an environment for generating test scenarios for a CASPL that takes into account the presence of context information and seeks to maximize the testing reuse. This environment consists of a testing scenario generation method, a template for textual use case specification and a support tool. The method uses as input textual use cases especifications with information about: funcionality, variability, and how the context afect the final products. The environment also has a use case template that supports the use of the method and a tool support, which allows the modeling of use cases according to this template and implements the proposed method. In order to verify the benefits of the environment as a way to testing generation for a Context-Aware Software Product Line, an assessment in the form of controlled experiment is conducted. Based on the collected results, it is observed that: the use of the template makes easy the understanding of a Context-Aware Software Product Line use case; the method favors the creation of a set of tests with higher coverage than a non-systematic testing generation; and the tool is the necessary support for the method. / Uma Linha de Produto de Software Sensível ao Contexto (LPSSC) é uma linha de produto para o desenvolvimento de aplicações sensíveis ao contexto, que alteram dinamicamente o comportamento ou que proveem serviços com base em informações de contexto. Nesse cenário, a atividade de testes precisa lidar ao mesmo tempo com as peculiaridades das aplicações finais, que são sensíveis ao contexto, e com o paradigma de desenvolvimento em linha de produto. Mediante a complexidade envolvida nos testes de uma LPSSC, é fundamental a existência de métodos ou ferramentas de suporte a essa atividade, especialmente com a intenção de criar testes a partir dos requisitos da linha. O objetivo dessa geração precoce dos testes é permitir a identificação e correção dos defeitos nos estágios iniciais de desenvolvimento. Dessa forma, esta dissertação tem por objetivo propor um ambiente de geração de cenários de testes para uma LPSSC que utiliza especificações textuais de casos de uso com informações de contexto e que possibilita a reutilização dos testes. Este ambiente é constituído pela proposta de um método de geração de cenários de testes, de um template para especificação textual de casos de uso de uma LPSSC e de uma ferramenta de apoio. O método utiliza como base especificações textuais de casos de uso com informações sobre: funcionalidade, variabilidade da linha, e como o contexto afeta os produtos finais. O ambiente também contém o template para caso de uso que fornece suporte ao uso do método e a ferramenta de apoio, que permite a modelagem de casos de uso segundo esse template e implementa o método proposto. Com a intenção de verificar os benefícios do ambiente, proposto nesta dissertação, quanto a geração de cenários de testes para uma LPSSC, conduziu-se uma avaliação preliminar na forma de experimento controlado. Baseado nos resultados coletados nessa avaliação percebeu-se que: o template favorece o entendimento de um caso de uso de uma LPSSC; o método favorece a criação de um conjunto de testes com uma maior cobertura para uma LPSSC, se comparado a criação de testes de forma não sistemática; e a ferramenta representa um suporte necessário.