Made available in DSpace on 2013-08-07T18:43:14Z (GMT). No. of bitstreams: 1 000440236-Texto+Completo-0.pdf: 2914899 bytes, checksum: 0abd44c7d4fad22c016e1558238096b2 (MD5) Previous issue date: 2012 / Currently, the development of systems in the software industry has increased. As far as the need of customers in automate their processes grows, their demand to improve the quality of computational systems also increases. In this sense, software testing has a fundamental role. Despite of the benefits provided by testing, most of it is performed manually and without a theoretical basis, making the testing activity slow and inefficacious. An alternative for solving this problem is the use of test automation tools. In addition to accelerate the work of testers, these tools provide a higher quality and efficiency for the testing process. However, even though these tools can make the testing process faster, the test case generation for them is performed manually. The ideal is to also automate the generation and execution of test cases for these tools. In order to overcome this limitation, this work proposes a set of features which includes the information necessary for the generation and execution of real test cases for performance testing tools. Based on information from this set, we developed plugins for a product line of tools for model-based testing called PLeTs (Product Line Testing Tools). These plugins implement the automatic generation and execution of test scripts and test scenarios using two performance testing tools, HP LoadRunner e Microsoft Visual Studio. In order to show the feasibility of the proposal of this work, we performed a case study, which is based on the automated generation and execution of test cases using products generated by the product line PLETs. / Atualmente, o desenvolvimento de sistemas por parte da indústria de software tem aumentado. Assim como a necessidade dos clientes em automatizar seus processos, cresce também a exigência dos mesmos na melhoria da qualidade dos sistemas informatizados. Nesse sentido, o teste de software desempenha um papel fundamental. Apesar dos benefícios que os testes proporcionam, a maioria deles é realizada de forma manual e sem embasamento teórico e fundamentado, tornando a atividade de teste lenta e ineficaz. Uma alternativa para a solução deste problema é a utilização de ferramentas de automatização de teste. Essas ferramentas, além de agilizar o trabalho de uma equipe de testadores, provêem maior qualidade e eficácia para o processo de teste. Entretanto, ainda que essas ferramentas possam tornar o processo de teste mais rápido, a criação de casos de teste para elas é realizada manualmente. O ideal é automatizar também o processo de criação e execução de casos de teste para essas ferramentas. Com o intuito de superar esta limitação, este trabalho propõe um conjunto de características que contempla as informações necessárias para automatizar a geração e execução de casos de teste concretizados para ferramentas de automatização de teste de desempenho. A partir das informações deste conjunto, foi realizada a implementação de plugins para uma linha de produto de ferramentas para teste baseado em modelos (Model-Based Testing - MBT) denominada PLeTs (Product Line Testing Tools). Estes plugins implementam a geração e a execução automática de scripts e cenários de teste utilizando duas ferramentas de automatização de teste de desempenho, HP LoadRunner e Microsoft Visual Studio. Com o objetivo de demonstrar a viabilidade da proposta deste trabalho foi definido um exemplo de uso, o qual se baseia na geração e execução automatizada de casos de teste utilizando os produtos gerados pela linha de produto PLeTs.

Made available in DSpace on 2013-12-11T01:01:35Z (GMT). No. of bitstreams: 1 000452835-Texto+Completo-0.pdf: 8269470 bytes, checksum: ab1e0cb4a21fcf269f8e7ac4dc9418f2 (MD5) Previous issue date: 2013 / Software testing is recognized as a fundamental activity for assuring software quality. Furthermore, testing is also recognized as one of the most time consuming and expensive activities of software development process. A diversity of testing tools has been developed to support this activity, including tools for Model-based Testing (MBT). MBT is a testing technique to automate the generation of testing artifacts from the system model. This technique presents several advantages, such as, lower cost and less effort to generate test cases. Therefore, in the last years a diversity of commercial, academic, and open source tools to support MBT has been developed to better explore these advantages. In spite of the diversity of tools to support MBT, most of them have been individually and independently developed from scratch based on a single architecture. Thus, they face difficulties of integration, evolution, maintenance, and reuse. In another perspective, Software Product Lines (SPL) offers possibility of systematically generating software products at lower costs, in shorter time, and with higher quality. The main contribution of this Ph. D thesis is to present a SPL for testing tools that support MBT (PLeTs) and an automated environment to support the generation of these tools (PlugSPL). Furthermore, our strategy was initially applied to generate some MBT testing tools which were applied in two examples of use performed in collaboration of an IT company. Based on the feedback from the examples of use we can infer that SPL can be considered a relevant approach to improve productivity and reuse during generation of MBT testing tools. Moreover, we also performed an experimental study carried out to evaluate the effort to use an MBT tool derived from our SPL to generate test scripts and scenarios. Thus, the results point out that the effort to generate test scripts, when compared with a Capture and Replay based tool, was reduced considerably. / O teste de software é uma atividade fundamental para garantir a qualidade de software. Além disso, teste de software é uma das atividades mais caras e demoradas no processo de desenvolvimento de software. Por esta razão, diversas ferramentas de teste foram desenvolvidas para apoiar esta atividade, incluindo ferramentas para Teste Baseado em Modelos (TBM). TBM é uma técnica de teste para automatizar a geração de artefatos de teste a partir de modelos do sistema. Esta técnica apresenta diversas vantagens, tais como, menor custo e esforço para gerar casos de teste. Por este motivo, nos últimos anos, diversas ferramentas para TBM foram desenvolvidas para melhor explorar essas vantagens. Embora existam diversas ferramentas TBM, a maioria delas tem o seu desenvolvimento baseado em um esforço individual, sem a adoção de técnicas de reuso sistemático e com base em uma única arquitetura, dificultando a integração, evolução, manutenção e reutilização dessas ferramentas. Uma alternativa para mitigar estes problemas é adotar os conceitos de Linhas de Produto de Software (LPS) para desenvolver ferramentas de TBM. LPS possibilitam gerar sistematicamente produtos a custos mais baixos, em menor tempo e com maior qualidade. A principal contribuição desta tese de doutorado é apresentar uma LPS de ferramentas de teste que suportam TBM (PLeTs) e um ambiente automatizado para apoiar a geração dessas ferramentas (PlugSPL). Além disso, esta tese apresenta uma abordagem para gerar ferramentas para TBM, que foram aplicadas em dois exemplos de uso. Com base nos resultados obtidos nos exemplos de uso, podemos inferir que LPS pode ser considerada uma abordagem relevante para melhorar a produtividade e o reuso durante a geração de ferramentas de TBM. Além disso, também foi realizado um estudo experimental com o objetivo de avaliar o esforço para se utilizar uma ferramenta derivada da PLeTs para geração de scripts de teste. Os resultados apontaram que o esforço para gerar scripts de teste foi reduzido consideravelmente, quando comparado com a uma ferramenta de Capture and Replay.

Made available in DSpace on 2013-08-07T18:53:02Z (GMT). No. of bitstreams: 1 000407189-Texto+Completo-0.pdf: 10947559 bytes, checksum: 226c6d99586bd813d912db1bc9d505c2 (MD5) Previous issue date: 2005 / The always increasing number of computer-based safety-critical applications has intensified the research over fault tolerance techniques. While those systems are working, the probability of both permanent and transient faults happens due to the presence of all sort of interference. The common faults are those which affect data and/or modify the expected program execution flow. Thus, the use of techniques allowing detecting these type of faults presents them from propagating to system output. Basically, these techniques are categorized in two groups: software-based approaches and hardware-based approaches. Considering the above introduced, the goal of this work is to specify and to implement a hybrid approach, which combines software-based techniques and hardware-based ones, capable to detect run time data and algorithm control flow faults. It is settled around the techniques proposed in (REBAUDENGO, 2004) and (GOLOUBEVA, 2003). Nevertheless, the proposed approach implements part of its code-transformation rules via software and hardware. These redundant information is added to the software portion and consistency checks are implemented via hardware. Summary, we propose the development of an I-IP (infrastructure intellectual property) core, such as watchdog, to correctly execute the consistency checks concurrently to the application execution. In this work, three different versions of the I-IP were implemented in VHDL and analyzed by means of fault injection experiments. The first implemented version allows data fault detection and, as any prototype, has its limitations. The second version also detects data faults, but eliminates the problems of the former version. The third I-IP version adds the capability of detecting control flow faults to the previous versions of the I-IP. Finally, after implementing these three versions, a fourth version was specified. It adds dependability and robustness to the IIP by using Built-in Self-Test (BIST) techniques. The results obtained from evaluating the different I-IP core versions guarantee that the hybrid approach is efficient, because it features high fault coverage and surpasses the main problems present in software-based techniques proposed in the literature, such as, performance degradation and code/data memory overhead. Finally, this work is a partial result of a joint research project carried by the SiSC Group – PUCRS and CAD – Politecnico di Torino, under the scope of the Alfa Project (##AML/B7-311- 97/0666/II-0086-FI, from 2002 to 2005). / Nos últimos anos, o crescente aumento do número de aplicações críticas baseadas em sistemas eletrônicos, intensificou a pesquisa sobre técnicas de tolerância à falhas. Durante o período de funcionamento destes sistemas, a probabilidade de ocorrerem falhas transientes e permanentes devido à presença de interferências dos mais variados tipos é bastante grande. Dentre as falhas mais freqüentes, salientam-se as falhas que corrompem os dados e as falhas que alteram o fluxo de controle do processador que executa a aplicação. Assim, a utilização de técnicas capazes de detectarem estes tipos de falhas evita que as mesmas se propaguem pelo sistema e acabem gerando saídas incorretas. Basicamente, estas técnicas são classificadas em dois grandes grupos: soluções baseadas em software e soluções baseadas em hardware. Neste contexto, o objetivo principal deste trabalho é especificar e implementar uma solução híbrida, parte em software e parte em hardware, capaz de detectar em tempo de execução eventuais falhas em dados e no fluxo de controle do algoritmo. Esta solução baseia-se nas técnicas propostas em (REBAUDENGO, 2004) e (GOLOUBEVA, 2003) e implementa parte de suas regras de transformação de código via software e parte via hardware. Assim, informações redundantes são agregadas ao código da aplicação e testes de consistência são implementados via hardware. Em resumo, este trabalho propõe o desenvolvimento de um núcleo I-IP (infrastructure intellectual property), tal como um watchdog, para executar os testes de consistência concorrentemente à execução da aplicação. Para isto, três versões diferentes do I-IP foram implementadas em linguagem de descrição de hardware (VHDL) e avaliadas através de experimentos de injeção de falhas.A primeira versão implementada provê a detecção de falhas em dados e, como todo protótipo, este também apresenta algumas restrições e limitações. A segunda versão também detecta falhas em dados, entretanto, supera todos os problemas da versão anterior. A terceira versão do I-IP agrega à versão anterior a capacidade de detectar falhas de fluxo de controle. Finalmente, após a implementação das versões anteriores, foi especificada uma quarta versão que agrega confiabilidade e robustez ao I-IP desenvolvido através da utilização de algumas técnicas de tolerância a falhas e da especificação de um auto-teste funcional. Os resultados obtidos a partir da avaliação das versões do I-IP garantem que a metodologia proposta neste trabalho é bastante eficiente, pois apresenta uma alta cobertura de falhas e supera os principais problemas presentes nas soluções baseadas em software propostas na literatura, ou seja, degradação de desempenho e maior consumo de memória. Finalmente, cabe mencionar que esta dissertação é o resultado parcial de atividades que fazem parte do escopo do Projeto Alfa (#AML/B7-311-97/0666/II-0086-FI) mantido entre os Grupos SiSC – PUCRS (Brasil) e CAD – Politecnico di Torino (Itália) no período de 2002-2005.