Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-09-19T18:09:53Z No. of bitstreams: 1 MAKELLI ARAÚJO JUCÁ - DISSERTAÇÃO 2009..pdf: 12135962 bytes, checksum: d699e02ec820fcd56814a80474c653a5 (MD5) / Made available in DSpace on 2018-09-19T18:09:53Z (GMT). No. of bitstreams: 1 MAKELLI ARAÚJO JUCÁ - DISSERTAÇÃO 2009..pdf: 12135962 bytes, checksum: d699e02ec820fcd56814a80474c653a5 (MD5) Previous issue date: 2009-07-01 / A utilidade do modelo produzido abrange uma diversidade de atividades no ciclo de vida do produto, variando de aprimoramento da qualidade da especificação à geração de teste. Teste baseado em modelos é uma das técnicas de teste de software que se beneficia da utilização do modelo de software. A id´eia ´e comparar comportamentos de entrada e saída do modelo do sistema com o sistema propriamente dito. Neste processo, o modelo atua como o plano de teste e a manutenção dos casos dos testes devido à mudanças de requisitos se reflete em alterações no modelo. O processo de testes e constitui, portanto, de uma atividade que ocorre mais cedo dentro do processo de desenvolvimento. Além do mais, a automação ocasiona um maior número de casos de teste. Embora tenha características promissoras, a adoção industrial tem sido bastante limitada. O modelo elaborado com propósito de testar figura como elemento principal dos obstáculos encontrados pela introdução da nova técnica. Neste sentido, foram levantados problemas específicos associados ao contexto do ambiente Motorola. Este trabalho tem por objetivo geral propor uma abordagem de construção do modelo de entrada utilizado pela técnica MBT. O problema fundamental é facilitar o processo de escrita de casos de uso a partir de documentos de requisitos e ao mesmo tempo tornar o processo mais apropriado e completo para a geração de casos de teste. Para isso, elaboramos uma metodologia de escrita de cenários de caso de uso utilizando como formalismo diagramas de sequência da versão 2 do frame work UML onde propomos um procedimento para utilização de padrões de casos de teste dentro da atividade de elaborac¸˜ao do modelo de teste, uma notação para relacionar casos de uso e uma abordagem para descrever casos de uso em dois níveis de abstração. / The usefulness of the model produced on software development covers a range of activities in the product life cycle, ranging from improving the quality of the specification to the test generation . Model Based Testing is one of the software test technique that benefits from the use of software model. The MBT idea is to compare behavior of input and output of the system model with the real system. In this process, the model serves as the testing plan and the test cases maintenance due to requirements changes are reflected in model changes. Therefore, the testing process is an activity that occurs early in the development process. Moreover, automation leads to a greater number of test cases. Although promising characteristics,the industry adoption has been very limited. The model developed with test purpose is included as part of the main obstacles encountered by the introduction of new technology. Accordingly, we raised specific problems with regard to environmental Motorola. Thiswork aims to general propose an approach to constructing the model used by the MBT technical. The fundamental problem is to facilitate the process of writing use cases from requirements documents, while making the process more appropriate and complete for the test cases generation. For this, we develop a strategy for writing use cases cenarios using the formalism of sequence diagrams of UML version 2 where we propose a procedure for use of test cases patterns in the activity of producing the test model, anotation to describe use cases relationship and an approach todescribe use cases in two levels of abstraction.

Estratégias para automatização de atividades de teste de software são bem aceitas tanto pela indústria quanto pela academia. Um elemento essencial para automatizações de teste são oráculos de teste. Oráculos, que podem ser mecanismos, funções, execuções paralelas, etc, são fundamentais por determinarem se as saídas de uma aplicação em teste estão corretas. A automatização de mecanismos de oráculos é um ponto crítico quando as saídas dos sistemas se manifestam por meio de formatos não triviais como, por exemplo, uma Interface Gráfica com o Usuário (GUI - do ingês Graphical User Interface). Para esses casos, estratégias tradicionais de teste costumam ser custosas e exigir esforços consideráveis dos testadores. Este trabalho de mestrado propõe um método alternativo para a automatização de oráculos de teste para sistemas com GUIs. Para tanto, exploram-se conceitos de Recuperação de Imagens Baseada em Conteúdo para a composição de um método de automatização chamado de oráculos gráficos (Gr-O - do inglês Graphical Oracle). Como contribuição, desenvolveram-se extratores de características visuais de GUIs. A condução e análise de estudos empíricos revelaram que o uso do Gr-O pode reduzir os custos para definições de oráculos de teste para sistemas com GUIs. Deste modo, o método proposto pode ser alternativo ou complementar às técnicas de teste tradicionais identificadas na literatura / Strategies for automated software testing activities are well accepted by both industry and the academy. Essential elements for automation of testing are test oracles. Oracles, which may be mechanisms, functions, parallel executions, etc., are crucial in determining whether the output of an application under test is correct. The automation of oracles is critical when the output system manifested by non-trivial formats, for example, a Graphical User Interface (GUI). For these cases, traditional testing strategies tend to be costly and require considerable efforts of the testers. This master thesis proposes an alternative method for the automation of test oracles for systems with GUIs. To this end, we explore the concepts of Content-Based Image Retrieval for the composition of an automated method called Graphical Oracles (Gr-O). As a contribution, we developed characteristics extractors of GUIs. The conduct and analysis of empirical studies have shown that using of Gr-O can reduce costs for definitions of test oracles for systems with GUIs. Thus, the proposed method may be alternative or complementary to traditional testing techniques found in the literature

O projeto, seja ele de software ou hardware, envolve uma série de atividades que, apesar das técnicas, ferramentas e métodos empregados, não estão livres de erros que podem levar ao mau funcionamento do produto final. Estes erros podem ocorrer durante a especificação do projeto, como também em estágios finais do desenvolvimento ou no processo de manufatura. A fim de minimizar prejuízos é necessário garantir a qualidade do sistema a partir da verificação do projeto, da validação de protótipo e do teste de fabricação. Por muito tempo o teste de hardware e o teste de software foram estudados como disciplinas completamente independentes. Porém, similaridades entre o desenvolvimento de software e o projeto de hardware já foram exploradas com sucesso em adaptações de técnicas originalmente desenvolvidas para um sendo utilizadas por outro. Um exemplo é a cobertura de código, que foi inicialmente desenvolvida para o teste de software, e agora é comumente utilizada na verificação de hardware. Visto que dispositivos são descritos em linguagem de descrição de hardware, e estas possuem características semelhantes às linguagens de programação, parece uma boa alternativa valer-se desta semelhança para utilizar os métodos propostos pela engenharia de software para garantir a qualidade do hardware desenvolvido. Utilizar tais métodos para gerar padrões de teste para dispositivos de hardware descritos em HDL (Hardware Description Language) e identificar nestas descrições características que, alteradas, aumentem a testabilidade dos mesmos, são os principais objetivos desta tese. / Both software and hardware designs require several tasks to increase reliability and ensure high quality of the final system. Although different techniques, tools and methods can be applied, error free products are difficult to be achieved. Errors may occur on design specification, on development stages and also during manufacturing process. To increase system quality and minimize costs it is mandatory to perform design verification, prototype validation and manufacturing test. For a long time hardware and software tests were studied as disciplines completely apart. However, similarities between software development and hardware design have already been explored successfully by adapting techniques originally developed for one of them, and applying to the other. For instance, code coverage concept and methods were firstly developed for software testing, but nowadays are commonly used in hardware verification. Due to the high similarity observed between software programming languages and hardware description languages (HDL), it seems to be a valuable approach applying software engineering techniques to help ensuring a high quality hardware device. Therefore, the main purpose of this thesis is to use such techniques to extract test patterns from HDL descriptions of hardware devices and to identify at these descriptions means to increase hardware testability.

Made available in DSpace on 2014-06-12T15:57:06Z (GMT). No. of bitstreams: 2 arquivo3140_1.pdf: 4172532 bytes, checksum: b7cc6b23a678d29aa1a5c9c9da0617e9 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2010 / Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco / Com o objetivo de produzir produtos individualizados, muitas vezes, as empresas se deparam com a necessidade de altos investimentos, elevando assim os preços de produtos individualizados. A partir dessa necessidade, muitas empresas, começaram a introduzir o conceito de plataforma comum, com o objetivo de desenvolver uma grande variedade de produtos, reusando suas partes comuns. No contexto de linha de produto de software, essa plataforma em comum é chamada de arquitetura de referência, que prove uma estrutura comum de alto nível onde os produtos são construídos. A arquitetura de software, de acordo com alguns pesquisadores, está se tornando o ponto central no desenvolvimento de linha de produtos, sendo o primeiro modelo e base para guiar a implementação dos produtos. No entanto, essa arquitetura sofre modificações com o passar do tempo, com o objetivo de satisfazer as necessidades dos clientes, a mudanças no ambiente, além de melhorias e mudanças corretivas. Desta forma, visando assegurar que essas modificações estão em conformidade com as especificações da arquitetura, não introduziram novos erros e que as novas funcionalidades continuam funcionando como esperado, a realização de testes de regressão é importante. Neste contexto, este trabalho apresenta uma abordagem de regressão utilizada tanto para reduzir o número de testes que precisam ser reexecutados, da arquitetura de referência e da arquitetura dos produtos, quanto para tentar assegurar que novos erros não foram inseridos, depois que essas arquiteturas passaram por uma evolução ou mudança corretiva. Como regressão é vista como uma técnica que pode ser aplicada em mais de uma fase de teste, neste trabalho regressão é aplicado durante a fase de integração, uma vez que, ao final desta fase teremos as arquiteturas da linha de produto testadas. Desta forma, uma abordagem de integração também foi proposta. Esta dissertação também apresenta uma validação inicial da abordagem, através de um estudo experimental, mostrando indícios de que será viável a aplicação de testes de regressão nas arquiteturas de uma linha de produto de software

Made available in DSpace on 2014-06-12T15:59:57Z (GMT). No. of bitstreams: 2 arquivo5808_1.pdf: 2179927 bytes, checksum: f047e667d6364f038f0a1fdd91b757b2 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2011 / A atividade de teste de software pode ser bastante árdua e custosa. No contexto de testes manuais, todo o esforço com o objetivo de reduzir o tempo de execução dos testes e aumentar a contenção de defeitos é bem-vindo. Uma possível estratégia é alocar os casos de teste de acordo com o perfil do testador de forma a maximizar a produtividade. Entretanto, otimizar a alocação de casos de teste não é uma tarefa trivial: em grandes companhias, gerentes de teste são responsáveis por alocar centenas de casos de teste aos testadores disponíveis ao início de uma nova execução. Neste trabalho nós propomos dois algoritmos para a alocação automática de casos de teste e três perfis para os testadores baseados em sistemas de recomendação (o mesmo tipo de sistema que recomenda, por exemplo, um livro na Amazon.com ou um filme no Netflix.com). Cada um dos algoritmos de alocação pode ser combinado com os três perfis de testador, resultando em seis sistemas de alocação possíveis: Exp-Manager, Exp-Blind, MO-Manager, MO-Blind, Eff-Manager, e Eff-Blind. Nossos sistemas de alocação consideram a efetividade (defeitos válidos encontrados no passado) e experiência do testador (habilidade em executar testes com determinadas características). Com o objetivo de comparar os nossos sistemas de alocação com a alocação do gerente e com alocações aleatórias, um experimento controlado, utilizando 100 alocações com pelo menos 50 casos de teste cada uma, foi realizado em um cenário industrial real. Os sistemas de alocação foram avaliados através das métricas de precisão, recall e taxa de não-alocação (percentual de casos de teste não alocados). Em nosso experimento, a aplicação da ANOVA (uma técnica estatística utilizada para verificar se as amostras de dois ou mais grupos são oriundas de populações com médias iguais) e do teste de Tukey (um procedimento de comparações múltiplas para identificar quais médias são significativamente diferentes entre si) mostraram que o Exp-Manager supera os demais sistemas de alocação com respeito às métricas de precisão e recall. Todos os sistemas de alocação mostraram-se superiores ao algoritmo randômico. A precisão média (entre os sistemas de alocação) variou de 39.32% a 64.83% enquanto o recall médio variou de 39.19% a 64.83%; para a métrica de não-alocação, três sistemas de alocação (Exp-Manager, Exp-Blind e MOBlind) apresentaram um melhor desempenho alcançando taxa zero de não-alocação para todas as alocações de testes. A taxa média de não-alocação variou de 0% a 2.34% (para a métrica não-alocação, quanto menor, melhor). No cenário industrial real onde o nosso trabalho foi realizado, gerentes de teste gastam de 16 a 30 dias de trabalho por ano com a atividade de alocação de casos de teste. Nossos sistemas de alocação podem ajudá-los a realizar esta atividade de forma mais rápida e mais eficaz

Orientadores: Mario Jino, Adalberto Nobiato Crespo / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-14T16:58:11Z (GMT). No. of bitstreams: 1 Cruz_JorgeLuizda_M.pdf: 7882925 bytes, checksum: 22c00381be75943036b99c042ac78278 (MD5) Previous issue date: 2009 / Resumo: Software possui um papel fundamental em inúmeras aplicações e a qualidade de produtos de software é crucial na competitividade das empresas produtoras de software, que dedicam esforço crescente na busca por boa qualidade nos seus produtos. Neste contexto, o teste é reconhecido como um processo fundamental para alcançar este objetivo; entretanto, testar software sistematicamente não é uma tarefa trivial. Para que o teste tenha efetividade e eficácia, além dos aspectos relacionados à avaliação do software, ele deve fazer uso de documentação de boa qualidade: toda a informação registrada deve estar atualizada e consistente; além disso, informação associada deve ser rastreável. É proposto um modelo de rastreabilidade para a informação contida na documentação do processo de teste; o modelo de dados desenvolvido dá suporte tanto à documentação baseada na norma IEEE Std 829-1998, como à rastreabilidade de toda informação associada; um protótipo de ferramenta foi desenvolvido para implementar o modelo de dados e o modelo de rastreabilidade. / Abstract: Software plays a key role in many applications and quality of software products is crucial in the competitivity of software development companies, which are increasingly putting effort in the quest for good quality in their products. In this context, testing is recognized as a key process to achieve this goal; however, systematic software testing is not an easy activity. For testing to have effectiveness and efficacy, in addition to product evaluation aspects, it must make use of good quality documentation: all the recorded information must be up to date and consistent; also, associated information must be traceable. A traceability model is proposed for the information contained in the documentation of the testing process; the data model developed gives support to documentation based on the standard IEEE Std 829-1998, as well as to traceability of all associated information; a prototype tool was developed to implement the data model and the traceability model. / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica

Mutation testing is a powerful fault-based testing technique that makes syntactic changes to a program under test in order to simulate real faults otherwise caused by a programmer. Similar to structural coverage criteria such as statement coverage, mutation testing is used to assess the quality of a test suite. After a syntactic change has been made, the program is referred to as a mutant that either can survive a test suite, or be killed by one. If a mutant is killed, it means that the test suite has detected the syntactic change and reported it as an error, resulting in an increased mutation score. If a mutant survives, it means that the test suite failed to detect the fault and the mutation score is decreased. Mutation testing is generally considered the strongest testing technique available in terms of fault detection, but also the most expensive one. However, thanks to recent research and the rapid development of computing hardware, the testing technique is starting to become feasible, motivating the creation of tools utilizing the power of mutation testing. Saab AB, the Swedish aircraft manufacturer and stakeholder in this thesis, has experimented with mutation testing in the past, resulting in a tool called BAX that creates textual modifications of the original source code. The initial goal of this thesis is to provide a new tool that is faster than BAX, and that is more systematic in the way mutants are generated. LLVM-P86, the main contribution of this thesis, is a compiler and mutation testing framework intended for the programming language Pascal-86. Unlike BAX, LLVM-P86 is able to encode several mutants into a single program, thus reducing the time spent on compiling source code. In the conducted experiments, LLVM-P86 processed mutants significantly faster than BAX, on average by a factor of 13.6. Since LLVM-P86 is also a compiler, proper type information is available when mutants are generated. The additional type information allows LLVM-P86 to avoid a significant amount of equivalent mutants, i.e. mutants that behave in the same way as the original program. When mutating relational operators found in approximately 10,000 lines of code, distributed amongst 18 different Pascal-86 modules, LLVM-P86 was able to reduce the total number of living mutants by 25%, or 5.7% of the complete set of mutants.

Testing is an important part in the software development process. Unit testsaim to test individual units in isolation. These units may have dependenciesto their surroundings that make the units hard to test in isolation withoutalso testing the surrounding units. A technique to help isolate these units isto replace the surrounding units with mock objects. This work investigateshow a C++ mock framework can be integrated into a modeling environ-ment’s unit test framework. Several mock frameworks are evaluated, and aproof of concept is created to show that integration is possible. Additionally,ideas for how to use mocks in a model environment are presented.

Context: With the development of artificial intelligence, autonomous vehicles are becoming more and more feasible and the safety of Automated Driving (AD) system should be assured. This creates a need to analyze the feasibility of verification and validation approaches when testing safety-critical system that contains machine learning (ML) elements. There are many studies published in the context of verification and validation (V&V) research area related to safety-critical components. However, there are still blind spots of research to identify which test methods can be used to test components with deep learning elements for AD system. Therefore, research should focus on researching the relation of test methods and safety-critical components, also need to find more feasible V&V testing methods for AD system with deep learning structure. Objectives: The main objectives of this thesis is to understand the challenges and solution proposals related to V&V of safety-critical systems that rely on machine learning and provide recommendations for future V&V of AD based on deep learning, both for research and practice. Methods: We performed a Systematic Literature Review (SLR) through a snowballing method, based on the guidelines from Wohlin [1], to identify research on V&V methods development for machine learning. A web-based survey was used to complement the result of literature review and evaluate the V&V challenge and methods for machine learning system. We identified 64 peer-reviewed papers and analysed the methods and challenges of V&V for testing machine learning components. We conducted an industrial survey that was answered by 63 subjects. We analyzed the survey results with the help of descriptive statistics and Chi-squared tests. Result: Through the SLR we identified two peaks for research on V&V of machine learning. Early research focused on the aerospace field and in recent years the research has been more active in other fields like automotive and robotics. 21 challenges during V&V safety-critical systems have been described and 32 solution proposals are addressing the challenges have been identified. To find the relationship between challenges and methods, a classification has been done that seven different type of challenges and five different type of solution proposals have been identified. The classification and mapping of challenges and solution methods are included in the survey questionnaire. From the survey, it was observed that some solution proposals which have attracted much research are not considered as particularly promising by practitioners. On the other hand, some new solution methods like simulated test cases are extremely promising to support V&V for safety-critical systems. Six suggestions are provided to both researchers and practitioners. Conclusion: To conclude the thesis, our study presented a classification of challenges and solution methods for V&V of safety-critical ML-based systems. We also provide a mapping for helping practitioners understand the different kinds of challenges the respective solution methods address. Based on our findings, we provide suggestions to both researchers and practitioners. Thus, through the analysis, we have given the most concern on types of challenges and solution proposals for AD systems that use deep learning, which provides certain help to design processes for V&V of safety-critical ML-based systems in the future.

Software development comprises of different phases like requirements, analysis, design coding and testing. In this contemporary world of software development, development of software in globalized scenarios is prevalent and prominent. As part of different globalized scenarios this thesis magnifies the scenario of software product transfer which deals with the testing of software in the offshore location. / +919502697610 +919849674412