Submitted by Alice Araujo (alice.caraujo@ufpe.br) on 2018-06-01T18:06:50Z No. of bitstreams: 1 DISSERTAÇÃO Robert Gomes Melo.pdf: 2572141 bytes, checksum: 145d4f304f90a12aef56f6d6db9417ed (MD5) / Made available in DSpace on 2018-06-01T18:06:50Z (GMT). No. of bitstreams: 1 DISSERTAÇÃO Robert Gomes Melo.pdf: 2572141 bytes, checksum: 145d4f304f90a12aef56f6d6db9417ed (MD5) Previous issue date: 2016-02-29 / Com o avanço da computação móvel e da Internet, dispositivos móveis como smartphones e tablets estão gradativamente se tornando parte essencial de nossas vidas. A quantidade e complexidade dos softwares que funcionam nesses dispositivos trazem grandes desafios para os fornecedores de aplicativos e fabricante de telefones. A automação de testes é vista como uma solução para esses desafios, uma vez que qualidade é um fator crítico para o sucesso do produto. Os frameworks atuais de automação de teste têm foco exclusivo na automação de um único teste. Normalmente, a execução de testes acontece em lotes (suítes de testes), e funcionalidades importantes no nível de uma automação da execução da suíte são necessárias, mas os frameworks existentes não proveem funcionalidades eficientes voltadas para o gerenciamento de suítes de testes. Isto torna a execução de uma suíte um trabalho semiautomático e penoso. Neste projeto, propomos uma extensão aos frameworks tradicionais de teste para oferecer maior automação na execução de uma suíte de teste. Funcionalidades como timeout e reexecução (dentre outras) foram propostas para estender os frameworks atuais. Nesse projeto, apresentamos FREVO (Faster Results, Execution and Visualization), dois componentes integrados (framework e ferramenta) que separam de maneira coesa as atividades de desenvolvimento de scripts de testes individuais das atividades de automação e gerenciamento da execução de suítes de testes. O framework proposto fundamentalmente adiciona novas propriedades ao framework UI Automator e cria um padrão na escrita de testes automáticos. A ferramenta integra-se com esse framework, criando um ambiente de gerenciamento de execução de testes maduro e consistente, combinado a uma visualização de resultados de casos de teste intuitiva e usual por meio de uma interface gráfica. Por fim, após a implantação em alguns projetos, conduzimos um estudo de caso dentro do contexto de um projeto de pesquisa realizado pela Motorola Mobility em parceria com o Centro de Informática da Universidade Federal de Pernambuco que constatou que FREVO apresentou um ganho de produtividade em 11 dos 18 produtos testados. / With the advance of mobile computing and the Internet, mobile devices like smartphones and tablets are gradually becoming an essential part of our life. The amount and complexity of software running on these devices bring great challenges to application providers and phone manufacturers. Test automation is regarded as a solution for these challenges, since quality is a critical factor for the product success. The current test automation frameworks have focuses exclusively on automation of a single test. Usually, the tests execution is performed in batches (test suites), so important features related to automation of the execution of a suite is necessary, but the existing frameworks do not provide efficient features aimed at the automation of tests suites. This makes the suite execution a semi-automatic and painful work. In this project, we present FREVO (Faster Results, Execution and Visualization): two integrated components (framework and tool) that separate cohesively the script development of a single test from the automation of management and execution of tests suites. The proposed framework primarily adds new features to the UI Automator framework and defines a standard around the writing of automated test suites. The tool is integrated with this framework, creating a friendly test execution and management environment through a graphical interface. Finally, after the deployment in some projects, we performed a case study inserted in the context of a research project conducted by Motorola Mobility in partnership with the Centro of Informatics of the Federal University of Pernambuco that found that FREVO has presented a gain of productivity in 11 of the 18 tested products.

Submitted by Pedro Barros (pedro.silvabarros@ufpe.br) on 2018-08-01T20:03:01Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Filipe Marques Chaves Arruda.pdf: 2317425 bytes, checksum: 0739c60d4cc06fe57fcf2d3611f976cc (MD5) / Approved for entry into archive by Alice Araujo (alice.caraujo@ufpe.br) on 2018-08-02T20:13:13Z (GMT) No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Filipe Marques Chaves Arruda.pdf: 2317425 bytes, checksum: 0739c60d4cc06fe57fcf2d3611f976cc (MD5) / Made available in DSpace on 2018-08-02T20:13:13Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO Filipe Marques Chaves Arruda.pdf: 2317425 bytes, checksum: 0739c60d4cc06fe57fcf2d3611f976cc (MD5) Previous issue date: 2017-03-31 / CNPq / A common scenario when automating tests begins with a test engineer writing test cases with no formal specification or software supervision. Then, there is a developer that tries to understand what an ambiguous test means in order to transform it into code. Finally, there is an experienced tester that is responsible to supervise the execution and to verify whether the failures are indeed bugs, or a mistake from the developer or test engineer, or just a matter of change in the requirements or user interface. To reduce these recurring problems in test automation, we propose a unified process, to write test cases using a controlled natural language to check consistency and dependencies automatically or search for similar test descriptions written in free natural language. The proposed process is applied to a reusable capture & replay strategy, so anyone can automate tests even without previous knowledge about coding, besides mitigating scalability/maintainability issues by reusing actions with granularity ranging from simple commands, such as open an application, to entire test cases or even test suites. The actions are represented by an abstract, framework-free notation. Besides, the implementation covers plugins, including voice recording and image processing; and a proactive traceability for elements in the user interface. The strategy was consolidated through its implementation in a tool, in the context of a partnership with Motorola Mobility. It has been adopted in practice for different test suites, achieving a reuse ratio up to 71% for test cases written with no standard whatsoever, yet presenting time gains similar to traditional C&R approaches when compared to coding. Furthermore, through standardization, it was possible to define a consistency notion and to capture an association graph (whose edges represent dependency and cancellation relations) among test actions. From these associations, it was possible to establish a mechanism to ensure that each test action is preceded by actions on which it depends to be granted to execute. An editor (Kaki) was implemented to mechanize both adherence to the CNL and the dependencies between tests. From the associations informed within the user interface, Kaki generates an Alloy model automatically and uses Alloy Analyzer to verify consistency, besides possibly suggesting the insertion of test actions to satisfy the dependencies, automatically. / Um cenário comum na automação de testes inicia-se a partir da escrita dos casos de testes por um engenheiro de testes, sem alguma especificação formal ou supervisão por software. Então, um desenvolvedor tenta interpretar o que o teste potencialmente ambíguo significa antes de transformá-lo em código executável. Finalmente, um testador é responsável por verificar se as falhas são realmente bugs, ou erros cometidos pelo desenvolvedor, pelo engenheiro de teste ou apenas uma mudança nos requisitos ou na interface de usuário. Para reduzir estes problemas recorrentes na automação de testes, nós propomos um processo unificado de escrita de casos de testes usando linguagem natural controlada que permite a verificação automática de consistência e dependências na escrita de ações de teste, ou usando uma busca por descrições similares de ações quando escritas em linguagem natural livre. O processo proposto é aplicado em uma estratégia de capture & replay reusável, assim permitindo a automação por pessoas sem background em programação, além de mitigar problemas intrínsecos de escalabilidade e manutenabilidade através do reuso de ações de teste com granularidade que pode variar desde comandos simples, como abrir um aplicativo, um caso de teste inteiro, ou mesmo uma suite de testes. As ações são representadas através de uma notação abstrata e framework-agnóstica. Além disso, a implementação ainda abrange plugins que incluem captura de voz e processamento de imagem; e rastreabilidade proativa para os artefatos. A estratégia foi concretizada através de sua implementação em uma ferramenta (Zygon) e avaliada no contexto de uma parceria com a Motorola Mobility, tendo sido adotada na prática em diferentes suítes de testes usando a linguagem natural livre, atingindo um reuso de até 71% com ganho de tempo similar a abordagens de capture & replay quando comparadas à programação. Além disso, através da padronização da linguagem natural controlada, foi possível definir uma noção de consistência e capturar um grafo de associações (dependências e cancelamentos) entre ações de teste. A partir destas associações, foi possível estabelecer mecanismos para garantir que cada ação de um teste devesse ser precedida por ações das quais a mesma depende para ser executada. Um editor (Kaki) foi implementado para mecanizar tanto aderência à CNL, como a dependência entre ações de teste. A partir das associações informadas na interface gráfica, Kaki cria automaticamente um modelo Alloy e usa o Alloy Analyzer para fazer a verificação de consistência, além de possivelmente sugerir a inserção de ações de teste para satisfazer as relações de dependências, automaticamente.

Tese de Mestrado Integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 2013

Made available in DSpace on 2014-06-12T15:58:04Z (GMT). No. of bitstreams: 2 arquivo3246_1.pdf: 4182276 bytes, checksum: 9458e021d82b1824fb037ce7e8a48b0b (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2010 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Testar software é uma tarefa complexa e em sistemas distribuídos tal tarefa é ainda mais complicada. As atividades de testes podem consumir de 50% até 75% do esforço total de desenvolvimento de um software distribuído. Com o aumento da demanda em serviços online e o alto custo de downtime é necessária uma rígida validação da escalabilidade, disponibilidade e tolerância a falha das aplicações. No entanto, as ferramentas para testes convencionais não são adequadas para cenários com distribuição extrema e grande carga de usuários, causando grande esforço para os engenheiros e grandes custos para corporações. Baseado na necessidade de uma nova geração de ferramentas, apresentamos o Octopus, um framework para automação de testes de desempenho, escala, carga, estresse e recuperação que busca reduzir o esforço necessário para setup, execução, coleta e análise de resultados. Com o uso do framework, o engenheiro de testes pode instalar e executar aplicações em múltiplas máquinas, coletar dados de desempenho de todas as máquinas de teste e simular falhas escrevendo uma quantidade de código equivalente a um teste unitário. Como o tempo de setup e de análise de resultados é reduzido, mais execuções são possíveis na mesma quantidade de tempo, aumentando a qualidade final do produto ou serviço em testes e também a satisfação dos clientes

Made available in DSpace on 2014-06-12T15:59:52Z (GMT). No. of bitstreams: 2 arquivo5653_1.pdf: 1284363 bytes, checksum: d62473b945b8dfdb62f3b28ec04d7fe3 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2006 / A realização de testes é vital para o desenvolvimento de software com qualidade e demanda grande esforço e tempo de projeto. Muitas empresas têm investido pesado no processo de testes visando a prevenção e detecção eficiente de defeitos. Durante os ciclos de desenvolvimento e manutenção do software, testes de regressão são realizados com o objetivo de garantir que manutenções realizadas no software ou a integração de novas funcionalidades não inseriram novos erros em áreas do sistema anteriormente testadas. Testes de regressão são normalmente muito repetitivos e demandam um esforço considerável de tempo quando realizados manualmente. A realização de testes de regressão automáticos, além de possibilitar a redução do ciclo de testes, aumento da cobertura do software e, conseqüentemente, da sua qualidade, permite que os testadores foquem seus esforços em outros tipos de teste ou em testes que não possam ser automatizados. Por isso, muitas empresas têm investido em projetos de automação de testes. Um problema clássico no caso de automação de testes de regressão é identificar que casos de teste devem ser automatizados para que seja possível obter bons resultados dos testes automatizados. Este trabalho estabelece um método para apoiar a seleção de testes de regressão para automação, a partir de um conjunto já existente, possibilitando definir um escopo mais efetivo para os projetos de automação e atuar nos casos de teste cuja automação trará maiores benefícios para a organização de teste

Made available in DSpace on 2014-06-12T15:57:05Z (GMT). No. of bitstreams: 2 arquivo3138_1.pdf: 1790380 bytes, checksum: 8d08d6e97caeb1942c705627bab1ddc6 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2007 / Centro de Estudos Avançados do Recife / Engenharia de software visa criar software de maneira econômica, que seja confiável e que trabalhe eficientemente em máquinas reais. Um de seus principais objetivos é obter um grau de qualidade mínimo que, em geral, significa uma baixa taxa de defeitos. Considerando que qualidade é crítico para o sucesso do software, o uso de testes vem crescendo. Testes objetivam revelar a presença de erros o mais cedo possível no ciclo de desenvolvimento. Embora teste de software seja uma atividade complexa, geralmente não é realizada sistematicamente devido a uma série de fatores como limitações de tempo, recursos e qualificação técnica dos envolvidos. Dessa forma, a automação de testes é uma tendência na área de testes. Esse trabalho está inserido no contexto de um projeto de pesquisa realizado pela Motorola em parceria com o Centro de Informática da Universidade Federal de Pernambuco denominado CInBTCRD (CIn and Brazil Test Center Research and Development Project). Na Motorola, a automação de testes faz-se por meio de um framework denominado de TAF (Test Automation Framework), o qual simula a interação de um ser humano com um aparelho celular, além de poder capturar o estado e outras informações importantes do aparelho. Testes reusam implementações já definidas no TAF para criar os scripts de teste, bem como novas implementações são criadas quando o reuso não é possível. Visto que bastante tempo é gasto para criar tais implementações, este trabalho propõe criar uma estratégia que, dado um script de teste, gere código para o TAF das funcionalidades ainda não implementadas automaticamente. Para gerar tais códigos, foi utilizada a linguagem formal CSP (Communicating Sequential Processes) como base. CSP foi criada para especificar e projetar comportamentos de sistemas concorrentes e distribuídos. CSP possui uma teoria de refinamentos associada, a qual é o alicerce de nossa proposta. O uso de refinamento em nossa proposta é relativamente simples: dado um teste em TAF descrito usando CSP e o comportamento de um celular também em CSP, a relação de refinamento só será satisfeita quando todos os elementos contidos no teste estiverem de acordo com o definido no comportamento do celular. Assim sendo, nesse trabalho usamos a ferramenta BxT (Behavior Extractor Tool) que desenvolvemos no contexto do projeto de pesquisa para extrair automaticamente um modelo CSP de um celular, bem como reusamos um outro trabalho que consegue representar casos de teste em CSP e criamos um algoritmo que usa esses elementos e a teoria da refinamento de CSP para completar certas partes do caso de teste com o auxílio do modelo do celular. Finalmente, o teste em CSP resultante é novamente escrito em TAF e dessa forma conseguimos atualizar o framework automaticamente