[pt] A complexidade e a distribuição de sistemas multiagentes tornam seu desenvolvimento muito sujeito a falhas. Ao mesmo tempo, poucas iniciativas procuram resolver o problema através de teste automatizado da mesma maneira que no desenvolvimento orientado a objetos. Este trabalho apresenta um framework para o desenvolvimento de aplicações de teste automatizado através de agentes Stubs para o middleware M-Law. O middleware implementa um interpretador para a linguagem XMLaw, atuando como mediador da comunicação dos agentes segundo a definição das leis de interação. / [en] Complexity and distribution of multi-agent systems make the development of such systems failure prone. In this context, few solutions try to solve the problem through automated tests as we see in object oriented development. This work presents a framework for test automated applications development through the use of Stub agents for the middleware M-Law. This middleware implements the law-enforcement mechanism for regulating OMAS specified by the description language XMLaw which implements a law definition language, called XMLaw, for agent interaction in open multi-agent systems.

A qualidade dos sistemas de software é uma preocupação de todo bom projeto e muito tem se estudado para melhorar tanto a qualidade do produto final quanto do processo de desenvolvimento. Teste de Software é uma área de estudo que tem crescido significativamente nos últimos tempos, em especial a automação de testes que está cada vez mais em evidência devido à agilidade e qualidade que pode trazer para o desenvolvimento de sistemas de software. Os testes automatizados podem ser eficazes e de baixo custo de implementação e manutenção e funcionam como um bom mecanismo para controlar a qualidade de sistemas. No entanto, pouco conhecimento sobre a área e erros comuns na escrita e manutenção dos testes podem trazer dificuldades adicionais aos projetos de software. Testes automatizados de baixa qualidade não contribuem efetivamente com o controle de qualidade dos sistemas e ainda demandam muito tempo do desenvolvimento. Para evitar esses problemas, esta dissertação apresenta de forma crítica e sistemática as principais práticas, padrões e técnicas para guiar o processo da criação, manutenção e gerenciamento dos casos de testes automatizados. Inicialmente, são feitas comparações entre a automação de testes e outras práticas de controle e garantia de qualidade. Em seguida, são apresentados os problemas e soluções mais comuns durante a automação de testes, tais como questões relacionadas a tipos específicos de algoritmos, sistemas com persistência de dados, testes de interfaces de usuário e técnicas de desenvolvimento de software com testes automatizados. Para finalizar, a dissertação traz uma reflexão sobre o gerenciamento e a abordagem da automação de testes para tornar o processo mais produtivo e eficaz. / The quality of software systems is a concern of every good project and much has been studied to improve the quality of the final product and process development. Software Testing is an increasing area, especially test automation, which is in evidence due to the speed and quality that it may bring to the development of software systems. Automated tests can be effective and can have a low cost of implementation and maintenance to ensure and control the quality of the systems. However, little knowledge about the area and common errors in writing and maintaining tests may bring additional difficulties to the software projects. Low quality automated tests do not contribute effectively to quality control systems and still take a long time of development. To avoid these problems, we present critically and systematically the core practices, standards and techniques to guide the process of creation, maintenance and management of automated test cases. Initially, comparisons are made between the test automation, other control practices, and quality assurance. Next, we present the most common problems and solutions for the automation of tests, such as issues related to specific types of algorithms, systems with data persistence, testing user interfaces and techniques for software development with automated tests. Finally, this essay reflects on the management and approach to test automation to make the process more productive and effective.

Šiame magistro darbe pateikiama automatinių testų generavimas XML WEB servisams, naudojantis WSDL failais. Pirma dalis aprašo algoritmų tyrimą ir būdus generuoti automatinius testus XML WEB servisams. Buvo sukurtas papildinys Visual Studio programinės įrangos kūrimo įrankiui. Papildinys, pasinaudojant WSDL specifikacija, analizuoja ir atvaizduoja WEB serviso struktūrą medyje. Vartotojai, naudojantis išanalizuotais duomenimis, gali lengvai įvesti testavimo duomenis ir generuoti automatinius vienetų testus. Taip pat sistema leidžia vartotojui įvesti atsako laiką ir generuoti automatinius našumo testus. Aprašyti papildinio reikalavimai, funkcinė ir nefunkcinė specifikacija bei architektūra. Tyrimo skyriuje yra aprašomas sukurto įrankio tyrimas. Šioje srityje buvo tiriama darbo su įrankiu efektingumas, atliekant mutacinį testavimą. / In this master thesis the automated tests generation for XML WEB services by using WSDL files is presented. First section describes a research of algorithms and ways to generate automated test for XML WEB services. For automated tests generation plug-in for Visual Studio development tool is created. Plug-in takes web service specification analyses and shows WEB service structure in tree. Users by using analyzed data user can easily enter testing data by using developed tool and generate automated unit tests. Also system let user to enter response time and generate performance tests. Created plug-in requirements, functional and non-functional specification, architecture. In investigation section is described developed plug-in investigation. In this section were investigate the working efficiency of tool by doing mutation testing for generated automated tests.

[pt] Este trabalho visa explorar os requisitos de software, descritos na forma de casos de uso, como instrumento capaz de apoiar a geração e execução automática de testes funcionais, com o intuito de verificar automaticamente se o resultado obtido nos testes gerados e executados estão em conformidade com o especificado. O trabalho consiste em utilizar um processo e ferramenta para documentar casos de uso e automaticamente gerar e executar scripts de teste para verificar o comportamento funcional de aplicações web. As informações do caso de uso, em especial os fluxos de eventos (principal e alternativos), devem ser estruturados obedecendo um modelo de comportamento para que seja possível armazenar os dados e utilizá-los como entrada na integração com a ferramenta de testes. Neste trabalho, utilizou-se a ferramenta Selenium para a automação da interação com o navegador. A avaliação do esforço deu-se através da aplicação do processo em sistemas reais e através de comparação com outras técnicas aplicadas nos mesmos sistemas. / [en] This work aims at exploring the software requirements, described in the form of use cases, as an instrument to support the automatic generation and execution of functional tests, in order to automatically check if the results obtained in the tests generated and executed are in accordance with specified. The establishes a process and a tool for documenting use cases and automatically generating and executing test scripts that verify the behavior of web applications. The content of the use case, especially the flow of events (main and alternative), is structured in accordance to a "behavior model" that stores the test data and generates input for a browser testing tool. In this work, we have used the Selenium tool to automate the interaction with the browser. The assessment of our approach involved the application of the process and generating tool in real systems, comparing the results with other techniques applied in the same systems.

[pt] Este trabalho tem por objetivo propor um processo e ferramentas para a geração semi-automática de scripts de teste funcional para sistemas web, a partir de casos de uso e tabelas de decisão, com vistas à geração de eficazes scripts de teste automatizados, simultaneamente reduzindo o tempo gasto para gerá-los. As especificações dos testes dão-se através de descrições de casos de uso escritas usando português restrito semi-estruturado e obedecendo a uma estrutura precisamente definida. Com o auxílio de uma ferramenta, monta-se manualmente uma tabela de decisão a partir desses casos de uso. Os casos de teste semânticos são gerados automaticamente a partir destas tabelas de decisão. Outra ferramenta é responsável por gerar os scripts de testes a partir dos casos de teste semânticos. Os scripts de teste gerados devem adequar-se à ferramenta de execução automatizada dos testes. Neste trabalho, utilizou-se a ferramenta Selenium para a automação da interação com o navegador. A avaliação da eficácia deu-se através da aplicação do processo em um sistema real e através de comparação com técnicas tradicionais de geração de testes automatizados aplicadas ao mesmo sistema. / [en] This work aims at developing a process and tools for the semi-automatic generation of functional test scripts for web based systems. The process and tools depart from use cases and decision tables, in order to produce high quality automated tests as well as to reduce the time spent generating them. The tests specifications are provided by use cases written in semi-structured Portuguese and obeying a well defined structure. By means of a tool, decision tables are manually built from the use case descriptions. Afterwards semantic test cases are automatically generated from these decision tables. Another tool generates executable test scripts from these test cases. The generated test scripts must suit the tool used for automated testing. In this work, the Selenium tool was used for automating test interaction with the browser. The evaluation of the efficacy of the process and tools was performed applying them to a real system and comparing the result with traditional techniques of automated test generation regarding this same system.

A qualidade dos sistemas de software é uma preocupação de todo bom projeto e muito tem se estudado para melhorar tanto a qualidade do produto final quanto do processo de desenvolvimento. Teste de Software é uma área de estudo que tem crescido significativamente nos últimos tempos, em especial a automação de testes que está cada vez mais em evidência devido à agilidade e qualidade que pode trazer para o desenvolvimento de sistemas de software. Os testes automatizados podem ser eficazes e de baixo custo de implementação e manutenção e funcionam como um bom mecanismo para controlar a qualidade de sistemas. No entanto, pouco conhecimento sobre a área e erros comuns na escrita e manutenção dos testes podem trazer dificuldades adicionais aos projetos de software. Testes automatizados de baixa qualidade não contribuem efetivamente com o controle de qualidade dos sistemas e ainda demandam muito tempo do desenvolvimento. Para evitar esses problemas, esta dissertação apresenta de forma crítica e sistemática as principais práticas, padrões e técnicas para guiar o processo da criação, manutenção e gerenciamento dos casos de testes automatizados. Inicialmente, são feitas comparações entre a automação de testes e outras práticas de controle e garantia de qualidade. Em seguida, são apresentados os problemas e soluções mais comuns durante a automação de testes, tais como questões relacionadas a tipos específicos de algoritmos, sistemas com persistência de dados, testes de interfaces de usuário e técnicas de desenvolvimento de software com testes automatizados. Para finalizar, a dissertação traz uma reflexão sobre o gerenciamento e a abordagem da automação de testes para tornar o processo mais produtivo e eficaz. / The quality of software systems is a concern of every good project and much has been studied to improve the quality of the final product and process development. Software Testing is an increasing area, especially test automation, which is in evidence due to the speed and quality that it may bring to the development of software systems. Automated tests can be effective and can have a low cost of implementation and maintenance to ensure and control the quality of the systems. However, little knowledge about the area and common errors in writing and maintaining tests may bring additional difficulties to the software projects. Low quality automated tests do not contribute effectively to quality control systems and still take a long time of development. To avoid these problems, we present critically and systematically the core practices, standards and techniques to guide the process of creation, maintenance and management of automated test cases. Initially, comparisons are made between the test automation, other control practices, and quality assurance. Next, we present the most common problems and solutions for the automation of tests, such as issues related to specific types of algorithms, systems with data persistence, testing user interfaces and techniques for software development with automated tests. Finally, this essay reflects on the management and approach to test automation to make the process more productive and effective.

To test software over a remote desktop is an increasingly common practice since outsourcing and offshoring of testing activities are on the rise. Most companies useproprietary testing tools which require an agent to be installed on the remote machine.This installation opens several attack surfaces and has thus the potential to compromise security. In addition license, support and other proprietary test tool costs might reduce the return on investment of automated tests to an unprofitable level, especially for relatively short projects.Robot Framework with Sikuli integration (RFSI) is a concept based on two open source tools which offer solutions concerning the security and cost issues. RFSI based tests do not need any further installations, access rights or network configurations on the remote machine, because of the fact that the tests are based on visual input. Therefore tests with RFSI cannot access the AUT (Application Under Test) or the remote machine in any other way than a manual tester could. Open-source tools, being freely available, also escape the problem of licence costs. The purpose of the proof of concept pilot study wasto give an answer on the question if RFSI can furthermore be considered an alternative to proprietary tools in terms of requirements for tool quality characteristics and for the external context of test automation projects.The methodology of this research followed the broader Goal-Question-Metrics method(GQM) described by Rini van Solingen and Egon Berghout, based on the GQM approachby Victor Basili and David Weiss. The requirements and metrics for the evaluation of RFSI in the study were selected through a literature study of ISO/IEC-TR9126-3 and other articles in the field. They comprehend six categories: functionality, reliability,maintainability and stability, efficiency, understandability and portability. For each category,metrics were established and adapted to the context of the proof of concept. The scope of the project was given by six use cases and test specifications, established in cooperation with system experts at the company CGI Sundsvall. These were then translated into RFSI test scripts and implemented with the requirements for successful remote GUI testing in mind.The results of the measurements for the proof of concept study showed that RFSI fulfilles the internal and external requirements for successful automated testing completely for functionality, understandability and portability. The requirements are partially satisfiedfor reliability, maintainability and stability, and efficiency.In conclusion, RFSI satisfies enough requirements to be considered a viable alternative to commercial testing tools for tests of GUI (Graphical User Interface) desktop applications over a remote desktop.

Context. Maintaining good software documentation quality is an important aspect of software maintenance. To decrease associated costs, interest in automating documentation tasks has recently increased. However, there is a lack of guidance regarding how practitioners may apply related research findings to pre-existing documentation. Objectives. In this case study we investigate what the most important documentation properties for manually produced component documentation quality are and how these can be linked to issues in real-world documentation. We also examine to what extent they can be tackled based on current tools and approaches. Methods. A literature study is employed to identify previously reported documentation properties and related automation strategies. These are then mapped against issues identified in the documentation of a telecommunications company department. Finally, strategies for maintaining documentation quality are proposed and the applicability of these is retrospectively evaluated. Results. Current deeply automated strategies are found to be largely ineffective for the analyzed documentation issues specifically and for improving documentation content not tightly linked to source code in general. Manually produced automated tests and version control as well as raw documentation formatting enabling these are identified as more promising approaches for improving documentation maintenance. Propositions for diminishing department documentation issues. Four suggestions are made on how documentation issues could be tackled. Particular attention is given to making code samples testable. Conclusions and Future Work. Manual documentation is still often needed, and writing it in a way that enables automation where possible will become increasingly important. Containerization technology is widely used but there is a dearth of corresponding testing knowledge and tooling. Problems with code samples in documentation commonly cause critical issues. Improving methods for maintaining code-related sections of documentation, especially containerization-related code samples, is an urgent challenge.

[pt] Espera-se que o desenvolvimento de suítes de teste a partir de modelos possa contribuir substancialmente para a redução do esforço humano e aumentar a eficácia dos testes gerados. Entende-se por eficácia (ideal) dos testes o percentual de defeitos existentes encontrados a partir desses testes. Uma grande parte dessas técnicas baseia-se em máquinas de estado e quase sempre estão voltadas para o teste de funcionalidade. Entretanto, existe a necessidade de se poder testar sistemas altamente interativos, tais como smartphones e tablets, a partir de uma descrição de sua interface humano-computador. O objetivo da dissertação é efetuar uma primeira avaliação de uma técnica voltada para a geração de suítes de teste visando o teste de interfaces gráficas. Para tal,desenvolvemos e avaliamos a eficácia de uma ferramenta, chamada Easy, que utiliza casos de uso tabulares e máquina de estados para a geração automática da suíte de testes. Os casos de uso são descritos em linguagem natural restrita. A partir dessa descrição, a ferramenta constrói uma máquina de estado e, a seguir, a utiliza para gerar cenários. Por construção os cenários estarão em conformidade com os casos de uso. Cada cenário corresponde a um caso de teste. Os cenários são apresentados ao usuário em linguagem natural restrita, permitindo a visualização destes antes da geração dos scripts finais de testes. Os scripts gerados são destinados a uma ferramenta de execução automatizada voltada para o teste de interfaces gráficas. Neste trabalho, utilizou-se a ferramenta UI Automation, responsável pela execução de testes em aplicações destinadas ao iOS, sistema operacional de iPhone, iPad e iPod Touch. A eficácia do processo foi avaliada em uma aplicação real, disponível na loja virtual de aplicativos App Store. Além disso, foram realizados testes de IHC afim de avaliar a influência no custo da produção da suíte de teste. / [en] It is expected that the development of test suites from models can contribute substantially to reducing the human effort and to increase the effectiveness of the generated tests. Means for tests’ effectiveness (ideal) the percentage of existing defects found by these tests. Most of these techniques is based on state machines and mostly directed to testing the functionality. However, there is a need to be able to test highly interactive systems, such as smartphones and tablets, from a description of its human computer interface. The goal of the dissertation is to make a first evaluation of a technique aimed to generate test suites for test of human computer graphic interface. For this purpose was developed and evaluated its effectiveness, a tool called Easy, using use cases tabular and state machine for the automatic generation of the suite tests. The use cases are described in natural language restricted. From this description, the tool builds a state machine, and then uses this to generate scenarios. By construction scenarios will be in accordance with the use cases. Each scenario corresponds to a test case. The scenarios are presented to the user in natural language, allowing the visualization of them before the generation of the final scripts tests. The generated scripts are intended to a running automated tool geared to testing graphical interfaces. In this work, we used the UI Automation tool, responsible for running tests on applications for the iOS, operational system for iPhones, iPads and iPod touchs. The effectiveness of the procedure was evaluated in a real application, available in the online store applications App Store. In addition, HCI tests were performed in order to evaluate the influence on the cost of production of the test suite.

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-04-05T15:06:42Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Sidartha Carvalho Dissertacao de Mestrado.pdf: 2847376 bytes, checksum: e22fe197fc67ebb8e11ceb85baa66bc8 (MD5) / Made available in DSpace on 2016-04-05T15:06:42Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Sidartha Carvalho Dissertacao de Mestrado.pdf: 2847376 bytes, checksum: e22fe197fc67ebb8e11ceb85baa66bc8 (MD5) Previous issue date: 2015-02-26 / FACEPE / Diante do crescimento das vendas de smartphones, em específico com o sistema operacional Android, em suas variadas versões e diversidade de aparelhos, um problema chamado de fragmentação foi destacado. Com o incremento de dispositivos multinúcleos e multiprocessadores, crescem as restrições na potência e ocorrência de superaquecimento. Alguns trabalhos consultados se especializam em resolver o problema da fragmentação, porém não se preocupam com dados energéticos, enquanto outros somente relatam técnicas que permitem a diminuição no consumo energético, mas nenhum possibilita a integração de testes multidispositivos, com o intuito de solucionar o problema da fragmentação, com foco energético. Este trabalho oferece a modelagem e implementação de um ambiente de medição que auxilia na avaliação do consumo energético de dispositivos com o sistema operacional Android. O ambiente proposto permite que seja feita uma análise energética de dispositivos em diferentes frequências no processador e redes de dados de forma simultânea e com manipulação pela Web. Uma infraestrutura genérica de medição, a qual permite a coleta de tensão e corrente de dispositivos alimentados por bateria foi criada juntamente com um canal que permite a comunicação com um computador para análise dos dados. No tangente ao software, foi construída uma plataforma Web para manipulação de componentes do dispositivo e replicação de testes de forma automatizada. Para testar o uso do ambiente proposto, foram executados oito testes envolvendo Navegação Web, Streaming de Vídeo e Carga de Processamento nos smartphones disponíveis. Os resultados dos testes são apresentados e discutidos em detalhe. / Recently we can observe a growth in smartphone sales, in particular those running Android operating system. In several versions and devices, a problem known as fragmentation was featured. Along with the increase of multi-core and multi-processor devices, growing restrictions on power and overheating were highlighted. Some studies focus on solving the fragmentation problem and do not care about energy analysis, while other reports only techniques which allow a reduction in energy consumption, but none enables the integration of multi-devices tests in order to solve the problem of fragmentation with energy focus. This study provides the modeling and implementation of a measurement environment that helps the evaluation of the energy consumption of devices with the Android operating system. The proposed environment makes possible an analysis of the energy in devices at different processor frequencies and data networks on multiple devices simultaneously with Web access. A generic and cheap infrastructure measurement, which allows the collection of voltage and current of battery-powered devices and a channel that allows communication with a computer for data analysis were built. In regard to the software, a Web platform for manipulation of device peripherals and automated tests replication was constructed. In order to test the use of the proposed environment, eight tests were performed covering Web Browsing, Video Streaming and CPU load on the available smartphones, and then the results were explained and discussed.