[pt] Espera-se que o desenvolvimento de suítes de teste a partir de modelos possa contribuir substancialmente para a redução do esforço humano e aumentar a eficácia dos testes gerados. Entende-se por eficácia (ideal) dos testes o percentual de defeitos existentes encontrados a partir desses testes. Uma grande parte dessas técnicas baseia-se em máquinas de estado e quase sempre estão voltadas para o teste de funcionalidade. Entretanto, existe a necessidade de se poder testar sistemas altamente interativos, tais como smartphones e tablets, a partir de uma descrição de sua interface humano-computador. O objetivo da dissertação é efetuar uma primeira avaliação de uma técnica voltada para a geração de suítes de teste visando o teste de interfaces gráficas. Para tal,desenvolvemos e avaliamos a eficácia de uma ferramenta, chamada Easy, que utiliza casos de uso tabulares e máquina de estados para a geração automática da suíte de testes. Os casos de uso são descritos em linguagem natural restrita. A partir dessa descrição, a ferramenta constrói uma máquina de estado e, a seguir, a utiliza para gerar cenários. Por construção os cenários estarão em conformidade com os casos de uso. Cada cenário corresponde a um caso de teste. Os cenários são apresentados ao usuário em linguagem natural restrita, permitindo a visualização destes antes da geração dos scripts finais de testes. Os scripts gerados são destinados a uma ferramenta de execução automatizada voltada para o teste de interfaces gráficas. Neste trabalho, utilizou-se a ferramenta UI Automation, responsável pela execução de testes em aplicações destinadas ao iOS, sistema operacional de iPhone, iPad e iPod Touch. A eficácia do processo foi avaliada em uma aplicação real, disponível na loja virtual de aplicativos App Store. Além disso, foram realizados testes de IHC afim de avaliar a influência no custo da produção da suíte de teste. / [en] It is expected that the development of test suites from models can contribute substantially to reducing the human effort and to increase the effectiveness of the generated tests. Means for tests’ effectiveness (ideal) the percentage of existing defects found by these tests. Most of these techniques is based on state machines and mostly directed to testing the functionality. However, there is a need to be able to test highly interactive systems, such as smartphones and tablets, from a description of its human computer interface. The goal of the dissertation is to make a first evaluation of a technique aimed to generate test suites for test of human computer graphic interface. For this purpose was developed and evaluated its effectiveness, a tool called Easy, using use cases tabular and state machine for the automatic generation of the suite tests. The use cases are described in natural language restricted. From this description, the tool builds a state machine, and then uses this to generate scenarios. By construction scenarios will be in accordance with the use cases. Each scenario corresponds to a test case. The scenarios are presented to the user in natural language, allowing the visualization of them before the generation of the final scripts tests. The generated scripts are intended to a running automated tool geared to testing graphical interfaces. In this work, we used the UI Automation tool, responsible for running tests on applications for the iOS, operational system for iPhones, iPads and iPod touchs. The effectiveness of the procedure was evaluated in a real application, available in the online store applications App Store. In addition, HCI tests were performed in order to evaluate the influence on the cost of production of the test suite.

[pt] A análise de requisitos desempenha um papel fundamental no processo de desenvolvimento de software. Neste sentido, representações de cenários baseados em linguagem natural são muitas vezes utilizados para descrever especificações de requisitos de software (SRS). Cenários descritos usando linguagem natural podem ser ambíguos e, às vezes, imprecisos. Este problema é parcialmente devido ao fato de que os relacionamentos entre os cenários são raramente representados explicitamente. Como os cenários são utilizados como entrada para as actividades subsequentes do processo de desenvolvimento de software (SD), é muito importante facilitar a sua análise; especialmente para detectar defeitos devido a informações erradas ou falta de informação. Este trabalho propõe uma abordagem baseada em Redes de Petri e técnicas de Processamento de Linguagem Natural como uma forma eficaz para analisar os cenários adquiridos, e que toma descrições textuais de cenários (em conformidade com um metamodelo definido neste trabalho) como entrada e gera um relatório de análise como saída. Para facilitar a análise automática, os cenários são transformados em Redes de Petri (Lugar/Transição) equivalentes. Os cenários e suas Redes de Petri resultantes podem ser analisados automaticamente para avaliar algumas propriedades relacionadas à desambiguidade, completeza, consistência e corretude. Os defeitos identificados podem ser rastreados até os cenários, permitindo a sua revisão. Nós também discutimos como desambiguidade, completeza, consistência e corretude das SRSs baseadas em cenários podem ser decompostas em propriedades relacionadas, e definimos heurísticas para encontrar indicadores de defeitos que prejudicam estas propriedades. Avaliamos nosso trabalho, aplicando a nossa abordagem de análise em quatro estudos de caso. Essa avaliação compara os resultados obtidos pela nossa abordagem automatizada contra os resultados obtidos por um processo de inspeção e com trabalhos relacionados. / [en] Requirements analysis plays a key role in the software development process. Natural language-based scenario representations are often used for writing software requirements specifications (SRS). Scenarios written using natural language may be ambiguous, and, sometimes, inaccurate. This problem is partially due to the fact that relationships among scenarios are rarely represented explicitly. As scenarios are used as input to subsequent activities of the software development process (SD), it is very important to enable their analysis; especially to detect defects due to wrong information or missing information. This work proposes a Petri-Net and Natural Language Processing (NLP) based approach as an effective way to analyze the acquired scenarios, which takes textual description of scenarios (conform to a metamodel defined in this work) as input and generates an analysis report as output. To enable the automated analysis, scenarios are translated into equivalent Place/Transition Petri-Nets. Scenarios and their resulting Petri-Nets can be automatically analyzed to evaluate some properties related to unambiguity, completeness, consistency and correctness. The identified defects can be traced back to the scenarios, allowing their revision. We also discuss how unambiguity, completeness, consistency and correctness of scenario-based SRSs can be decomposed in related properties, and define heuristics for searching defect indicators that hurt these properties. We evaluate our work by applying our analysis approach to four case studies. The evaluation compares the results achieved by our tool-supported approach, with an inspection based approach and with related work.

[pt] Esta dissertação apresenta uma solução que permite a geração automática de exemplos de uso a partir da descrição textual de casos de uso. Os casos de uso descrevem especificações em um nível de formalização suficiente para a geração dos exemplos. Um exemplo gerado é um texto em linguagem natural que é o resultado da paráfrase de um possível comportamento do software, extraído de um caso de uso e aplicado a um contexto real, em que atores são convertidos em personagens fictícios e os atributos são valorados de acordo com as regras de negócios especificadas no caso de uso. O formato proposto para a construção de exemplos tem como objetivo permitir que clientes possam ler, entender e julgar se o comportamento que está sendo proposto é o desejado. Com isso é esperado que o próprio cliente possa validar as especificações e que, quando defeitos forem encontrados, a especificação possa logo ser corrigida e refletida de volta nos exemplos. Ao mesmo tempo a especificação formalizada na forma de um caso de uso auxiliará desenvolvedores a criar soluções mais próximas do correto por construção, quando comparado com especificações textuais convencionais. / [en] This master s dissertation presents a solution for the automatic generation of examples of use from the textual description of use cases. Use cases describe specifications in a sufficiently formal way that is enough to automatically generate usage examples. A generated example is a text in a natural language which is the paraphrase of one possible manner to use the software, extracted from the use case and applied to a real context where actors are converted into fictitious personas and attributes are valued according to the business rules specified in the use case. The proposed format to present the example aims to allow clients to read, to understand and to judge whether the expressed behavior is in fact what he wants. With this approach, it is expected that the customer himself can approve the specifications and when defects are found, so the specification can quickly be corrected and reflected in the examples. At the same time, the formalized specification in the form of a use case will help developers create solutions that are by construction closer to the correct one when compared to conventional textual specifications.