O teste de software é considerado uma atividade importante para a revelação de falhas. Apesar desta vantagem, tem sido pouco explorado no âmbito de aplicações de Realidade Virtual (RV). Dentre as lacunas existentes, a definição e automatização de critérios de teste de software para esse domínio foi identificada, uma vez que esses sistemas possuem características próprias que requerem definição ou adaptação de técnicas de teste, fazendo com que aplicações nesse domínio constituam sistemas de alta complexidade. Diante disso, o objetivo desta tese é apresentar uma abordagem denominada Virtual Reality-Requirements Specification and Testing (VR-ReST) que visa apoiar a especificação de requisitos de aplicações de RV com base na descrição de casos de uso e conceitos do domínio de RV e Grafo de Cena (GC), derivar requisitos de teste e gerar dados de teste a partir dos requisitos especificados. Além disso, é apresentado um apoio ferramental chamado de Virtual Requirements Specification and Testing (ViReST), que permite automatizá-las. A abordagem é composta por três módulos: (i) especificação dos requisitos por meio do auxílio de um modelo denominado Virtual Requirements Specification (ViReS); (ii) mapeamento dos requisitos por meio de uma linguagem semi-formal chamada Behavior Language Requirement Specification (BeLaRS) para garantir uma especificação padronizada; e (iii) geração automática dos requisitos de teste e dos dados de teste. Foi realizado um estudo de caso para avaliar a conformidade e a usabilidade da BeLaRS em auxiliar a especificação de requisitos de uma aplicação de RV. Além disso, também foi realizado um experimento para avaliar a eficácia da abordagem VR-ReST por meio da ferramenta ViReST. Usando teste de mutação neste último experimento, a abordagem VR-ReST alcançou um escore de mutação médio de 15,49% maior que o teste aleatório. Portanto, os resultados mostraram que a abordagem, bem como o apoio ferramental, podem auxiliar o projetista durante a atividade de especificação de requisitos e o testador na geração dos testes para aplicações de RV. / Software testing is considered an important activity towards fault revealing. Despite this advantage, it has been few explored within the scope of Virtual Reality (VR) applications. Among the existing gaps, the definition and automation of software testing criteria for this domain were identified, since these systems have their own characteristics that require definition or adaptation of testing techniques, making applications in this domain constitute highly complex systems. Therefore, a Virtual Reality-Requirements Specification and Testing (VR-ReST) approach is presented to perform the functional test of VR applications using Scene Graph (SG) concepts and a support tool called Virtual Requirements Specification And Testing (ViReST), which allows you to automate them. The approach is composed of three modules: (i) the first consists in specifying the requirements by means of a model called Virtual Requirements Specification (ViReS); (ii) the second involves mapping the requirements through a semi-formal language called Behavior Language Requirement Specification (BeLaRS) to ensure a standardized specification; and (iii) the third is the automatic generation of test requirements and test data. A case study was conducted to evaluate the compliance and usability of BeLaRS in assisting the requirements specification of an RV application. Also, an experiment was also carried out to evaluate the effectiveness of the VR-ReST approach using the ViReST tool. Using mutation testing in this latter experiment, the VR-ResT approach achieved a mean mutation score of 15.49% higher than the random testing. Therefore, the results showed that the approach, as well as tooling support, can assist the designer during the requirement specification activity and the tester in generating the tests for RV applications.

A atividade de teste de software tem recebido considerável atenção de pesquisadores e engenheiros de software que reconhecem a sua utilidade na criação de produtos de qualidade. No entanto, os testes são caros e propensos a erros, o que impõe a necessidade de sistematizar e, portanto, a definição de técnicas para aumentar a qualidade e produtividade na sua condução. Várias técnicas de teste têm sido desenvolvidas e têm sido utilizadas, cada um com características próprias em termos de eficácia, custo, fases de aplicação, etc. Sistemas de realidade virtual frequentemente utilizam uma estrutura hierárquica denominada grafo de cena para representar as características dos objetos em um ambiente virtual tridimensional. Os grafos de cena também armazenam informações sobre o relacionamento entre os objetos, permitindo respostas adequadas ao usuário quando ocorrem interações. Neste trabalho, critérios de teste baseados em grafo de cena são estudados e definidos afim de aumentar a qualidade de aplicações de realidade virtual. Além disso, estudos de caso são apresentados, utilizando os critérios definidos aplicados a um framework de realidade virtual construído para gerar aplicações na área médica, além de utilizar uma aplicação de demonstração. Como forma de apoio aos critérios definidos foi desenvolvida uma ferramenta de teste capaz de verificar se os nós, que representam os objetos virtuais na cena, satisfazem seus requisitos conforme foram especificados / The activity of software testing has received considerable attention from researchers and software engineers who recognize its usefulness in creating quality products. However, the tests are expensive and prone to errors, which imposes the need to systematize and hence the definition of techniques to increase quality and productivity in their driving. Several testing techniques have been developed and have been used, each with its own characteristics in terms of effectiveness, cost, implementation stages, etc. Moreover, these techniques can also be adapted. In this work, test criteria based on scene graph are studied and defined in order to increase the quality of the Virtual Reality software. In addition, case studies are presented, using the criteria applied to a framework built to generate virtual reality applications in medicine, in addition to using a demo application. As a form of support to the criteria a testing tool was developed. It verifies whether the nodes that represent the virtual objects meet their requirements as they were specified

A atividade de teste de software tem recebido considerável atenção de pesquisadores e engenheiros de software que reconhecem a sua utilidade na criação de produtos de qualidade. No entanto, os testes são caros e propensos a erros, o que impõe a necessidade de sistematizar e, portanto, a definição de técnicas para aumentar a qualidade e produtividade na sua condução. Várias técnicas de teste têm sido desenvolvidas e têm sido utilizadas, cada um com características próprias em termos de eficácia, custo, fases de aplicação, etc. Sistemas de realidade virtual frequentemente utilizam uma estrutura hierárquica denominada grafo de cena para representar as características dos objetos em um ambiente virtual tridimensional. Os grafos de cena também armazenam informações sobre o relacionamento entre os objetos, permitindo respostas adequadas ao usuário quando ocorrem interações. Neste trabalho, critérios de teste baseados em grafo de cena são estudados e definidos afim de aumentar a qualidade de aplicações de realidade virtual. Além disso, estudos de caso são apresentados, utilizando os critérios definidos aplicados a um framework de realidade virtual construído para gerar aplicações na área médica, além de utilizar uma aplicação de demonstração. Como forma de apoio aos critérios definidos foi desenvolvida uma ferramenta de teste capaz de verificar se os nós, que representam os objetos virtuais na cena, satisfazem seus requisitos conforme foram especificados / The activity of software testing has received considerable attention from researchers and software engineers who recognize its usefulness in creating quality products. However, the tests are expensive and prone to errors, which imposes the need to systematize and hence the definition of techniques to increase quality and productivity in their driving. Several testing techniques have been developed and have been used, each with its own characteristics in terms of effectiveness, cost, implementation stages, etc. Moreover, these techniques can also be adapted. In this work, test criteria based on scene graph are studied and defined in order to increase the quality of the Virtual Reality software. In addition, case studies are presented, using the criteria applied to a framework built to generate virtual reality applications in medicine, in addition to using a demo application. As a form of support to the criteria a testing tool was developed. It verifies whether the nodes that represent the virtual objects meet their requirements as they were specified

O teste de software é considerado uma atividade importante para a revelação de falhas. Apesar desta vantagem, tem sido pouco explorado no âmbito de aplicações de Realidade Virtual (RV). Dentre as lacunas existentes, a definição e automatização de critérios de teste de software para esse domínio foi identificada, uma vez que esses sistemas possuem características próprias que requerem definição ou adaptação de técnicas de teste, fazendo com que aplicações nesse domínio constituam sistemas de alta complexidade. Diante disso, o objetivo desta tese é apresentar uma abordagem denominada Virtual Reality-Requirements Specification and Testing (VR-ReST) que visa apoiar a especificação de requisitos de aplicações de RV com base na descrição de casos de uso e conceitos do domínio de RV e Grafo de Cena (GC), derivar requisitos de teste e gerar dados de teste a partir dos requisitos especificados. Além disso, é apresentado um apoio ferramental chamado de Virtual Requirements Specification and Testing (ViReST), que permite automatizá-las. A abordagem é composta por três módulos: (i) especificação dos requisitos por meio do auxílio de um modelo denominado Virtual Requirements Specification (ViReS); (ii) mapeamento dos requisitos por meio de uma linguagem semi-formal chamada Behavior Language Requirement Specification (BeLaRS) para garantir uma especificação padronizada; e (iii) geração automática dos requisitos de teste e dos dados de teste. Foi realizado um estudo de caso para avaliar a conformidade e a usabilidade da BeLaRS em auxiliar a especificação de requisitos de uma aplicação de RV. Além disso, também foi realizado um experimento para avaliar a eficácia da abordagem VR-ReST por meio da ferramenta ViReST. Usando teste de mutação neste último experimento, a abordagem VR-ReST alcançou um escore de mutação médio de 15,49% maior que o teste aleatório. Portanto, os resultados mostraram que a abordagem, bem como o apoio ferramental, podem auxiliar o projetista durante a atividade de especificação de requisitos e o testador na geração dos testes para aplicações de RV. / Software testing is considered an important activity towards fault revealing. Despite this advantage, it has been few explored within the scope of Virtual Reality (VR) applications. Among the existing gaps, the definition and automation of software testing criteria for this domain were identified, since these systems have their own characteristics that require definition or adaptation of testing techniques, making applications in this domain constitute highly complex systems. Therefore, a Virtual Reality-Requirements Specification and Testing (VR-ReST) approach is presented to perform the functional test of VR applications using Scene Graph (SG) concepts and a support tool called Virtual Requirements Specification And Testing (ViReST), which allows you to automate them. The approach is composed of three modules: (i) the first consists in specifying the requirements by means of a model called Virtual Requirements Specification (ViReS); (ii) the second involves mapping the requirements through a semi-formal language called Behavior Language Requirement Specification (BeLaRS) to ensure a standardized specification; and (iii) the third is the automatic generation of test requirements and test data. A case study was conducted to evaluate the compliance and usability of BeLaRS in assisting the requirements specification of an RV application. Also, an experiment was also carried out to evaluate the effectiveness of the VR-ReST approach using the ViReST tool. Using mutation testing in this latter experiment, the VR-ResT approach achieved a mean mutation score of 15.49% higher than the random testing. Therefore, the results showed that the approach, as well as tooling support, can assist the designer during the requirement specification activity and the tester in generating the tests for RV applications.