Software testing is one of the most important Software Engineering processes, being the primary activity to check the conformance between the software requirements and its actual behavior. The automation of software testing activities is essential to certify productivity and effectiveness in such activities. Test automation leads testing activities to be conducted under systematic and accurate criteria, raising the chance of testers to reveal faults or inconsistencies. Test oracles are elementary members in software testing automation, being the mechanism responsible for indicating the correctness of software outputs. In testing environments, test oracles can be effectively implemented based on several sources of information about the Software Under Testing (SUT): software specifications, assertions, formal methods (Finite State Machines (FSM), formal specifications, etc, machine-learning methods, and metamorphic relations. Regardless of the implementation strategy, test oracles are vulnerable to false positive/negative verdicts, configuring what the literature describes as the oracle problem. Therefore, test oracles are a non-trivial and challenging object of studies of the software engineering research area. SUTs outputs in unusual formats make it harder the oracle problem. Audio, images, three-dimensional objects, virtual reality environments, complex statistical compositions, etc, are examples of non-trivial output formats. In the software testing context, SUTs with unusual outputs can be called complex-output systems. In this doctorate dissertation, we propose and evaluate a novel test oracle approach for complex-output systems called feature-based test oracles. The purpose of feature-based test oracles is the appropriation of a processing image technique called Content-Based Image Retrieval (CBIR) to collect information from features extracted from the SUTs outputs to compose test oracles. Given a query image, CBIR combines feature extraction and similarity functions to alleviate the problem of searching for digital images in large databases. In previous research, we have integrated CBIR concepts in a testing framework to support the automation of testing activities in processing image systems and systems with Graphical User Interfaces (GUI). In this doctorate dissertation, we extended that framework and its concepts to general complex-output systems, addressing the feature-based test oracle approach. We use Text-To-Speech (TTS) systems to validate empirically our test oracle technique. Through the results of five empirical analyses, three of them conducted in line with problems of a real-world industry TTS system, show the proposed technique is a valuable instrument to automate testing activities and alleviate practitioners efforts on testing complex output systems. We conclude the proposed test oracles are effective because they systematically evaluate the SUTs sensorial output rather than produce verdicts based on subjective specifications. As future work, we plan to conduct investigations towards the reduction of false positives/negatives and the association of the test oracles with machine learning techniques and metamorphic relations. / Teste de Software é um dos processos mais importantes da Engenharia de Software, sendo a principal atividade para averiguar a conformidade de requisitos de software e suas saídas. A automatização das atividades de teste é essencial para conferir produtividade e efetividade em tais atividades. A automatização faz com que atividades de teste sejam conduzidas sob critérios sistemáticos e precisos, aumentando a chance dos testadores de revelarem falhas ou inconcistências. Oráculos de teste são membros elementares na automatização do teste de software, sendo o mecanismo responsável por indicar a corretude das saídas do softwre. Em ambientes de teste, oráculos de teste podem ser efetivamente implementados com base em diversos fontes de informação sobre o sistema em teste: especificações de software, assertivas, métodos formais (máquinas de estados finitas, especificações formais, etc), métodos de aprendizagem de máquina e relações metamórficas. Independente da estratégia de implementação, oráculos de teste são vulneráveis a veridictos de falsos positivos/negativos, configurando o que é apresentado na literatura como O problema do Oráculo. Então, na área de engenharia de software, oráculos de teste são objetos de estudo não-triviais e desafiadores. O problema de oráculo é potencializado quando as saídas do sistema em teste são dadas em formatos não triviais como, por exemplo, audio, imagens, objetos tridimensionais, ambientes de realidade virtual, composições estatísticas complexas, etc. No contexto do teste de software, sistemas com saídas não triviais podem ser chamados de sistemas com saídas complexas. Esta tese de doutorado propões e avalia uma nova estratégia de oráculo de teste para sistemas com saídas complexas. O propósito de tal estratégia é a apropriação da técnica de processamento de imagem conhecida como CBIR (Recuperação de Imagem Basead em Conteúdo CBIR) para coletar informações de características extratídas do sistema em teste, compondo oráculos de teste. A partir de uma imagem de busca, o CBIR combina extração de características e funções de similaridade para aliviar problemas de busca em grandes based de imagens digitais. Em pesquisas anteriores, conceitos de CBIR foram integrados em um arcabouço de teste para apoiar a automatização de atividades de teste em systemas de processamento de imagens e sistemas com interfaces gráficas. Esta tese de doutorado estende o arcabouço e seus conceitos para sistemas com saídas complexas em geral. Sistemas Texto-Fala (TTS) foram utlizados para validações empíricas. Os resultados de seis análises empíricas, duas delas condizidas em consonância com problemas de um TTS industrial, revelam que a técnica proposta é um valioso instrumento para automatizar atividaes de teste e aliviar esforços de profissionais da indústria ao teste sistemas com saídas complexas. Conclui-se que a efetividade dos oráculos de teste propostos são devido às sistemáticas análises do conteúdo das saídas dos sistemas em teste, em vez da análises de especificações subjetivas. Os trabalhos futuros vislumbrados devem ser conduzidos no intuito de reduzir número de falsos positivos/negativos e a associação dos oráculos de teste com técnicas de aprendizado de máquina e relações metamórficas.

As atividades de teste automatizado contribuem significativamente para a redução de custos e a produtividade do projeto durante o processo de desenvolvimento de software. O teste automatizado reduz o esforço humano e aumenta a qualidade do produto final. No entanto, a alta complexidade da saída produzida pelos SUT (do inglês, System Under Test) contemporâneos limita, em alguns casos, a aplicação de estratégias de teste automatizadas. Sistemas com saídas gráficas/áudio, imagens tridimensionais, interfaces gráficas com o usuário e alguns aplicativos da Web são exemplos de sistemas com saídas complexas. A falta de oráculos automatizados de teste leva à aplicação de testes executados manualmente pelo próprio testador (oráculo humano), de modo informal, ad-hoc e improdutivo. Uma possível contribuição para aliviar esforços do testador é a implementação de oráculos de teste baseados na extração de características das saídas do SUT. Resultados de trabalhos anteriores mostram que tal abordagem contribui para o aumento da produtividade do teste, mitigando e complementando os esforços manuais. Este trabalho de mestrado propõe e avalia oráculos de teste automatizados para sistemas cujas saídas consistem em imagens médicas tridimensionais. Para tanto, é explorado o framework O-FIm/CO (do inglês, Oracle for Images and Complex Outputs) que utiliza conceitos de Recuperação de Imagens Baseada em Conteúdo (do inglês, Content-Based Image Retrieval CBIR) como uma forma de automatizar oráculos de teste. Além de adaptações e extensões do framework, desenvolveram-se plug-ins que representam extratores de características de imagens médicas tridimensionais de vasos sanguíneos. Para evidenciar a eficácia da abordagem, foram conduzidos dois estudos experimentais objetivando avaliar a eficácia e a precisão dos oráculos de teste baseados em características na avaliação desse tipo de imagem. Além disso, realizou-se um estudo experimental comparando os oráculos de teste baseados em características e oráculos humanos. Os resultados evidenciam a eficácia da abordagem como uma estratégia promissora para automatizar atividades de teste, contribuindo para a redução de tempo e esforços gerados por abordagens manuais durante a avaliação da qualidade de sistemas geradores de imagens médicas tridimensionais. / Automated testing activities significantly contribute to cost reduction and project productivity during the software development process. Automated testing reduces human effort and increases the quality of the final product. However, the high complexity of contemporary SUT outputs limits, in some cases, the application of automated test strategies. Systems with graphical/audio outputs, three-dimensional imaging, graphical user interfaces and some web applications are examples of systems with complex outputs. The lack of automated test oracles leads to the application of manual tests performed by the tester (human oracle) in an informal, ad-hoc and unproductive manner. One possible contribution to alleviate the testers efforts is to implement test oracles based on the extraction of characteristics from the SUT outputs. Results from previous work show that such an approach contributes to increase test productivity, mitigating and complementing manual efforts. This dissertation proposes and evaluates automated test oracles for systems whose outputs consist of three-dimensional medical images. To do so, the framework O-FIm/CO (Oracle for Images and Complex Outputs) that uses CBIR (Content-Based Image Retrieval) concepts is explored as a strategy to automate test oracles. In addition to adaptations and extensions of the framework, plug-ins were developed which represent extractors of three-dimensional medical image characteristics of blood vessels. To demonstrate the efficacy of the approach, two experimental studies were conducted to evaluate the efficacy and accuracy of feature-based test oracles in the evaluation of such images. Moreover, an experimental study was conducted to compare feature-based test oracles with human oracles. The results show the efficacy of the approach as a promising strategy to automate testing activities, contributing to the reduction of time and effort generated by manual approaches during the quality assessment of three-dimensional medical imaging systems.

As atividades de teste automatizado contribuem significativamente para a redução de custos e a produtividade do projeto durante o processo de desenvolvimento de software. O teste automatizado reduz o esforço humano e aumenta a qualidade do produto final. No entanto, a alta complexidade da saída produzida pelos SUT (do inglês, System Under Test) contemporâneos limita, em alguns casos, a aplicação de estratégias de teste automatizadas. Sistemas com saídas gráficas/áudio, imagens tridimensionais, interfaces gráficas com o usuário e alguns aplicativos da Web são exemplos de sistemas com saídas complexas. A falta de oráculos automatizados de teste leva à aplicação de testes executados manualmente pelo próprio testador (oráculo humano), de modo informal, ad-hoc e improdutivo. Uma possível contribuição para aliviar esforços do testador é a implementação de oráculos de teste baseados na extração de características das saídas do SUT. Resultados de trabalhos anteriores mostram que tal abordagem contribui para o aumento da produtividade do teste, mitigando e complementando os esforços manuais. Este trabalho de mestrado propõe e avalia oráculos de teste automatizados para sistemas cujas saídas consistem em imagens médicas tridimensionais. Para tanto, é explorado o framework O-FIm/CO (do inglês, Oracle for Images and Complex Outputs) que utiliza conceitos de Recuperação de Imagens Baseada em Conteúdo (do inglês, Content-Based Image Retrieval CBIR) como uma forma de automatizar oráculos de teste. Além de adaptações e extensões do framework, desenvolveram-se plug-ins que representam extratores de características de imagens médicas tridimensionais de vasos sanguíneos. Para evidenciar a eficácia da abordagem, foram conduzidos dois estudos experimentais objetivando avaliar a eficácia e a precisão dos oráculos de teste baseados em características na avaliação desse tipo de imagem. Além disso, realizou-se um estudo experimental comparando os oráculos de teste baseados em características e oráculos humanos. Os resultados evidenciam a eficácia da abordagem como uma estratégia promissora para automatizar atividades de teste, contribuindo para a redução de tempo e esforços gerados por abordagens manuais durante a avaliação da qualidade de sistemas geradores de imagens médicas tridimensionais. / Automated testing activities significantly contribute to cost reduction and project productivity during the software development process. Automated testing reduces human effort and increases the quality of the final product. However, the high complexity of contemporary SUT outputs limits, in some cases, the application of automated test strategies. Systems with graphical/audio outputs, three-dimensional imaging, graphical user interfaces and some web applications are examples of systems with complex outputs. The lack of automated test oracles leads to the application of manual tests performed by the tester (human oracle) in an informal, ad-hoc and unproductive manner. One possible contribution to alleviate the testers efforts is to implement test oracles based on the extraction of characteristics from the SUT outputs. Results from previous work show that such an approach contributes to increase test productivity, mitigating and complementing manual efforts. This dissertation proposes and evaluates automated test oracles for systems whose outputs consist of three-dimensional medical images. To do so, the framework O-FIm/CO (Oracle for Images and Complex Outputs) that uses CBIR (Content-Based Image Retrieval) concepts is explored as a strategy to automate test oracles. In addition to adaptations and extensions of the framework, plug-ins were developed which represent extractors of three-dimensional medical image characteristics of blood vessels. To demonstrate the efficacy of the approach, two experimental studies were conducted to evaluate the efficacy and accuracy of feature-based test oracles in the evaluation of such images. Moreover, an experimental study was conducted to compare feature-based test oracles with human oracles. The results show the efficacy of the approach as a promising strategy to automate testing activities, contributing to the reduction of time and effort generated by manual approaches during the quality assessment of three-dimensional medical imaging systems.

Made available in DSpace on 2016-08-03T12:19:23Z (GMT). No. of bitstreams: 1 Marcelo Moura da Silva.pdf: 1386687 bytes, checksum: 903cc5b48b557187abd5e6bea84190b0 (MD5) Previous issue date: 2010-10-19 / In the history of humanity, the reality of conflicts and wars between neighboring nations has been common. The most shocking fact is that, religious speech, instead of discouraging such realities can encourage and justify projects of power of these nations. The study of the Hebrew Bible can cast light to understand the realities of conflict between nations and the role of religious speech on such situations. For that, this research proposed to study narratives that deal with the origin and the development of international rivalry and conflicts. The research especially studied the familiar narratives and the prophetic oracles that dealt with rivalry, conflicts and the hatred between Israel and Edom to propose a review capable of encouraging projects of peace. The exegetical exercises in familiar narratives (Gn 35-36) and in the prophetic oracles against Edom (in the oracle collections against the nations, in the book of Obadiah, and in pericopes of Is 63,1-6 and of Ml 1,2-5) approach the literary material of the Hebrew Bible to investigate the origin and the development of the conflicts between Israel and Edom. Special attention was given to the study of the historical construction of the hatred and the role of religious literature in the growing development of the rivalries, animosities and conflicts. The first chapter studied the saga of Isaac as a historical and theological document that dealt with the familiar origin of rivalry between the twin brothers, with significant differences on the construction of their lives and identities. The second chapter studied, in the prophetic literature, the Oracles against the Nations and, more specifically, the oracles against Edom. In this phase, the research studied the importance of this literary genre on the construction of a more universal theology that attributes the control of history to God, aiming to better care for Israel. The third chapter also evaluated the other prophetic material that dealt with conflict and even divine hatred against the Edomites (Is 63,1-6 and Ml 1,2-5). In these chapters, the stimulation of the conflicts and the construction of religious speech with great animosity against Edom were noticed. The studies on the narratives of rivalry and of conflicts between Israel and Edom in the Hebrew Bible try to highlight, in the historical dynamics of conflicts, the hope of peace for international relations. Above all, the research proposed a review of these texts for a construction of religious-theological speech that stimulates tolerance and ethics of peace. / Na história da humanidade, a realidade de conflitos e de guerras entre povos vizinhos têm sido comum. O que mais assusta é o fato que, o discurso religioso, ao invés de desencorajar tais realidades pode incentivar e justificar os projetos de poder dessas nações. O estudo da Bíblia Hebraica pode lançar luzes para o entendimento das realidades de conflito entre nações e para o papel do discurso religioso nestes. Para isto, essa pesquisa propôs-se a estudar narrativas que abordam a origem e o desenvolvimento de rivalidades e de conflitos internacionais. Especialmente, estudou as narrativas familiares e os oráculos proféticos que abordaram a rivalidade, os conflitos e o ódio entre Israel/Judá e Edom para propor uma releitura capaz de encorajar projetos de paz. Os exercícios exegéticos nas narrativas familiares (Gn 35-36) e nos oráculos proféticos contra Edom (nas coleções de oráculos contra as nações, no livro de Obadias, e em perícopes de Is 63,1-6 e de Ml 1,2-5) abordaram o material literário da Bíblia Hebraica para investigar sobre a origem e o desenvolvimento dos conflitos entre Israel/Judá e Edom. Especial atenção foi dada ao estudo da construção histórica do ódio e o papel da literatura religiosa no crescente desenvolvimento das rivalidades, animosidades e conflitos. O primeiro capítulo estudou a saga de Isaque como documento histórico e teológico que abordou a origem familiar da rivalidade entre os irmãos gêmeos, com diferenças significativas na construção de suas vidas e identidades. O segundo capítulo estudou, na literatura profética, os Oráculos contra as Nações e, mais especificamente, os oráculos contra Edom. Nesta fase estudou a importância desse gênero literário na construção de uma teologia mais universal que atribuía a Deus o controle da história, visando maior cuidado com Israel. O terceiro capítulo também avaliou outro material profético que abordou o conflito e, até mesmo, o ódio divino contra os edomitas (Is 63,1-6 e Ml 1,2-5). Nestes, percebeu-se o acirramento dos conflitos e a construção de um discurso religioso mais animoso contra Edom. Os estudos nas narrativas de rivalidade e de conflitos entre Israel/Judá e Edom na Bíblia Hebraica procuraram destacar, na dinâmica história de conflitos, as esperanças de paz para as relações internacionais. Sobretudo, propôs reler esses textos para a construção de um discurso religioso-teológico que estimule a tolerância e a ética da paz.

La presente investigación, aborda el tema de la peregrinación a los principales centros oraculares o santuarios que, en tiempos de los incas, ostentaron un gran protagonismo y una agencia política tal, que les permitieron convertirse en los grandes agentes de información, comunicación y, sobre todo, de negociación. Analizar las funciones de carácter político –ligado a la ideología estatal del imperio incaico–, económico –en lo referente a la gran disposición de recursos materiales y humanos–, social –concerniente al estatus social y la jerarquía de los peregrinantes– y religioso –subyugado a la ritualidad y sacralidad– que se operaron al interior de dichas peregrinaciones, así como su articulación y sistematización, nos ha permitido comprender y entender la esencia de la política religiosa del mundo andino antiguo. Para ello, nos hemos esmerado en presentar el estudio de tres casos emblemáticos a saber: los templos del Sol y de la Luna ubicados en el lago Titicaca, el santuario o centro oracular-ceremonial de Pachacamac y el oráculo de Catequil en la zona de Huamachuco. / This research deals with the topic of pilgrimage to the main oracles or sanctuaries, which, during times of the Inca, had a great role and such a political agency that allowed them to become the great information, communication and, above all, negotiation agents. To analyze the different functions, such as political –linked to the state ideology of the Inca empire–, economic –in relation to the great provision of material and human resources–, social –concerning the social status and the hierarchy of the pilgrims-, and religious ones– subjugated to rituality and sacredness–, that were working within these pilgrimages, as well as their articulation and systematization, have allowed us to understand the essence of the religious politics of the Andean world. To this end, three emblematic cases have been presented: the temples of the Sun and the Moon located in Lake Titicaca, the sanctuary or oracular-ceremonial center of Pachacamac, and the oracle of Catequil in the Huamachuco area.