O objetivo deste projeto de Mestrado foi o estudo, a análise e o desenvolvimento de técnicas de Realimentação de Relevância (RR) para melhorar a respostas de consultas por similaridade que empregam técnicas de recuperação de imagens por conteúdo (do inglês content-based image retrieval - CBIR). A motivação para o desenvolvimento deste projeto veio do iRIS (internet Retrieval of Images System), que é um protótipo de servidor Web para o processamento de consultas por similaridade, em construção no GBdI (Grupo de Bases de Dados e Imagens) do ICMC-USP. O iRIS pode ser integrado a PACS (Picture and Archiving and Communication System) permitindo que estes possam recuperar imagens por semelhança. A principal restrição do uso de sistemas que incorporam CBIR é a descontinuidade semântica (semantic gap), que credita-se principalmente à utilização de características de baixo nível para descrever as imagens. As características mais utilizadas são baseadas em cor, textura e forma, e geralmente não conseguem mapear o que o usuário deseja/esperar recuperar, gerando um descontentamento do usuário em relação ao sistema. Entretanto, se sistema permitir a iteração do usuário na classificação do conjunto resposta e usar estas informações no processo de refinamento, as consultas podem ser re-processadas e os resultados tendem a atender a expectativa do usuário. Esse é o propósito das técnicas de realimentação de relevância. Este projeto desenvolveu duas técnicas de realimentação de relevância (RR): o RF Projection e o RF Multiple Point Projection. O ganho com a aplicação dessas técnicas foi expressivo, alcançando 29% a mais de precisão sobre a consulta original já na primeira iteração e 42% após 5 iterações. Os experimentos realizados com usuários mostraram que em média são executadas 3 iterações para chegar a um resultado satisfatório. Pelos resultados apresentados nos experimentos, podemos afirmar que RR é uma poderosa ferramenta para impulsionar o uso dos sistemas CBIR e aprimorar as consultas por similaridade. / This Master project aimed at studying, analyzing and developing relevance feedback (RF) techniques to enhance similarity queries that employ the content-based image retrieval (CBIR) approach. The motivation to develop this project came from the iRIS (internet Retrieval of Images System), which is a Web server prototype to process similarity queries. The iRIS can be integrated to a PACS (Picture and Archiving and Communication System) adding the functionality of retrieval images comparing their inherent alikeliness. The main reservation about using CBIR techniques is the semantic gap, because the general use of low level features to describe the images. The low level features, such as color, texture and shape, mostly cannot bridge the gap between what the users expect/want to what they get, generating disappointment and refusal of employing the system. However, if the user is allowed to interact with the system, classifying the query results and using such information on refinement steps, the queries can be reprocessed and the results tend to comply with the users’ expectation. This is just the core of the relevance feedback techniques. Looking at this scenario, this project developed two relevance feedback (RF) techniques: the RF Projection and the RF Multiple Point Projection. The improvements on the similarity queries were expressive going to up 29% with only one interaction, and to 42% on the fifth interaction, when compared to the original query. Experiments performed with users, have shown us that in average they run 3 iterations before get satisfactory results. By the results given by the experiment, one can claim that RF is a powerful approach to improve the use of CBIR systems and enhance similarity queries.

O objetivo deste projeto de Mestrado foi o estudo, a análise e o desenvolvimento de técnicas de Realimentação de Relevância (RR) para melhorar a respostas de consultas por similaridade que empregam técnicas de recuperação de imagens por conteúdo (do inglês content-based image retrieval - CBIR). A motivação para o desenvolvimento deste projeto veio do iRIS (internet Retrieval of Images System), que é um protótipo de servidor Web para o processamento de consultas por similaridade, em construção no GBdI (Grupo de Bases de Dados e Imagens) do ICMC-USP. O iRIS pode ser integrado a PACS (Picture and Archiving and Communication System) permitindo que estes possam recuperar imagens por semelhança. A principal restrição do uso de sistemas que incorporam CBIR é a descontinuidade semântica (semantic gap), que credita-se principalmente à utilização de características de baixo nível para descrever as imagens. As características mais utilizadas são baseadas em cor, textura e forma, e geralmente não conseguem mapear o que o usuário deseja/esperar recuperar, gerando um descontentamento do usuário em relação ao sistema. Entretanto, se sistema permitir a iteração do usuário na classificação do conjunto resposta e usar estas informações no processo de refinamento, as consultas podem ser re-processadas e os resultados tendem a atender a expectativa do usuário. Esse é o propósito das técnicas de realimentação de relevância. Este projeto desenvolveu duas técnicas de realimentação de relevância (RR): o RF Projection e o RF Multiple Point Projection. O ganho com a aplicação dessas técnicas foi expressivo, alcançando 29% a mais de precisão sobre a consulta original já na primeira iteração e 42% após 5 iterações. Os experimentos realizados com usuários mostraram que em média são executadas 3 iterações para chegar a um resultado satisfatório. Pelos resultados apresentados nos experimentos, podemos afirmar que RR é uma poderosa ferramenta para impulsionar o uso dos sistemas CBIR e aprimorar as consultas por similaridade. / This Master project aimed at studying, analyzing and developing relevance feedback (RF) techniques to enhance similarity queries that employ the content-based image retrieval (CBIR) approach. The motivation to develop this project came from the iRIS (internet Retrieval of Images System), which is a Web server prototype to process similarity queries. The iRIS can be integrated to a PACS (Picture and Archiving and Communication System) adding the functionality of retrieval images comparing their inherent alikeliness. The main reservation about using CBIR techniques is the semantic gap, because the general use of low level features to describe the images. The low level features, such as color, texture and shape, mostly cannot bridge the gap between what the users expect/want to what they get, generating disappointment and refusal of employing the system. However, if the user is allowed to interact with the system, classifying the query results and using such information on refinement steps, the queries can be reprocessed and the results tend to comply with the users’ expectation. This is just the core of the relevance feedback techniques. Looking at this scenario, this project developed two relevance feedback (RF) techniques: the RF Projection and the RF Multiple Point Projection. The improvements on the similarity queries were expressive going to up 29% with only one interaction, and to 42% on the fifth interaction, when compared to the original query. Experiments performed with users, have shown us that in average they run 3 iterations before get satisfactory results. By the results given by the experiment, one can claim that RF is a powerful approach to improve the use of CBIR systems and enhance similarity queries.

Estratégias para automatização de atividades de teste de software são bem aceitas tanto pela indústria quanto pela academia. Um elemento essencial para automatizações de teste são oráculos de teste. Oráculos, que podem ser mecanismos, funções, execuções paralelas, etc, são fundamentais por determinarem se as saídas de uma aplicação em teste estão corretas. A automatização de mecanismos de oráculos é um ponto crítico quando as saídas dos sistemas se manifestam por meio de formatos não triviais como, por exemplo, uma Interface Gráfica com o Usuário (GUI - do ingês Graphical User Interface). Para esses casos, estratégias tradicionais de teste costumam ser custosas e exigir esforços consideráveis dos testadores. Este trabalho de mestrado propõe um método alternativo para a automatização de oráculos de teste para sistemas com GUIs. Para tanto, exploram-se conceitos de Recuperação de Imagens Baseada em Conteúdo para a composição de um método de automatização chamado de oráculos gráficos (Gr-O - do inglês Graphical Oracle). Como contribuição, desenvolveram-se extratores de características visuais de GUIs. A condução e análise de estudos empíricos revelaram que o uso do Gr-O pode reduzir os custos para definições de oráculos de teste para sistemas com GUIs. Deste modo, o método proposto pode ser alternativo ou complementar às técnicas de teste tradicionais identificadas na literatura / Strategies for automated software testing activities are well accepted by both industry and the academy. Essential elements for automation of testing are test oracles. Oracles, which may be mechanisms, functions, parallel executions, etc., are crucial in determining whether the output of an application under test is correct. The automation of oracles is critical when the output system manifested by non-trivial formats, for example, a Graphical User Interface (GUI). For these cases, traditional testing strategies tend to be costly and require considerable efforts of the testers. This master thesis proposes an alternative method for the automation of test oracles for systems with GUIs. To this end, we explore the concepts of Content-Based Image Retrieval for the composition of an automated method called Graphical Oracles (Gr-O). As a contribution, we developed characteristics extractors of GUIs. The conduct and analysis of empirical studies have shown that using of Gr-O can reduce costs for definitions of test oracles for systems with GUIs. Thus, the proposed method may be alternative or complementary to traditional testing techniques found in the literature

Estratégias para automatização de atividades de teste de software são bem aceitas tanto pela indústria quanto pela academia. Um elemento essencial para automatizações de teste são oráculos de teste. Oráculos, que podem ser mecanismos, funções, execuções paralelas, etc, são fundamentais por determinarem se as saídas de uma aplicação em teste estão corretas. A automatização de mecanismos de oráculos é um ponto crítico quando as saídas dos sistemas se manifestam por meio de formatos não triviais como, por exemplo, uma Interface Gráfica com o Usuário (GUI - do ingês Graphical User Interface). Para esses casos, estratégias tradicionais de teste costumam ser custosas e exigir esforços consideráveis dos testadores. Este trabalho de mestrado propõe um método alternativo para a automatização de oráculos de teste para sistemas com GUIs. Para tanto, exploram-se conceitos de Recuperação de Imagens Baseada em Conteúdo para a composição de um método de automatização chamado de oráculos gráficos (Gr-O - do inglês Graphical Oracle). Como contribuição, desenvolveram-se extratores de características visuais de GUIs. A condução e análise de estudos empíricos revelaram que o uso do Gr-O pode reduzir os custos para definições de oráculos de teste para sistemas com GUIs. Deste modo, o método proposto pode ser alternativo ou complementar às técnicas de teste tradicionais identificadas na literatura / Strategies for automated software testing activities are well accepted by both industry and the academy. Essential elements for automation of testing are test oracles. Oracles, which may be mechanisms, functions, parallel executions, etc., are crucial in determining whether the output of an application under test is correct. The automation of oracles is critical when the output system manifested by non-trivial formats, for example, a Graphical User Interface (GUI). For these cases, traditional testing strategies tend to be costly and require considerable efforts of the testers. This master thesis proposes an alternative method for the automation of test oracles for systems with GUIs. To this end, we explore the concepts of Content-Based Image Retrieval for the composition of an automated method called Graphical Oracles (Gr-O). As a contribution, we developed characteristics extractors of GUIs. The conduct and analysis of empirical studies have shown that using of Gr-O can reduce costs for definitions of test oracles for systems with GUIs. Thus, the proposed method may be alternative or complementary to traditional testing techniques found in the literature

No description available.

The future of Alberta’s bitumen sands, also known as “oil sands” or “tar sands,” and their place in Canada’s energy future has become a topic of much public debate. Within this debate, the print, television, and social media campaigns of those who both support and oppose developing the oil sands are particularly visible. As such, campaigns around the oil sands may be seen as influencing audience perceptions of the benefits and drawbacks of oil sands production. There is consequently a need to study the media materials of various tar sands stakeholders and explore how they differ. In this setting, it is essential to gather documents and identify content within images, which requires the use of an image retrieval technique such as a content-based image retrieval (CBIR) system. In a CBIR system, images are represented by low-level features (i.e. specific structures in the image such as points, edges, or objects), which are used to distinguish pictures from one another. The oil sands domain has to date not been mapped using CBIR systems. The research thus focuses on creating an image retrieval system, namely Mediatoil-IR, for exploring documents related to the oil sands. Our aim is to evaluate various low-level representations of the images within this context. To this end, our experimental framework employs LAB color histogram (LAB) and speeded up robust features (SURF) in order to typify the imagery. We further use machine learning techniques to improve the quality of retrieval (in terms of both accuracy and speed). To achieve this aim, the extracted features from each image are encoded in the form of vectors and used as a training set for learning classification models to organize pictures into different categories. Different algorithms were considered such as Linear SVM, Quadratic SVM, Weighted KNN, Decision Trees, Bagging, and Boosting on trees. It was shown that Quadratic SVM algorithm trained on SURF features is a good approach for building CBIR, and is used in building Mediatoil-IR. Finally, with the help of created CBIR, we were able to extract the similar documents and explore the different types of imagery used by different stakeholders. Our experimental evaluation shows that our Mediatoil-IR system is able to accurately explore the imagery used by different stakeholders.

Sistemas de recuperação de imagens por conteúdo (do inglês Content-based ImageRetrieval - CBIR) têm sido cada vez mais utilizados em diversas aplicações de tratamento e análise de imagens, devido a dois fatores: CBIR é um procedimento que pode ser feito automaticamente, permitindo tratar o grande volume de imagens adquiridos em hospitais, e também é a base para o processamento de consultas por similaridade. No contexto médico tais sistemas auxiliam em diversas tarefas, desde treinamento de profissionais até em sistemas de auxílio a diagnóstico (do inglês Computer-Aided Diagnosis - CAD). Um sistema computacional capaz de comparar e classificar imagens obtidas em exames de pacientes utilizando uma base prévia de conhecimento poderia agilizar o atendimento da população e fornecer aos especialistas informações relevantes de forma rápida e simples. Neste trabalho, o foco foi na análise de imagens de úlceras venosas. Foram desenvolvidas duas técnicas para classificação dessas imagens. A primeira, denominada Counting-Labels Similarity Measure (CL-Measure) possuia vantagem de lidar com imagens segmentadas de forma automática, por superpixels, e ser versátil o suficiente para permitir adaptação para outros domínios. A ideia principal do CL-Measure consiste na criação de sub-imagens baseadas em uma classificação prévia, calcular a distância entre elas e agregar as distâncias parciais obtidas a partir de uma função apropriada. A segunda técnica, denominada Quality of Tissues from Dermatological Ulcers(QTDU), faz uso de redes convolucionais (CNNs) para rotulação dos superpixels com a vantagem de compor todo o processo de identificação de características e classificação, dispensando a necessidade de identificar qual o extrator de características mais adequado para o contexto em questão. Experimentos realizados sobre a base de imagens analisada, utilizando 179572 super pixels divididos em 4 classes, indicam que a QTDU é a abordagem mais eficaz até o momento para o contexto de classificação de imagens dermatológicas, com médias de AUC=0,986, sensitividade = 0,97,e especificidade=0,974 superando as abordagens anteriores baseadas em aprendizado de máquina em 11;7% e 8;2% considerando o coeficiente KAPPAeF-Measure, respectivamente. / Content-based Image Retrieval (CBIR) systems have been increasingly used in many image processing and analysis applications because of two factors: CBIR is a procedure that can be done automatically, allowing to handle the large volume of images acquired in hospitals, and it is also the basis for processing similarity queries. In the medical context, such systems assist in various tasks, from training of professionals to develop Computer-Aided Diagnosis CAD systems. A computer system capable of comparing and classifying images obtained from patient exams using a prior knowledge base could expedite the care of the population and provide specialists with relevant information quickly. In this study, the focus was on the analysis of images of venous ulcers. Two techniques were developed to classify these images. The first, called Counting-Labels Similarity Measure (CL-Measure) has the advantage of dealing with automatically segmented images by superpixels, and is versatile enough to allow adaptation to other domains. The main idea of CL-Measure is to create sub-images based on a previous classification, calculate the distance between them and add the partial distances obtained from an appropriate function. The second technique, called Quality of Tissues from Dermatological Ulcers (QTDU), makes use of convolutional networks (CNNs) for superpixels labeling, with the advantage of encompassing the whole process of identification of features and classification, without the need of identifying which extractor would be the best for the context in question. Experiments carried out on the image database using 179,572 superpixels divided into 4 classes, indicate that the QTDU is the most effective approach to date for the context of classification of dermatological ulcer images, with averages of AUC = 0.986, sensitivity = 0.97 , and specificity = 0.974, surpassing previous approaches based on machine learning in 11.7% and 8.2% considering the KAPPA and F-Measure coefficients, respectively.

Os sistemas de processamento de imagens exercem um papel importante no que tange à emulação da visão humana, pois grande parte das informações que as pessoas obtêm do mundo real ocorre por meio de imagens. Desenvolver tais sistemas é uma tarefa complexa e que requer testes rigorosos para garantir a sua confiabilidade. Neste cenário, a seleção de casos de teste é fundamental, pois ajuda a eliminar os dados de teste redundantes e desnecessários enquanto procura manter altas taxas de detecção de erros. Na literatura há várias abordagens para seleção de casos de teste com foco em sistemas de entradas/saídas alfanuméricas, mas a seleção voltada a sistemas complexos (e.g. processamento de imagens) ainda é pouco explorada. Visando a contribuir neste campo de pesquisa, este trabalho apresenta um novo método intitulado Tcs&CbIR, que seleciona e recupera um subconjunto de imagens a partir de um vasto conjunto de teste. Os testes realizados com dois programas de processamento de imagens mostram que a nova abordagem pode superar a seleção aleatória pois, no contexto de avaliação apresentado, a quantidade de casos de teste necessária para revelar a presença de erros foi reduzida em até 87%. Os resultados obtidos revelam, também, o potencial da utilização de CBIR para abstração de informações, a importância da definição de extratores de características adequados e a influência que as funções de similaridade podem exercer na seleção de casos de teste. / Image processing systems play a key role when it comes to emulation of human vision, because much of the information that humans capture from the real world occurs through images. Developing such systems is a complex task that requires rigorous testing to ensure their quality and reliability. In this scenario, the test case selection is crucial because it helps to eliminate the redundant and unnecessary test data while it tries to maintain high rates of error detection. In the literature there are several approaches for test cases selection with a focus on systems with alphanumeric inputs and outputs, but the selection focused on complex systems (e.g. image processing) is still unexplored. Aiming to contribute to this research field, this work presents a new method entitled Tcs&CbIR, which selects and retrieves a subset of images from a wide test suite. Tests conducted with two image processing programs show that the new approach can overcome the random selection because, in the context of evaluation presented, the amount of test cases required to detect the presence of the errors was reduced by up to 87%. The results also show the potential use of CBIR for information abstraction, the importance of the definition of suitable extractors of characteristics and the influence of the similarity functions in the test case selection.

Obter uma representação sucinta e representativa de imagens médicas é um desafio que tem sido perseguido por pesquisadores da área de processamento de imagens médicas com o propósito de apoiar o diagnóstico auxiliado por computador (Computer Aided Diagnosis - CAD). Os sistemas CAD utilizam algoritmos de extração de características para representar imagens, assim, diferentes extratores podem ser avaliados. No entanto, as imagens médicas contêm estruturas internas que são importantes para a identificação de tecidos, órgãos, malformações ou doenças. É usual que um grande número de características sejam extraídas das imagens, porém esse fato que poderia ser benéfico, pode na realidade prejudicar o processo de indexação e recuperação das imagens com problemas como a maldição da dimensionalidade. Assim, precisa-se selecionar as características mais relevantes para tornar o processo mais eficiente e eficaz. Esse trabalho desenvolveu o método de seleção supervisionada de características FSCoMS (Feature Selection based on Compactness Measure from Scatterplots) para obter o ranking das características, contemplando assim, o que é necessário para o tipo de imagens médicas sob análise. Dessa forma, produziu-se vetores de características mais enxutos e eficientes para responder consultas por similaridade. Adicionalmente, foi desenvolvido o extrator de características k-Gabor que extrai características por níveis de cinza, ressaltando estruturas internas das imagens médicas. Os experimentos realizados foram feitos com quatro bases de imagens médicas do mundo real, onde o k-Gabor sobressai pelo desempenho na recuperação por similaridade de imagens médicas, enquanto o FSCoMS reduz a redundância das características para obter um vetor de características menor do que os métodos de seleção de características convencionais e ainda com um maior desempenho em recuperação de imagens / Obtaining a representative and succinct description of medical images is a challenge that has been pursued by researchers in the area of medical image processing to support Computer-Aided Diagnosis (CAD). CAD systems use feature extraction algorithms to represent images. Thus, different extractors can be evaluated. However, medical images contain important internal structures that allow identifying tissues, organs, deformations and diseases. It is usual that a large number of features are extracted the images. Nevertheless, what appears to be beneficial actually impairs the process of indexing and retrieval of images, revealing problems such as the curse of dimensionality. Thus, it is necessary to select the most relevant features to make the process more efficient and effective. This dissertation developed a supervised feature selection method called FSCoMS (Feature Selection based on Compactness Measure from Scatterplots) in order to obtain a ranking of features, suitable for medical image analysis. Our method FSCoMS had generated shorter and efficient feature vectors to answer similarity queries. Additionally, the k-Gabor feature extractor was developed, which extracts features by gray levels, highlighting internal structures of medical images. The experiments performed were performed on four real world medical datasets. Results have shown that the k-Gabor boosts the retrieval performance, whereas the FSCoMS reduces the subsets redundancy to produce a more compact feature vector than the conventional feature selection methods and even with a higher performance in image retrieval

Aplicações computacionais voltadas para o auxílio ao diagnóstico (Computer-Aided Diagnosis - CAD) estão se tornando cada vez mais freqüentes. O objetivo dessas aplicações é fornecer ao profissional da área médica ferramentas que auxiliem na detecção precoce de patologias diversas. Nesse contexto, algoritmos que satisfaçam o interesse do usuário em encontrar imagens semelhantes a um caso específico podem ser desenvolvidos. Essas buscas devem ser feitas por similaridade, considerando a informação visual da imagem e não utilizando os recursos do processo convencional de busca textual, o qual compara parâmetros fornecidos pelo usuário com valores de atributos armazenados. As técnicas que permitem esse desenvolvimento são descritas na literatura como recuperação de imagens baseada em conteúdo (Content-Based Image Retrieval - CBIR). O maior desafio nessa abordagem é determinar o conjunto de características que descrevem o conteúdo da imagem adequadamente. No presente trabalho foram implementados algoritmos para extrair as características das imagens médicas utilizando as transformadas Wavelet e Wavelet Packet. A transformada Wavelet Packet tem maior capacidade para distinguir as freqüências quando comparada com a transformada Wavelet \"tradicional\". Esse estudo explora tal propriedade e analisa o desempenho dessas abordagens matemáticas na recuperação das imagens médicas por conteúdo. Ao final do estudo pôde-se estabelecer um comparativo entre os resultados obtidos com os vetores gerados a partir dos dados extraídos por ambas transformadas. Considerando-se que na área médica a precisão na obtenção das informações tem importância fundamental, a transformada Wavelet Packet revelou vantagens relevantes sobre os métodos tradicionais que aplicam a transformada Wavelet. Gráficos recall x precision e confusion matrix forneceram medidas da eficácia de recuperação. / Computer-Aided Diagnosis (CAD) applications are becoming more frequent each day. This application\'s objective is to provide tools for the medical professional that help in the precocious detection of different pathologies. On this context, algorithms that satisfy the user interest to find similar images related to a singular case can be developed. Such searches must be done considering the visual information instead of using common resources employed in textual conventional procces\'s searches, which compares parameters provide by the user to attribute\'s values stored. The techniques that admit such development are depicted in the literature as Content-Based Image Retrieval (CBIR). The great challenge here is to define the features that represent the image appropriately. In the present research were implemented algorithms to extract the images features using the Wavelet transform and Wavelet Packet transform. A Wavelet Packet transform distinguish frequencies better than the \"tradicional\" Wavelet transform. Therefore this study explores such properties and analyze the both mathematics approaches performance in the medical images retrieval. A comparative can be estabilished between the results obtained with the vectors produced using extracted data in both transforms. Considering that in the medical area the precision to obtain informations has fundamental importance, the Wavelet Packet transform revealed relevant advantages compared to the traditional methods that use the Wavelet transform. Recall x precision graphs and confusion matrix provides retrieval efficiency measures.