Fundação de Amparo a Pesquisa do Estado de Minas Gerais / Image representation in Content Based Image Retrieval systems is a fundamental task. The results obtained by these systems strongly depend on the choice of features selected to represent an image. Works in the literature show that intelligent techniques are used to minimize the semantic gap between the limited power of machine interpretation and human subjectivity. In this work the use of artificial neural networks to characterize images in a high-level space from an initial characterization based on low-level features (color, shape and texture) is proposed. Experiments on 3 databases of various kinds, one with general images (BD-12750 ), one with texture images (Vistex-167 ) and other with buildings (ZuBuD) are performed to exemplify the application of the method and to show the effectiveness of the model. Furthermore, the application of the proposed method in the high-level characterization of complex motions patterns is presented. / Em sistemas de Recuperação de Imagens Baseada em Conteúdo a representação das imagens desempenham um papel fundamental. Os resultados obtidos por esses sistemas dependem fortemente da escolha das características selecionadas para representar uma imagem. Trabalhos existentes na literatura evidenciam que técnicas inteligentes conseguem minimizar o gap- semântico existente entre o poder de interpretação limitado das máquinas e a subjetividade humana. Neste trabalho é proposto o uso das redes neurais artificiais para caracterizar imagens neurosemânticamente à partir de uma caracterização inicial baseada em características de baixo nível (cor, forma e textura). Testes em 3 bases de dados de naturezas diferentes, um de imagens mais gerais (BD-12750 ), um de texturas (Vistex-167 ) e outro de prédios (ZuBuD) exemplificam a aplicação do método como também mostram a eficácia do modelo. Ainda é apresentada a aplicação do método proposto na caracterização neurosemântica de movimentos complexos em vídeos. / Mestre em Ciência da Computação

Este trabalho foi desenvolvido com o intuito de se estabelecer uma metodologia para a classificação das cores de imagens digitais em cores perceptuais para se gerar um vetor de características que permita recuperar imagens através de seu conteúdo em uma base de dados. Em trabalhos e estudos correlatos analisados, as metodologias de agrupamento das diversas cores possíveis de uma imagem não permitem uma associação entre a cor digitalizada e a cor percebida por seres humanos. Estudos mostram que a maioria das culturas humanas associam às cores apenas onze termos: vermelho, amarelo, violeta, azul, verde, rosa, marrom, preto, branco, laranja e cinza. Este trabalho propõe, portanto, uma metodologia baseada em regras da lógica fuzzy, que permite associar a todas as possíveis cores de imagens digitais uma das onze cores culturais definidas, criando assim um histograma perceptual de cores. Isso permitiu a geração de um vetor de características para a recuperação de imagens baseada em conteúdo em uma base de dados. / This work aims at establishing a digital image classification methodology based on perceptual colors, by generating a feature vector that allows retrieving images from a database by their content. In related works the methodologies of grouping the diverse possible colors of an image do not allow associate digitized colors and those colors perceived by human beings. Studies show that the majority of human being culture associates only eleven terms to all the possible colors: red, yellow, blue, green, pink, brown, black, white, purple, orange and gray. This work purpose a methodology based on fuzzy logic that allows to associate the eleven cultural color terms with all of digitized colors by a perceptual color histogram. The image color quantization generates a feature vector used for content-based image retrieval. The results show that it is possible to use the perceptual color histogram for CBIR and in the semantic gap reduction.

O hipocampo é uma estrutura cerebral que possui importância primordial para o sistema de memória humana. Alterações no seus tecidos levam a doenças neurodegenerativas, tais como: epilepsia, esclerose múltipla e demência, entre outras. Para medir a atrofia do hipocampo é necessário isolá-lo do restante do cérebro. A separação do hipocampo das demais partes do cérebro ajuda aos especialistas na análise e o entendimento da redução de seu volume e detecção de qualquer anomalia presente. A extração do hipocampo é principalmente realizada de modo manual, a qual é demorada, pois depende da interação do usuário. A segmentação automática do hipocampo é investigada como uma alternativa para contornar tais limitações. Esta dissertação de mestrado apresenta um novo método de segmentação automático, denominado Modelo de Nuvem de Similaridade (Similarity Cloud Model - SimCM). O processo de segmentação é dividido em duas etapas principais: i) localização por similaridade e ii) ajuste de nuvem. A primeira operação utiliza a nuvem para localizar a posição mais provável do hipocampo no volume destino. A segunda etapa utiliza a nuvem para corrigir o delineamento final baseada em um novo método de cálculo de readequação dos pesos das arestas. Nosso método foi testado em um conjunto de 235 MRI combinando imagens de controle e de pacientes com epilepsia. Os resultados alcançados indicam um rendimento superior tanto em efetividade (qualidade da segmentação) e eficiência (tempo de processamento), comparado com modelos baseados em grafos e com modelos Bayesianos. Como trabalho futuro, pretendemos utilizar seleção de características para melhorar a construção da nuvem e o delineamento dos tecidos / The hippocampus is a particular structure that plays a main role in human memory systems. Tissue modifications of the hippocampus lead to neurodegenerative diseases as epilepsy, multiple sclerosis, and dementia, among others. To measure hippocampus atrophy, it is crucial to get its isolated representation from the whole brain volume. Separating the hippocampus from the brain helps physicians in better analyzing and understanding its volume reduction, and detecting any abnormal behavior. The extraction of the hippocampus is dominated by manual segmentation, which is time consuming mainly because it depends on user interaction. Therefore, automatic segmentation of the hippocampus has being investigated as an alternative solution to overcome such limitations. This master dissertation presents a new automatic segmentation method called Similarity Cloud Model (SimCM) based on hippocampus feature extraction. The segmentation process consists of two main operations: i) localization by similarity, and ii) cloud adjustment. The first operation uses the cloud to localize the most probable position of the hippocampus in a target volume. The second process invokes the cloud to correct the final labeling, based on a new method for arc-weight re-adjustment. Our method has been tested in a dataset of 235 MRIs combining healthy and epileptic patients. Results indicate superior performance, in terms of effectiveness (segmentation quality) and efficiency (processing time), in comparison with similar graph-based and Bayesian-based models. As future work, we intend to use feature selection to improve cloud construction and tissue delineation

Com o crescente aumento no número de imagens geradas em mídias digitais surgiu a necessidade do desenvolvimento de novas técnicas de recuperação desses dados. Um critério de busca que pode ser utilizado na recuperação das imagens é o da dissimilaridade, no qual o usuário deseja recuperar as imagens semelhantes à uma imagem de consulta. Para a realização das consultas são empregados vetores de características extraídos das imagens e funções de distância para medir a dissimilaridade entre pares desses vetores. Infelizmente, a busca por conteúdo de imagens em consultas simples tende a gerar resultados que não correspondem ao interesse do usuário misturados aos resultados significativos encontrados, pois em geral há uma descontinuidade semântica entre as características extraídas automaticamente e a subjetividade da interpretação humana. Com o intuito de tratar esse problema, diversos métodos foram propostos para a diminuição da descontinuidade semântica. O foco principal desta tese é o desenvolvimento de métodos escaláveis para a redução da descontinuidade semântica em sistemas recuperação de imagens por conteúdo em tempo real. Nesta sentido, são apresentados: a formalização de consultas por similaridade que permitem a utilização de múltiplos centros de consulta em espaços métricos como base para métodos de realimentação de relevância; um método exato para otimização dessas consultas nesses espaços; e um modelo para tratamento da diversidade em consultas por similaridade e heurísticas para sua otimização / The increasing number of images captured in digital media fostered the developmet of new methods for the recovery of these images. Dissimilarity is a criteria that can be used for image retrieval, where the results are images that are similar to a given reference. The queries are based on feature vectors automatically extracted from the images and on distance functions to measure the dissimilarity between pair of vectors. Unfortunately, the search for images in simple queries may result in images that do not fulfill the user interest together with meaningful images, due to the semantic gap between the image features and to the subjectivity of the human interpretation. This problem leaded to the development of many methods to deal with the semantic gap. The focus of this thesis is the development of scalable methods aiming the semantic gap reduction in real time for content-based image retrieval systems. For this purpose, we present the formal definition of similarity queries based on multiple query centers in metric spaces to be used in relevance feedback methods, an exact method to optimize these queries and a model to deal with diversity in nearest neighbor queries including heuristics for its optimization

A recuperação de imagens baseada em conteúdo (Content-based Image Retrieval - CBIR) embasa-se sobre dois aspectos primordiais, um extrator de características o qual deve prover as características intrínsecas mais significativas dos dados e uma função de distância a qual quantifica a similaridade entre tais dados. O grande desafio é justamente como alcançar a melhor integração entre estes dois aspectos chaves com intuito de obter maior precisão nas consultas por similaridade. Apesar de inúmeros esforços serem continuamente despendidos para o desenvolvimento de novas técnicas de extração de características, muito pouca atenção tem sido direcionada à importância de uma adequada associação entre a função de distância e os extratores de características. A presente Dissertação de Mestrado foi concebida com o intuito de preencher esta lacuna. Para tal, foi realizada a análise do comportamento de diferentes funções de distância com relação a tipos distintos de vetores de características. Os três principais tipos de características intrínsecas às imagens foram analisados, com respeito a distribuição de cores, textura e forma. Além disso, foram propostas duas novas técnicas para realização de seleção de características com o desígnio de obter melhorias em relação à precisão das consultas por similaridade. A primeira técnica emprega regras de associação estatísticas e alcançou um ganho de até 38% na precisão, enquanto que a segunda técnica utilizando a entropia de Shannon alcançou um ganho de aproximadamente 71% ao mesmo tempo em que reduz significantemente a dimensionalidade dos vetores de características. O presente trabalho também demonstra que uma adequada utilização das funções de distância melhora efetivamente os resultados das consultas por similaridade. Conseqüentemente, desdobra novos caminhos para realçar a concepção de sistemas CBIR / The retrieval of images by visual content relies on a feature extractor to provide the most meaningful intrinsic characteristics (features) from the data, and a distance function to quantify the similarity between them. A challenge in this field supporting content-based image retrieval (CBIR) to answer similarity queries is how to best integrate these two key aspects. There are plenty of researching on algorithms for feature extraction of images. However, little attention have been paid to the importance of the use of a well-suited distance function associated to a feature extractor. This Master Dissertation was conceived to fill in this gap. Therefore, herein it was investigated the behavior of different distance functions regarding distinct feature vector types. The three main types of image features were evaluated, regarding color distribution, texture and shape. It was also proposed two new techniques to perform feature selection over the feature vectors, in order to improve the precision when answering similarity queries. The first technique employed statistical association rules and achieve up to 38% gain in precision, while the second one employing the Shannon entropy achieved 71%, while siginificantly reducing the size of the feature vector. This work also showed that the proper use of a distance function effectively improves the similarity query results. Therefore, it opens new ways to enhance the acceptance of CBIR systems

Nos últimos anos o mundo tem vivenciado uma avalanche de novas tecnologias para auxílio ao diagnóstico médico. Esses esforços buscam um diagnóstico rápido e preciso através de exames e informações sobre a condição física do paciente. Através do uso de imagens médicas, a radiologia busca a visualização de órgãos ou estruturas internas do corpo humano para encontrar respostas às suspeitas de problemas físicos expressos por sinais e sintomas relatados pelo paciente. Nessa área, os Sistemas de Comunicação e Armazenamento de Imagens (PACS) têm ajudado no armazenamento e organização do crescente número de imagens geradas pelos exames realizados nos hospitais. Trabalhos de pesquisa médica têm evidenciado o potencial de uso dessas imagens como auxílio à prática da Medicina Baseada em Casos Similares (MBCS). Por esse motivo, há na literatura um esforço contínuo em desenvolver técnicas computacionais para recuperação de imagens baseada em conteúdos similares (CBIR) em grandes conjuntos de dados. As consultas por similaridade são essenciais para apoiar a prática da MBCS e a descoberta de comportamentos de lesões causadas por diversas doenças. A evolução e intensificação das pesquisas em CBIR têm encontrado vários desafios. Um desses é a divergência entre os resultados obtidos automaticamente e aqueles esperados pelos radiologistas (descontinuidade semântica). Outro desafio é a falta de estudos sobre a viabilidade clínica dessas ferramentas como forma de auxílio ao diagnóstico. Esses obstáculos são dois dos principais responsáveis pela não efetivação dessa tecnologia no ambiente médico-hospitalar. Mediante o exposto acima, este trabalho de pesquisa propõe um mecanismo para contornar essa descontinuidade semântica e ao mesmo tempo aproximar o CBIR do ambiente real de aplicação. A contribuição principal deste trabalho foi o desenvolvimento de uma metodologia baseada em parâmetros perceptuais que aproximam o sistema ao nível de percepção do usuário médico. Em seguida, foi realizado um estudo sobre a viabilidade clínica do sistema CBIR no Hospital das Clínicas de Ribeirão Preto. A metodologia proposta foi aplicada e os resultados comprovaram a aplicabilidade de Sistemas CBIR como ferramenta de auxílio ao diagnóstico em um ambiente clínico real / In recent years the world has experienced an avalanche of new technologies to aid medical diagnosis. These efforts seek a quick and accurate diagnosis through exams and information about the patient\'s physical condition. The radiology studies the visualization of the organs or structures through the use of images. In this area, the Picture Archiving and Communication Systems (PACS) have helped in the storage and organization of the growing number of images generated by exams performed in hospitals. Medical research papers have shown the potential use of these images as an aid to the Similar Case-Based Reasoning (SCBR) practice in Medicine. For this reason, there is an ongoing effort in the literature to develop computational techniques for Content-Based Image Retrieval (CBIR) in large data sets. Similarity queries are essential to support the practice of SCBR. The evolution and intensification of research in CBIR have encountered several challenges. One of these is the discrepancy between the results obtained automatically and those expected by radiologists (semantic gap). Another challenge is the lack of studies on the clinical viability of these tools as a way to assist in diagnosis. These obstacles are the two main responsible for reservation in using this technology in the medical hospital environment. Considering this scenario, this research proposes a mechanism to overcome this semantic gap and bring the real environment to the CBIR application. The main contribution for this research was the development of a methodology based on Perceptual Parameters to approximate the system to the level of user perception. Then we conducted a study on the clinical viability of a CBIR system at the Clinical Hospital of the University of São Paulo at Ribeirão Preto. The proposed methodology was applied and the results showed the applicability of CBIR systems as a computer aided diagnosis tool in a real clinical environment

Neste trabalho são apresentados dois novos descritores de forma para tarefas de recuperação de imagens por conteúdo (CBIR) e análise de formas, que são construídos sobre uma extensão do conceito de tensor scale baseada na Transformada de Distância Euclidiana (EDT). Primeiro, o algoritmo de tensor scale é utilizado para extrair informações da forma sobre suas estruturas locais (espessura, orientação e anisotropia) representadas pela maior elipse contida em uma região homogênea centrada em cada pixel da imagem. Nos novos descritores, o limite do intervalo das orientações das elipses do modelo de tensor scale é estendido de 180º para 360º, de forma a melhor discriminar a descrição das estruturas locais. Então, com base em diferentes abordagens de amostragem, visando resumir informações mais relevantes, os novos descritores são construídos. No primeiro descritor proposto, Tensor Scale Sector (TSS), a distribuição das orientações relativas das estruturas locais em setores circulares é utilizada para compor um vetor de características de tamanho fixo, para uma caracterização de formas baseada em região. No segundo descritor, o Tensor Scale Band (TSB), foram considerados histogramas das orientações relativas extraídos de bandas concêntricas, formando também um vetor de características de tamanho fixo, com uma função de distância de tempo linear. Resultados experimentais com diferentes bases de formas (MPEG-7 e MNIST) são apresentados para ilustrar e validar os métodos. TSS demonstra resultados comparáveis aos métodos estado da arte, que geralmente dependem de algoritmos custosos de otimização de correspondências. Já o TSB, com sua função de distância em tempo linear, se demonstra como uma solução adequada para grandes coleções de formas. / In this work, two new shape descriptors are proposed for tasks in Content-Based Image Retrieval (CBIR) and Shape Analysis tasks, which are built upon an extended tensor scale based on the Euclidean Distance Transform (EDT). First, the tensor scale algorithm is applied to extract shape attributes from its local structures (thickness, orientation, and anisotropy) as represented by the largest ellipse within a homogeneous region centered at each image pixel. In the new descriptors, the upper limit of the interval of local orientation of tensor scale ellipses is extended from 180º to 360º, to better discriminate the description of local structures. Then, the new descriptors are built based on different sampling approaches, aiming to summarize the most relevant features. In the first proposed descriptor, Tensor Scale Sector descriptor (TSS), the local distributions of relative orientations within circular sectors are used to compose a fixed-length feature vector, for a region-based shape characterization. For the second method, the Tensor Scale Band (TSB) descriptor, histograms of relative orientations are considered for each circular concentric band, to also compose a fixed-length feature vector, with linear time distance function for matching. Experimental results for different shape datasets (MPEG-7 and MNIST) are presented to illustrate and validate the methods. TSS can achieve high retrieval values comparable to state-of-the-art methods, which usually rely on time-consuming correspondence optimization algorithms, but uses a simpler and faster distance function, while the even faster linear complexity of TSB leads to a suitable solution for very large shape collections.

Traditionally, local shape descriptors or color and texture based descriptors are used to describe the content of images. Although, these solutions achieving good results, they are not able to distinguish scenes that contain objects with the same colors, but with a different spatial organization or do not supports partial matching. In this work we focus on a particular case of the partial matching that is to find individual objects in images that contain various objects. Since the color is one of the most visually distinguishable properties, we propose a new descriptor based only on color able to find pictures of objects that are contained in other images. Although our descriptor has shown better results when compared to related works, this new color descriptor is not able to discriminate objects topologically different but having the same colors. To overcome this problem, we also propose a new approach to the partial matching of images that combine color and topological features on a single descriptor. This new descriptor, first performs a simplification process of the original image, which identifies the color regions that make up the image. Then, we represent the spatial information among the color regions using a topological graph, where vertices represent the color regions and the edges represent the spatial connections between them. To calculate the descriptor from this graph representation, we use the spectral theory of graphs, avoiding the need to make a direct comparison between graphs. To support the partial matching, we propose a decomposition of the main graph into several subgraphs, and also calculate descriptors for these subgraphs. / Tradicionalmente, descritores de forma, ou descritores baseados em cor e textura, são utilizados para descrever o conteúdo visual das imagens. Embora essas abordagens apresentem bons resultados, elas não são capazes de diferenciar adequadamente imagens que contêm objetos com as mesmas cores, mas com organização espacial diferente ou não suportam a pesquisa parcial de imagens. Neste trabalho focamos em um caso particular da pesquisa parcial de imagens, que é encontrar objetos em imagens que contenham vários objetos, não deixando de lado a pesquisa total (encontrar imagens similares à original). Dado que a cor é uma das propriedades visuais mais discriminativas, propomos um novo descritor baseado somente em cor capaz de encontrar imagens de objetos que estão contidos em outras imagens. Embora tenha apresentado melhores resultados quando comparado a trabalhos correlatos, esse novo descritor de cor não é capaz de discriminar objetos topologicamente diferentes mas que possuam as mesmas cores. Com o intuito de resolver esse problema, também propomos uma nova abordagem para a recuperação parcial de imagens que combina características topológicas e de cor em um único descritor. Esse novo descritor primeiramente realiza um processo de simplificação da imagem original, onde são identificadas as regiões de cor que compõem a imagem. Após esse processo de simplificação, a organização espacial das regiões de cor previamente identificadas é representada por meio de um grafo topológico, onde os vértices representam as regiões de cor e as arestas representam as conexões entre essas regiões. O descritor topológico é então calculado a partir do grafo de topologia utilizando a teoria espectral de grafos, evitando a necessidade de se realizar uma comparação direta entre grafos. Para suportar a pesquisa parcial de imagens, é realizada uma decomposição do grafo principal em diversos subgrafos. / Mestre em Ciência da Computação