L’objectif principal de cette thèse est la découverte d’objets visuels fréquents dans de grandes collections multimédias (images ou vidéos). Comme dans de nombreux domaines (finance, génétique, . . .), il s’agit d’extraire une connaissance de manière automatique ou semi-automatique en utilisant la fréquence d’apparition d’un objet au sein d’un corpus comme critère de pertinence. Une première contribution de la thèse est de fournir un formalisme aux problèmes de découverte et de fouille d’instances d’objets visuels fréquents. La deuxième contribution de la thèse est une méthode générique de résolution de ces deux types de problème reposant d’une part sur un processus itératif d’échantillonnage d’objets candidats et d’autre part sur une méthode efficace d’appariement d’objets rigides à large échelle. La troisième contribution de la thèse s’attache à construire une fonction de vraisemblance s’approchant au mieux de la distribution parfaite, tout en restant scalable et efficace. Les expérimentations montrent que contrairement aux méthodes de l’état de l’artnotre approche permet de découvrir efficacement des objets de très petite taille dans des millions d’images. Pour finir, plusieurs scénarios d’exploitation des graphes visuels produits par notre méthode sont proposées et expérimentés. Ceci inclut la détection d’évènements médiatiques transmédias et la suggestion de requêtes visuelles. / The main goal of this thesis is to discover frequent visual objects in large multimedia collections. As in many areas (finance, genetics, . . .), it consists in extracting a knowledge, using the occurence frequency of an object in a collection as a relevance criterion. A first contribution is to provide a formalism to the problems of mining and discovery of frequent visual objects. The second contribution is a generic method to solve these two problems, based on an iterative sampling process, and on an efficient and scalable rigid objects matching. The third contribution of this work focuses on building a likelihood function close to the perfect distribution. Experiments show that contrary to state-of-the-art methods, our approach allows to discover efficiently very small objects in several millions images. Finally, several applications are presented, including trademark logos discovery, transmedia events detection or visual-based query suggestion.

Neste trabalho são apresentados dois novos descritores de forma para tarefas de recuperação de imagens por conteúdo (CBIR) e análise de formas, que são construídos sobre uma extensão do conceito de tensor scale baseada na Transformada de Distância Euclidiana (EDT). Primeiro, o algoritmo de tensor scale é utilizado para extrair informações da forma sobre suas estruturas locais (espessura, orientação e anisotropia) representadas pela maior elipse contida em uma região homogênea centrada em cada pixel da imagem. Nos novos descritores, o limite do intervalo das orientações das elipses do modelo de tensor scale é estendido de 180º para 360º, de forma a melhor discriminar a descrição das estruturas locais. Então, com base em diferentes abordagens de amostragem, visando resumir informações mais relevantes, os novos descritores são construídos. No primeiro descritor proposto, Tensor Scale Sector (TSS), a distribuição das orientações relativas das estruturas locais em setores circulares é utilizada para compor um vetor de características de tamanho fixo, para uma caracterização de formas baseada em região. No segundo descritor, o Tensor Scale Band (TSB), foram considerados histogramas das orientações relativas extraídos de bandas concêntricas, formando também um vetor de características de tamanho fixo, com uma função de distância de tempo linear. Resultados experimentais com diferentes bases de formas (MPEG-7 e MNIST) são apresentados para ilustrar e validar os métodos. TSS demonstra resultados comparáveis aos métodos estado da arte, que geralmente dependem de algoritmos custosos de otimização de correspondências. Já o TSB, com sua função de distância em tempo linear, se demonstra como uma solução adequada para grandes coleções de formas. / In this work, two new shape descriptors are proposed for tasks in Content-Based Image Retrieval (CBIR) and Shape Analysis tasks, which are built upon an extended tensor scale based on the Euclidean Distance Transform (EDT). First, the tensor scale algorithm is applied to extract shape attributes from its local structures (thickness, orientation, and anisotropy) as represented by the largest ellipse within a homogeneous region centered at each image pixel. In the new descriptors, the upper limit of the interval of local orientation of tensor scale ellipses is extended from 180º to 360º, to better discriminate the description of local structures. Then, the new descriptors are built based on different sampling approaches, aiming to summarize the most relevant features. In the first proposed descriptor, Tensor Scale Sector descriptor (TSS), the local distributions of relative orientations within circular sectors are used to compose a fixed-length feature vector, for a region-based shape characterization. For the second method, the Tensor Scale Band (TSB) descriptor, histograms of relative orientations are considered for each circular concentric band, to also compose a fixed-length feature vector, with linear time distance function for matching. Experimental results for different shape datasets (MPEG-7 and MNIST) are presented to illustrate and validate the methods. TSS can achieve high retrieval values comparable to state-of-the-art methods, which usually rely on time-consuming correspondence optimization algorithms, but uses a simpler and faster distance function, while the even faster linear complexity of TSB leads to a suitable solution for very large shape collections.

Este trabalho foi desenvolvido com o intuito de se estabelecer uma metodologia para a classificação das cores de imagens digitais em cores perceptuais para se gerar um vetor de características que permita recuperar imagens através de seu conteúdo em uma base de dados. Em trabalhos e estudos correlatos analisados, as metodologias de agrupamento das diversas cores possíveis de uma imagem não permitem uma associação entre a cor digitalizada e a cor percebida por seres humanos. Estudos mostram que a maioria das culturas humanas associam às cores apenas onze termos: vermelho, amarelo, violeta, azul, verde, rosa, marrom, preto, branco, laranja e cinza. Este trabalho propõe, portanto, uma metodologia baseada em regras da lógica fuzzy, que permite associar a todas as possíveis cores de imagens digitais uma das onze cores culturais definidas, criando assim um histograma perceptual de cores. Isso permitiu a geração de um vetor de características para a recuperação de imagens baseada em conteúdo em uma base de dados. / This work aims at establishing a digital image classification methodology based on perceptual colors, by generating a feature vector that allows retrieving images from a database by their content. In related works the methodologies of grouping the diverse possible colors of an image do not allow associate digitized colors and those colors perceived by human beings. Studies show that the majority of human being culture associates only eleven terms to all the possible colors: red, yellow, blue, green, pink, brown, black, white, purple, orange and gray. This work purpose a methodology based on fuzzy logic that allows to associate the eleven cultural color terms with all of digitized colors by a perceptual color histogram. The image color quantization generates a feature vector used for content-based image retrieval. The results show that it is possible to use the perceptual color histogram for CBIR and in the semantic gap reduction.

Úlceras de pele são causadas devido à deficiência na circulação sanguínea. O diagnóstico é feito pela análise visual das regiões afetadas. A quantificação da distribuição de cores da lesão, por meio de técnicas de processamento de imagens pode auxiliar na caracterização e análise da dinâmica do processo patológico e resposta ao tratamento. O processamento de imagens de úlceras dermatológicas envolve etapas relacionadas a segmentação, caracterização e indexação. Esta análise é importante para classificação, recuperação de imagens similares e acompanhamento da evolução de uma lesão. Este trabalho apresenta um estudo sobre técnicas de segmentação e caracterização de imagens coloridas de úlceras de pele, baseadas nos modelos de cores RGB, HSV, L*a*b* e L*u*v*, utilizando suas componentes na extração de informações de textura e cor. Foram utilizadas técnicas de Aprendizado de Máquina e algoritmos matemáticos para a segmentação e extração de atributos, utilizando uma base de dados com 172 imagens. Nos testes de recuperação, foram utilizadas diferentes métricas de distância para avaliação do desempenho e técnicas de seleção de atributos. Os resultados obtidos evidenciam bom potencial para apoio ao diagnóstico e acompanhamento da evolução do tratamento com valores de até 75% de precisão para as técnicas de recuperação, 0,9 de área embaixo da curva receiver-operating-characteristic na classificação e 0,04 de erro médio quadrático entre a composição de cores da imagem segmentada automaticamente e a segmentada manualmente. Nos testes utilizando seleção de atributos, foi observado uma redução nos valores de precisão de recuperação (60%) e valores similares nos tetes de classificação (0,85). / Skin ulcers are caused due to deficiency in the bloodstream. The diagnosis is made by a visual analysis of the affected area. Quantification of color distribution of the lesion by image processing techniques can aid in the characterization and response to treatment. The image processing steps involves skin ulcers related to segmentation, characterization and indexing. This analysis is important for classification, image retrieval and similar tracking the evolution of an injury. This project presents a study of segmentation techniques and characterization of color images of dermatological skin ulcers, based on the color models RGB, HSV, L*a*b* and L*u*v*, using their components in the extraction of texture and color information. Were used Machine Learning techniques, mathematical algorithms for segmentation and extraction of attributes, using a database containing 172 images in two versions. In recovery tests were used different distance metrics for performance evaluation and techniques of features selection. The results show good potential to support the diagnosis and monitoring of treatment progress with values up to 75% precision in recovery techniques, 0.9 area under the curve receiver-operating-characteristic) in classification, and 0.04 mean square error between the color composition of the automatically segmented image and the manually segmented image. In tests utilizing feature selection was observed a decrease in precision values of image retrieval (60%) and similar values in the classification\'s tests (0.85).

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / One of the main forms of diagnosis used nowadays matches the exams performed by analysis of diagnostic images. Due to a growing request for this kind of diagnostic and the repetitive manual procedure of the used methods by radiologists new ways are emerging to aid procedures. A tool that can help the physician to report a diagnosis is searching similar cases for that which is being held with the main function of increased safety to the radiologist in his notes. For this, a modular architecture for content-based diagnostic image retrieval was developed as a tool to aid diagnosis. Through the DICOM SR standard used to store radiological findings and measurements - commonly from CAD - was implemented in a PACS environment a structure that will provide storage and query contents extracted from diagnostic images. The contents extraction from images can be done by different processing methods that generate different parameters for storage and retrieval. The project was developed in partnership with a provider of solutions for PACS and the Applied Computing Laboratory of the Federal University of Santa Maria. / Uma das principais formas de diagnóstico utilizadas atualmente corresponde aos exames realizados por meio da análise de imagens diagnósticas. Devido à demanda crescente por esse tipo de exame e ao processo manual e repetitivo dos métodos utilizados pelos médicos radiologistas, começam a surgir novos meios para auxiliar os procedimentos. Uma ferramenta que pode ajudar o médico na formulação de diagnósticos é a busca de casos semelhantes àquele que está sendo realizado, tendo como função principal conferir maior segurança ao radiologista em seus apontamentos. Para tanto, foi desenvolvida uma arquitetura modular para recuperação de imagens diagnósticas baseada em conteúdo como uma ferramenta de auxílio a diagnósticos. Através do padrão DICOM SR, utilizado para armazenar achados radiológicos e mensurações - comumente provenientes de CAD - implementou-se, em um ambiente PACS, uma estrutura capaz de permitir o armazenamento e consulta de características extraídas das imagens diagnósticas. A extração de características das imagens pode ocorrer através de diferentes métodos de processamento que, por sua vez, geram diferentes parâmetros para armazenamento e consulta. O projeto foi desenvolvido em conjunto com uma empresa fornecedora de soluções de PACS e com o Laboratório de Computação Aplicada da Universidade Federal de Santa Maria.

Este trabalho foi desenvolvido com o intuito de se estabelecer uma metodologia para a classificação das cores de imagens digitais em cores perceptuais para se gerar um vetor de características que permita recuperar imagens através de seu conteúdo em uma base de dados. Em trabalhos e estudos correlatos analisados, as metodologias de agrupamento das diversas cores possíveis de uma imagem não permitem uma associação entre a cor digitalizada e a cor percebida por seres humanos. Estudos mostram que a maioria das culturas humanas associam às cores apenas onze termos: vermelho, amarelo, violeta, azul, verde, rosa, marrom, preto, branco, laranja e cinza. Este trabalho propõe, portanto, uma metodologia baseada em regras da lógica fuzzy, que permite associar a todas as possíveis cores de imagens digitais uma das onze cores culturais definidas, criando assim um histograma perceptual de cores. Isso permitiu a geração de um vetor de características para a recuperação de imagens baseada em conteúdo em uma base de dados. / This work aims at establishing a digital image classification methodology based on perceptual colors, by generating a feature vector that allows retrieving images from a database by their content. In related works the methodologies of grouping the diverse possible colors of an image do not allow associate digitized colors and those colors perceived by human beings. Studies show that the majority of human being culture associates only eleven terms to all the possible colors: red, yellow, blue, green, pink, brown, black, white, purple, orange and gray. This work purpose a methodology based on fuzzy logic that allows to associate the eleven cultural color terms with all of digitized colors by a perceptual color histogram. The image color quantization generates a feature vector used for content-based image retrieval. The results show that it is possible to use the perceptual color histogram for CBIR and in the semantic gap reduction.

Úlceras de pele são causadas devido à deficiência na circulação sanguínea. O diagnóstico é feito pela análise visual das regiões afetadas. A quantificação da distribuição de cores da lesão, por meio de técnicas de processamento de imagens pode auxiliar na caracterização e análise da dinâmica do processo patológico e resposta ao tratamento. O processamento de imagens de úlceras dermatológicas envolve etapas relacionadas a segmentação, caracterização e indexação. Esta análise é importante para classificação, recuperação de imagens similares e acompanhamento da evolução de uma lesão. Este trabalho apresenta um estudo sobre técnicas de segmentação e caracterização de imagens coloridas de úlceras de pele, baseadas nos modelos de cores RGB, HSV, L*a*b* e L*u*v*, utilizando suas componentes na extração de informações de textura e cor. Foram utilizadas técnicas de Aprendizado de Máquina e algoritmos matemáticos para a segmentação e extração de atributos, utilizando uma base de dados com 172 imagens. Nos testes de recuperação, foram utilizadas diferentes métricas de distância para avaliação do desempenho e técnicas de seleção de atributos. Os resultados obtidos evidenciam bom potencial para apoio ao diagnóstico e acompanhamento da evolução do tratamento com valores de até 75% de precisão para as técnicas de recuperação, 0,9 de área embaixo da curva receiver-operating-characteristic na classificação e 0,04 de erro médio quadrático entre a composição de cores da imagem segmentada automaticamente e a segmentada manualmente. Nos testes utilizando seleção de atributos, foi observado uma redução nos valores de precisão de recuperação (60%) e valores similares nos tetes de classificação (0,85). / Skin ulcers are caused due to deficiency in the bloodstream. The diagnosis is made by a visual analysis of the affected area. Quantification of color distribution of the lesion by image processing techniques can aid in the characterization and response to treatment. The image processing steps involves skin ulcers related to segmentation, characterization and indexing. This analysis is important for classification, image retrieval and similar tracking the evolution of an injury. This project presents a study of segmentation techniques and characterization of color images of dermatological skin ulcers, based on the color models RGB, HSV, L*a*b* and L*u*v*, using their components in the extraction of texture and color information. Were used Machine Learning techniques, mathematical algorithms for segmentation and extraction of attributes, using a database containing 172 images in two versions. In recovery tests were used different distance metrics for performance evaluation and techniques of features selection. The results show good potential to support the diagnosis and monitoring of treatment progress with values up to 75% precision in recovery techniques, 0.9 area under the curve receiver-operating-characteristic) in classification, and 0.04 mean square error between the color composition of the automatically segmented image and the manually segmented image. In tests utilizing feature selection was observed a decrease in precision values of image retrieval (60%) and similar values in the classification\'s tests (0.85).

Neste trabalho são apresentados dois novos descritores de forma para tarefas de recuperação de imagens por conteúdo (CBIR) e análise de formas, que são construídos sobre uma extensão do conceito de tensor scale baseada na Transformada de Distância Euclidiana (EDT). Primeiro, o algoritmo de tensor scale é utilizado para extrair informações da forma sobre suas estruturas locais (espessura, orientação e anisotropia) representadas pela maior elipse contida em uma região homogênea centrada em cada pixel da imagem. Nos novos descritores, o limite do intervalo das orientações das elipses do modelo de tensor scale é estendido de 180º para 360º, de forma a melhor discriminar a descrição das estruturas locais. Então, com base em diferentes abordagens de amostragem, visando resumir informações mais relevantes, os novos descritores são construídos. No primeiro descritor proposto, Tensor Scale Sector (TSS), a distribuição das orientações relativas das estruturas locais em setores circulares é utilizada para compor um vetor de características de tamanho fixo, para uma caracterização de formas baseada em região. No segundo descritor, o Tensor Scale Band (TSB), foram considerados histogramas das orientações relativas extraídos de bandas concêntricas, formando também um vetor de características de tamanho fixo, com uma função de distância de tempo linear. Resultados experimentais com diferentes bases de formas (MPEG-7 e MNIST) são apresentados para ilustrar e validar os métodos. TSS demonstra resultados comparáveis aos métodos estado da arte, que geralmente dependem de algoritmos custosos de otimização de correspondências. Já o TSB, com sua função de distância em tempo linear, se demonstra como uma solução adequada para grandes coleções de formas. / In this work, two new shape descriptors are proposed for tasks in Content-Based Image Retrieval (CBIR) and Shape Analysis tasks, which are built upon an extended tensor scale based on the Euclidean Distance Transform (EDT). First, the tensor scale algorithm is applied to extract shape attributes from its local structures (thickness, orientation, and anisotropy) as represented by the largest ellipse within a homogeneous region centered at each image pixel. In the new descriptors, the upper limit of the interval of local orientation of tensor scale ellipses is extended from 180º to 360º, to better discriminate the description of local structures. Then, the new descriptors are built based on different sampling approaches, aiming to summarize the most relevant features. In the first proposed descriptor, Tensor Scale Sector descriptor (TSS), the local distributions of relative orientations within circular sectors are used to compose a fixed-length feature vector, for a region-based shape characterization. For the second method, the Tensor Scale Band (TSB) descriptor, histograms of relative orientations are considered for each circular concentric band, to also compose a fixed-length feature vector, with linear time distance function for matching. Experimental results for different shape datasets (MPEG-7 and MNIST) are presented to illustrate and validate the methods. TSS can achieve high retrieval values comparable to state-of-the-art methods, which usually rely on time-consuming correspondence optimization algorithms, but uses a simpler and faster distance function, while the even faster linear complexity of TSB leads to a suitable solution for very large shape collections.

Many applications lead to signals with nonnegative function values. Understanding the structure of the spaces of nonnegative signals is therefore of interest in many different areas. Hence, constructing effective representation spaces with suitable metrics and natural transformations is an important research topic. In this thesis, we present our investigations of the structure of spaces of nonnegative signals and illustrate the results with applications in the fields of multispectral color science and content-based image retrieval. The infinite-dimensional Hilbert space of nonnegative signals is conical and convex. These two properties are preserved under linear projections onto lower dimensional spaces. The conical nature of these coordinate vector spaces suggests the use of hyperbolic geometry. The special case of three-dimensional hyperbolic geometry leads to the application of the SU(1,1) or SO 2,1) groups. We introduce a new framework to investigate nonnegative signals. We use PCA-based coordinates and apply group theoretical tools to investigate sequences of signal coordinate vectors. We describe these sequences with oneparameter subgroups of SU(1,1) and show how to compute the one-parameter subgroup of SU(1,1) from a given set of nonnegative signals. In our experiments we investigate the following signal sequences: (i) blackbody radiation spectra; (ii) sequences of daylight/twilight spectra measured in Norrk¨oping, Sweden and in Granada, Spain; (iii) spectra generated by the SMARTS2 simulation program; and (iv) sequences of image histograms. The results show that important properties of these sequences can be modeled in this framework. We illustrate the usefulness with examples where we derive illumination invariants and introduce an efficient visualization implementation. Content-Based Image Retrieval (CBIR) is another topic of the thesis. In such retrieval systems, images are first characterized by descriptor vectors. Retrieval is then based on these content-based descriptors. Selection of contentbased descriptors and defining suitable metrics are the core of any CBIR system. We introduce new descriptors derived by using group theoretical tools. We exploit the symmetry structure of the space of image patches and use the group theoretical methods to derive low-level image filters in a very general framework. The derived filters are simple and can be used for multispectral images and images defined on different sampling grids. These group theoretical filters are then used to derive content-based descriptors, which will be used in a real implementation of a CBIR.

The research investigated whether a Latent Semantic Analysis (LSA)-based approach to image retrieval can map pixel intensity into a smaller concept space with good accuracy and reasonable computational cost. From a large set of computed tomography (CT) images, a retrieval query found all images for a particular patient based on semantic similarity. The effectiveness of the LSA retrieval was evaluated based on precision, recall, and F-score. This work extended the application of LSA to high-resolution CT radiology images. The images were chosen for their unique characteristics and their importance in medicine. Because CT images are intensity-only, they carry less information than color images. They typically have greater noise, higher intensity, greater contrast, and fewer colors than a raw RGB image. The study targeted level of intensity for image features extraction. The focus of this work was a formal evaluation of the LSA method in the context of large number of high-resolution radiology images. The study reported on preprocessing and retrieval time and discussed how reduction of the feature set size affected the results. LSA is an information retrieval technique that is based on the vector-space model. It works by reducing the dimensionality of the vector space, bringing similar terms and documents closer together. Matlab software was used to report on retrieval and preprocessing time. In determining the minimum size of concept space, it was found that the best combination of precision, recall, and F-score was achieved with 250 concepts (k = 250). This research reported precision of 100% on 100% of the queries and recall close to 90% on 100% of the queries with k=250. Selecting a higher number of concepts did not improve recall and resulted in significantly increased computational cost.