Rendre les données multimédias disponibles en ligne devient moins cher et plus pratique sur une base quotidienne, par exemple par les utilisateurs eux-mêmes. Des phénomènes du Web comme Facebook, Twitter et Flickr bénéficient de cette évolution. Ces phénomènes et leur acceptation accrue conduisent à une multiplication du nombre d’images disponibles en ligne. La taille cumulée de ces images souvent publiques et donc consultables, est de l’ordre de plusieurs zettaoctets. L’exécution d’une requête de similarité sur de tels volumes est un défi que la communauté scientifique commence à cibler. Une approche envisagée pour faire face à ce problème propose d’utiliser un système distribué et hétérogène de recherche d’images basé sur leur contenu (CBIRs). De nombreux problèmes émergent d’un tel scénario. Un exemple est l’utilisation de formats de métadonnées distincts pour décrire le contenu des images; un autre exemple est l’information technique et structurelle inégale. Les métriques individuelles qui sont utilisées par les CBIRs pour calculer la similarité entre les images constituent un autre exemple. Le calcul de bons résultats dans ce contexte s’avère ainsi une tàche très laborieuse qui n’est pas encore scientifiquement résolue. Le problème principalement abordé dans cette thèse est la recherche de photos de CBIRs similaires à une image donnée comme réponse à une requête multimédia distribuée. La contribution principale de cette thèse est la construction d’un réseau de CBIRs sensible à la sémantique des contenus (CBIRn). Ce CBIRn sémantique est capable de collecter et fusionner les résultats issus de sources externes spécialisées. Afin d’être en mesure d’intégrer de telles sources extérieures, prêtes à rejoindre le réseau, mais pas à divulguer leur configuration, un algorithme a été développé capable d’estimer la configuration d’un CBIRS. En classant les CBIRs et en analysant les requêtes entrantes, les requêtes d’image sont exclusivement transmises aux CBIRs les plus appropriés. De cette fac ̧on, les images sans intérêt pour l’utilisateur peuvent être omises à l’avance. Les images retournées cells sont considérées comme similaires par rapport à l’image donnée pour la requête. La faisabilité de l’approche et l’amélioration obtenue par le processus de recherche sont démontrées par un développement prototypique et son évaluation utilisant des images d’ImageNet. Le nombre d’images pertinentes renvoyées par l’approche de cette thèse en réponse à une requête image est supérieur d’un facteur 4.75 par rapport au résultat obtenu par un réseau de CBIRs predéfini. / Making multimedia data available online becomes less expensive and more convenient on a daily basis. This development promotes web phenomenons such as Facebook, Twitter, and Flickr. These phenomena and their increased acceptance in society in turn leads to a multiplication of the amount of available images online. This vast amount of, frequently public and therefore searchable, images already exceeds the zettabyte bound. Executing a similarity search on the magnitude of images that are publicly available and receiving a top quality result is a challenge that the scientific community has recently attempted to rise to. One approach to cope with this problem assumes the use of distributed heterogeneous Content Based Image Retrieval system (CBIRs). Following from this anticipation, the problems that emerge from a distributed query scenario must be dealt with. For example the involved CBIRs’ usage of distinct metadata formats for describing their content, as well as their unequal technical and structural information. An addition issue is the individual metrics that are used by the CBIRs to calculate the similarity between pictures, as well as their specific way of being combined. Overall, receiving good results in this environment is a very labor intensive task which has been scientifically but not yet comprehensively explored. The problem primarily addressed in this work is the collection of pictures from CBIRs, that are similar to a given picture, as a response to a distributed multimedia query. The main contribution of this thesis is the construction of a network of Content Based Image Retrieval systems that are able to extract and exploit the information about an input image’s semantic concept. This so called semantic CBIRn is mainly composed of CBIRs that are configured by the semantic CBIRn itself. Complementarily, there is a possibility that allows the integration of specialized external sources. The semantic CBIRn is able to collect and merge results of all of these attached CBIRs. In order to be able to integrate external sources that are willing to join the network, but are not willing to disclose their configuration, an algorithm was developed that approximates these configurations. By categorizing existing as well as external CBIRs and analyzing incoming queries, image queries are exclusively forwarded to the most suitable CBIRs. In this way, images that are not of any use for the user can be omitted beforehand. The hereafter returned images are rendered comparable in order to be able to merge them to one single result list of images, that are similar to the input image. The feasibility of the approach and the hereby obtained improvement of the search process is demonstrated by a prototypical implementation. Using this prototypical implementation an augmentation of the number of returned images that are of the same semantic concept as the input images is achieved by a factor of 4.75 with respect to a predefined non-semantic CBIRn.

Na última década observou-se grande interesse pra o desenvolvimento de técnicas para Recuperação de Imagens Baseada em Conteúdo devido à explosão na quantidade de imagens capturadas e à necessidade de armazenamento e recuperação dessas imagens. A área médica especificamente é um exemplo que gera um grande fluxo de informações, principalmente imagens digitais para a realização de diagnósticos. Porém um problema ainda permanecia sem solução que tratava-se de como atingir a similaridade baseada na percepção do usuário, uma vez que para que se consiga uma recuperação eficaz, deve-se caracterizar e quantificar o melhor possível tal similaridade. Nesse contexto, o presente trabalho de Doutorado visou trazer novas contribuições para a área de recuperação de imagens por contúdo. Dessa forma, almejou ampliar o alcance de consultas por similaridade que atendam às expectativas do usuário. Tal abordagem deve permitir ao sistema CBIR a manutenção da semântica da consulta desejada pelo usuário. Assim, foram desenvolvidos três métodos principais. O primeiro método visou a seleção de características por demanda baseada na intenção do usuário, possibilitando dessa forma agregação de semântica ao processo de seleção de características. Já o segundo método culminou no desenvolvimento de abordagens para coleta e agragação de perfis de usuário, bem como novas formulações para quantificar a similaridade perceptual dos usuários, permitindo definir dinamicamente a função de distância que melhor se adapta à percepção de um determinado usuário. O terceiro método teve por objetivo a modificação dinâmica de funções de distância em diferentes ciclos de realimentação. Para tanto foram definidas políticas para realizar tal modificação as quais foram baseadas na junção de informações a priori da base de imagens, bem como, na percepção do usuário no processo das consultas por similaridade. Os experimentos realizados mostraram que os métodos propostos contribuíram de maneira efetiva para caracterizar e quantificar a similaridade baseada na percepção do usuário, melhorando consideravelmente a busca por conteúdo segundo as expectativas dos usuários / In the last decade techniques for content-based image retrieval (CBIR) have been intensively explored due to the increase in the amount of capttured images and the need of fast retrieval of them. The medical field is a specific example that generates a large flow of information, especially digital images employed for diagnosing. One issue that still remains unsolved deals with how to reach the perceptual similarity. That is, to achieve an effectivs retrieval, one must characterize and quantify the perceptual similarity regarding the specialist in the field. Therefore, the present thesis was conceived tofill in this gap creating a consistent support to perform similarity queries over images, maintaining the semantics of a given query desired by tyhe user, bringing new contribuitions to the content-based retrieval area. To do so, three main methods were developed. The first methods applies a novel retrieval approach that integrates techniques of feature selection and relevance feedback to preform demand-driven feature selection guided by perceptual similarity, tuning the mining process on the fly, according to the user´s intention. The second method culminated in the development of approaches for harvesting and surveillance of user profiles, as well as new formulations to quantify the perceptual similarity of users , allowing to dynamically set the distance function that best fits the perception of a given user. The third method introduces a novel approach to enhance the retrieval process through user feedback and profiling, modifying the distance function in each feedback cycle choosing the best one for each cycle according to the user expectation. The experiments showed that the proposed metods effectively contributed to capture the perceptual similarity, improving in a great extent the image retrieval according to users´expectations

Os sistemas de recuperação de imagens por conteúdo (CBIR -Content-based Image Retrieval) possuem a habilidade de retornar imagens utilizando como chave de busca outras imagens. Considerando uma imagem de consulta, o foco de um sistema CBIR é pesquisar no banco de dados as "n" imagens mais similares à imagem de consulta de acordo com um critério dado. Este trabalho de pesquisa foi direcionado na geração de vetores de características para um sistema CBIR considerando bancos de imagens médicas, para propiciar tal tipo de consulta. Um vetor de características é uma representação numérica sucinta de uma imagem ou parte dela, descrevendo seus detalhes mais representativos. O vetor de características é um vetor "n"-dimensional contendo esses valores. Essa nova representação da imagem pode ser armazenada em uma base de dados, e assim, agilizar o processo de recuperação de imagens. Uma abordagem alternativa para caracterizar imagens para um sistema CBIR é a transformação do domínio. A principal vantagem de uma transformação é sua efetiva caracterização das propriedades locais da imagem. Recentemente, pesquisadores das áreas de matemática aplicada e de processamento de sinais desenvolveram técnicas práticas de "wavelet" para a representação multiescala e análise de sinais. Estas novas ferramentas diferenciam-se das tradicionais técnicas de Fourier pela forma de localizar a informação no plano tempo-freqüência; basicamente, elas têm a capacidade de mudar de uma resolução para outra, o que faz delas especialmente adequadas para a análise de sinais não estacionários. A transformada "wavelet" consiste de um conjunto de funções base que representa o sinal em diferentes bandas de freqüência, cada uma com resoluções distintas correspondentes a cada escala. Estas foram aplicadas com sucesso na compressão, melhoria, análise, classificação, caracterização e recuperação de imagens. Uma das áreas beneficiadas, onde essas propriedades têm encontrado grande relevância, é a área médica, através da representação e descrição de imagens médicas. Este trabalho descreve uma abordagem para um banco de imagens médicas, que é orientada à extração de características para um sistema CBIR baseada na decomposição multiresolução de "wavelets" utilizando os filtros de Daubechies e Gabor. Essas novas características de imagens foram também testadas utilizando uma estrutura de indexação métrica "Slim-tree". Assim, pode-se aumentar o alcance semântico do sistema cbPACS (Content-Based Picture Archiving and Comunication Systems), atualmente em desenvolvimento conjunto entre o Grupo de Bases de Dados e Imagens do ICMC--USP e o Centro de Ciências de Imagens e Física Médica do Hospital das Clínicas de Riberão Preto-USP. / Content-based image retrieval (CBIR) refers to the ability to retrieve images on the basis of the image content. Given a query image, the goal of a CBIR system is to search the database and return the "n" most similar (close) ones to the query image according to a given criteria. Our research addresses the generation of feature vectors of a CBIR system for medical image databases. A feature vector is a numeric representation of an image or part of it over its representative aspects. The feature vector is a "n"-dimensional vector organizing such values. This new image representation can be stored into a database and allow a fast image retrieval. An alternative for image characterization for a CBIR system is the domain transform. The principal advantage of a transform is its effective characterization for their local image properties. In the past few years, researches in applied mathematics and signal processing have developed practical "wavelet" methods for the multiscale representation and analysis of signals. These new tools differ from the traditional Fourier techniques by the way in which they localize the information in the time-frequency plane; in particular, they are capable of trading one type of resolution for the other, which makes them especially suitable for the analysis of non-stationary signals. The "wavelet" transform is a set of basis functions that represents signals in different frequency bands, each one with a resolution matching its scale. They have been successfully applied to image compression, enhancements, analysis, classifications, characterization and retrieval. One privileged area of application where these properties have been found to be relevant is medical imaging. In this work we describe an approach to CBIR for medical image databases focused on feature extraction based on multiresolution "wavelets" decomposition, taking advantage of the Daubechies and Gabor. Fundamental to our approach is how images are characterized, such that the retrieval procedure can bring similar images within the domain of interest, using a metric structure indexing, like the "Slim-tree". Thus, it increased the semantic capability of the cbPACS(Content-Based Picture Archiving and Comunication Systems), currently in joined developing between the Database and Image Group of the ICMC--USP and the Science Center for Images and Physical Medic of the Clinics Hospital of Riberão Preto--USP.

Neste trabalho é apresentado um método para reconhecimento de seres humanos através da textura da íris. A imagem do olho é processada através da análise do gradiente, com uma técnica de dispersão aleatória de sementes. Um vetor de características é extraído para cada íris, baseado na análise dos componentes wavelet em diversos níveis de decomposição. Para se mensurar as distâncias entre esses vetores foi utilizado o cálculo da distância Euclidiana, gerando-se curvas recall x precision para se medir a eficiência do método desenvolvido. Os resultados obtidos com algumas famílias wavelets demonstraram que o método proposto é capaz de realizar o reconhecimento humano através da íris com uma precisão eficiente. / This work presents a method for recognition of human beings by iris texture. The image of the eye is processed through gradient analysis, based on a random dispersion of seeds. So, it is extracted a feature vector for each iris based on wavelet transform in some levels of decomposition. To estimate the distances between these vectors it was used the Euclidean distance, and recall x precision curves are generated to measure the efficiency of the developed method. The results gotten with some wavelets families had demonstrated that the proposed methodology is capable to do human recognition through the iris with an efficient precision.

A análise automática da similaridade entre imagens depende fortemente de descritores que consigam caracterizar o conteúdo das imagens em dados compactos e discriminativos. Esses dados extraídos e representados em um vetor-de-características tem o objetivo de representar as imagens nos processos de mineração e análise para classificação e/ou recuperação. Neste trabalho foi explorado o uso de dicionários visuais e contexto para representar e recuperar as características locais das imagens utilizando formalismos estendidos com alto poder descritivo. Esta tese apresenta em destaque três novas propostas que contribuem competitivamente com outros trabalhos da literatura no avanço do estado-da-arte, desenvolvendo novas metodologias para a caracterização de imagens e para o processamento de consultas por similaridade. A primeira proposta estende a modelagem Bag-of-Visual-Words, permitindo codificar a interação entre palavras-visuais e suas disposições espaciais na imagem. Para tal fim, três novas abordagem são apresentadas: (i) Weighted Histogram (WE); (ii) Bunch-of-2-grams e (iii) Global Spatial Arrangement (GSA). Cada uma dessas técnicas permitem extrair informações semanticamente complementares, que enriquecem a representação final das imagens descritas em palavras-visuais. A segunda proposta apresenta um novo descritor, chamado de Bag-of-Salience-Points (BoSP), que caracteriza e analisa a dissimilaridade de formas (silhuetas) de objetos explorando seus pontos de saliências. O descritor BoSP se apoia no uso de um dicionário de curvaturas e em histogramas espaciais para representar sucintamente as saliências de um objeto em um único vetor-de-características de tamanho fixo, permitindo recuperar formas usando funções de distâncias computacionalmente rápidas. Por fim, a terceira proposta apresenta um novo modelo de consulta por similaridade, denominada Similarity Based on Dominant Images (SimDIm), baseada no conceito de Imagens Dominantes, que é um conjunto que representa, de uma maneira mais diversificada e reduzida, toda a coleção de imagens da base de dados. Tal conceito permite dar mais eficiência quando se deseja analisar o contexto da coleção, que é o objetivo da proposta. Os experimentos realizados mostram que os métodos propostos contribuem de maneira efetiva para caracterizar e quantificar a similaridade entre imagens por meio de abordagens estendidas baseadas em dicionários visuais e análise contextual, reduzindo a lacuna semântica existente entre a percepção humana e a descrição computacional. / The automatic similarity analysis between images depends heavily on the use of descriptors that should be able to characterize the images\' content in compact and discriminative features. These extracted features are represented by a feature-vector employed to represent the images in the process of mining and analysis for classification and/or retrieval. This work investigated the use of visual dictionaries and context to represent and retrieve the local image features using extended formalism with high descriptive power. This thesis presents three new proposals that contribute in advancing the state-of-the-art by developing new methodologies for characterizing images and for processing similarity queries by content. The first proposal extends the Bag-of-Visual-Words model, by encoding the interaction between the visual words and their spatial arrangements in the image space. For this, three new techniques are presented: (i) Weighted Histogram (WE); (ii) Bunch-of--grams and (iii) Global Spatial Arrangement (GSA). These three techniques allow to extract additional semantically information that enrich the final image representation described in visual-words. The second proposal introduces a new descriptor, called Bag-of-Salience-Points (BoSP), which characterizes and analyzes the dissimilarity of shapes (silhouettes) exploring their salient point. The BoSP descriptor is based on using a dictionary of curvatures and spatial-histograms to represent succinctly the saliences of a shape into a single fixed-length feature-vector, allowing to retrieve shapes using distance functions computationally fast. Finally, the third proposal introduces a new similarity query model, called Similarity based on Dominant Images (SimDIm), based on the concept of dominant images, which is a set of images representing the entire collection of images of the database in a more diversified and reduced manner. This concept allows to efficiently analyze the context of the entire collection, which is the final goal. The experiments showed that the proposed methods effectively contributed to characterize and quantify the similarity between images using extended approaches based on visual dictionaries and contextual analysis, reducing the semantic gap between human perception and computational description.

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

A possibilidade de recuperar e comparar imagens usando as suas características visuais intrínsecas é um recurso valioso para responder a consultas por similaridade em imagens médicas. Desse modo, a agregação desses recursos aos Sistemas de Arquivamento e Comunicação de Imagens (Picture Archiving and Communication Systems - PACS) vêm potencializar a utilidade e importância destes no contexto de atividades tais como ensino e treinamento de novos radiologistas, estudos de casos e auxílio ao diagnóstico de forma geral, uma vez que as consultas por similaridade permitem que casos parecidos possam ser facilmente recuperados. O trabalho apresentado nesta tese possui duas vertentes. Primeiro, ele apresenta novos métodos de extração e de características, com o objetivo de obter a essência das imagens, considerando um critério específico. Os atributos obtidos pelos algoritmos de extração são armazenados em vetores de características para posteriormente serem utilizados para indexar e recuperar as imagens baseando-se em seu conteúdo, para responder a consultas por similaridade. Há uma relação próxima entre os vetores de características e as funções de distância utilizadas para compará-los. Assim, a segunda parte deste trabalho trata da proposta, análise e comparação de novas famílias de funções de distância. As funções de distância propostas têm por objetivo tratar o problema do gap semântico, o qual representa o principal obstáculo das funções de distância tradicionais, derivadas da família Lp, quando processam consultas por similaridade. As principais contribuições desta tese incluem o desenvolvimento de novos métodos de extração e comparação de características de imagens, que operam sobre os três principais descritores de baixo nível de imagens: distribuição de cor, textura e forma. Os experimentos realizados mostraram que os ganhos em precisão são maiores para os métodos propostos, quando comparados com algoritmos tradicionais. No que diz respeito às famílias de funções de distância propostas (WAID e SAID), pelos resultados iniciais obtidos, podemos afirmar que eles são bastante promissores no sentido de se aproximarem da expectativa do usuário, no momento de comparar imagens. Os resultados obtidos com esse trabalho podem ser futuramente integrados aos PACS. Particularmente, pretendemos acrescentar novos algoritmos e métodos ao cbPACS, que consiste em um sistema PACS em construção, desenvolvido em uma colaboração entre o Grupo de Bases de Dados e Imagens (GBDI) do Instituto de Ciências Matemáticas e de Computação - USP e o Centro de Ciências da Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto - USP / The ability of retrieving and comparing images using their inherent pictorial information is a valuable asset to answer similarity queries over medical images. Thus, having such resources added in Picture Archiving and Communication Systems (PACS) increase their applicability and importance in the context of teaching and training new radiologists on diagnosing, since that similar cases can be easily retrieved. Similarity queries also play an important role on gathering close images, what allows to perform case studies, as well as to aid on diagnosing. The work presented in this thesis is twofold. First, it presents new feature extraction techniques, which aim at obtaining the essence of the images regarding a given criteria. The features obtained by the algorithms are stored in feature vectors and employed to index and retrieve the images by content, in order to answer similarity queries. There is a close relationship among feature vectors and the distance function employed to compare them. Thus, the second, part of this work concerns the comparison, analysis and proposal of new families of distance functions to compare the features extracted from the images. The distance functions proposed intend to deal with the semantic gap problem, which is the main drawback of the traditional distance functions derived from the Lp metrics when processing similarity queries. The main contributions of this thesis include the development of new image feature extractors that works on the three aspects of raw image data (color distribution, texture and shape). The experiments have shown that the gain in precision are higher for all the feature extractors proposed, when comparing with the state-of-the-art algorithms. Regarding the two families of distance functions WAID and SAID proposed, by the initial experiments performed we can claim that they are very promising on preserving the user expectation when comparing images. The results provided by this work can be straightforwardly integrated to PACS. Particularly, we intend to add the new algorithms and methods to cbPACS, which is under joined development between the Image Data Base Group of Instituto de CiLncias Matemáticas e de Computaçno of USP and Centro de CiLncias de Imagens e Física Médica of Faculdade de Medicina de Ribeirno Preto of USP

Made available in DSpace on 2015-03-05T13:53:43Z (GMT). No. of bitstreams: 0 Previous issue date: 24 / Nenhuma / A recuperação e classificação de imagens é um tema bastante pesquisado atualmente. Além dos desafios encontrados no campo teórico e prático para permitir que máquinas possuam a capacidade de visão, sua pesquisa resulta em várias aplicações práticas para o dia-a-dia. A visão computação, grande área na qual está inserida a recuperação e classificação de imagens, possui aplicações e práticas dentre as quais podemos citar softwares capazes de recuperarem imagens em bases de dados de imagens, reconhecimento de pessoas por características de biometria(impressões digitais, reconhecimento por íris ou face), localização e quantificação de logomarcas na mídia, localização de objetos numa cena e mecanismos de visão para a robótica. A pesquisa desenvolvida nesta dissertação foca-se em obter uma generalização através do aprendizado das características de uma coleção de imagens pertencentes a uma mesma classe as quais servirão como exemplo de aprendizagem, com isto obtendo um modelo que identifique esta classe. Para tan / Image retrieval and classification are today the subject of extensive research. This topic poses both theoretical and practical challenges as researchers attempt to give machines such as computers and robots the ability to “see”. Image retrieval and classification are part of a wider field known as Computer Vision, which encompasses several practical applications such as image retrieval from databases storing only raw images, biometric recognition (from images of finger-prints, face or iris), retrieval of visual trademarks and logos from advertisements, location of objects in a scene and vision techniques in robotics. The research developed in this work is focused on obtaining a generalization of characteristics extracted from a collection of images belonging to a single class using supervised learning techniques. The result is a model that “identifies” a given class of images. To achieve this, a review of the state-of-the-art in content-based image retrieval systems and Machine Learning techniques was neede

O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

Dans le cadre du projet GUIMUTEIC, qui vise à équiper les visiteurs de musées d'un outils d'aide à la visite équipé d'une caméra, cette thèse adresse le problème d'accès à l'information en mobilité.On s'intéresse à comment rendre l'information à propos des œuvres accessible et automatique aux visiteurs de lieux touristiques.Elle s'inscrit dans le cadre du projet GUIMUTEIC, qui vise à équiper les visiteurs de musées d'un outil d'aide à l'accès à l'information en mobilité.Être capable de déterminer si le visiteur désire avoir accès à l'information signifie identifier le contexte autour de lui, afin de fournir une réponse adaptée, et réagir à ses actions.Ceci soulève les problématiques d'identification de points d'intérêts, pour déterminer le contexte, et d'identification de gestes de utilisateurs, pour répondre à ses demandes.Dans le cadre du notre projet, le visiteur est donc équipé d'une caméra embarquée.L'objectif est de fournir un solution à l'aide à la visite, en developpant des méthodes de vision pour l'identification d'objet, et de detection de gestes dans les vidéos à la première personne.Nous proposons dans cette thèse une étude de la faisabilité et de l'intérêt de l'aide à la visite, ainsi que de la pertinence des gestes dans le cadre de l'interaction avec un système embarqué.Nous proposons une nouvelle approche pour l'identification d'objets grâce à des réseaux de neurones profonds siamois pour l'apprentissage de similarité entre les images, avec apprentissage des régions d'intérêt dans l'image.Nous explorons également l'utilisation de réseaux à taille réduite pour le détection de gestes en mobilité.Nous présentons pour cela une architecture utilisant un nouveau type de bloc de convolutions, pour réduire le nombre de paramètres du réseau et permettre son utilisation sur processeur mobile.Pour évaluer nos propositions, nous nous appuyons sur plusieurs corpus de recherche d'image et de gestes, crée spécialement pour correspondre aux contraintes du projet. / This thesis is part of the GUIMUTEIC project, which aim is to equip museum tourist with an audio-guide enhanced by a camera.This thesis adress the problem of information access in mobile environment, by automaticaly providing information about museum artefacts.To be able to give this information, we need to know when the visitor desire guidance, and what he is looking at, to give the correct response.This raises issues of identification of points of interest, to determine the context, and identification of user gestures, to meet his demands.As part of our project, the visitor is equipped with an embedded camera.The goal is to provide a solution to help with the visit, developing vision methods for object identification, and gesture detection in first-person videos.We propose in this thesis a study of the feasibility and the interest of the assistance to the visit, as well as the relevance of the gestures in the context of the interaction with an embedded system.We propose a new approach for objects identification thanks to siamese neural networks to learn images similarity and define regions of interest.We are also exploring the use of small networks for gesture recognition in mobility.We present for this an architecture using new types of convolution blocks, to reduce the number of parameters of the network and allow its use on mobile processor.To evaluate our proposals, we rely on several corpus of image search and gestures, specificaly designed to match the constraints of the project.