Com a crescente utilização de imagens médicas na prática clínica, torna-se necessária a introdução de tecnologias que garantam o armazenamento, indexação e recuperação eficaz dessas imagens. O sistema de recuperação de imagens médicas baseada em conteúdo (S-CBIR) compõe a base de tecnologias computacionais que oferecem aos usuários médicos aplicativos para apoio ao diagnóstico, sendo capaz de responder a consultas por similaridade por meio de características pictóricas extraídas das imagens médicas. Embora as pesquisas em S-CBIR tenham iniciado há quase duas décadas, atualmente existe uma discrepância em relação à quantidade de trabalhos publicados na literatura e os sistemas que, de fato, foram implementados e avaliados. Além disso, muitos protótipos vêm sendo discutidos, mas até o final da escrita desta tese, não foram encontradas evidências de que algum deles esteja disponível comercialmente. Essa limitação é conhecida pela comunidade científica da área por gap de aplicação. Em geral, isso ocorre devido à dificuldade dessas aplicações em superar alguns desafios, como a divergência entre os resultados obtidos automaticamente pelo sistema e aqueles esperados pelos médicos (gap semântico), entre outros gap. Outros fatores também podem ser relatados, como a tendência da não utilização de modelos de qualidade sistematizados para o desenvolvimento dos sistemas, e a carência de modelos que sejam específicos no domínio de aplicação. Com base nesses desafios e em boas práticas de métodos, técnicas e ferramentas da Engenharia de Software, esta tese apresenta um Modelo de Qualidade para melhorias de S-CBIR (MQ-SCBIR), que tem por objetivo apoiar o desenvolvimento e avaliação de S-CBIR, a partir de diretrizes para aumentar o nível de qualidade, buscando a superação do gap de aplicação. O MQ-SCBIR foi construído com base em: evidências adquiridas por meio de uma revisão sistemática e pesquisa empírica sobre como esses sistemas vêm sendo desenvolvidos e avaliados na literatura e na prática; resultados da avaliação de um S-CBIR baseados em testes heurísticos em um ambiente real; modelos bem estabelecidos, como o Capability Maturity Model Integration e Melhoria de Processo do Software Brasileiro; e em experiências pessoais. O uso do MQ-SCBIR pode trazer benefícios para as organizações desenvolvedoras, como a redução da complexidade no desenvolvimento, incluindo a garantia de implementação de boas práticas de qualidade de software e práticas específicas para a superação das limitações de S-CBIR durante o processo de desenvolvimento. / The development of technologies for storing, indexing and recovering clinical images is paramount to support the increasing use of these images in clinical diagnostic evaluation. Content-based image retrieval systems (CBIR-S) are some of the main computational technologies which offer physicians different applications to aid diagnostic processes. They allow similarity queries by extracting pictorial features from medical images. Even though research on S-CBIR started almost two decades ago, there are discrepancies regarding the amount of studies available in the literature and the number of systems which have actually been implemented and evaluated. Many prototypes have been discussed, but up to the moment this study was completed we found no evidence that any of those systems are either commercially available or being currently used in clinical practice. This limitation is known as application gap. In general, this happens due to the difficulty to overcome some obstacles, such as the differences between the results retrieved automatically by the system and those expected by the physicians (semantic gap). Other factors can also be described, such as the tendency towards not using systematic quality models to develop these systems and the lack of specific models for this domain of application. Based on these challenges and also on best practice methods, techniques and tools from software engineering, this work presents a quality model to improve S-CBIR systems (QM-CBIRS). It strives to tackle limitations during the development process by overcoming the semantic gap. The QM-CBIRS was built upon evidence gathered by means of a systematic review on the state-of-the-art and empiric research on the development and evaluation of these systems. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. The use of QM-CBIRS might be beneficial to development teams in many ways, for example, by increasing the quality of CBIR systems and reducing complexity, thus surpassing limitations from CBIR systems during the development process.

The principal objective of an image retrieval system is to obtain images which are as similar as possible to the user´s requirements, from all the images in the reference collection. Such an objective is difficult to reach due principally to the subjectivity of the image similarities. This is due to the fact the images can be interpreted in different ways by different people. With the aim of resolving this problem the content-based image retrieval systems explore the features of color, shape and texture. These are nearly always associated to the regions and use relevance feedback mechanisms to adjust a search to the user s criterions. Various approaches have been used in relevance feedback from those genetic algorithms have become quite popular due to their adaptive abilities. In this work we presented an image retrieval system based on the similarity of local patterns, working with the features of color, shape and texture as well as relevance feedback via a genetic algorithm. The task of this algorithm is infer weights to the features of color, shape, texture and regions which better adjust to the similarity found between images through the user s search criterions, thus producing a final ranking which is in accordance with the criterions expressed in the relevance feedback. The genetic algorithms theory states that the fitness measure applies an essential role upon the performance of these algorithms, once the fitness measure directs the search path for the evaluation of each individuals aptitude. Due to the lack of consensus about the best fitness measure in the ranking evaluation problem we present a performance analysis of ten fitness functions. The fitness functions are classified in two groups: order-based and non-order based. Some of these functions are adapted from textbased information retrieval systems and others are proposed in this work. The experimental results show that the order based fitness functions are more compatible to the user s interests, once they present superior rankings in terms of precision for low recall rates and conduct the quickest genetic algorithm in the search for an optimal heuristic solution. The results obtained are superior to those of the works of Stejic et al., which served as our inspiration. / O principal objetivo de um sistema de recuperação de imagens é obter imagens que são o mais similar possível à requisição do usuário, de todas as imagens de uma coleção de referência. Tal objetivo é difícil de ser alcançado devido principalmente à subjetividade do conceito de similaridade entre imagens, visto que uma mesma imagem poder ser interpretada de diferentes maneiras por diferentes pessoas. Na tentativa de resolver este problema os sistemas de recuperação de imagens por conteúdo exploram as características de cor, forma e textura, quase sempre associadas à regiões e usam de mecanismos de realimentação de relevantes para ajustar uma busca aos critérios do usuário. Várias abordagens têm sido usadas em realimentação de relevância entre as quais os algoritmos genéticos têm se tornado bastante populares devido às suas habilidades adaptativas. Neste trabalho apresentamos um sistema de recuperação de imagens com base na similaridade de padrões locais, empregando as características de cor, forma e textura e com realimentação de relevância via algoritmo genético. A tarefa do algoritmo genético é inferir pesos para as características de cor, forma, textura e regiões que melhor ajustam a medida de similaridade entre imagens aos critérios de busca do usuário, fazendo com que o ranking final esteja de acordo com os critérios expressos na realimentação. Da teoria dos algoritmos genéticos é conhecido que a medida de aptidão exerce um papel essencial na performance destes algoritmos, uma vez que ela direciona o caminho da busca, por avaliar a aptidão dos indivíduos. Devido à falta de consenso acerca da medida de aptidão ideal na avaliação de rankings apresentamos uma análise de performance de dez medidas de aptidão. As funções de aptidão são classificadas em dois grupos: baseadas em ordem e não baseadas em ordem. Algumas destas funções são adaptadas do contexto de sistemas de recuperação de informação e outras são propostas neste trabalho. Os resultados experimentais mostram que as funções de aptidão baseadas em ordem são mais compatíveis aos interesses dos usuários uma vez que elas apresentam rankings superiores em precisão para baixos níveis de revocação e, conduzem mais rapidamente o AG na busca por uma solução heurísticamente ótima. Os resultados obtidos são superiores aos dos trabalhos de Stejic et al. que nos serviram de inspiração. / Mestre em Ciência da Computação

Com a crescente utilização de imagens médicas na prática clínica, torna-se necessária a introdução de tecnologias que garantam o armazenamento, indexação e recuperação eficaz dessas imagens. O sistema de recuperação de imagens médicas baseada em conteúdo (S-CBIR) compõe a base de tecnologias computacionais que oferecem aos usuários médicos aplicativos para apoio ao diagnóstico, sendo capaz de responder a consultas por similaridade por meio de características pictóricas extraídas das imagens médicas. Embora as pesquisas em S-CBIR tenham iniciado há quase duas décadas, atualmente existe uma discrepância em relação à quantidade de trabalhos publicados na literatura e os sistemas que, de fato, foram implementados e avaliados. Além disso, muitos protótipos vêm sendo discutidos, mas até o final da escrita desta tese, não foram encontradas evidências de que algum deles esteja disponível comercialmente. Essa limitação é conhecida pela comunidade científica da área por gap de aplicação. Em geral, isso ocorre devido à dificuldade dessas aplicações em superar alguns desafios, como a divergência entre os resultados obtidos automaticamente pelo sistema e aqueles esperados pelos médicos (gap semântico), entre outros gap. Outros fatores também podem ser relatados, como a tendência da não utilização de modelos de qualidade sistematizados para o desenvolvimento dos sistemas, e a carência de modelos que sejam específicos no domínio de aplicação. Com base nesses desafios e em boas práticas de métodos, técnicas e ferramentas da Engenharia de Software, esta tese apresenta um Modelo de Qualidade para melhorias de S-CBIR (MQ-SCBIR), que tem por objetivo apoiar o desenvolvimento e avaliação de S-CBIR, a partir de diretrizes para aumentar o nível de qualidade, buscando a superação do gap de aplicação. O MQ-SCBIR foi construído com base em: evidências adquiridas por meio de uma revisão sistemática e pesquisa empírica sobre como esses sistemas vêm sendo desenvolvidos e avaliados na literatura e na prática; resultados da avaliação de um S-CBIR baseados em testes heurísticos em um ambiente real; modelos bem estabelecidos, como o Capability Maturity Model Integration e Melhoria de Processo do Software Brasileiro; e em experiências pessoais. O uso do MQ-SCBIR pode trazer benefícios para as organizações desenvolvedoras, como a redução da complexidade no desenvolvimento, incluindo a garantia de implementação de boas práticas de qualidade de software e práticas específicas para a superação das limitações de S-CBIR durante o processo de desenvolvimento. / The development of technologies for storing, indexing and recovering clinical images is paramount to support the increasing use of these images in clinical diagnostic evaluation. Content-based image retrieval systems (CBIR-S) are some of the main computational technologies which offer physicians different applications to aid diagnostic processes. They allow similarity queries by extracting pictorial features from medical images. Even though research on S-CBIR started almost two decades ago, there are discrepancies regarding the amount of studies available in the literature and the number of systems which have actually been implemented and evaluated. Many prototypes have been discussed, but up to the moment this study was completed we found no evidence that any of those systems are either commercially available or being currently used in clinical practice. This limitation is known as application gap. In general, this happens due to the difficulty to overcome some obstacles, such as the differences between the results retrieved automatically by the system and those expected by the physicians (semantic gap). Other factors can also be described, such as the tendency towards not using systematic quality models to develop these systems and the lack of specific models for this domain of application. Based on these challenges and also on best practice methods, techniques and tools from software engineering, this work presents a quality model to improve S-CBIR systems (QM-CBIRS). It strives to tackle limitations during the development process by overcoming the semantic gap. The QM-CBIRS was built upon evidence gathered by means of a systematic review on the state-of-the-art and empiric research on the development and evaluation of these systems. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. The use of QM-CBIRS might be beneficial to development teams in many ways, for example, by increasing the quality of CBIR systems and reducing complexity, thus surpassing limitations from CBIR systems during the development process.

Na última década observou-se grande interesse pra o desenvolvimento de técnicas para Recuperação de Imagens Baseada em Conteúdo devido à explosão na quantidade de imagens capturadas e à necessidade de armazenamento e recuperação dessas imagens. A área médica especificamente é um exemplo que gera um grande fluxo de informações, principalmente imagens digitais para a realização de diagnósticos. Porém um problema ainda permanecia sem solução que tratava-se de como atingir a similaridade baseada na percepção do usuário, uma vez que para que se consiga uma recuperação eficaz, deve-se caracterizar e quantificar o melhor possível tal similaridade. Nesse contexto, o presente trabalho de Doutorado visou trazer novas contribuições para a área de recuperação de imagens por contúdo. Dessa forma, almejou ampliar o alcance de consultas por similaridade que atendam às expectativas do usuário. Tal abordagem deve permitir ao sistema CBIR a manutenção da semântica da consulta desejada pelo usuário. Assim, foram desenvolvidos três métodos principais. O primeiro método visou a seleção de características por demanda baseada na intenção do usuário, possibilitando dessa forma agregação de semântica ao processo de seleção de características. Já o segundo método culminou no desenvolvimento de abordagens para coleta e agragação de perfis de usuário, bem como novas formulações para quantificar a similaridade perceptual dos usuários, permitindo definir dinamicamente a função de distância que melhor se adapta à percepção de um determinado usuário. O terceiro método teve por objetivo a modificação dinâmica de funções de distância em diferentes ciclos de realimentação. Para tanto foram definidas políticas para realizar tal modificação as quais foram baseadas na junção de informações a priori da base de imagens, bem como, na percepção do usuário no processo das consultas por similaridade. Os experimentos realizados mostraram que os métodos propostos contribuíram de maneira efetiva para caracterizar e quantificar a similaridade baseada na percepção do usuário, melhorando consideravelmente a busca por conteúdo segundo as expectativas dos usuários / In the last decade techniques for content-based image retrieval (CBIR) have been intensively explored due to the increase in the amount of capttured images and the need of fast retrieval of them. The medical field is a specific example that generates a large flow of information, especially digital images employed for diagnosing. One issue that still remains unsolved deals with how to reach the perceptual similarity. That is, to achieve an effectivs retrieval, one must characterize and quantify the perceptual similarity regarding the specialist in the field. Therefore, the present thesis was conceived tofill in this gap creating a consistent support to perform similarity queries over images, maintaining the semantics of a given query desired by tyhe user, bringing new contribuitions to the content-based retrieval area. To do so, three main methods were developed. The first methods applies a novel retrieval approach that integrates techniques of feature selection and relevance feedback to preform demand-driven feature selection guided by perceptual similarity, tuning the mining process on the fly, according to the user´s intention. The second method culminated in the development of approaches for harvesting and surveillance of user profiles, as well as new formulations to quantify the perceptual similarity of users , allowing to dynamically set the distance function that best fits the perception of a given user. The third method introduces a novel approach to enhance the retrieval process through user feedback and profiling, modifying the distance function in each feedback cycle choosing the best one for each cycle according to the user expectation. The experiments showed that the proposed metods effectively contributed to capture the perceptual similarity, improving in a great extent the image retrieval according to users´expectations

Os sistemas de recuperação de imagens por conteúdo (CBIR -Content-based Image Retrieval) possuem a habilidade de retornar imagens utilizando como chave de busca outras imagens. Considerando uma imagem de consulta, o foco de um sistema CBIR é pesquisar no banco de dados as "n" imagens mais similares à imagem de consulta de acordo com um critério dado. Este trabalho de pesquisa foi direcionado na geração de vetores de características para um sistema CBIR considerando bancos de imagens médicas, para propiciar tal tipo de consulta. Um vetor de características é uma representação numérica sucinta de uma imagem ou parte dela, descrevendo seus detalhes mais representativos. O vetor de características é um vetor "n"-dimensional contendo esses valores. Essa nova representação da imagem pode ser armazenada em uma base de dados, e assim, agilizar o processo de recuperação de imagens. Uma abordagem alternativa para caracterizar imagens para um sistema CBIR é a transformação do domínio. A principal vantagem de uma transformação é sua efetiva caracterização das propriedades locais da imagem. Recentemente, pesquisadores das áreas de matemática aplicada e de processamento de sinais desenvolveram técnicas práticas de "wavelet" para a representação multiescala e análise de sinais. Estas novas ferramentas diferenciam-se das tradicionais técnicas de Fourier pela forma de localizar a informação no plano tempo-freqüência; basicamente, elas têm a capacidade de mudar de uma resolução para outra, o que faz delas especialmente adequadas para a análise de sinais não estacionários. A transformada "wavelet" consiste de um conjunto de funções base que representa o sinal em diferentes bandas de freqüência, cada uma com resoluções distintas correspondentes a cada escala. Estas foram aplicadas com sucesso na compressão, melhoria, análise, classificação, caracterização e recuperação de imagens. Uma das áreas beneficiadas, onde essas propriedades têm encontrado grande relevância, é a área médica, através da representação e descrição de imagens médicas. Este trabalho descreve uma abordagem para um banco de imagens médicas, que é orientada à extração de características para um sistema CBIR baseada na decomposição multiresolução de "wavelets" utilizando os filtros de Daubechies e Gabor. Essas novas características de imagens foram também testadas utilizando uma estrutura de indexação métrica "Slim-tree". Assim, pode-se aumentar o alcance semântico do sistema cbPACS (Content-Based Picture Archiving and Comunication Systems), atualmente em desenvolvimento conjunto entre o Grupo de Bases de Dados e Imagens do ICMC--USP e o Centro de Ciências de Imagens e Física Médica do Hospital das Clínicas de Riberão Preto-USP. / Content-based image retrieval (CBIR) refers to the ability to retrieve images on the basis of the image content. Given a query image, the goal of a CBIR system is to search the database and return the "n" most similar (close) ones to the query image according to a given criteria. Our research addresses the generation of feature vectors of a CBIR system for medical image databases. A feature vector is a numeric representation of an image or part of it over its representative aspects. The feature vector is a "n"-dimensional vector organizing such values. This new image representation can be stored into a database and allow a fast image retrieval. An alternative for image characterization for a CBIR system is the domain transform. The principal advantage of a transform is its effective characterization for their local image properties. In the past few years, researches in applied mathematics and signal processing have developed practical "wavelet" methods for the multiscale representation and analysis of signals. These new tools differ from the traditional Fourier techniques by the way in which they localize the information in the time-frequency plane; in particular, they are capable of trading one type of resolution for the other, which makes them especially suitable for the analysis of non-stationary signals. The "wavelet" transform is a set of basis functions that represents signals in different frequency bands, each one with a resolution matching its scale. They have been successfully applied to image compression, enhancements, analysis, classifications, characterization and retrieval. One privileged area of application where these properties have been found to be relevant is medical imaging. In this work we describe an approach to CBIR for medical image databases focused on feature extraction based on multiresolution "wavelets" decomposition, taking advantage of the Daubechies and Gabor. Fundamental to our approach is how images are characterized, such that the retrieval procedure can bring similar images within the domain of interest, using a metric structure indexing, like the "Slim-tree". Thus, it increased the semantic capability of the cbPACS(Content-Based Picture Archiving and Comunication Systems), currently in joined developing between the Database and Image Group of the ICMC--USP and the Science Center for Images and Physical Medic of the Clinics Hospital of Riberão Preto--USP.

Made available in DSpace on 2016-03-15T19:37:55Z (GMT). No. of bitstreams: 1 RICARDO RIBANI.pdf: 13475262 bytes, checksum: 1e8f0a623498d0aa2fda9f44449b7325 (MD5) Previous issue date: 2015-02-11 / Fundo Mackenzie de Pesquisa / With the growing amount of multimedia information, the recommender systems have become more present in digital systems. Together with the growth of the internet, more and more people have access to large multimedia collections and consequently the user is often in doubt situations when making a choice. In order to help the user to make their own choices, this research presents a study around the content-based recommender systems applied to art paintings. Here are included approaches on image retrieval algorithms, computer vision and artificial intelligence concepts such as techniques for pattern recognition. One of the goals of this research was the creation of a software for mobile phones, applied to an art paintings database. The application uses an interface developed for mobile phones, where the user can point the phone s camera to a painting and based on this painting the system generates a recommendation of another painting in the same database, considering some parameters such as style, genre or color. / Os sistemas de recomendações estão cada dia mais presentes no meio digital. Com a crescente quantidade de informações e a popularização da internet, cada vez mais as pessoas tem acesso a grandes acervos multimídia. Com isso, consequentemente o usuário se encontra muitas vezes em situações de dúvida ao fazer uma escolha. Com o objetivo de auxiliar o usuário a fazer suas escolhas, o presente trabalho apresenta um estudo em torno dos sistemas de recomendações baseados em conteúdo de imagens. Este estudo engloba uma abordagem a respeito de algoritmos de recuperação de imagens, além da aplicação de conceitos de visão computacional e inteligência artificial, como técnicas para reconhecimento de padrões. Além do estudo teórico, este trabalho teve como objetivo a criação de um sistema computacional aplicado a um banco de dados de imagens de obras de arte. Uma aplicação que utiliza uma interface desenvolvida para telefones celulares, no qual o usuário pode capturar a imagem de uma obra através da câmera do celular e baseado nessa obra o sistema gera uma recomendação de outra dentro do mesmo banco de dados, considerando parâmetros configuráveis como estilo, gênero ou cores.

O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

A possibilidade de recuperar e comparar imagens usando as suas características visuais intrínsecas é um recurso valioso para responder a consultas por similaridade em imagens médicas. Desse modo, a agregação desses recursos aos Sistemas de Arquivamento e Comunicação de Imagens (Picture Archiving and Communication Systems - PACS) vêm potencializar a utilidade e importância destes no contexto de atividades tais como ensino e treinamento de novos radiologistas, estudos de casos e auxílio ao diagnóstico de forma geral, uma vez que as consultas por similaridade permitem que casos parecidos possam ser facilmente recuperados. O trabalho apresentado nesta tese possui duas vertentes. Primeiro, ele apresenta novos métodos de extração e de características, com o objetivo de obter a essência das imagens, considerando um critério específico. Os atributos obtidos pelos algoritmos de extração são armazenados em vetores de características para posteriormente serem utilizados para indexar e recuperar as imagens baseando-se em seu conteúdo, para responder a consultas por similaridade. Há uma relação próxima entre os vetores de características e as funções de distância utilizadas para compará-los. Assim, a segunda parte deste trabalho trata da proposta, análise e comparação de novas famílias de funções de distância. As funções de distância propostas têm por objetivo tratar o problema do gap semântico, o qual representa o principal obstáculo das funções de distância tradicionais, derivadas da família Lp, quando processam consultas por similaridade. As principais contribuições desta tese incluem o desenvolvimento de novos métodos de extração e comparação de características de imagens, que operam sobre os três principais descritores de baixo nível de imagens: distribuição de cor, textura e forma. Os experimentos realizados mostraram que os ganhos em precisão são maiores para os métodos propostos, quando comparados com algoritmos tradicionais. No que diz respeito às famílias de funções de distância propostas (WAID e SAID), pelos resultados iniciais obtidos, podemos afirmar que eles são bastante promissores no sentido de se aproximarem da expectativa do usuário, no momento de comparar imagens. Os resultados obtidos com esse trabalho podem ser futuramente integrados aos PACS. Particularmente, pretendemos acrescentar novos algoritmos e métodos ao cbPACS, que consiste em um sistema PACS em construção, desenvolvido em uma colaboração entre o Grupo de Bases de Dados e Imagens (GBDI) do Instituto de Ciências Matemáticas e de Computação - USP e o Centro de Ciências da Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto - USP / The ability of retrieving and comparing images using their inherent pictorial information is a valuable asset to answer similarity queries over medical images. Thus, having such resources added in Picture Archiving and Communication Systems (PACS) increase their applicability and importance in the context of teaching and training new radiologists on diagnosing, since that similar cases can be easily retrieved. Similarity queries also play an important role on gathering close images, what allows to perform case studies, as well as to aid on diagnosing. The work presented in this thesis is twofold. First, it presents new feature extraction techniques, which aim at obtaining the essence of the images regarding a given criteria. The features obtained by the algorithms are stored in feature vectors and employed to index and retrieve the images by content, in order to answer similarity queries. There is a close relationship among feature vectors and the distance function employed to compare them. Thus, the second, part of this work concerns the comparison, analysis and proposal of new families of distance functions to compare the features extracted from the images. The distance functions proposed intend to deal with the semantic gap problem, which is the main drawback of the traditional distance functions derived from the Lp metrics when processing similarity queries. The main contributions of this thesis include the development of new image feature extractors that works on the three aspects of raw image data (color distribution, texture and shape). The experiments have shown that the gain in precision are higher for all the feature extractors proposed, when comparing with the state-of-the-art algorithms. Regarding the two families of distance functions WAID and SAID proposed, by the initial experiments performed we can claim that they are very promising on preserving the user expectation when comparing images. The results provided by this work can be straightforwardly integrated to PACS. Particularly, we intend to add the new algorithms and methods to cbPACS, which is under joined development between the Image Data Base Group of Instituto de CiLncias Matemáticas e de Computaçno of USP and Centro de CiLncias de Imagens e Física Médica of Faculdade de Medicina de Ribeirno Preto of USP

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

A análise automática da similaridade entre imagens depende fortemente de descritores que consigam caracterizar o conteúdo das imagens em dados compactos e discriminativos. Esses dados extraídos e representados em um vetor-de-características tem o objetivo de representar as imagens nos processos de mineração e análise para classificação e/ou recuperação. Neste trabalho foi explorado o uso de dicionários visuais e contexto para representar e recuperar as características locais das imagens utilizando formalismos estendidos com alto poder descritivo. Esta tese apresenta em destaque três novas propostas que contribuem competitivamente com outros trabalhos da literatura no avanço do estado-da-arte, desenvolvendo novas metodologias para a caracterização de imagens e para o processamento de consultas por similaridade. A primeira proposta estende a modelagem Bag-of-Visual-Words, permitindo codificar a interação entre palavras-visuais e suas disposições espaciais na imagem. Para tal fim, três novas abordagem são apresentadas: (i) Weighted Histogram (WE); (ii) Bunch-of-2-grams e (iii) Global Spatial Arrangement (GSA). Cada uma dessas técnicas permitem extrair informações semanticamente complementares, que enriquecem a representação final das imagens descritas em palavras-visuais. A segunda proposta apresenta um novo descritor, chamado de Bag-of-Salience-Points (BoSP), que caracteriza e analisa a dissimilaridade de formas (silhuetas) de objetos explorando seus pontos de saliências. O descritor BoSP se apoia no uso de um dicionário de curvaturas e em histogramas espaciais para representar sucintamente as saliências de um objeto em um único vetor-de-características de tamanho fixo, permitindo recuperar formas usando funções de distâncias computacionalmente rápidas. Por fim, a terceira proposta apresenta um novo modelo de consulta por similaridade, denominada Similarity Based on Dominant Images (SimDIm), baseada no conceito de Imagens Dominantes, que é um conjunto que representa, de uma maneira mais diversificada e reduzida, toda a coleção de imagens da base de dados. Tal conceito permite dar mais eficiência quando se deseja analisar o contexto da coleção, que é o objetivo da proposta. Os experimentos realizados mostram que os métodos propostos contribuem de maneira efetiva para caracterizar e quantificar a similaridade entre imagens por meio de abordagens estendidas baseadas em dicionários visuais e análise contextual, reduzindo a lacuna semântica existente entre a percepção humana e a descrição computacional. / The automatic similarity analysis between images depends heavily on the use of descriptors that should be able to characterize the images\' content in compact and discriminative features. These extracted features are represented by a feature-vector employed to represent the images in the process of mining and analysis for classification and/or retrieval. This work investigated the use of visual dictionaries and context to represent and retrieve the local image features using extended formalism with high descriptive power. This thesis presents three new proposals that contribute in advancing the state-of-the-art by developing new methodologies for characterizing images and for processing similarity queries by content. The first proposal extends the Bag-of-Visual-Words model, by encoding the interaction between the visual words and their spatial arrangements in the image space. For this, three new techniques are presented: (i) Weighted Histogram (WE); (ii) Bunch-of--grams and (iii) Global Spatial Arrangement (GSA). These three techniques allow to extract additional semantically information that enrich the final image representation described in visual-words. The second proposal introduces a new descriptor, called Bag-of-Salience-Points (BoSP), which characterizes and analyzes the dissimilarity of shapes (silhouettes) exploring their salient point. The BoSP descriptor is based on using a dictionary of curvatures and spatial-histograms to represent succinctly the saliences of a shape into a single fixed-length feature-vector, allowing to retrieve shapes using distance functions computationally fast. Finally, the third proposal introduces a new similarity query model, called Similarity based on Dominant Images (SimDIm), based on the concept of dominant images, which is a set of images representing the entire collection of images of the database in a more diversified and reduced manner. This concept allows to efficiently analyze the context of the entire collection, which is the final goal. The experiments showed that the proposed methods effectively contributed to characterize and quantify the similarity between images using extended approaches based on visual dictionaries and contextual analysis, reducing the semantic gap between human perception and computational description.