Tese de mestrado integrado. Engenharia Informática e Computação. Universidade do Porto. Faculdade de Engenharia. 2010

Tese (Doutorado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2018

Os grandes centros médicos e hospitais de todo o mundo têm procurado integrar as informações de seus pacientes incluindo os exames de imagens efetuados (tomografia computadorizada, tomografia por ressonância magnética, ultrasson, medicina nuclear, etc.). Um sistema que integra as imagens junto às informações tradicionais é chamado de Sistema de Arquivamento e Comunicação de Imagens (Picture Archive and Communication System - PACS). Os sistemas PACS comerciais associam as imagens de exames às informações de pacientes através de chaves de consultas textuais e numéricas, não suportando consultas baseadas no conteúdo pictórico das imagens. Entretanto, muitas vezes o médico gostaria de recuperar as imagens armazenadas que fossem semelhantes (similares) a uma determinada imagem de consulta. Por exemplo, seja a consulta: "encontre as 10 imagens mais semelhantes à imagem Raio-X-tórax do Jõao da Silva". Ao responder a consultas desse tipo, o sistema permite que o médico relembre casos ocorridos anteriormente. Além disso, o conhecimento já gerado de exames e tratamentos anteriores pode ser recuperado mais rapidamente do que utilizando apenas a memória humana ou um sistema não automático de recuperação de informações. Um sistema com a capacidade de recuperar imagens utilizando o seu conteúdo pictórico é uma ferramenta valiosa para o auxílio ao diagnóstico médico. Esta tese apresenta a arquitetura de um PACS atualmente em desenvolvimento. Este sistema está sendo denominado mini-PACS. Tal sistema necessita da integração de três sistemas, a saber: - Um Sistema de Processamento de Imagens (SPI), o qual é responsável pela leitura e pré-processamento das imagens que são recebidas de diferentes dispositivos e possuem diferentes formatos. O SPI extrai as características relevantes das imagens, as quais serão utilizadas para a sua indexação e recuperação por conteúdo. - Um Sistema de Gerenciamento de Bases de Dados e Imagens (SGBDI), que permite a armazenagem e a recuperação de imagens baseada em seu conteúdo. O SGBDI utiliza uma estrutura métrica, a Slim-tree, que indexa as imagens através das características extraídas pelo SPI e possibilita responder consultas por similaridade. - Um Servidor de Web (SW), que disponibiliza o acesso às informações através da internet. A construção do Servidor de Web encontra-se fora do escopo do desenvolvimento desta tese. Porém, testes iniciais sobre a transferência e comunicação de imagens utilizando um servidor e aplicativos Java foram desenvolvidos para avaliar o comportamento do sistema. Entre as principais contribuições deste trabalho encontra-se um novo método de extração de características de imagens chamado histograma métrico. Os histogramas métricos permitem comparar imagens de diferentes tamanhos e mapeadas em faixas de quantização diferentes (se a alteração de brilho for linear). O tempo de resposta às consultas por similaridade utilizando histogramas métricos é, em média, 5 vezes menor do que o tempo de resposta utilizando histogramas tradicionais. Para permitir a indexação das imagens utilizando a Slim-tree foi necessário desenvolver uma nova função de distância métrica. Tal função de distância utiliza a diferença entre as áreas das curvas do histograma métrico. A construção da árvore de indexação utilizando os histogramas métricos chega a ser 10 vezes mais rápida do que com os histogramas tradicionais. As inovações e aperfeiçoamentos oriundos deste trabalho estão sendo integrados ao mini-PACS. Este sistema vem sendo desenvolvido de forma conjunta entre o Grupo de Bases de Dados e Imagens (GDBI) do Instituto de Ciências Matemáticas e de Computação da USP e o Centro de Ciências de Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto da USP.

Submitted by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2017-03-16T15:20:14Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese -Joyce M. Santos.pdf: 4727514 bytes, checksum: 2021a89c93fd642be27fb6d2d9719f78 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2017-03-16T15:20:40Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese -Joyce M. Santos.pdf: 4727514 bytes, checksum: 2021a89c93fd642be27fb6d2d9719f78 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2017-03-16T15:23:03Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese -Joyce M. Santos.pdf: 4727514 bytes, checksum: 2021a89c93fd642be27fb6d2d9719f78 (MD5) / Made available in DSpace on 2017-03-16T15:23:03Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese -Joyce M. Santos.pdf: 4727514 bytes, checksum: 2021a89c93fd642be27fb6d2d9719f78 (MD5) Previous issue date: 2016-11-04 / The technique of representing images by a set of visual words, known as bag of visual words, has been successfully applied to content-based image retrieval. In this work, it is proposed the paradigm Signature-based Bag of Visual Words (S-BoVW), a formal defini-tion for methods that describe images by visual words, without the previous construction of a visual vocabulary. Methods based on this paradigm not require the use of cluste-ring algorithms, which allows to reduce the cost associated with the images description step. The coding and combination of features such as color and texture were explored in this work in order to define new descriptors of images based on the S-BoVW paradigm. Experiments were carried out in order to propose effective and efficient ways to apply the concept proposed by S-BoVW paradigm in the definition of new methods of content-based image retrieval. The results obtained demonstrate that proper choice of query pro-cessing technique and the similarity function ensures obtaining optimized performance by S-BoVW methods and also ensures their competitiveness compared to baselines in many scenarios. / A técnica de representar imagens por meio de um conjunto de palavras visuais, conhecida como bag of visual words, tem sido aplicada com sucesso em tarefas de recuperação de imagens baseada em conteúdo. Neste trabalho, é proposto o paradigma Signature based Bag of Visual Words (S-BoVW), uma definição formal para métodos que descrevem ima-gens por meio de palavras visuais, sem que para isso seja necessária a construção prévia de um vocabulário visual. Métodos baseados nesse paradigma dispensam o uso de algo-ritmos de agrupamento, o que permite reduzir de forma significativa o custo associado à etapa de descrição das imagens. A codificação e a combinação de características, como cor e textura, foram investigadas neste trabalho com o intuito de definir novos descritores de imagens baseados no paradigma S-BoVW. Experimentos foram realizados com o objetivo de propor formas eficazes e eficientes de aplicar o conceito proposto pelo paradigma S-BoVW. Os resultados obtidos a partir deste trabalho demonstram que a escolha adequada da técnica de processamento de consulta e da função de cálculo de similaridade garante a obtenção de um desempenho otimizado por parte dos métodos S-BoVW, como também assegura a competitividade destes em relação aos baselines em diversos cenários.

Os grandes centros médicos e hospitais de todo o mundo têm procurado integrar as informações de seus pacientes incluindo os exames de imagens efetuados (tomografia computadorizada, tomografia por ressonância magnética, ultrasson, medicina nuclear, etc.). Um sistema que integra as imagens junto às informações tradicionais é chamado de Sistema de Arquivamento e Comunicação de Imagens (Picture Archive and Communication System - PACS). Os sistemas PACS comerciais associam as imagens de exames às informações de pacientes através de chaves de consultas textuais e numéricas, não suportando consultas baseadas no conteúdo pictórico das imagens. Entretanto, muitas vezes o médico gostaria de recuperar as imagens armazenadas que fossem semelhantes (similares) a uma determinada imagem de consulta. Por exemplo, seja a consulta: "encontre as 10 imagens mais semelhantes à imagem Raio-X-tórax do Jõao da Silva". Ao responder a consultas desse tipo, o sistema permite que o médico relembre casos ocorridos anteriormente. Além disso, o conhecimento já gerado de exames e tratamentos anteriores pode ser recuperado mais rapidamente do que utilizando apenas a memória humana ou um sistema não automático de recuperação de informações. Um sistema com a capacidade de recuperar imagens utilizando o seu conteúdo pictórico é uma ferramenta valiosa para o auxílio ao diagnóstico médico. Esta tese apresenta a arquitetura de um PACS atualmente em desenvolvimento. Este sistema está sendo denominado mini-PACS. Tal sistema necessita da integração de três sistemas, a saber: - Um Sistema de Processamento de Imagens (SPI), o qual é responsável pela leitura e pré-processamento das imagens que são recebidas de diferentes dispositivos e possuem diferentes formatos. O SPI extrai as características relevantes das imagens, as quais serão utilizadas para a sua indexação e recuperação por conteúdo. - Um Sistema de Gerenciamento de Bases de Dados e Imagens (SGBDI), que permite a armazenagem e a recuperação de imagens baseada em seu conteúdo. O SGBDI utiliza uma estrutura métrica, a Slim-tree, que indexa as imagens através das características extraídas pelo SPI e possibilita responder consultas por similaridade. - Um Servidor de Web (SW), que disponibiliza o acesso às informações através da internet. A construção do Servidor de Web encontra-se fora do escopo do desenvolvimento desta tese. Porém, testes iniciais sobre a transferência e comunicação de imagens utilizando um servidor e aplicativos Java foram desenvolvidos para avaliar o comportamento do sistema. Entre as principais contribuições deste trabalho encontra-se um novo método de extração de características de imagens chamado histograma métrico. Os histogramas métricos permitem comparar imagens de diferentes tamanhos e mapeadas em faixas de quantização diferentes (se a alteração de brilho for linear). O tempo de resposta às consultas por similaridade utilizando histogramas métricos é, em média, 5 vezes menor do que o tempo de resposta utilizando histogramas tradicionais. Para permitir a indexação das imagens utilizando a Slim-tree foi necessário desenvolver uma nova função de distância métrica. Tal função de distância utiliza a diferença entre as áreas das curvas do histograma métrico. A construção da árvore de indexação utilizando os histogramas métricos chega a ser 10 vezes mais rápida do que com os histogramas tradicionais. As inovações e aperfeiçoamentos oriundos deste trabalho estão sendo integrados ao mini-PACS. Este sistema vem sendo desenvolvido de forma conjunta entre o Grupo de Bases de Dados e Imagens (GDBI) do Instituto de Ciências Matemáticas e de Computação da USP e o Centro de Ciências de Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto da USP.

O aumento da geração e do intercâmbio de imagens médicas digitais tem incentivado profissionais da computação a criarem ferramentas para manipulação, armazenamento e busca por similaridade dessas imagens. As ferramentas de recuperação de imagens por conteúdo, foco desse trabalho, têm a função de auxiliar na tomada de decisão e na prática da medicina baseada em estudo de casos semelhantes. Porém, seus principais obstáculos são conseguir uma rápida recuperação de imagens armazenadas em grandes bases e reduzir o gap semântico, caracterizado pela divergência entre o resultado obtido pelo computador e aquele esperado pelo médico. No presente trabalho, uma análise das funções de distância e dos descritores computacionais de características está sendo realizada com o objetivo de encontrar uma aproximação eficiente entre os métodos de extração de características de baixo nível e os parâmetros de percepção do médico (de alto nível) envolvidos na análise de imagens. O trabalho de integração desses três elementos (Extratores de Características, Função de Distância e Parâmetro Perceptual) resultou na criação de operadores de similaridade, que podem ser utilizados para aproximar o sistema computacional ao usuário final, visto que serão recuperadas imagens de acordo com a percepção de similaridade do médico, usuário final do sistema / The continuous growth of the medical images generation and their use in the day-to-day procedures in hospitals and medical centers has motivated the computer science researchers to develop algorithms, methods and tools to store, search and retrieve images by their content. Therefore, the content-based image retrieval (CBIR) field is also growing at a very fast pace. Algorithms and tools for CBIR, which are at the core of this work, can help on the decision making process when the specialist is composing the images analysis. This is based on the fact that the specialist can retrieve similar cases to the one under evaluation. However, the main reservation about the use of CBIR is to achieve a fast and effective retrieval, in the sense that the specialist gets what is expected for. That is, the problem is to bridge the semantic gap given by the divergence among the result automatically delivered by the system and what the user is expecting. In this work it is proposed the perceptual parameter, which adds to the relationship between the feature extraction algorithms and distance functions aimed at finding the best combination to deliver to the user what he/she expected from the query. Therefore, this research integrated the three main elements of similarity queries: the image features, the distance function and the perceptual parameter, what resulted in searching operators. The experiments performed show that these operators can narrow the distance between the system and the specialist, contributing to bridge the semantic gap

Este trabalho apresenta o estudo e implementação de um banco de conhecimentos para auxiliar o diagnóstico de lesões da mama por inspeção visual, permitindo ao médico consultas através de características pictóricas da imagem e a comparação visual entre imagem investigada e imagens previamente classificadas e suas informações clínicas. As imagens encontram-se classificadas no banco de conhecimentos segundo o padrão \"Breast imaging reporting and data systems\" (BI-RADS) do Colégio Americano de Radiologia. A seleção das imagens, informações clínicas representativas, bem como sua classificação foram realizada em conjunto com médicos radiologistas do Centro de Ciências das Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto (FMRP) da Universidade de São Paulo (USP). O processo de indexação e recuperação das imagens é baseado em atributos de textura extraídos de \"Regions of interest\" (ROIs) previamente estabelecidas em mamogramas digitalizados. Para simplificar este processo, foi utilizado a Análise de Componentes Principais (PCA), que visa a redução do número de atributos de textura e as informações redundantes existentes. Os melhores resultados obtidos foram para as ROIs 139 (Precisão = 0.80), 59 (Precisão = 0.86) e um valor de 100% de acerto para a ROI 40. / This work presents the survey and implementation of a database of knowledge to aid the diagnostic of breast lesions through visual inspection, allowing the physician a seach through the characteristics of the contents of the image and the visual comparison between the analysed image and the previously classified images and its clinical information. The images are classified into the database of knowledge according to the pattern Breast Imaging Reporting and Data Systems (BI-RADS) of the American College of Radiology. The selection of the images, the representative clinical information, as well as its classification have been performed in conjunction with practictioners radiologists of the Centro de Ciências das Imagens e Física Médica (CCIFM) from Faculdade de Medicina de Ribeirão Preto (FMRP) from Universidade de São Paulo (USP). The process of indexing and retrieving the images is based on characteristic of the texture extracted from the regions of interest (ROIs) previously established through scanned mammograms. To simplify this path, the Principal Components Analysis (PCA) was used it aims the reduction of the number of features of texture and the existing redundant information. The best results obtained were to the ROIs 139 (precision = 0.80), 59 (precision = 0.86) and a value of 100% of precision for ROI 40.

Submitted by Geyciane Santos (geyciane_thamires@hotmail.com) on 2015-06-22T14:42:52Z No. of bitstreams: 1 Tese- Patrícia Correia Saraiva.pdf: 5471120 bytes, checksum: faed3fa950294e70e5e4750ea26d9538 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-24T13:51:18Z (GMT) No. of bitstreams: 1 Tese- Patrícia Correia Saraiva.pdf: 5471120 bytes, checksum: faed3fa950294e70e5e4750ea26d9538 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-24T13:51:17Z (GMT) No. of bitstreams: 1 Tese- Patrícia Correia Saraiva.pdf: 5471120 bytes, checksum: faed3fa950294e70e5e4750ea26d9538 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-24T14:29:41Z (GMT) No. of bitstreams: 1 Tese- Patrícia Correia Saraiva.pdf: 5471120 bytes, checksum: faed3fa950294e70e5e4750ea26d9538 (MD5) / Made available in DSpace on 2015-06-24T14:29:41Z (GMT). No. of bitstreams: 1 Tese- Patrícia Correia Saraiva.pdf: 5471120 bytes, checksum: faed3fa950294e70e5e4750ea26d9538 (MD5) Previous issue date: 2014-02-28 / FAPEAM - Fundação de Amparo à Pesquisa do Estado do Amazonas / The volume of information encoded in the form of images has increased significantly in the last decades. Contributing to this scenario, the wide-spread use of mobile devices, such as tablets and smartphones, and even notebooks, which not only can take photos, but also easily send them to connected applications, such as web services and social networks. Nowadays, images are used in several applications, such as to record personal moments of people’s life or showing products in e-commerce online stores. As a consequence, not only does the volume of images increase, but also the interest in solutions able to retrieve these images. The main goal of this thesis is to investigate the impact of using genetic programming (GP) as a tool for combining different sources of evidence available when retrieving images. As case studies, we considered the application of GP in two different contexts: image retrieval on the Web using textual information automatically extracted from Web pages, and visual search by expanding the image query using information derived from different types of data, such as text and visual content. We evaluate the proposed expansion strategies in an application of visual search for products focused on e-commerce stores for the fashion domain. Experiments performed in the context of image retrieval on the Web showed that the evolutionary approach outperformed the best baseline with gains of 22.36% in terms of MAP. In the context of visual search for e-commerce applications, experimental results indicated that automatic expansion based on genetic programming is an effective alternative for improving the quality of image search results. When compared to a genetic programming system based only on visual information, the multimodal expansion achieved gains of at least 19% in all scenarios considered. When compared to a similar approach, but completely ad hoc, the GP framework achieved gains of up to 54% in terms of MAP. / O volume de informação codificada sob a forma de imagens tem aumentado de forma significativa nas últimas décadas. O uso cada vez mais frequente de tablets, smartphones, câmeras digitais e notebooks com suporte à aquisição de imagens e a facilidade para tornar essas imagens disponíveis publicamente em repositórios compartilhados, são fatores que contribuem ainda mais para este cenário. Atualmente, imagens são usadas nas mais diversas aplicações, seja para registrar momentos e ações em jornais e revistas eletrônicas, ou redes sociais, ou ainda para divulgar produtos em aplicações de comércio eletrônico. Na medida em que cresce o volume de imagens, cresce também o interesse por sistemas capazes de realizar busca em bases de dados de imagem. O objetivo principal desta tese é investigar o impacto do uso de programação genética (GP - Genetic Progamming) como ferramenta para combinar diferentes fontes de informação disponíveis durante a busca de imagens. Mais especificamente, foram abordados dois contextos distintos como estudos de caso: a busca de imagens na Web utilizando informação textual extraída automaticamente das páginas Web e, a busca visual por meio da expansão da imagem de consulta utilizando informação derivadas de diferentes modalidades de dados, como texto e conteúdo visual. Para avaliar as estratégias propostas para o contexto de busca visual, escolheu-se como estudo de caso a busca visual de produtos em lojas de comércio eletrônico voltadas para o segmento de moda. Os experimentos realizados no contexto de busca de imagens na Web mostraram que a abordagem evolucionária superou a melhor abordagem utilizada como baseline, com ganhos de 22,36% em termos de MAP. No cenário de busca visual de produtos em lojas de comércio eletrônico, os resultados experimentais mostraram que a expansão automática baseada em GP é uma alternativa efetiva para melhorar a qualidade dos resultados de um sistema de busca de imagens. Quando comparado a uma abordagem baseada somente em propriedades visuais, a expansão multimodal obteve ganhos de pelo menos 19% em todos os cenários de busca considerados. Quando comparado a uma abordagem similar, mas completamente ad hoc, o arcabouço baseado em GP obteve ganhos de até 54% em termos de MAP.

This work presents a multi-dimensional similarity modeling strategy and relevance feedback technique for minimizing the semantic gap intrinsic problem of CBIR systems by allowing users to customize their queries according to their requirements and preferences. We propose a composite strategy using a multi-dimensional, vectorial, spatially clustered, and relevance-ordered approach. Given a set of k features which represents the elements in an image database, the similarity measure between a query image and another from the image collection is analyzed in k components, and the images are ranked on a k dimensional space according to their projections over the axis xn, where n = 1, 2, ... k. System experimentation was executed thoroughly using a test image database containing up to 20,000 pictures. The experimental results have shown that the presented approach can substantially improve the outcome in image retrieval systems. / Este trabalho apresenta uma estratégia multidimensional de modelagem de similaridade e técnica de realimentação de relevância para a minimização do problema do salto semântico, intrínseco dos sistemas CBIR, permitindo aos usuários a customização de suas pesquisas de acordo com seus requisitos e preferências. Propõe-se uma estratégia composta, utilizando uma abordagem multidimensional, vetorial, com agrupamento espacial e ordenada por relevância. Considerando um grupo de k características que representam os elementos em um banco de dados de imagens, a medida de similaridade entre a imagem de consulta e outra da coleção de imagens é analisada em um espaço k dimensional de acordo com suas projeções sobre os eixos xn, onde n = 1, 2, ... k. Vários testes foram realizados com o sistema proposto utilizando um banco de imagens de testes contendo até 20.000 figuras. Os resultados obtidos mostraram que a abordagem apresentada pode aprimorar substancialmente o resultado em sistemas de recuperação de imagens. / Mestre em Ciências

Este trabalho apresenta o estudo e implementação de um banco de conhecimentos para auxiliar o diagnóstico de lesões da mama por inspeção visual, permitindo ao médico consultas através de características pictóricas da imagem e a comparação visual entre imagem investigada e imagens previamente classificadas e suas informações clínicas. As imagens encontram-se classificadas no banco de conhecimentos segundo o padrão \"Breast imaging reporting and data systems\" (BI-RADS) do Colégio Americano de Radiologia. A seleção das imagens, informações clínicas representativas, bem como sua classificação foram realizada em conjunto com médicos radiologistas do Centro de Ciências das Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto (FMRP) da Universidade de São Paulo (USP). O processo de indexação e recuperação das imagens é baseado em atributos de textura extraídos de \"Regions of interest\" (ROIs) previamente estabelecidas em mamogramas digitalizados. Para simplificar este processo, foi utilizado a Análise de Componentes Principais (PCA), que visa a redução do número de atributos de textura e as informações redundantes existentes. Os melhores resultados obtidos foram para as ROIs 139 (Precisão = 0.80), 59 (Precisão = 0.86) e um valor de 100% de acerto para a ROI 40. / This work presents the survey and implementation of a database of knowledge to aid the diagnostic of breast lesions through visual inspection, allowing the physician a seach through the characteristics of the contents of the image and the visual comparison between the analysed image and the previously classified images and its clinical information. The images are classified into the database of knowledge according to the pattern Breast Imaging Reporting and Data Systems (BI-RADS) of the American College of Radiology. The selection of the images, the representative clinical information, as well as its classification have been performed in conjunction with practictioners radiologists of the Centro de Ciências das Imagens e Física Médica (CCIFM) from Faculdade de Medicina de Ribeirão Preto (FMRP) from Universidade de São Paulo (USP). The process of indexing and retrieving the images is based on characteristic of the texture extracted from the regions of interest (ROIs) previously established through scanned mammograms. To simplify this path, the Principal Components Analysis (PCA) was used it aims the reduction of the number of features of texture and the existing redundant information. The best results obtained were to the ROIs 139 (precision = 0.80), 59 (precision = 0.86) and a value of 100% of precision for ROI 40.