The implementation of data mining techniques in the medical area has generated great interest because of its potential for more efficient, economic and robust performance when compared to physicians. In this paper, we focus on the implementation of Multiple-Instance Learning (MIL) in the area of medical image mining, particularly to hard exudates detection in retinal images from diabetic patients. Our proposed approach deals with the highly noisy images that are common in the medical area, improving the detection specificity while keeping the sensitivity as high as possible. We have also investigated the effect of feature selection on system performance. We describe how we implement the idea of MIL on the problem of retinal image mining, discuss the issues that are characteristic of retinal images as well as issues common to other medical image mining problems, and report the results of initial experiments. / Singapore-MIT Alliance (SMA)

Neste trabalho, a mineração de regras de associação é utilizada para dar suporte a dois tipos de sistemas médicos: os sistemas de busca por conteúdo em imagens (Content-based Image Retrieval - CBIR) e os sistemas de auxílio ao diagnóstico (Computer Aided Diagnosis - CAD). Na busca por conteúdo, regras de associação são empregadas para reduzir a dimensionalidade dos vetores de características que representam as imagens e para diminuir o ``gap semântico\'\', que existe entre as características de baixo nível das imagens e seu significado semântico. O algoritmo StARMiner (Statistical Association Rule Miner) foi desenvolvido para associar características de baixo nível das imagens com o seu significado semântico, sendo também utilizado para realizar seleção de características em bases de imagens médicas, melhorando a precisão dos sistemas CBIR. Para dar suporte aos sistemas CAD, o método IDEA (Image Diagnosis Enhancement through Association rules) foi desenvolvido. Nesse método regras de associação são empregadas para sugerir uma segunda opinião ou diagnóstico preliminar de uma nova imagem para o radiologista. A segunda opinião automaticamente gerada pelo método pode acelerar o processo de diagnóstico de uma imagem ou reforçar uma hipótese, trazendo ao especialista médico um apoio estatístico da situação sendo analisada. Dois novos algoritmos foram propostos: um para pré-processar as características de baixo nível das imagens médicas e, o outro, para propor diagnósticos baseados em regras de associação. Vários experimentos foram realizados para validar os métodos desenvolvidos. Os experimentos realizados indicam que o uso de regras de associação pode contribuir para melhorar a busca por conteúdo e o diagnóstico de imagens médicas, consistindo numa poderosa ferramenta para descoberta de padrões em sistemas médicos / In this work we take advantage of association rule mining to support two types of medical systems: the Content-based Image Retrieval (CBIR) and the Computer-Aided Diagnosis (CAD) systems. For content-based retrieval, association rules are employed to reduce the dimensionality of the feature vectors that represent the images and to diminish the semantic gap that exists between low-level features and its high-level semantical meaning. The StARMiner (Statistical Association Rule Miner) algorithm was developed to associate low-level features with their semantical meaning. StARMiner is also employed to perform feature selection in medical image datasets, improving the precision of CBIR systems. To improve CAD systems, we developed the IDEA (Image Diagnosis Enhancement through Association rules) method. Association rules are employed to suggest a second opinion to the radiologist or a preliminary diagnosis of a new image. A second opinion automatically obtained can accelerate the process of diagnosing or strengthen a hypothesis, giving to the physician a statistical support to the decision making process. Two new algorithms are developed to support the IDEA method: to pre-process low-level features and to propose a diagnosis based on association rules. We performed several experiments to validate the developed methods. The results indicate that association rules can be successfully applied to improve CBIR and CAD systems, empowering the arsenal of techniques to support medical image analysis in medical systems

Neste trabalho, a mineração de regras de associação é utilizada para dar suporte a dois tipos de sistemas médicos: os sistemas de busca por conteúdo em imagens (Content-based Image Retrieval - CBIR) e os sistemas de auxílio ao diagnóstico (Computer Aided Diagnosis - CAD). Na busca por conteúdo, regras de associação são empregadas para reduzir a dimensionalidade dos vetores de características que representam as imagens e para diminuir o ``gap semântico\'\', que existe entre as características de baixo nível das imagens e seu significado semântico. O algoritmo StARMiner (Statistical Association Rule Miner) foi desenvolvido para associar características de baixo nível das imagens com o seu significado semântico, sendo também utilizado para realizar seleção de características em bases de imagens médicas, melhorando a precisão dos sistemas CBIR. Para dar suporte aos sistemas CAD, o método IDEA (Image Diagnosis Enhancement through Association rules) foi desenvolvido. Nesse método regras de associação são empregadas para sugerir uma segunda opinião ou diagnóstico preliminar de uma nova imagem para o radiologista. A segunda opinião automaticamente gerada pelo método pode acelerar o processo de diagnóstico de uma imagem ou reforçar uma hipótese, trazendo ao especialista médico um apoio estatístico da situação sendo analisada. Dois novos algoritmos foram propostos: um para pré-processar as características de baixo nível das imagens médicas e, o outro, para propor diagnósticos baseados em regras de associação. Vários experimentos foram realizados para validar os métodos desenvolvidos. Os experimentos realizados indicam que o uso de regras de associação pode contribuir para melhorar a busca por conteúdo e o diagnóstico de imagens médicas, consistindo numa poderosa ferramenta para descoberta de padrões em sistemas médicos / In this work we take advantage of association rule mining to support two types of medical systems: the Content-based Image Retrieval (CBIR) and the Computer-Aided Diagnosis (CAD) systems. For content-based retrieval, association rules are employed to reduce the dimensionality of the feature vectors that represent the images and to diminish the semantic gap that exists between low-level features and its high-level semantical meaning. The StARMiner (Statistical Association Rule Miner) algorithm was developed to associate low-level features with their semantical meaning. StARMiner is also employed to perform feature selection in medical image datasets, improving the precision of CBIR systems. To improve CAD systems, we developed the IDEA (Image Diagnosis Enhancement through Association rules) method. Association rules are employed to suggest a second opinion to the radiologist or a preliminary diagnosis of a new image. A second opinion automatically obtained can accelerate the process of diagnosing or strengthen a hypothesis, giving to the physician a statistical support to the decision making process. Two new algorithms are developed to support the IDEA method: to pre-process low-level features and to propose a diagnosis based on association rules. We performed several experiments to validate the developed methods. The results indicate that association rules can be successfully applied to improve CBIR and CAD systems, empowering the arsenal of techniques to support medical image analysis in medical systems

The popularization of social media, combined with the widespread use of smartphones and the use of advanced equipment in hospitals and medical centers has generated single and sequences of complex data, including images of high quality and in large quantity. Providing appropriate tools to extract meaningful knowledge from such data is a big challenge, and taking advantage of existing approaches to find patterns from images can be meaningful. While many potential techniques have been proposed to analyze images, most of the processing performed by image mining techniques consider the entire image. Thus, regions that are not of interest are considered in the analysis step, without proper distinction and consequently damaging most tasks. This doctorate PhD research has the following thesis: The analysis of image regions, combined to additional information, leads to more accurate mining results regarding the entire image, and also helps the processing of sequences of images, speeding-up costly pipelines and making it possible to infer knowledge from objects movement. We evaluate this thesis in three application scenarios. In the first scenario, we analyzed regions of images from emergency situations, gathered from social media and which depict smoke regions. We were able to segment smoke regions and improve the classification of smoke images by up to 23%, compared to global approaches. In the second scenario, we worked with images from the medical context, containing Interstitial Lung Diseases (ILD). We classified the images considering the uncertainty of each lung region to contain different abnormalities, representing the obtained results with a heat map visualization. Our approach was able to outperform its competitors in the classification of lung regions by up to four of five classes of abnormalities. In the third scenario, we dealt with sequences of microscopic images depicting embryos being developed over time. Using region-based information of images, we were able to track and predict cells over time and build their motion vector. Our approaches showed an improvement of up to 57% in quality, and a speed-up of the tracking pipeline by up to 81:9%. Therefore, this PhD research contributed to the state-of-the-art by introducing methods of region-based image analysis for the three aforementioned application scenarios. / A popularização de redes sociais e o uso generalizado de smartphones e equipamentos avançados em hospitais têm gerado dados complexos e sequências de dados, tais como imagens de alta qualidade, em grande quantidade. Fornecer ferramentas apropriadas para extrair conhecimento útil de tais dados é um grande desafio, e tirar vantagem de abordagens existentes para encontrar padrões em imagens pode ser significativo. Enquanto diversas técnicas em potencial têm sido propostas para analisar imagens, grande parte dessas técnicas consideram a imagem inteira na análise. Assim, regiões que não são de interesse são consideradas na etapa de análise, sem distinção apropriada e consequentemente prejudicando diversas tarefas. Esta pesquisa de Doutorado baseou-se na seguinte tese: A análise de regiões de imagens, combinada com informações adicionais, leva a resultados de mineração mais precisos em relação à imagem inteira, ajudando também no processamento de sequências de imagens, acelerando pipelines custosos e tornando possível inferir conhecimento do movimento de objetos. Essa tese foi avaliada em três cenários de aplicação. No primeiro cenário, foram analisadas regiões de imagens de situações de emergência, obtidas por meio de redes sociais e que apresentavam regiões de fumaça. Os métodos propostos são capazes de segmentar regiões de fumaça e melhorar a classificação global de imagens em até 23% em comparação ao estado da arte. No segundo cenário, foram abordadas imagens do contexto médico, contendo doenças pulmonares intersticiais. As imagens foram classificadas considerando a incerteza de cada região do pulmão em conter diferentes anormalidades, representando os resultados obtidos por meio de uma visualização baseada em mapas de calor. A abordagem proposta foi melhor que os competidores na tarefa de classificação de regiões pulmonares, apresentando melhores resultados em até quatro de cinco anormalidades. No terceiro cenário, foram tratadas de sequências de imagens microscópicas, exibindo embriões se desenvolvendo ao longo do tempo. Com o uso de informações das imagens baseadas em regiões, foi possível rastrear e predizer trajetórias de células ao longo do tempo, e também construir o vetor de movimento das mesmas. As abordagens propostas mostraram uma melhora de até 57% em qualidade, e uma melhora de tempo no pipeline de rastreamento de até 81:9%. Esta tese de Doutorado contribuiu para o estado da arte introduzindo métodos de análise de imagem baseados em região para os três cenários de aplicação mencionados anteriormente.

Bases de imagens armazenadas em sistemas computacionais da área médica correspondem a uma valiosa fonte de conhecimento. Assim, a mineração de imagens pode ser aplicada para extrair conhecimento destas bases com o propósito de apoiar o diagnóstico auxiliado por computador (Computer Aided Diagnosis - CAD). Sistemas CAD apoiados por mineração de imagens tipicamente realizam a extração de características visuais relevantes das imagens. Essas características são organizadas na forma de vetores de características que representam as imagens e são utilizados como entrada para classificadores. Devido ao problema conhecido como lacuna semântica, que corresponde à diferença entre a percepção da imagem pelo especialista médico e suas características automaticamente extraídas, um aspecto desafiador do CAD é a obtenção de um conjunto de características que seja capaz de representar de maneira sucinta e eficiente o conteúdo visual de imagens médicas. Foi desenvolvido neste trabalho o extrator de características FFS (Fast Fractal Stack) que realiza a extração de características de forma, que é um atributo visual que aproxima a semântica esperada pelo ser humano. Adicionalmente, foi desenvolvido o algoritmo de classificação Concept, que emprega mineração de regras de associação para predizer a classe de uma imagem. O aspecto inovador do Concept refere-se ao algoritmo de obtenção de representações de imagens, denominado MFS-Map (Multi Feature Space Map) e também desenvolvido neste trabalho. O MFS-Map realiza agrupamento de dados em diferentes espaços de características para melhor aproveitar as características extraídas no processo de classificação. Os experimentos realizados para imagens de tomografia pulmonar e mamografias indicam que tanto o FFS como a abordagem de representação adotada pelo Concept podem contribuir para o aprimoramento de sistemas CAD / Medical image databases represent a valuable source of data from which potential knowledge can be extracted. Image mining can be applied to knowledge discover from these data in order to help CAD (Computer Aided Diagnosis) systems. The typical set-up of a CAD system consists in the extraction of relevant visual features in the form of image feature vectors that are used as input to a classifier. Due to the semantic gap problem, which corresponds to the difference between the humans image perception and the features automatically extracted from the image, a challenging aspect of CAD is to obtain a set of features that is able to succinctly and efficiently represent the visual contents of medical images. To deal with this problem it was developed in this work a new feature extraction method entitled Fast Fractal Stack (FFS). FFS extracts shape features from objects and structures, which is a visual attribute that approximates the semantics expected by humans. Additionally, it was developed the Concept classification method, which employs association rules mining to the task of image class prediction. The innovative aspect of Concept refers to its image representation algorithm termed MFS-Map (Multi Feature Space Map). MFS-Map employs clustering in different feature spaces to maximize features usefulness in the classification process. Experiments performed employing computed tomography and mammography images indicate that both FFS and Concept methods for image representation can contribute to the improvement of CAD systems

Com o desenvolvimento e barateamento dos equipamentos de aquisição de imagens, principalmente na área médica, tem sido geradas muitas imagens, as quais devem ser analisadas pelos especialistas. Esta tarefa pode ser muitas vezes cansativa e demorada, levando a possíveis erros no diagnóstico, pois a leitura das imagens depende da experiência e do estado físico e emocional do médico. Assim, sistemas de auxílio ao diagnóstico por computador (Computer-aided diagnosis - CAD) têm se tornado grandes aliados no processo de diagnóstico, realizando uma segunda leitura da imagem, servindo como uma segunda opinião ao especialista. Por isso, é necessário o desenvolvimento de técnicas de mineração de imagens para o aumento da precisão e da velocidade da análise das imagens. Assim, o objetivo deste trabalho foi desenvolver métodos de representação de imagens e de classificação associativa para aumentar a precisão da classificação de sistemas de auxílio ao diagnóstico médico por imagens. Para a representação de imagens foram desenvolvidas técnicas para reduzir a lacuna que há entre a representação numérica das imagens e seu significado semântico, a qual é chamada de `gap semântico\'. Para isso, foi usada a teoria das redes complexas para modelar as imagens em redes livres de escala, e os descritores das imagens foram compostos pelas medidas topológicas extraídas rede modelada. Os vetores de características gerados foram bem compactos, o que possibilitou também evitar o problema da `maldição da alta dimensionalidade\'. Para a classificação, foi desenvolvido o classificador associativo SACMiner, por meio do uso de regras de associação estatísticas, o qual evita a fase de discretização de dados, lidando diretamente com dados contínuos. Este foi um passo importante, já que a discretização pode causar a perda de informações e gerar inconsistência na base de dados. Além do SACMiner, foi desenvolvido o classificador MinSAR, o qual, além de não demandar a fase de discretização, também evita que o usuário tenha que fornecer parâmetros de entrada ao algoritmo responsável por gerar as regras. As técnicas até aqui listadas foram aplicadas em um sistema de auxílio ao diagnóstico de mama e comparadas com técnicas descritas na literatura, e os resultados mostram que as técnicas aqui propostas sobrepujaram as atuais da literatura. E por fim, foram sugeridas novas medidas para caracterizar imagens de pacientes com epilepsia no lobo temporal mesial, por meio do uso de medidas de espessura cortical, as quais melhoraram a precisão do sistema para este tipo de diagnóstico / The complexity of medical images and the high volume of exams per radiologist in a screening program can lead to a scenario prone to mistakes. Hence, it is important to inforce double reading and effective analysis, but those are costly measures. The computer-aided diagnosis (CAD) technology offers an alternative to double reading, because it can provide a computer output as a `second opinion\' to assist radiologists in interpreting images. Using this technology, the accuracy and consistency of radiological diagnoses can be improved, and also the image reading time can be reduced. Therefore, the need of classification and image representation methods and to speed-up and to assist the radiologists in the image analysis task has been increased. These methods must be more accurate and demand low computational cost, in order to provide a timely answer to the physician. The aim of this thesis was to developed image representation and associative classifiers methods to improve the classification of computer-aided diagnosis systems. Considering the image representation, in this work, we present some approaches to reduce the gap between the numeric representation of the images and their semantic, which is called `semantic gap\'. For this, we used the complex network theory to produce an image model based on scale-free networks. The image descriptors were composed of topological measures of the modeled network. The feature vectors produced were quite compact, which also allowed to avoid the problem called as `curse of dimensionality\'. Considering the classification task, we proposed the SACMiner classifier, which uses statistical association rules in order to avoid the discretization step when working with continuous attributes. It is important because the discretization step can disturb the dataset and cause lost of information. We also proposed de MinSAR classifier, which mines the rules not requiring a discretization step neither input thresholds, as most of the other association rules methods do. These approaches were applied in a breast cancer computer-aided diagnosis system. And finally, we developed an automatic technique which can aid in distinguishing between controls and patients with mesial temporal lobe epilepsy, based on cortical thickness, and potentially identifying abnormalities in tissue integrity in cases where atrophy cannot be visualized

Bases de imagens armazenadas em sistemas computacionais da área médica correspondem a uma valiosa fonte de conhecimento. Assim, a mineração de imagens pode ser aplicada para extrair conhecimento destas bases com o propósito de apoiar o diagnóstico auxiliado por computador (Computer Aided Diagnosis - CAD). Sistemas CAD apoiados por mineração de imagens tipicamente realizam a extração de características visuais relevantes das imagens. Essas características são organizadas na forma de vetores de características que representam as imagens e são utilizados como entrada para classificadores. Devido ao problema conhecido como lacuna semântica, que corresponde à diferença entre a percepção da imagem pelo especialista médico e suas características automaticamente extraídas, um aspecto desafiador do CAD é a obtenção de um conjunto de características que seja capaz de representar de maneira sucinta e eficiente o conteúdo visual de imagens médicas. Foi desenvolvido neste trabalho o extrator de características FFS (Fast Fractal Stack) que realiza a extração de características de forma, que é um atributo visual que aproxima a semântica esperada pelo ser humano. Adicionalmente, foi desenvolvido o algoritmo de classificação Concept, que emprega mineração de regras de associação para predizer a classe de uma imagem. O aspecto inovador do Concept refere-se ao algoritmo de obtenção de representações de imagens, denominado MFS-Map (Multi Feature Space Map) e também desenvolvido neste trabalho. O MFS-Map realiza agrupamento de dados em diferentes espaços de características para melhor aproveitar as características extraídas no processo de classificação. Os experimentos realizados para imagens de tomografia pulmonar e mamografias indicam que tanto o FFS como a abordagem de representação adotada pelo Concept podem contribuir para o aprimoramento de sistemas CAD / Medical image databases represent a valuable source of data from which potential knowledge can be extracted. Image mining can be applied to knowledge discover from these data in order to help CAD (Computer Aided Diagnosis) systems. The typical set-up of a CAD system consists in the extraction of relevant visual features in the form of image feature vectors that are used as input to a classifier. Due to the semantic gap problem, which corresponds to the difference between the humans image perception and the features automatically extracted from the image, a challenging aspect of CAD is to obtain a set of features that is able to succinctly and efficiently represent the visual contents of medical images. To deal with this problem it was developed in this work a new feature extraction method entitled Fast Fractal Stack (FFS). FFS extracts shape features from objects and structures, which is a visual attribute that approximates the semantics expected by humans. Additionally, it was developed the Concept classification method, which employs association rules mining to the task of image class prediction. The innovative aspect of Concept refers to its image representation algorithm termed MFS-Map (Multi Feature Space Map). MFS-Map employs clustering in different feature spaces to maximize features usefulness in the classification process. Experiments performed employing computed tomography and mammography images indicate that both FFS and Concept methods for image representation can contribute to the improvement of CAD systems

Com o desenvolvimento e barateamento dos equipamentos de aquisição de imagens, principalmente na área médica, tem sido geradas muitas imagens, as quais devem ser analisadas pelos especialistas. Esta tarefa pode ser muitas vezes cansativa e demorada, levando a possíveis erros no diagnóstico, pois a leitura das imagens depende da experiência e do estado físico e emocional do médico. Assim, sistemas de auxílio ao diagnóstico por computador (Computer-aided diagnosis - CAD) têm se tornado grandes aliados no processo de diagnóstico, realizando uma segunda leitura da imagem, servindo como uma segunda opinião ao especialista. Por isso, é necessário o desenvolvimento de técnicas de mineração de imagens para o aumento da precisão e da velocidade da análise das imagens. Assim, o objetivo deste trabalho foi desenvolver métodos de representação de imagens e de classificação associativa para aumentar a precisão da classificação de sistemas de auxílio ao diagnóstico médico por imagens. Para a representação de imagens foram desenvolvidas técnicas para reduzir a lacuna que há entre a representação numérica das imagens e seu significado semântico, a qual é chamada de `gap semântico\'. Para isso, foi usada a teoria das redes complexas para modelar as imagens em redes livres de escala, e os descritores das imagens foram compostos pelas medidas topológicas extraídas rede modelada. Os vetores de características gerados foram bem compactos, o que possibilitou também evitar o problema da `maldição da alta dimensionalidade\'. Para a classificação, foi desenvolvido o classificador associativo SACMiner, por meio do uso de regras de associação estatísticas, o qual evita a fase de discretização de dados, lidando diretamente com dados contínuos. Este foi um passo importante, já que a discretização pode causar a perda de informações e gerar inconsistência na base de dados. Além do SACMiner, foi desenvolvido o classificador MinSAR, o qual, além de não demandar a fase de discretização, também evita que o usuário tenha que fornecer parâmetros de entrada ao algoritmo responsável por gerar as regras. As técnicas até aqui listadas foram aplicadas em um sistema de auxílio ao diagnóstico de mama e comparadas com técnicas descritas na literatura, e os resultados mostram que as técnicas aqui propostas sobrepujaram as atuais da literatura. E por fim, foram sugeridas novas medidas para caracterizar imagens de pacientes com epilepsia no lobo temporal mesial, por meio do uso de medidas de espessura cortical, as quais melhoraram a precisão do sistema para este tipo de diagnóstico / The complexity of medical images and the high volume of exams per radiologist in a screening program can lead to a scenario prone to mistakes. Hence, it is important to inforce double reading and effective analysis, but those are costly measures. The computer-aided diagnosis (CAD) technology offers an alternative to double reading, because it can provide a computer output as a `second opinion\' to assist radiologists in interpreting images. Using this technology, the accuracy and consistency of radiological diagnoses can be improved, and also the image reading time can be reduced. Therefore, the need of classification and image representation methods and to speed-up and to assist the radiologists in the image analysis task has been increased. These methods must be more accurate and demand low computational cost, in order to provide a timely answer to the physician. The aim of this thesis was to developed image representation and associative classifiers methods to improve the classification of computer-aided diagnosis systems. Considering the image representation, in this work, we present some approaches to reduce the gap between the numeric representation of the images and their semantic, which is called `semantic gap\'. For this, we used the complex network theory to produce an image model based on scale-free networks. The image descriptors were composed of topological measures of the modeled network. The feature vectors produced were quite compact, which also allowed to avoid the problem called as `curse of dimensionality\'. Considering the classification task, we proposed the SACMiner classifier, which uses statistical association rules in order to avoid the discretization step when working with continuous attributes. It is important because the discretization step can disturb the dataset and cause lost of information. We also proposed de MinSAR classifier, which mines the rules not requiring a discretization step neither input thresholds, as most of the other association rules methods do. These approaches were applied in a breast cancer computer-aided diagnosis system. And finally, we developed an automatic technique which can aid in distinguishing between controls and patients with mesial temporal lobe epilepsy, based on cortical thickness, and potentially identifying abnormalities in tissue integrity in cases where atrophy cannot be visualized