Computed Radiography exams are rarely performed by the same physicians who will interpret the image. Therefore, if the image does not help the physician diagnose the patient, the image can be rejected by the interpreting physician. The rejection normally happens after the patient has already left the hospital meaning that they will have to return to retake the exam. This leads to unnecessary work for the physicians and for the patient. In order to solve this problem we have explored deep learning algorithms to automatically analyze the images and distinguish between usable and unusable images. The deep learning algorithms include convolutional neural networks, vision transformers and fusion networks utilizing different types of data. In total, seven architectures were used to train 42 models. The models were trained on a dataset of 61 127 DICOM files containing images and metadata collected from a clinical setting and labeled based on if the images were deemed usable in the clinical setting. The complete dataset was used for training generalized models and subsets containing specific body parts were used for training specialized models. Three architectures were used for classification using images only, where two architectures used a ResNet-50 backbone and one architecture used a ViT-B/16 backbone. These architectures created 15 specialized models and three generalized models. Four architectures implementing joint fusion created 20 specialized models and four generalized models. Two of these architectures had a backbone of ResNet-50 and the other two utilized a ViT-B/16 backbone. For each of the backbones used, two types of joint fusion were implemented, type I and type II, which had different structures. The two modalities utilized were images and metadata from the DICOM files. The best image only model had a ViT-B/16 backbone and was trained on a specialized dataset containing hands and feet. This model reached an AUC score of 0.842 and MCC of 0.545. The two fusion models trained on the same dataset reached an AUC score of 0.843 and 0.834 respectively and an MCC of 0.547 and 0.546 respectively. We concluded that it is possible to perform automatic rejections with deep learning models even though the results of this study are not good enough for clinical use. The models using ViT-B/16 performed better than the ones using ResNet-50 for all models. The generalized and specialized models performed equally well in most cases with the exception of the smaller subsets of the full dataset. Utilizing metadata from the DICOM files did not improve the models compared to the image only models.

Nos últimos anos o mundo tem vivenciado uma avalanche de novas tecnologias para auxílio ao diagnóstico médico. Esses esforços buscam um diagnóstico rápido e preciso através de exames e informações sobre a condição física do paciente. Através do uso de imagens médicas, a radiologia busca a visualização de órgãos ou estruturas internas do corpo humano para encontrar respostas às suspeitas de problemas físicos expressos por sinais e sintomas relatados pelo paciente. Nessa área, os Sistemas de Comunicação e Armazenamento de Imagens (PACS) têm ajudado no armazenamento e organização do crescente número de imagens geradas pelos exames realizados nos hospitais. Trabalhos de pesquisa médica têm evidenciado o potencial de uso dessas imagens como auxílio à prática da Medicina Baseada em Casos Similares (MBCS). Por esse motivo, há na literatura um esforço contínuo em desenvolver técnicas computacionais para recuperação de imagens baseada em conteúdos similares (CBIR) em grandes conjuntos de dados. As consultas por similaridade são essenciais para apoiar a prática da MBCS e a descoberta de comportamentos de lesões causadas por diversas doenças. A evolução e intensificação das pesquisas em CBIR têm encontrado vários desafios. Um desses é a divergência entre os resultados obtidos automaticamente e aqueles esperados pelos radiologistas (descontinuidade semântica). Outro desafio é a falta de estudos sobre a viabilidade clínica dessas ferramentas como forma de auxílio ao diagnóstico. Esses obstáculos são dois dos principais responsáveis pela não efetivação dessa tecnologia no ambiente médico-hospitalar. Mediante o exposto acima, este trabalho de pesquisa propõe um mecanismo para contornar essa descontinuidade semântica e ao mesmo tempo aproximar o CBIR do ambiente real de aplicação. A contribuição principal deste trabalho foi o desenvolvimento de uma metodologia baseada em parâmetros perceptuais que aproximam o sistema ao nível de percepção do usuário médico. Em seguida, foi realizado um estudo sobre a viabilidade clínica do sistema CBIR no Hospital das Clínicas de Ribeirão Preto. A metodologia proposta foi aplicada e os resultados comprovaram a aplicabilidade de Sistemas CBIR como ferramenta de auxílio ao diagnóstico em um ambiente clínico real / In recent years the world has experienced an avalanche of new technologies to aid medical diagnosis. These efforts seek a quick and accurate diagnosis through exams and information about the patient\'s physical condition. The radiology studies the visualization of the organs or structures through the use of images. In this area, the Picture Archiving and Communication Systems (PACS) have helped in the storage and organization of the growing number of images generated by exams performed in hospitals. Medical research papers have shown the potential use of these images as an aid to the Similar Case-Based Reasoning (SCBR) practice in Medicine. For this reason, there is an ongoing effort in the literature to develop computational techniques for Content-Based Image Retrieval (CBIR) in large data sets. Similarity queries are essential to support the practice of SCBR. The evolution and intensification of research in CBIR have encountered several challenges. One of these is the discrepancy between the results obtained automatically and those expected by radiologists (semantic gap). Another challenge is the lack of studies on the clinical viability of these tools as a way to assist in diagnosis. These obstacles are the two main responsible for reservation in using this technology in the medical hospital environment. Considering this scenario, this research proposes a mechanism to overcome this semantic gap and bring the real environment to the CBIR application. The main contribution for this research was the development of a methodology based on Perceptual Parameters to approximate the system to the level of user perception. Then we conducted a study on the clinical viability of a CBIR system at the Clinical Hospital of the University of São Paulo at Ribeirão Preto. The proposed methodology was applied and the results showed the applicability of CBIR systems as a computer aided diagnosis tool in a real clinical environment

A recuperação de imagens baseada em conteúdo (Content-based Image Retrieval - CBIR) embasa-se sobre dois aspectos primordiais, um extrator de características o qual deve prover as características intrínsecas mais significativas dos dados e uma função de distância a qual quantifica a similaridade entre tais dados. O grande desafio é justamente como alcançar a melhor integração entre estes dois aspectos chaves com intuito de obter maior precisão nas consultas por similaridade. Apesar de inúmeros esforços serem continuamente despendidos para o desenvolvimento de novas técnicas de extração de características, muito pouca atenção tem sido direcionada à importância de uma adequada associação entre a função de distância e os extratores de características. A presente Dissertação de Mestrado foi concebida com o intuito de preencher esta lacuna. Para tal, foi realizada a análise do comportamento de diferentes funções de distância com relação a tipos distintos de vetores de características. Os três principais tipos de características intrínsecas às imagens foram analisados, com respeito a distribuição de cores, textura e forma. Além disso, foram propostas duas novas técnicas para realização de seleção de características com o desígnio de obter melhorias em relação à precisão das consultas por similaridade. A primeira técnica emprega regras de associação estatísticas e alcançou um ganho de até 38% na precisão, enquanto que a segunda técnica utilizando a entropia de Shannon alcançou um ganho de aproximadamente 71% ao mesmo tempo em que reduz significantemente a dimensionalidade dos vetores de características. O presente trabalho também demonstra que uma adequada utilização das funções de distância melhora efetivamente os resultados das consultas por similaridade. Conseqüentemente, desdobra novos caminhos para realçar a concepção de sistemas CBIR / The retrieval of images by visual content relies on a feature extractor to provide the most meaningful intrinsic characteristics (features) from the data, and a distance function to quantify the similarity between them. A challenge in this field supporting content-based image retrieval (CBIR) to answer similarity queries is how to best integrate these two key aspects. There are plenty of researching on algorithms for feature extraction of images. However, little attention have been paid to the importance of the use of a well-suited distance function associated to a feature extractor. This Master Dissertation was conceived to fill in this gap. Therefore, herein it was investigated the behavior of different distance functions regarding distinct feature vector types. The three main types of image features were evaluated, regarding color distribution, texture and shape. It was also proposed two new techniques to perform feature selection over the feature vectors, in order to improve the precision when answering similarity queries. The first technique employed statistical association rules and achieve up to 38% gain in precision, while the second one employing the Shannon entropy achieved 71%, while siginificantly reducing the size of the feature vector. This work also showed that the proper use of a distance function effectively improves the similarity query results. Therefore, it opens new ways to enhance the acceptance of CBIR systems

A Tomografia de Impedância Elétrica é uma técnica de obtenção de imagens do interior de um corpo, mediante grandezas elétricas medidas em sua superfície. Matematicamente, a técnica determina as distribuições de condutividades e permissividades elétricas num dado modelo do corpo, as quais reproduzem as medidas de correntes e potenciais elétricos em eletrodos fixados ao corpo. Nesse caso, as distribuições de condutividades e permissividades representam a solução de um problema não-linear e mal-posto, o qual é instável e apresenta mínimos locais, requerendo técnicas de inversão específicas. Um sistema de Tomografia de Impedância Elétrica aplicado à obtenção de imagens de valores absolutos possui, atualmente, limitações. São algumas delas a obtenção de distribuições de propriedades suaves e de valores geralmente subestimados, a sensibilidade elevada ao erro de posicionamento dos eletrodos (com relação ao modelo) e ao erro nos valores de parâmetros de contato, a sensibilidade elevada aos ruídos de medição, os tempos elevados de processamento, dentre outros. Com o intuito de abordar as limitações, melhorando o desempenho do sistema de Tomografia de Impedância Elétrica de imagens absolutas, são então propostas e avaliadas ferramentas baseadas no Método de Otimização Topológica no atual trabalho. Mais especificamente, avaliam-se: 1) um método para obtenção de parâmetros de contato em conjunto com uma imagem e um método de regularização baseado no controle explícito da variação espacial da imagem, 2) uma formulação para acomodação de incertezas, 3) uma formulação para correção do posicionamento de eletrodos, 4) uma formulação para projeto de eletrodos e 5) um novo solucionador de sistemas lineares de larga escala. Os resultados mostram a efetividade da maioria das técnicas propostas, e sugerem os novos tópicos de pesquisa em Tomografia de Impedância Elétrica. / Electrical Impedance Tomography images the interior of a body based on electrical quantities measured on the surface of it. Mathematically, the technique finds the electric admittivity distribution in a given body model which reproduces the boundary measurements of electric currents and potentials on electrodes attached to that body. Therefore, the admittivity distribution is the solution of a non-linear and ill-posed problem, which is unstable and have local minima, requiring specific inversion techniques. Electrical Impedance Tomography systems which obtain images corresponding to absolute values present limitations. For instance, the results are usually smooth and underestimated, the sensitivity to errors in the positioning of electrodes and wrong values of contact parameters and the sensitivity to measurement noise are high, the data processing time is high, etc. In this work, techniques based on the Topology Optimization Method intended for improving the performance of the particular Electrical Impedance Tomography system applied to absolute images are proposed and evaluated. More specifically, the following techniques are evaluated: 1) a method intended to obtain contact parameters together with images, and a regularization method based on the explicit control of the spatial variation regarding the image, 2) a formulation applied to handle uncertainties, 3) a formulation applied to correct the position of electrodes, 4) a formulation applied to design electrodes, 5) and a new solver for large-scale linear systems. Results show the effectiveness of most of the proposed techniques, and suggest new research topics in Electrical Impedance Tomography.

Esta tese de doutorado aborda os tópicos de modelagem e de reconhecimento de objetos estruturados, ou sistemas estruturados de objetos, em imagens. Um objeto ou sistema estruturado é aquele que pode ser descrito através de elementos primitivos que o compõem e pelas relações existentes entre esses elementos. Por exemplo, uma aeronave pode ser descrita pelos seguintes elementos primitivos: asas direita e esquerda, fuselagem e cockpit. O aspecto relacional de um objeto estruturado direciona sua representação computacional e seu reconhecimento em imagens ao paradigma estrutural de reconhecimento de padrões. Contudo, a variabilidade das características dos seus elementos primitivos é melhor representada através do paradigma estatístico de reconhecimento de padrões. Devido à complementaridade dos paradigmas, a conjunção dessas abordagens é um tema de pesquisa de interesse atual. Para conjugar esses dois aspectos, esta tese propôs uma metodologia que combina o conhecimento a priori das relações que caracterizam um objeto estruturado com dados estatísticos coletados de amostras desse objeto, num modelo híbrido denominado grafo estatístico-relacional (GER). Segundo essa representação, foi estudada uma abordagem probabilística para reconhecer um objeto estruturado em imagens. Nesse cenário, o GER modelo é considerado uma variável aleatória, enquanto uma rotulação de uma imagem de entrada é interpretada como uma potencial observação do modelo. A tarefa de reconhecimento foi então formulada como um problema de otimização, que busca maximizar a probabilidade da observação de acordo com o modelo. O método foi aplicado à modelagem de órgãos abdominais em imagens de ressonância magnética não-contrastadas. Esses órgãos apresentam um arranjo espacial consistente em imagens distintas, além de propriedades de aparência e anatômicas variáveis, o que vem ao encontro da proposta da representação por GER e da abordagem probabilística para o reconhecimento dos órgãos em novas imagens. / The purpose of this thesis was to propose a formalism for the problems of modeling and recognition of a structured object, or a system of structured objects, in images. A structured object is one that may be described in terms of its compound primitive elements and their inherent relations. For instance, an aircraft may be described in terms of the following primitives: right and left wings, fuselage, and cockpit. The relational aspect of structured objects leads these problems to solutions in structural pattern recognition, which describes patterns as primitives and relations. Nevertheless, the variability of primitive elements and of their relations is better modeled by traditional statistical pattern recognition methods. Because of the complementary capabilities of these approaches, the fusion of both has recently been pointed out as a trend in computer vision. To consider these sources of information, the methodology presented herein combines relational cues inherent to a structured object with statistical information learned from a set of object samples. A hybrid model of a structured object is represented by means of a statistical relational graph (SRG). The SRG is a prototype attributed relational graph (ARG) in which nodes represent primitive elements and arcs link nodes representing related primitives. Each node or arc is associated with attributes which are parameters of probability distributions that describe random variables representing primitive or relational attributes. Based on this representation, a probabilistic approach was proposed to tackle the problem of recognizing a structured object in an input image. The model SRG is interpreted as a random variable, whereas a labeling of the input image is considered a potential observation of the model. The recognition task was formulated as the optimization of an objective-function that is actually a probability measure to be maximized. The proposed approach was applied to the modeling of abdominal organs in non-contrasted magnetic resonance images. These organs present consistent spatial arrangement in distinct images, as well as varying appearance and anatomical properties, which meet the principle of the SRG representation and the associated probabilistic recognition scenario.

Dans cette thèse, nous nous intéressons à un récent algorithme de segmentation d’images basé sur un processus de régularisation de graphes. L’objectif d’un tel algorithme est de calculer une fonction indicatrice de la segmentation qui satisfait un critère de régularité ainsi qu’un critère d’attache aux données. La particularité de cette approche est de représenter les images à l’aide de graphes de similarité. Ceux-ci permettent d’établir des relations entre des pixels non-adjacents, et ainsi de procéder à un traitement non-local des images. Afin d’en améliorer la précision, nous combinons cet algorithme à une seconde approche non-locale : des caractéristiques de textures. Un nouveau terme d’attache aux données est dans un premier temps développé. Inspiré des travaux de Chan et Vese, celui-ci permet d’évaluer l’homogénéité d’un ensemble de caractéristiques de textures. Dans un second temps, nous déléguons le calcul de l’attache aux données à un classificateur supervisé. Entrainé à reconnaitre certaines classes de textures, ce classificateur permet d’identifier les caractéristiques les plus pertinentes, et ainsi de fournir une modélisation plus aboutie du problème. Cette seconde approche permet par ailleurs une segmentation multiclasse. Ces deux méthodes ont été appliquées à la segmentation d’images texturées 2D et 3D. / In this thesis, we improve a recent image segmentation algorithm based on a graph regularization process. The goal of this method is to compute an indicator function that satisfies a regularity and a fidelity criteria. Its particularity is to represent images with similarity graphs. This data structure allows relations to be established between similar pixels, leading to non-local processing of the data. In order to improve this approach, combine it with another non-local one: the texture features. Two solutions are developped, both based on Haralick features. In the first one, we propose a new fidelity term which is based on the work of Chan and Vese and is able to evaluate the homogeneity of texture features. In the second method, we propose to replace the fidelity criteria by the output of a supervised classifier. Trained to recognize several textures, the classifier is able to produce a better modelization of the problem by identifying the most relevant texture features. This method is also extended to multiclass segmentation problems. Both are applied to 2D and 3D textured images.

A Tomografia de Impedância Elétrica é uma técnica de obtenção de imagens do interior de um corpo, mediante grandezas elétricas medidas em sua superfície. Matematicamente, a técnica determina as distribuições de condutividades e permissividades elétricas num dado modelo do corpo, as quais reproduzem as medidas de correntes e potenciais elétricos em eletrodos fixados ao corpo. Nesse caso, as distribuições de condutividades e permissividades representam a solução de um problema não-linear e mal-posto, o qual é instável e apresenta mínimos locais, requerendo técnicas de inversão específicas. Um sistema de Tomografia de Impedância Elétrica aplicado à obtenção de imagens de valores absolutos possui, atualmente, limitações. São algumas delas a obtenção de distribuições de propriedades suaves e de valores geralmente subestimados, a sensibilidade elevada ao erro de posicionamento dos eletrodos (com relação ao modelo) e ao erro nos valores de parâmetros de contato, a sensibilidade elevada aos ruídos de medição, os tempos elevados de processamento, dentre outros. Com o intuito de abordar as limitações, melhorando o desempenho do sistema de Tomografia de Impedância Elétrica de imagens absolutas, são então propostas e avaliadas ferramentas baseadas no Método de Otimização Topológica no atual trabalho. Mais especificamente, avaliam-se: 1) um método para obtenção de parâmetros de contato em conjunto com uma imagem e um método de regularização baseado no controle explícito da variação espacial da imagem, 2) uma formulação para acomodação de incertezas, 3) uma formulação para correção do posicionamento de eletrodos, 4) uma formulação para projeto de eletrodos e 5) um novo solucionador de sistemas lineares de larga escala. Os resultados mostram a efetividade da maioria das técnicas propostas, e sugerem os novos tópicos de pesquisa em Tomografia de Impedância Elétrica. / Electrical Impedance Tomography images the interior of a body based on electrical quantities measured on the surface of it. Mathematically, the technique finds the electric admittivity distribution in a given body model which reproduces the boundary measurements of electric currents and potentials on electrodes attached to that body. Therefore, the admittivity distribution is the solution of a non-linear and ill-posed problem, which is unstable and have local minima, requiring specific inversion techniques. Electrical Impedance Tomography systems which obtain images corresponding to absolute values present limitations. For instance, the results are usually smooth and underestimated, the sensitivity to errors in the positioning of electrodes and wrong values of contact parameters and the sensitivity to measurement noise are high, the data processing time is high, etc. In this work, techniques based on the Topology Optimization Method intended for improving the performance of the particular Electrical Impedance Tomography system applied to absolute images are proposed and evaluated. More specifically, the following techniques are evaluated: 1) a method intended to obtain contact parameters together with images, and a regularization method based on the explicit control of the spatial variation regarding the image, 2) a formulation applied to handle uncertainties, 3) a formulation applied to correct the position of electrodes, 4) a formulation applied to design electrodes, 5) and a new solver for large-scale linear systems. Results show the effectiveness of most of the proposed techniques, and suggest new research topics in Electrical Impedance Tomography.

A recuperação de imagens baseada em conteúdo (Content-based Image Retrieval - CBIR) embasa-se sobre dois aspectos primordiais, um extrator de características o qual deve prover as características intrínsecas mais significativas dos dados e uma função de distância a qual quantifica a similaridade entre tais dados. O grande desafio é justamente como alcançar a melhor integração entre estes dois aspectos chaves com intuito de obter maior precisão nas consultas por similaridade. Apesar de inúmeros esforços serem continuamente despendidos para o desenvolvimento de novas técnicas de extração de características, muito pouca atenção tem sido direcionada à importância de uma adequada associação entre a função de distância e os extratores de características. A presente Dissertação de Mestrado foi concebida com o intuito de preencher esta lacuna. Para tal, foi realizada a análise do comportamento de diferentes funções de distância com relação a tipos distintos de vetores de características. Os três principais tipos de características intrínsecas às imagens foram analisados, com respeito a distribuição de cores, textura e forma. Além disso, foram propostas duas novas técnicas para realização de seleção de características com o desígnio de obter melhorias em relação à precisão das consultas por similaridade. A primeira técnica emprega regras de associação estatísticas e alcançou um ganho de até 38% na precisão, enquanto que a segunda técnica utilizando a entropia de Shannon alcançou um ganho de aproximadamente 71% ao mesmo tempo em que reduz significantemente a dimensionalidade dos vetores de características. O presente trabalho também demonstra que uma adequada utilização das funções de distância melhora efetivamente os resultados das consultas por similaridade. Conseqüentemente, desdobra novos caminhos para realçar a concepção de sistemas CBIR / The retrieval of images by visual content relies on a feature extractor to provide the most meaningful intrinsic characteristics (features) from the data, and a distance function to quantify the similarity between them. A challenge in this field supporting content-based image retrieval (CBIR) to answer similarity queries is how to best integrate these two key aspects. There are plenty of researching on algorithms for feature extraction of images. However, little attention have been paid to the importance of the use of a well-suited distance function associated to a feature extractor. This Master Dissertation was conceived to fill in this gap. Therefore, herein it was investigated the behavior of different distance functions regarding distinct feature vector types. The three main types of image features were evaluated, regarding color distribution, texture and shape. It was also proposed two new techniques to perform feature selection over the feature vectors, in order to improve the precision when answering similarity queries. The first technique employed statistical association rules and achieve up to 38% gain in precision, while the second one employing the Shannon entropy achieved 71%, while siginificantly reducing the size of the feature vector. This work also showed that the proper use of a distance function effectively improves the similarity query results. Therefore, it opens new ways to enhance the acceptance of CBIR systems

Nos últimos anos o mundo tem vivenciado uma avalanche de novas tecnologias para auxílio ao diagnóstico médico. Esses esforços buscam um diagnóstico rápido e preciso através de exames e informações sobre a condição física do paciente. Através do uso de imagens médicas, a radiologia busca a visualização de órgãos ou estruturas internas do corpo humano para encontrar respostas às suspeitas de problemas físicos expressos por sinais e sintomas relatados pelo paciente. Nessa área, os Sistemas de Comunicação e Armazenamento de Imagens (PACS) têm ajudado no armazenamento e organização do crescente número de imagens geradas pelos exames realizados nos hospitais. Trabalhos de pesquisa médica têm evidenciado o potencial de uso dessas imagens como auxílio à prática da Medicina Baseada em Casos Similares (MBCS). Por esse motivo, há na literatura um esforço contínuo em desenvolver técnicas computacionais para recuperação de imagens baseada em conteúdos similares (CBIR) em grandes conjuntos de dados. As consultas por similaridade são essenciais para apoiar a prática da MBCS e a descoberta de comportamentos de lesões causadas por diversas doenças. A evolução e intensificação das pesquisas em CBIR têm encontrado vários desafios. Um desses é a divergência entre os resultados obtidos automaticamente e aqueles esperados pelos radiologistas (descontinuidade semântica). Outro desafio é a falta de estudos sobre a viabilidade clínica dessas ferramentas como forma de auxílio ao diagnóstico. Esses obstáculos são dois dos principais responsáveis pela não efetivação dessa tecnologia no ambiente médico-hospitalar. Mediante o exposto acima, este trabalho de pesquisa propõe um mecanismo para contornar essa descontinuidade semântica e ao mesmo tempo aproximar o CBIR do ambiente real de aplicação. A contribuição principal deste trabalho foi o desenvolvimento de uma metodologia baseada em parâmetros perceptuais que aproximam o sistema ao nível de percepção do usuário médico. Em seguida, foi realizado um estudo sobre a viabilidade clínica do sistema CBIR no Hospital das Clínicas de Ribeirão Preto. A metodologia proposta foi aplicada e os resultados comprovaram a aplicabilidade de Sistemas CBIR como ferramenta de auxílio ao diagnóstico em um ambiente clínico real / In recent years the world has experienced an avalanche of new technologies to aid medical diagnosis. These efforts seek a quick and accurate diagnosis through exams and information about the patient\'s physical condition. The radiology studies the visualization of the organs or structures through the use of images. In this area, the Picture Archiving and Communication Systems (PACS) have helped in the storage and organization of the growing number of images generated by exams performed in hospitals. Medical research papers have shown the potential use of these images as an aid to the Similar Case-Based Reasoning (SCBR) practice in Medicine. For this reason, there is an ongoing effort in the literature to develop computational techniques for Content-Based Image Retrieval (CBIR) in large data sets. Similarity queries are essential to support the practice of SCBR. The evolution and intensification of research in CBIR have encountered several challenges. One of these is the discrepancy between the results obtained automatically and those expected by radiologists (semantic gap). Another challenge is the lack of studies on the clinical viability of these tools as a way to assist in diagnosis. These obstacles are the two main responsible for reservation in using this technology in the medical hospital environment. Considering this scenario, this research proposes a mechanism to overcome this semantic gap and bring the real environment to the CBIR application. The main contribution for this research was the development of a methodology based on Perceptual Parameters to approximate the system to the level of user perception. Then we conducted a study on the clinical viability of a CBIR system at the Clinical Hospital of the University of São Paulo at Ribeirão Preto. The proposed methodology was applied and the results showed the applicability of CBIR systems as a computer aided diagnosis tool in a real clinical environment

Esta tese de doutorado aborda os tópicos de modelagem e de reconhecimento de objetos estruturados, ou sistemas estruturados de objetos, em imagens. Um objeto ou sistema estruturado é aquele que pode ser descrito através de elementos primitivos que o compõem e pelas relações existentes entre esses elementos. Por exemplo, uma aeronave pode ser descrita pelos seguintes elementos primitivos: asas direita e esquerda, fuselagem e cockpit. O aspecto relacional de um objeto estruturado direciona sua representação computacional e seu reconhecimento em imagens ao paradigma estrutural de reconhecimento de padrões. Contudo, a variabilidade das características dos seus elementos primitivos é melhor representada através do paradigma estatístico de reconhecimento de padrões. Devido à complementaridade dos paradigmas, a conjunção dessas abordagens é um tema de pesquisa de interesse atual. Para conjugar esses dois aspectos, esta tese propôs uma metodologia que combina o conhecimento a priori das relações que caracterizam um objeto estruturado com dados estatísticos coletados de amostras desse objeto, num modelo híbrido denominado grafo estatístico-relacional (GER). Segundo essa representação, foi estudada uma abordagem probabilística para reconhecer um objeto estruturado em imagens. Nesse cenário, o GER modelo é considerado uma variável aleatória, enquanto uma rotulação de uma imagem de entrada é interpretada como uma potencial observação do modelo. A tarefa de reconhecimento foi então formulada como um problema de otimização, que busca maximizar a probabilidade da observação de acordo com o modelo. O método foi aplicado à modelagem de órgãos abdominais em imagens de ressonância magnética não-contrastadas. Esses órgãos apresentam um arranjo espacial consistente em imagens distintas, além de propriedades de aparência e anatômicas variáveis, o que vem ao encontro da proposta da representação por GER e da abordagem probabilística para o reconhecimento dos órgãos em novas imagens. / The purpose of this thesis was to propose a formalism for the problems of modeling and recognition of a structured object, or a system of structured objects, in images. A structured object is one that may be described in terms of its compound primitive elements and their inherent relations. For instance, an aircraft may be described in terms of the following primitives: right and left wings, fuselage, and cockpit. The relational aspect of structured objects leads these problems to solutions in structural pattern recognition, which describes patterns as primitives and relations. Nevertheless, the variability of primitive elements and of their relations is better modeled by traditional statistical pattern recognition methods. Because of the complementary capabilities of these approaches, the fusion of both has recently been pointed out as a trend in computer vision. To consider these sources of information, the methodology presented herein combines relational cues inherent to a structured object with statistical information learned from a set of object samples. A hybrid model of a structured object is represented by means of a statistical relational graph (SRG). The SRG is a prototype attributed relational graph (ARG) in which nodes represent primitive elements and arcs link nodes representing related primitives. Each node or arc is associated with attributes which are parameters of probability distributions that describe random variables representing primitive or relational attributes. Based on this representation, a probabilistic approach was proposed to tackle the problem of recognizing a structured object in an input image. The model SRG is interpreted as a random variable, whereas a labeling of the input image is considered a potential observation of the model. The recognition task was formulated as the optimization of an objective-function that is actually a probability measure to be maximized. The proposed approach was applied to the modeling of abdominal organs in non-contrasted magnetic resonance images. These organs present consistent spatial arrangement in distinct images, as well as varying appearance and anatomical properties, which meet the principle of the SRG representation and the associated probabilistic recognition scenario.