Com a crescente utilização de imagens médicas na prática clínica, torna-se necessária a introdução de tecnologias que garantam o armazenamento, indexação e recuperação eficaz dessas imagens. O sistema de recuperação de imagens médicas baseada em conteúdo (S-CBIR) compõe a base de tecnologias computacionais que oferecem aos usuários médicos aplicativos para apoio ao diagnóstico, sendo capaz de responder a consultas por similaridade por meio de características pictóricas extraídas das imagens médicas. Embora as pesquisas em S-CBIR tenham iniciado há quase duas décadas, atualmente existe uma discrepância em relação à quantidade de trabalhos publicados na literatura e os sistemas que, de fato, foram implementados e avaliados. Além disso, muitos protótipos vêm sendo discutidos, mas até o final da escrita desta tese, não foram encontradas evidências de que algum deles esteja disponível comercialmente. Essa limitação é conhecida pela comunidade científica da área por gap de aplicação. Em geral, isso ocorre devido à dificuldade dessas aplicações em superar alguns desafios, como a divergência entre os resultados obtidos automaticamente pelo sistema e aqueles esperados pelos médicos (gap semântico), entre outros gap. Outros fatores também podem ser relatados, como a tendência da não utilização de modelos de qualidade sistematizados para o desenvolvimento dos sistemas, e a carência de modelos que sejam específicos no domínio de aplicação. Com base nesses desafios e em boas práticas de métodos, técnicas e ferramentas da Engenharia de Software, esta tese apresenta um Modelo de Qualidade para melhorias de S-CBIR (MQ-SCBIR), que tem por objetivo apoiar o desenvolvimento e avaliação de S-CBIR, a partir de diretrizes para aumentar o nível de qualidade, buscando a superação do gap de aplicação. O MQ-SCBIR foi construído com base em: evidências adquiridas por meio de uma revisão sistemática e pesquisa empírica sobre como esses sistemas vêm sendo desenvolvidos e avaliados na literatura e na prática; resultados da avaliação de um S-CBIR baseados em testes heurísticos em um ambiente real; modelos bem estabelecidos, como o Capability Maturity Model Integration e Melhoria de Processo do Software Brasileiro; e em experiências pessoais. O uso do MQ-SCBIR pode trazer benefícios para as organizações desenvolvedoras, como a redução da complexidade no desenvolvimento, incluindo a garantia de implementação de boas práticas de qualidade de software e práticas específicas para a superação das limitações de S-CBIR durante o processo de desenvolvimento. / The development of technologies for storing, indexing and recovering clinical images is paramount to support the increasing use of these images in clinical diagnostic evaluation. Content-based image retrieval systems (CBIR-S) are some of the main computational technologies which offer physicians different applications to aid diagnostic processes. They allow similarity queries by extracting pictorial features from medical images. Even though research on S-CBIR started almost two decades ago, there are discrepancies regarding the amount of studies available in the literature and the number of systems which have actually been implemented and evaluated. Many prototypes have been discussed, but up to the moment this study was completed we found no evidence that any of those systems are either commercially available or being currently used in clinical practice. This limitation is known as application gap. In general, this happens due to the difficulty to overcome some obstacles, such as the differences between the results retrieved automatically by the system and those expected by the physicians (semantic gap). Other factors can also be described, such as the tendency towards not using systematic quality models to develop these systems and the lack of specific models for this domain of application. Based on these challenges and also on best practice methods, techniques and tools from software engineering, this work presents a quality model to improve S-CBIR systems (QM-CBIRS). It strives to tackle limitations during the development process by overcoming the semantic gap. The QM-CBIRS was built upon evidence gathered by means of a systematic review on the state-of-the-art and empiric research on the development and evaluation of these systems. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. The use of QM-CBIRS might be beneficial to development teams in many ways, for example, by increasing the quality of CBIR systems and reducing complexity, thus surpassing limitations from CBIR systems during the development process.

Diese Diplomarbeit führt kurz in das Thema Information Retrieval mit den Schwerpunkten Evaluation und Evaluationskampagnen ein. Im Anschluss wird anhand der Nachteile eines vorhandenen Retrieval Systems ein neues Retrieval Framework zur experimentellen Evaluation von Ansätzen aus dem Information Retrieval entworfen und umgesetzt. Die Komponenten des Frameworks sind dabei so abstrakt angelegt, dass verschiedene, bestehende Retrieval Systeme, wie zum Beispiel Apache Lucene oder Terrier, integriert werden können. Anhand einer Referenzimplementierung für den ImageCLEF Photographic Retrieval Task des ImageCLEF Tracks des Cross Language Evaluation Forums wird die Funktionsfähigkeit des Frameworks überprüft und bestätigt.

The objective of this work is to make a step towards an artificial system with human-like visual intelligence capabilities. We consider the following three visual recognition problems. First, we show how to identify the same object or scene instance in a large database of images despite significant changes in appearance due to viewpoint, illumination but also aging, seasonal changes, or depiction style. Second, we consider recognition of object classes such as "chairs" or "windows" (as opposed to a specific instance of a chair or a window). We investigate how to name object classes present in the image, identify their locations as well as predict their approximate 3D model and fine-grained style ("Is this a bar stool or a folding chair?"; "Is this a bay window or a French window?"). In particular, we investigate different levels of supervision for this task starting from just observing images without any supervision to having millions of labelled images or a set of full 3D models. Finally, we consider recognition of people and their actions in unconstrained videos such as TV or feature length films. In detail, we investigate how to identify individual people in the video using their faces ("Who is this?") as well as recognize what they do ("Is this person walking or sitting?").

Recently, very large collections of images and videos have grown rapidly. In parallel with this growth, content-based retrieval and querying the indexed collections are required to access visual information. Three main components of the visual information are color, texture and shape. In this thesis, an XML based content-based image retrieval system is presented that combines three visual descriptors of MPEG-7 and measures similarity of images by applying a distance function. An XML database is used for storing these three descriptors. The system is also extended to support high dimensional indexing for efficient search and retrieval from its XML database. To do this, an index structure, called M-Tree, is implemented which uses weighted Euclidean distance function for similarity measure. Ordered Weighted Aggregation (OWA) operators are used to define the weights of the distance function and to combine three features&rsquo / distance functions into one. The system supports nearest neighbor queries and three types of fuzzy queries / feature-based, image-based and color-based queries. Also it is shown through experimental results and analysis of retrieval effectiveness of querying that the content-based retrieval system is effective in terms of retrieval and scalability.

This thesis proposes an object localization and image retrieval framework, which trains a discriminative feature set for each object class. For this purpose, a hierarchical learning architecture, together with a Neighborhood Tree is introduced for object labeling. Initially, a large variety of features are extracted from the regions of the pre-segmented images. These features are, then, fed to the training module, which selects the &quot / best set of representative features&quot / , suppressing relatively less important ones for each class. During this study, we attack various problems of the current image retrieval and classification systems, including feature space design, normalization and curse of dimensionality. Above all, we elaborate the semantic gap problem in comparison to human visual system. The proposed system emulates the eye-brain channel in two layers. The first layer combines relatively simple classifiers with low level, low dimensional features. Then, the second layer implements Adaptive Resonance Theory, which extracts higher level information from the first layer. This two-layer architecture reduces the curse of dimensionality and diminishes the normalization problem. The concept of Neighborhood Tree is introduced for identifying the whole object from the over-segmented image regions. The Neighborhood Tree consists of the nodes corresponding to the neighboring regions as its children and merges the regions through a search algorithm. Experiments are performed on a set of images from Corel database, using MPEG-7, Haar and Gabor features in order to observe the power and the weakness of the proposed system. The &quot / Best Representative Features&quot / are found in the training phase using Fuzzy ARTMAP [1], Feature-based AdaBoost [2], Descriptor-based AdaBoost, Best Representative Descriptor [3], majority voting and the proposed hierarchical learning architecture. During the experiments, it is observed that the proposed hierarchical learning architecture yields better retrieval rates than the existing algorithms available in the literature.

近年來，隨著數位科技快速的發展，影像資料量迅速的增加，因此影像檢索成為重要的多媒體技術之一。在傳統的影像內容檢索技術中，使用影像低階特徵值，例如顏色(Color)、紋理(Texture)、形狀(Shape)等來描述影像的內容並進行圖片相似度的比對。然而，傳統的影像內容檢索僅提供單張影像查詢，很少研究多張影像的查詢。因此，本研究提出一個可針對多張影像查詢的方法以提供多張影像查詢的影像內容檢索。本研究將影像內容檢索結合社群網絡演算法，使用MPEG-7中相關特徵描述子和SIFT做為主要特徵向量，擷取影像的低階影像特徵，透過特徵相似度計算建立影像之間的網絡，並利用社群網絡演算法找出與多張查詢影像相似的影像。實驗結果顯示所提出的方法可精確的擷取到相似的影像。 / In recent years, with the faster and faster development of computer technology, the number of digital images is grown rapidly so that the Content-Based Image Retrieval has become one of important multimedia technologies. Much research has been done on Content-Based Image Retrieval. However, little research has been done on query by multiple images. This thesis investigates the mechanism for query by multiple images. First, MPEG-7 image features and SIFT are extracted from images. Then, we calculate the similarity of images to construct the proximity graph which represents the similarity structure between images. Last, processing of query by multiple images is achieved based on the social network algorithms. Experimental results indicate the proposed method provides high accuracy and precision.

The current technologies for acquisition, storage and transmission of digital data, generate large amounts of data. This quantitative increase is directly proportional to the expansion of multimedia databases, where the bases are part of images. Factors contributing to this expansion is the generation of data access and multimedia, which are frequently used by the population through the media today. Thus, we find a clear need exists for automated systems, capable of dealing with the storage and retrieval of data in a time acceptable to the current standards. To this end, systems are designed for content retrieval of images, where the content is described through its low-level visual features such as shape, texture and color. To have such a system is considered ideal, it must be efficient and effective. The effectiveness will result from the way the information was obtained as a low level of images, considering different conditions of focus, lighting and occlusion. The efficiency is a consequence of the results obtained using the organization of information extracted. The methods of grouping are in one of the useful techniques to reduce the computational complexity of these systems, reducing the computational complexity of the methods implemented, but without losing the representation of information extracted. This work proposes a method for retrieval of images based on content, using appropriate techniques of clustering, a technique for detecting edges and a method to normalize the images in the aspect of enlightenment, to get through it the image descriptors that are robust and can be applied efficiently in a retrieval system for images by content - CBIR (Content Based Image Retrieval). / As tecnologias atuais de aquisição, armazenamento e transmissão de dados digitais geram grandes quantidades de dados. Esse aumento quantitativo é diretamente proporcional à ampliação das bases de dados multimídia, onde se inserem as bases de imagens. Fatores relevantes que contribuem para esta ampliação são o acesso e a geração de dados multimídia, os quais são freqüentemente utilizados pela população através dos meios de comunicação atuais. Desta forma, percebe-se claramente a necessidade existente por sistemas automatizados, capazes de lidar com o armazenamento e a recuperação destes dados em um tempo aceitável para os padrões atuais. Para este fim, são desenvolvidos sistemas de recuperação de imagens por conteúdo, onde este conteúdo é descrito através de suas características visuais de baixo nível, como forma, textura e cor. Para que um sistema deste tipo seja considerado ideal, ele deve ser eficiente e eficaz. A eficácia será resultado da maneira de como foram obtidas as informações de baixo nível das imagens, considerando diferentes condições de foco, oclusão e iluminação. A eficiência é conseqüência dos resultados obtidos utilizando-se a organização das informações extraídas. Os métodos de agrupamento constituem em uma das técnicas úteis para diminuir a complexidade computacional destes sistemas, uma vez que agrupa informações com características semelhantes, sob determinado critério, porém sem perder a representatividade das informações extraídas. Este trabalho propõe um método para recuperação de imagens baseada em conteúdo, que utiliza apropriadamente as técnicas de agrupamento, uma técnica de detecção de cantos e um método para normalizar as imagens no aspecto da iluminação, visando através disso obter descritores da imagem que sejam robustos e possam ser aplicados eficientemente em um sistema de recuperação de imagens por conteúdo - CBIR(Content Based Image Retrieval).

The principal objective of an image retrieval system is to obtain images which are as similar as possible to the user´s requirements, from all the images in the reference collection. Such an objective is difficult to reach due principally to the subjectivity of the image similarities. This is due to the fact the images can be interpreted in different ways by different people. With the aim of resolving this problem the content-based image retrieval systems explore the features of color, shape and texture. These are nearly always associated to the regions and use relevance feedback mechanisms to adjust a search to the user s criterions. Various approaches have been used in relevance feedback from those genetic algorithms have become quite popular due to their adaptive abilities. In this work we presented an image retrieval system based on the similarity of local patterns, working with the features of color, shape and texture as well as relevance feedback via a genetic algorithm. The task of this algorithm is infer weights to the features of color, shape, texture and regions which better adjust to the similarity found between images through the user s search criterions, thus producing a final ranking which is in accordance with the criterions expressed in the relevance feedback. The genetic algorithms theory states that the fitness measure applies an essential role upon the performance of these algorithms, once the fitness measure directs the search path for the evaluation of each individuals aptitude. Due to the lack of consensus about the best fitness measure in the ranking evaluation problem we present a performance analysis of ten fitness functions. The fitness functions are classified in two groups: order-based and non-order based. Some of these functions are adapted from textbased information retrieval systems and others are proposed in this work. The experimental results show that the order based fitness functions are more compatible to the user s interests, once they present superior rankings in terms of precision for low recall rates and conduct the quickest genetic algorithm in the search for an optimal heuristic solution. The results obtained are superior to those of the works of Stejic et al., which served as our inspiration. / O principal objetivo de um sistema de recuperação de imagens é obter imagens que são o mais similar possível à requisição do usuário, de todas as imagens de uma coleção de referência. Tal objetivo é difícil de ser alcançado devido principalmente à subjetividade do conceito de similaridade entre imagens, visto que uma mesma imagem poder ser interpretada de diferentes maneiras por diferentes pessoas. Na tentativa de resolver este problema os sistemas de recuperação de imagens por conteúdo exploram as características de cor, forma e textura, quase sempre associadas à regiões e usam de mecanismos de realimentação de relevantes para ajustar uma busca aos critérios do usuário. Várias abordagens têm sido usadas em realimentação de relevância entre as quais os algoritmos genéticos têm se tornado bastante populares devido às suas habilidades adaptativas. Neste trabalho apresentamos um sistema de recuperação de imagens com base na similaridade de padrões locais, empregando as características de cor, forma e textura e com realimentação de relevância via algoritmo genético. A tarefa do algoritmo genético é inferir pesos para as características de cor, forma, textura e regiões que melhor ajustam a medida de similaridade entre imagens aos critérios de busca do usuário, fazendo com que o ranking final esteja de acordo com os critérios expressos na realimentação. Da teoria dos algoritmos genéticos é conhecido que a medida de aptidão exerce um papel essencial na performance destes algoritmos, uma vez que ela direciona o caminho da busca, por avaliar a aptidão dos indivíduos. Devido à falta de consenso acerca da medida de aptidão ideal na avaliação de rankings apresentamos uma análise de performance de dez medidas de aptidão. As funções de aptidão são classificadas em dois grupos: baseadas em ordem e não baseadas em ordem. Algumas destas funções são adaptadas do contexto de sistemas de recuperação de informação e outras são propostas neste trabalho. Os resultados experimentais mostram que as funções de aptidão baseadas em ordem são mais compatíveis aos interesses dos usuários uma vez que elas apresentam rankings superiores em precisão para baixos níveis de revocação e, conduzem mais rapidamente o AG na busca por uma solução heurísticamente ótima. Os resultados obtidos são superiores aos dos trabalhos de Stejic et al. que nos serviram de inspiração. / Mestre em Ciência da Computação

Com a crescente utilização de imagens médicas na prática clínica, torna-se necessária a introdução de tecnologias que garantam o armazenamento, indexação e recuperação eficaz dessas imagens. O sistema de recuperação de imagens médicas baseada em conteúdo (S-CBIR) compõe a base de tecnologias computacionais que oferecem aos usuários médicos aplicativos para apoio ao diagnóstico, sendo capaz de responder a consultas por similaridade por meio de características pictóricas extraídas das imagens médicas. Embora as pesquisas em S-CBIR tenham iniciado há quase duas décadas, atualmente existe uma discrepância em relação à quantidade de trabalhos publicados na literatura e os sistemas que, de fato, foram implementados e avaliados. Além disso, muitos protótipos vêm sendo discutidos, mas até o final da escrita desta tese, não foram encontradas evidências de que algum deles esteja disponível comercialmente. Essa limitação é conhecida pela comunidade científica da área por gap de aplicação. Em geral, isso ocorre devido à dificuldade dessas aplicações em superar alguns desafios, como a divergência entre os resultados obtidos automaticamente pelo sistema e aqueles esperados pelos médicos (gap semântico), entre outros gap. Outros fatores também podem ser relatados, como a tendência da não utilização de modelos de qualidade sistematizados para o desenvolvimento dos sistemas, e a carência de modelos que sejam específicos no domínio de aplicação. Com base nesses desafios e em boas práticas de métodos, técnicas e ferramentas da Engenharia de Software, esta tese apresenta um Modelo de Qualidade para melhorias de S-CBIR (MQ-SCBIR), que tem por objetivo apoiar o desenvolvimento e avaliação de S-CBIR, a partir de diretrizes para aumentar o nível de qualidade, buscando a superação do gap de aplicação. O MQ-SCBIR foi construído com base em: evidências adquiridas por meio de uma revisão sistemática e pesquisa empírica sobre como esses sistemas vêm sendo desenvolvidos e avaliados na literatura e na prática; resultados da avaliação de um S-CBIR baseados em testes heurísticos em um ambiente real; modelos bem estabelecidos, como o Capability Maturity Model Integration e Melhoria de Processo do Software Brasileiro; e em experiências pessoais. O uso do MQ-SCBIR pode trazer benefícios para as organizações desenvolvedoras, como a redução da complexidade no desenvolvimento, incluindo a garantia de implementação de boas práticas de qualidade de software e práticas específicas para a superação das limitações de S-CBIR durante o processo de desenvolvimento. / The development of technologies for storing, indexing and recovering clinical images is paramount to support the increasing use of these images in clinical diagnostic evaluation. Content-based image retrieval systems (CBIR-S) are some of the main computational technologies which offer physicians different applications to aid diagnostic processes. They allow similarity queries by extracting pictorial features from medical images. Even though research on S-CBIR started almost two decades ago, there are discrepancies regarding the amount of studies available in the literature and the number of systems which have actually been implemented and evaluated. Many prototypes have been discussed, but up to the moment this study was completed we found no evidence that any of those systems are either commercially available or being currently used in clinical practice. This limitation is known as application gap. In general, this happens due to the difficulty to overcome some obstacles, such as the differences between the results retrieved automatically by the system and those expected by the physicians (semantic gap). Other factors can also be described, such as the tendency towards not using systematic quality models to develop these systems and the lack of specific models for this domain of application. Based on these challenges and also on best practice methods, techniques and tools from software engineering, this work presents a quality model to improve S-CBIR systems (QM-CBIRS). It strives to tackle limitations during the development process by overcoming the semantic gap. The QM-CBIRS was built upon evidence gathered by means of a systematic review on the state-of-the-art and empiric research on the development and evaluation of these systems. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. The use of QM-CBIRS might be beneficial to development teams in many ways, for example, by increasing the quality of CBIR systems and reducing complexity, thus surpassing limitations from CBIR systems during the development process.

Neste trabalho é apresentado um método para reconhecimento de seres humanos através da textura da íris. A imagem do olho é processada através da análise do gradiente, com uma técnica de dispersão aleatória de sementes. Um vetor de características é extraído para cada íris, baseado na análise dos componentes wavelet em diversos níveis de decomposição. Para se mensurar as distâncias entre esses vetores foi utilizado o cálculo da distância Euclidiana, gerando-se curvas recall x precision para se medir a eficiência do método desenvolvido. Os resultados obtidos com algumas famílias wavelets demonstraram que o método proposto é capaz de realizar o reconhecimento humano através da íris com uma precisão eficiente. / This work presents a method for recognition of human beings by iris texture. The image of the eye is processed through gradient analysis, based on a random dispersion of seeds. So, it is extracted a feature vector for each iris based on wavelet transform in some levels of decomposition. To estimate the distances between these vectors it was used the Euclidean distance, and recall x precision curves are generated to measure the efficiency of the developed method. The results gotten with some wavelets families had demonstrated that the proposed methodology is capable to do human recognition through the iris with an efficient precision.