O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

Mes travaux de thèse s'inscrivent dans le cadre du projet ANR GRAPHEM1 (Graphemebased Retrieval and Analysis for PaleograpHic Expertise of Middle Age Manuscripts). Ilsprésentent une contribution méthodologique applicable à l'analyse automatique des écrituresanciennes pour assister les experts en paléographie dans le délicat travail d'étude et dedéchiffrage des écritures.L'objectif principal est de contribuer à une instrumetation du corpus des manuscritsmédiévaux détenus par l'Institut de Recherche en Histoire des Textes (IRHT - Paris) en aidantles paléographes spécialisés dans ce domaine dans leur travail de compréhension de l'évolutiondes formes de l'écriture par la mise en place de méthodes efficaces d'accès au contenu desmanuscrits reposant sur une analyse fine des formes décrites sous la formes de petits fragments(les graphèmes). Dans mes travaux de doctorats, j'ai choisi d'étudier la dynamique del'élément le plus basique de l'écriture appelé le ductus2 et qui d'après les paléographes apportebeaucoup d'informations sur le style d'écriture et l'époque d'élaboration du manuscrit.Mes contributions majeures se situent à deux niveaux : une première étape de prétraitementdes images fortement dégradées assurant une décomposition optimale des formes en graphèmescontenant l'information du ductus. Pour cette étape de décomposition des manuscrits, nousavons procédé à la mise en place d'une méthodologie complète de suivi de traits à partir del'extraction d'un squelette obtenu à partir de procédures de rehaussement de contraste et dediffusion de gradients. Le suivi complet du tracé a été obtenu à partir de l'application des règlesfondamentales d'exécution des traits d'écriture, enseignées aux copistes du Moyen Age. Il s'agitd'information de dynamique de formation des traits portant essentiellement sur des indicationsde directions privilégiées.Dans une seconde étape, nous avons cherché à caractériser ces graphèmes par desdescripteurs de formes visuelles compréhensibles à la fois par les paléographes et lesinformaticiens et garantissant une représentation la plus complète possible de l'écriture d'unpoint de vue géométrique et morphologique. A partir de cette caractérisation, nous avonsproposé une approche de clustering assurant un regroupement des graphèmes en classeshomogènes par l'utilisation d'un algorithme de classification non-supervisé basée sur lacoloration de graphe. Le résultat du clustering des graphèmes a conduit à la formation dedictionnaires de formes caractérisant de manière individuelle et discriminante chaque manuscrittraité. Nous avons également étudié la puissance discriminatoire de ces descripteurs afin d'obtenir la meilleure représentation d'un manuscrit en dictionnaire de formes. Cette étude a étéfaite en exploitant les algorithmes génétiques par leur capacité à produire de bonne sélection decaractéristiques.L'ensemble de ces contributions a été testé à partir d'une application CBIR sur trois bases demanuscrits dont deux médiévales (manuscrits de la base d'Oxford et manuscrits de l'IRHT, baseprincipale du projet), et une base comprenant de manuscrits contemporains utilisée lors de lacompétition d'identification de scripteurs d'ICDAR 2011. L'exploitation de notre méthode dedescription et de classification a été faite sur une base contemporaine afin de positionner notrecontribution par rapport aux autres travaux relevant du domaine de l'identification d'écritures etétudier son pouvoir de généralisation à d'autres types de documents. Les résultats trèsencourageants que nous avons obtenus sur les bases médiévales et la base contemporaine, ontmontré la robustesse de notre approche aux variations de formes et de styles et son caractèrerésolument généralisable à tout type de documents écrits.

Diese Diplomarbeit führt kurz in das Thema Information Retrieval mit den Schwerpunkten Evaluation und Evaluationskampagnen ein. Im Anschluss wird anhand der Nachteile eines vorhandenen Retrieval Systems ein neues Retrieval Framework zur experimentellen Evaluation von Ansätzen aus dem Information Retrieval entworfen und umgesetzt. Die Komponenten des Frameworks sind dabei so abstrakt angelegt, dass verschiedene, bestehende Retrieval Systeme, wie zum Beispiel Apache Lucene oder Terrier, integriert werden können. Anhand einer Referenzimplementierung für den ImageCLEF Photographic Retrieval Task des ImageCLEF Tracks des Cross Language Evaluation Forums wird die Funktionsfähigkeit des Frameworks überprüft und bestätigt.

Submitted by Filipe Marcel Fernandes Gonçalves null (filipemfg@gmail.com) on 2016-10-13T22:19:26Z No. of bitstreams: 1 Dissertação_Mestrado_Filipe_Marcel_Fernandes_Gonçalves.pdf: 6479864 bytes, checksum: 4596171ab4ce8e8c1a6ce9723f335b36 (MD5) / Approved for entry into archive by Juliano Benedito Ferreira (julianoferreira@reitoria.unesp.br) on 2016-10-19T18:04:08Z (GMT) No. of bitstreams: 1 goncalves_fmf_me_sjrp.pdf: 6479864 bytes, checksum: 4596171ab4ce8e8c1a6ce9723f335b36 (MD5) / Made available in DSpace on 2016-10-19T18:04:08Z (GMT). No. of bitstreams: 1 goncalves_fmf_me_sjrp.pdf: 6479864 bytes, checksum: 4596171ab4ce8e8c1a6ce9723f335b36 (MD5) Previous issue date: 2016-08-17 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / O grande volume de imagens disponível na Web gerado em diferentes domínios requer um conhecimento especializado para sua a análise e identificação. Nesse sentido, recentes avanços ocorreram com desenvolvimento de técnicas de recuperação de imagens baseadas nas características visuais. Entretanto, o gap semântico entre as características de baixo-nível das imagens e aquilo que a imagem representa ainda é um grande desafio. Uma solução para diminuir o gap semântico consiste em combinar a informação de características visuais das imagens com o conhecimento do domínio de tais imagens. Nesse sentido, ontologias podem auxiliar, já que estruturam o conhecimento. Desse modo, o presente trabalho apresenta uma nova abordagem denominada Recuperação Interativa de Imagens Guiada por Semântica (Semantic Interactive Image Retrieval – SIIR) que combina técnicas de recuperação de imagens baseadas no conteúdo (Content Based Image Retrieval – CBIR) e aprendizado não supervisionado, com o conhecimento definido em ontologias. Desse modo, o trabalho em questão propõe uma nova abordagem a fim de simular o papel dos biólogos na classificação de famílias de Angiospermas a partir de uma imagem e seu conteúdo. Para tanto, foi desenvolvida uma ontologia de estruturas e propriedades de plantas com flor e fruto, de modo a conceitualizar e relacionar tais atributos visando a classificação de famílias de Angiospermas. Para análise das características visuais foram utilizados métodos de extração de características de baixo-nível das imagens. Com relação ao aprendizado não supervisionado foi utilizado o algoritmo RL-Sim a fim de melhorar a eficácia da recuperação das imagens. A abordagem combina técnicas CBIR com ontologias ao utilizar um grafo bipartido e um grafo discriminativo de atributos. O grafo discriminativo de atributos permite a análise semântica utilizada para selecionar o atributo que melhor classifica a planta da imagem de busca. Os atributos selecionados são utilizados para formular uma interação com um usuário, de modo a melhorar a eficácia da recuperação e diminuir os esforços necessários na identificação da planta. O método proposto foi avaliado nos conjuntos de dados públicos Oxford Flowers 17 e 102 Classes, de modo que os resultados demonstram alta eficácia para ambos os conjuntos de dados quando comparados com outras abordagens. / A large amount of images is currently generated in many domains, thus requiring specialized knowledge on the identification and analysis. From one standpoint, many advances have been accomplished in the development of image retrieval techniques based on visual image properties. However, the semantic gap between low-level features and high level concepts still represents a challenge scenario. One another standpoint, knowledge has also been structured in many fields by ontologies. A promising solution for bridging the semantic gap consists in combining the information from low-level features with semantic knowledge. This work proposes a new approach denominated Semantic Interactive Image Retrieval (SIIR) which combines Content Based Image Retrieval (CBIR) and unsupervised learning with ontology techniques. We present a novel approach aiming to simulate the biologists role in the classification of Angiosperm families from image sources and their content. In order to achieve this goal, we developed a domain ontology from plant properties and structures, hence relating features from the Angiosperm families. In regard to Unsupervised Learning, we used the RL-Sim algorithm to improve image classification. The proposed approach combines CBIR techniques with ontologies using a bipartite graph and a discriminative attribute graph. Such graph structures allow a semantic analysis used for the selection of the attribute that best classify the plant. The selected attributes are used for formulating the user interactions, improving the effectiveness and reducing the user efforts required. The proposed method was evaluated on the popular Oxford Flowers 17 and 102 Classes datasets, yielding very high effectiveness results in both datasets when compared to other approaches.

O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

Les documents visuels comprenant des images et des vidéos sont en croissance rapide sur Internet et dans nos collections personnelles. Cela nécessite une analyse automatique du contenu visuel qui fait appel à la conception de méthodes intelligentes pour correctement indexer, rechercher et récupérer des images et des vidéos. Cette thèse vise à améliorer la détection automatique des concepts dans les vidéos sur Internet. Nos contributions portent sur des différents niveaux dans le cadre de détection de concept et peuvent être divisés en trois parties principales. La première partie se focalise sur l’amélioration du modèle de représentation des vidéos « Bag-of-Words (BOW) » en proposant un nouveau mécanisme de construction qui utilise des étiquettes de concepts et une autre technique qui ajoute un raffinement à la signature BOW basée sur la distribution de ses éléments. Nous élaborons ensuite des méthodes pour intégrer des entités semblables et dissemblables pour construire des modèles de reconnaissance améliorés dans la deuxième partie. A ce stade-là, nous observons l’information potentielle que les concepts partagent et construisons des modèles pour les méta-concepts dont sont dérivés les résultats spécifiques de concepts. Cela améliore la reconnaissance des concepts qui ont peu d’exemples annotés. Enfin, nous concevons certaines méthodes d'apprentissage semi-supervisé pour bénéficier de la quantité importante de données non étiquetées. Nous proposons des techniques pour améliorer l'algorithme de cotraining avec une sélection optimale des classifieurs utilisés. / Visual material comprising images and videos is growing ever so rapidly over the internet and in our personal collections. This necessitates automatic understanding of the visual content which calls for the conception of intelligent methods to correctly index, search and retrieve images and videos. This thesis aims at improving the automatic detection of concepts in the internet videos by exploring all the available information and putting the most beneficial out of it to good use. Our contributions address various levels of the concept detection framework and can be divided into three main parts. The first part improves the Bag of Words (BOW) video representation model by proposing a novel BOW construction mechanism using concept labels and by including a refinement to the BOW signature based on the distribution of its elements. We then devise methods to incorporate knowledge from similar and dissimilar entities to build improved recognition models in the second part. Here we look at the potential information that the concepts share and build models for meta-concepts from which concept specific results are derived. This improves recognition for concepts lacking labeled examples. Lastly we contrive certain semi-supervised learning methods to get the best of the substantial amount of unlabeled data. We propose techniques to improve the semi-supervised cotraining algorithm with optimal view selection.

Mes travaux de thèse s’inscrivent dans le cadre du projet ANR GRAPHEM1 (Graphemebased Retrieval and Analysis for PaleograpHic Expertise of Middle Age Manuscripts). Ilsprésentent une contribution méthodologique applicable à l'analyse automatique des écrituresanciennes pour assister les experts en paléographie dans le délicat travail d’étude et dedéchiffrage des écritures.L’objectif principal est de contribuer à une instrumetation du corpus des manuscritsmédiévaux détenus par l’Institut de Recherche en Histoire des Textes (IRHT – Paris) en aidantles paléographes spécialisés dans ce domaine dans leur travail de compréhension de l’évolutiondes formes de l’écriture par la mise en place de méthodes efficaces d’accès au contenu desmanuscrits reposant sur une analyse fine des formes décrites sous la formes de petits fragments(les graphèmes). Dans mes travaux de doctorats, j’ai choisi d’étudier la dynamique del’élément le plus basique de l’écriture appelé le ductus2 et qui d’après les paléographes apportebeaucoup d’informations sur le style d’écriture et l’époque d’élaboration du manuscrit.Mes contributions majeures se situent à deux niveaux : une première étape de prétraitementdes images fortement dégradées assurant une décomposition optimale des formes en graphèmescontenant l’information du ductus. Pour cette étape de décomposition des manuscrits, nousavons procédé à la mise en place d’une méthodologie complète de suivi de traits à partir del’extraction d’un squelette obtenu à partir de procédures de rehaussement de contraste et dediffusion de gradients. Le suivi complet du tracé a été obtenu à partir de l’application des règlesfondamentales d’exécution des traits d’écriture, enseignées aux copistes du Moyen Age. Il s’agitd’information de dynamique de formation des traits portant essentiellement sur des indicationsde directions privilégiées.Dans une seconde étape, nous avons cherché à caractériser ces graphèmes par desdescripteurs de formes visuelles compréhensibles à la fois par les paléographes et lesinformaticiens et garantissant une représentation la plus complète possible de l’écriture d’unpoint de vue géométrique et morphologique. A partir de cette caractérisation, nous avonsproposé une approche de clustering assurant un regroupement des graphèmes en classeshomogènes par l’utilisation d’un algorithme de classification non-supervisé basée sur lacoloration de graphe. Le résultat du clustering des graphèmes a conduit à la formation dedictionnaires de formes caractérisant de manière individuelle et discriminante chaque manuscrittraité. Nous avons également étudié la puissance discriminatoire de ces descripteurs afin d’obtenir la meilleure représentation d’un manuscrit en dictionnaire de formes. Cette étude a étéfaite en exploitant les algorithmes génétiques par leur capacité à produire de bonne sélection decaractéristiques.L’ensemble de ces contributions a été testé à partir d’une application CBIR sur trois bases demanuscrits dont deux médiévales (manuscrits de la base d’Oxford et manuscrits de l’IRHT, baseprincipale du projet), et une base comprenant de manuscrits contemporains utilisée lors de lacompétition d’identification de scripteurs d’ICDAR 2011. L’exploitation de notre méthode dedescription et de classification a été faite sur une base contemporaine afin de positionner notrecontribution par rapport aux autres travaux relevant du domaine de l’identification d’écritures etétudier son pouvoir de généralisation à d’autres types de documents. Les résultats trèsencourageants que nous avons obtenus sur les bases médiévales et la base contemporaine, ontmontré la robustesse de notre approche aux variations de formes et de styles et son caractèrerésolument généralisable à tout type de documents écrits. / My thesis work is part of the ANR GRAPHEM Project (Grapheme based Retrieval andAnalysis for Expertise paleographic Manuscripts of Middle Age). It represents a methodologicalcontribution applicable to the automatic analysis of ancient writings to assist the experts inpaleography in the delicate work of the studying and deciphering the writing.The main objective is to contribute to an instrumentation of the corpus of medievalmanuscripts held by “Institut de Recherche en Histoire de Textes” (IRHT-Paris), by helping thepaleographers specialized in this field in their work of understanding the evolution of forms inthe writing, with the establishment of effective methods to access the contents of manuscriptsbased on a fine analysis of the forms described in the form of small fragments (graphemes). Inmy PhD work, I chose to study the dynamic of the most basic element of the writing called theductus and which according to the paleographers, brings a lot of information on the style ofwriting and the era of the elaboration of the manuscript.My major contribution is situated at two levels: a first step of preprocessing of severelydegraded images to ensure an optimal decomposition of the forms into graphemes containingthe ductus information. For this decomposition step of manuscripts, we have proceeded to theestablishment of a complete methodology for the tracings of strokes by the extraction of theskeleton obtained from the contrast enhancement and the diffusion of the gradient procedures.The complete tracking of the strokes was obtained from the application of fundamentalexecution rules of the strokes taught to the scribes of the Middle Ages. It is related to thedynamic information of the formation of strokes focusing essentially on indications of theprivileged directions.In a second step, we have tried to characterize the graphemes by visual shape descriptorsunderstandable by both the computer scientists and the paleographers and thus unsuring themost complete possible representation of the wrting from a geometrical and morphological pointof view. From this characterization, we have have proposed a clustering approach insuring agrouping of graphemes into homogeneous classes by using a non-supervised classificationalgorithm based on the graph coloring. The result of the clustering of graphemes led to theformation of a codebook characterizing in an individual and discriminating way each processedmanuscript. We have also studied the discriminating power of the descriptors in order to obtaina better representation of a manuscript into a codebook. This study was done by exploiting thegenetic algorithms by their ability to produce a good feature selection.The set of the contributions was tested from a CBIR application on three databases ofmanuscripts including two medieval databases (manuscripts from the Oxford and IRHTdatabases), and database of containing contemporary manuscripts used in the writersidentification contest of ICDAR 2011. The exploitation of our description and classificationmethod was applied on a cotemporary database in order to position our contribution withrespect to other relevant works in the writrings identification domain and study itsgeneralization power to other types of manuscripts. The very encouraging results that weobtained on the medieval and contemporary databases, showed the robustness of our approachto the variations of the shapes and styles and its resolutely generalized character to all types ofhandwritten documents.

As Machine Learning (ML) methods have gained traction in recent years, someproblems regarding the construction of such methods have arisen. One such problem isthe collection and labeling of data sets. Specifically when it comes to many applicationsof Computer Vision (CV), one needs a set of images, labeled as either being of someclass or not. Creating such data sets can be very time consuming. This project setsout to tackle this problem by constructing an end-to-end system for searching forobjects in images (i.e. an Object Based Image Retrieval (OBIR) method) using an objectdetection framework (You Only Look Once (YOLO) [16]). The goal of the project wasto create a method that; given an image of an object of interest q, search for that sameor similar objects in a set of other images S. The core concept of the idea is to passthe image q through an object detection model (in this case YOLOv5 [16]), create a”fingerprint” (can be seen as a sort of identity for an object) from a set of feature mapsextracted from the YOLOv5 [16] model and look for corresponding similar parts of aset of feature maps extracted from other images. An investigation regarding whichvalues to select for a few different parameters was conducted, including a comparisonof performance for a couple of different similarity metrics. In the table below,the parameter combination which resulted in the highest F_Top_300-score (a measureindicating the amount of relevant images retrieved among the top 300 recommendedimages) in the parameter selection phase is presented. Layer: 23Pool Methd: maxSim. Mtrc: eucFP Kern. Sz: 4 Evaluation of the method resulted in F_Top_300-scores as can be seen in the table below. Mouse: 0.820Duck: 0.640Coin: 0.770Jet ski: 0.443Handgun: 0.807Average: 0.696 / Medan ML-metoder har blivit mer populära under senare år har det uppstått endel problem gällande konstruktionen av sådana metoder. Ett sådant problem ärinsamling och annotering av data. Mer specifikt när det kommer till många metoderför datorseende behövs ett set av bilder, annoterande att antingen vara eller inte varaav en särskild klass. Att skapa sådana dataset kan vara väldigt tidskonsumerande.Metoden som konstruerades för detta projekt avser att bekämpa detta problem genomatt konstruera ett end-to-end-system för att söka efter objekt i bilder (alltså en OBIR-metod) med hjälp av en objektdetekteringsalgoritm (YOLO). Målet med projektet varatt skapa en metod som; givet en bild q av ett objekt, söka efter samma eller liknandeobjekt i ett bibliotek av bilder S. Huvudkonceptet bakom idén är att köra bilden qgenom objektdetekteringsmodellen (i detta fall YOLOv5 [16]), skapa ett ”fingerprint”(kan ses som en sorts identitet för ett objekt) från en samling feature maps extraheradefrån YOLOv5-modellen [16] och leta efter liknande delar av samlingar feature maps iandra bilder. En utredning angående vilka värden som skulle användas för ett antalolika parametrar utfördes, inklusive en jämförelse av prestandan som resultat av olikalikhetsmått. I tabellen nedan visas den parameterkombination som gav högst F_Top_300(ett mått som indikerar andelen relevanta bilder bland de 300 högst rekommenderadebilderna). Layer: 23Pool Methd: maxSim. Mtrc: eucFP Kern. Sz: 4 Evaluering av metoden med parameterval enligt tabellen ovan resulterade i F_Top_300enligt tabellen nedan. Mouse: 0.820Duck: 0.640Coin: 0.770Jet ski: 0.443Handgun: 0.807Average: 0.696

This research is focused on the extraction of visual set patterns in digital images, using relational properties like nearness and similarity measures, as well as descriptive properties such as texture, colour and image gradient directions. The problem considered in this thesis is application of topology in visual set pattern discovery, and consequently pattern generation. A visual set pattern is a collection of motif patterns generated from different unique points called seed motifs in the set. Each motif pattern is a descriptive neighbourhood of a seed motif. Such a neighbourhood is a set of points that are descriptively near a seed motif. A new similarity distance measure based on dot product between image feature vectors was introduced in this research, for image classification with the generated visual set patterns. An application of this approach to pattern generation can be useful in content based image retrieval and image classification.

Thesis in theoretical part deals with the procedures used in image databases searching. There are discussed two basic possible approaches - text based searching and content based searching. In next section there are described methods for image similarity detection. Practical part deals with detailed description and implementation of three selected image features used for image searching. In third part there are presented testing procedure for implemented algorithms and test results. In conclusion implementation of Rapidminer operator are described. This operator uses all implemented algorithms and allows image similarity matching, searching for most similar images in database, and copy these images to output folder.