A análise automática da similaridade entre imagens depende fortemente de descritores que consigam caracterizar o conteúdo das imagens em dados compactos e discriminativos. Esses dados extraídos e representados em um vetor-de-características tem o objetivo de representar as imagens nos processos de mineração e análise para classificação e/ou recuperação. Neste trabalho foi explorado o uso de dicionários visuais e contexto para representar e recuperar as características locais das imagens utilizando formalismos estendidos com alto poder descritivo. Esta tese apresenta em destaque três novas propostas que contribuem competitivamente com outros trabalhos da literatura no avanço do estado-da-arte, desenvolvendo novas metodologias para a caracterização de imagens e para o processamento de consultas por similaridade. A primeira proposta estende a modelagem Bag-of-Visual-Words, permitindo codificar a interação entre palavras-visuais e suas disposições espaciais na imagem. Para tal fim, três novas abordagem são apresentadas: (i) Weighted Histogram (WE); (ii) Bunch-of-2-grams e (iii) Global Spatial Arrangement (GSA). Cada uma dessas técnicas permitem extrair informações semanticamente complementares, que enriquecem a representação final das imagens descritas em palavras-visuais. A segunda proposta apresenta um novo descritor, chamado de Bag-of-Salience-Points (BoSP), que caracteriza e analisa a dissimilaridade de formas (silhuetas) de objetos explorando seus pontos de saliências. O descritor BoSP se apoia no uso de um dicionário de curvaturas e em histogramas espaciais para representar sucintamente as saliências de um objeto em um único vetor-de-características de tamanho fixo, permitindo recuperar formas usando funções de distâncias computacionalmente rápidas. Por fim, a terceira proposta apresenta um novo modelo de consulta por similaridade, denominada Similarity Based on Dominant Images (SimDIm), baseada no conceito de Imagens Dominantes, que é um conjunto que representa, de uma maneira mais diversificada e reduzida, toda a coleção de imagens da base de dados. Tal conceito permite dar mais eficiência quando se deseja analisar o contexto da coleção, que é o objetivo da proposta. Os experimentos realizados mostram que os métodos propostos contribuem de maneira efetiva para caracterizar e quantificar a similaridade entre imagens por meio de abordagens estendidas baseadas em dicionários visuais e análise contextual, reduzindo a lacuna semântica existente entre a percepção humana e a descrição computacional. / The automatic similarity analysis between images depends heavily on the use of descriptors that should be able to characterize the images\' content in compact and discriminative features. These extracted features are represented by a feature-vector employed to represent the images in the process of mining and analysis for classification and/or retrieval. This work investigated the use of visual dictionaries and context to represent and retrieve the local image features using extended formalism with high descriptive power. This thesis presents three new proposals that contribute in advancing the state-of-the-art by developing new methodologies for characterizing images and for processing similarity queries by content. The first proposal extends the Bag-of-Visual-Words model, by encoding the interaction between the visual words and their spatial arrangements in the image space. For this, three new techniques are presented: (i) Weighted Histogram (WE); (ii) Bunch-of--grams and (iii) Global Spatial Arrangement (GSA). These three techniques allow to extract additional semantically information that enrich the final image representation described in visual-words. The second proposal introduces a new descriptor, called Bag-of-Salience-Points (BoSP), which characterizes and analyzes the dissimilarity of shapes (silhouettes) exploring their salient point. The BoSP descriptor is based on using a dictionary of curvatures and spatial-histograms to represent succinctly the saliences of a shape into a single fixed-length feature-vector, allowing to retrieve shapes using distance functions computationally fast. Finally, the third proposal introduces a new similarity query model, called Similarity based on Dominant Images (SimDIm), based on the concept of dominant images, which is a set of images representing the entire collection of images of the database in a more diversified and reduced manner. This concept allows to efficiently analyze the context of the entire collection, which is the final goal. The experiments showed that the proposed methods effectively contributed to characterize and quantify the similarity between images using extended approaches based on visual dictionaries and contextual analysis, reducing the semantic gap between human perception and computational description.

A avaliação do estado nutricional das plantas de milho usualmente é feita através de análises químicas ou pela diagnose visual das folhas da planta, esta última, sujeita a erros de interpretação já que a ausência de algum nutriente na planta gera um padrão de mudança específico na superfície da folha que depende do nível de ausência do nutriente. As dificuldades que apresentam neste processo e sua importância na agricultura, criam a necessidade de pesquisar sistemas automáticos para a avaliação do estado nutricional de plantas. Desta forma, este mestrado teve como objetivo principal o desenvolvimento de um sistema de visão artificial para verificar a possibilidade de identificação de níveis dos macronutrientes Cálcio, Enxofre, Magnésio, Nitrogênio e Potássio em plantas de milho através da análise da superfície das folhas usando métodos de visão computacional. Este projeto realiza uma revisão bibliográfica do estado da arte dos métodos de extração de características de cor, textura em escala de cinza e textura colorida utilizadas em processamento de imagens. A alta similaridade entre os sintomas produzidos pelas deficiências e a pouca similaridade entre amostras de uma mesma deficiência motivou o desenvolvimento de novos métodos de extração de características que pudessem fornecer dados necessários para uma correta separação entre as classes. Os resultados obtidos demonstraram que o sistema desenvolvido possibilita a predição de deficiências nutricionais em estágios iniciais do crescimento da planta usando unicamente a textura da superfície da folha como fonte de informação / The evaluation of the nutritional status of corn plants is usually done through chemical analysis or by visual diagnosis of the plant leaves. Visual diagnosis is subject to misinterpretation as the lack of some nutrient in the plant generates a specific pattern of change in the leaf surface that depends on the degree on which the nutrient is absent on the plant. The difficulties present in this process and its importance in agriculture creates the necessity to search automated systems for the assessment of nutritional status of plants. Thus, this dissertation had as main objective the development of an artificial vision system to verify the possibility of identifying levels of macronutrients calcium, sulfur, magnesium, potassium and nitrogen in corn plants by analyzing the surface of the leaves using computer vision methods. This project performs a review of the literature of the state of the art methods for feature extraction of color, grayscale and colored texture used in image processing. The high similarity between the symptoms caused by deficiencies and low similarity between samples of the same deficiency motivated the development of new methods for extracting features that could provide the data needed for a correct separation between classes. The results showed that the system enables the prediction of nutritional deficiencies in an initial stage of plant growth using only texture of the leaf surface as a source of information

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

L'objectif de ce travail de recherche est le développement, la mise au point et la validation d'une méthode de spectroscopie multi-modalités en diffusion élastique et autofluorescence pour caractériser des tissus cutanés cicatriciels hypertrophiques in vivo. Ces travaux sont reposés sur trois axes. La première partie des travaux présente l'instrumentation : développement d'un système spectroscopique qui permet de réaliser des mesures de multimodalités in vivo de manière automatique et efficace. Des procédures métrologiques sont mise en place pour caractériser le système développé et assurer la repétabilité les résultats de mesure. La deuxième partie présente une étude préclinique. Un modèle animal et un protocole expérimental ont été mises en place pour créer des cicatrices hypertrophiques sur lesquelles nous pouvons recueillir des spectres à analyser. La troisième partie porte sur la classification des spectres obtenus. Elle propose des méthodes algorithmiques pour débruiter et corriger les spectres mesurés, pour extraire automatiquement des caractéristiques spectrales interprétables et pour sélectionner un sous-ensemble de caractéristiques "optimales" en vue d'une classification efficace. Les résultats de classification réalisée respectivement par trois méthodes (k-ppv, ADL et RNA) montrent que la faisabilité d'utiliser la spectroscopie bimodale pour la caractérisation de ce type de lésion cutané. Par ailleurs, les caractéristiques sélectionnées par notre méthode montrent que la cicatrisation hypertrophique implique un changement de structure tissulaire et une variation de concentration de porphyrine / This research activity aims at developing and validating a multimodal system combining diffuse reflectance spectroscopy and autofluorescence spectroscopy in characterizing hypertrophic scar tissues in vivo. The work relies on three axes. The first part concerns the development of an automatic system which is suitable for multimodal spectroscopic measurement. A series of calibration procedures are carried out for ensuring the reliability of the measurement result. The second part presents a preclinical study on an animal model (rabbit ear). An experimental protocol was implemented in order to create hypertrophic scars on which we can collect spectra to analyze. The third part deals with the classification problem on the spectra obtained. It provides a series of algorithmic methods for denoising and correcting the measured spectra, for automatically extracting some interpretable spectral features and for selecting an optimal subset for classification. The classification results arched using respectively 3 different classifiers (knn, LDA and ANN) show the ability of bimodal spectroscopy in characterization of the topic skin lesion. Furthermore, the features selected my selection method indicate that the hypertrophic scarring may involve a change in tissue structure and in the concentration of porphyrins embedded in the epidermis

The taxonomical identification of freshwater green microalgae is highly relevant problem in Phycology. In particular, the taxonomical identification of samples from the Selenastraceae family of algae is considered particularly problematic with many known inconsistencies. Biologists manually inspect and analyze microscope images of alga strains, and typically carry out several complex and time-consuming procedures that demand considerable expert knowledge. Such practical limitations motivated this investigation on the applicability of image processing, pattern recognition and visual data mining techniques to support the biologists in tasks of species identification. This thesis describes methodologies for the classification of green alga images, considering both traditional automated classification processes and also a user-assisted incremental classification process supported by Neighbor Joining tree visualizations. In this process, users can interact with the visualizations to introduce their knowledge into the classification process, e.g. by selecting suitable training sets and evaluate the results, thus steering the classification process. In order for visualization and classification to be feasible, accurate features must be obtained from the images capable of distinguishing between the different species of algae. As morphological shape properties are a fundamental property in identifying species, suitable segmentation and shape feature extraction strategies have been developed. This was particularly challenging, as different alga species share common morphological characteristics. Two segmentation methodologies are introduced, in which one relies on the level set method and the other is based on the region growing principle. Although the contour-based approach is capable of handling the uneven conditions of green alga images, its computation is time-consuming and not suitable for real time applications. A specialized formulation of the region-based methodology is proposed that considers the specific characteristics of the green alga images handled. This second formulation was shown to be more efficient than the level set approach and generates highly accurate segmentations. Once accurate alga segmentation is achieved, two descriptors are proposed that capture alga shape properties, and also an effective general shape descriptor that computes quantitative measures from two signatures associated to the shape properties. Experimental results are described that indicate that the proposed solutions can be useful to biologists conducting alga identification tasks once it reduces their effort and attains satisfactory discrimination among species. / A identificação taxonômica de algas verdes de água doce é um problema de extrema relevância na Ficologia. Identificar espécies de algas da família Selenastraceae é uma tarefa complexa devido às inconsistências existentes em sua taxonomia, reconhecida como problemática. Os biólogos analisam manualmente imagens de microscópio de cepas de algas e realizam diversos procedimentos demorados que necessitamde conhecimento sólido. Tais limitaçõesmotivaramo estudo da aplicabilidade de técnicas de processamento de imagens, reconhecimento de padrões e mineração visual de dados para apoiar os biólogos em tarefas de identificação de espécies de algas. Esta tese descreve metodologias computacionais para a classificação de imagens de algas verdes, nas abordagens tradicional e baseada em classificação visual incremental com participação do usuário. Nesta última, os usuários interagem com visualizações baseadas em árvores filogenéticas para utilizar seu conhecimento no processo de classificação, como por exemplo, na seleção de instâncias relevantes para o conjunto de treinamento de um classificador, como também na avaliação dos resultados. De forma a viabilizar o uso de classificadores e técnicas de visualização, vetores de características devem ser obtidos das imagens de algas verdes. Neste trabalho, utiliza-se extração de características de forma, uma vez que a taxonomia da família Selenastraceae considera primordialmente as características morfológicas na identificação das espécies. No entanto, a obtenção de características representativas requer que as algas sejam precisamente segmentadas das imagens. Esta é, de fato, uma tarefa altamente desafiadora considerando a baixa qualidade das imagens e a maneira pelas quais as algas se organizam nas imagens. Duas metodologias de segmentação foram introduzidas: uma baseada no método Level Set e outra baseada no algoritmo de crescimento de regiões. A primeira se mostrou robusta e consegue identificar com alta precisão as algas nas imagens, mas seu tempo de execução é alto. A outra apresenta maior precisão e é mais rápida, uma vez que as técnicas de pré-processamento são especializadas para as imagens de algas verdes. Uma vez segmentadas as algas, dois descritores para caracterizar as imagens foram propostos: um baseado em características geométricas básicas e outro que utiliza medidas quantitativas calculadas a partir das assinaturas de forma. Resultados experimentais indicaram que as soluções propostas têm um bom potencial para serem utilizadas em tarefas de identificação taxonômica de algas verdes, uma vez que reduz o esforço nos procedimentos manuais e obtém-se classificações satisfatórias.

Com o desenvolvimento e barateamento dos equipamentos de aquisição de imagens, principalmente na área médica, tem sido geradas muitas imagens, as quais devem ser analisadas pelos especialistas. Esta tarefa pode ser muitas vezes cansativa e demorada, levando a possíveis erros no diagnóstico, pois a leitura das imagens depende da experiência e do estado físico e emocional do médico. Assim, sistemas de auxílio ao diagnóstico por computador (Computer-aided diagnosis - CAD) têm se tornado grandes aliados no processo de diagnóstico, realizando uma segunda leitura da imagem, servindo como uma segunda opinião ao especialista. Por isso, é necessário o desenvolvimento de técnicas de mineração de imagens para o aumento da precisão e da velocidade da análise das imagens. Assim, o objetivo deste trabalho foi desenvolver métodos de representação de imagens e de classificação associativa para aumentar a precisão da classificação de sistemas de auxílio ao diagnóstico médico por imagens. Para a representação de imagens foram desenvolvidas técnicas para reduzir a lacuna que há entre a representação numérica das imagens e seu significado semântico, a qual é chamada de `gap semântico\'. Para isso, foi usada a teoria das redes complexas para modelar as imagens em redes livres de escala, e os descritores das imagens foram compostos pelas medidas topológicas extraídas rede modelada. Os vetores de características gerados foram bem compactos, o que possibilitou também evitar o problema da `maldição da alta dimensionalidade\'. Para a classificação, foi desenvolvido o classificador associativo SACMiner, por meio do uso de regras de associação estatísticas, o qual evita a fase de discretização de dados, lidando diretamente com dados contínuos. Este foi um passo importante, já que a discretização pode causar a perda de informações e gerar inconsistência na base de dados. Além do SACMiner, foi desenvolvido o classificador MinSAR, o qual, além de não demandar a fase de discretização, também evita que o usuário tenha que fornecer parâmetros de entrada ao algoritmo responsável por gerar as regras. As técnicas até aqui listadas foram aplicadas em um sistema de auxílio ao diagnóstico de mama e comparadas com técnicas descritas na literatura, e os resultados mostram que as técnicas aqui propostas sobrepujaram as atuais da literatura. E por fim, foram sugeridas novas medidas para caracterizar imagens de pacientes com epilepsia no lobo temporal mesial, por meio do uso de medidas de espessura cortical, as quais melhoraram a precisão do sistema para este tipo de diagnóstico / The complexity of medical images and the high volume of exams per radiologist in a screening program can lead to a scenario prone to mistakes. Hence, it is important to inforce double reading and effective analysis, but those are costly measures. The computer-aided diagnosis (CAD) technology offers an alternative to double reading, because it can provide a computer output as a `second opinion\' to assist radiologists in interpreting images. Using this technology, the accuracy and consistency of radiological diagnoses can be improved, and also the image reading time can be reduced. Therefore, the need of classification and image representation methods and to speed-up and to assist the radiologists in the image analysis task has been increased. These methods must be more accurate and demand low computational cost, in order to provide a timely answer to the physician. The aim of this thesis was to developed image representation and associative classifiers methods to improve the classification of computer-aided diagnosis systems. Considering the image representation, in this work, we present some approaches to reduce the gap between the numeric representation of the images and their semantic, which is called `semantic gap\'. For this, we used the complex network theory to produce an image model based on scale-free networks. The image descriptors were composed of topological measures of the modeled network. The feature vectors produced were quite compact, which also allowed to avoid the problem called as `curse of dimensionality\'. Considering the classification task, we proposed the SACMiner classifier, which uses statistical association rules in order to avoid the discretization step when working with continuous attributes. It is important because the discretization step can disturb the dataset and cause lost of information. We also proposed de MinSAR classifier, which mines the rules not requiring a discretization step neither input thresholds, as most of the other association rules methods do. These approaches were applied in a breast cancer computer-aided diagnosis system. And finally, we developed an automatic technique which can aid in distinguishing between controls and patients with mesial temporal lobe epilepsy, based on cortical thickness, and potentially identifying abnormalities in tissue integrity in cases where atrophy cannot be visualized

La classification est l’un des défis important en bioinformatique, aussi bien pour les données protéiques que nucléiques. La présence de ces données en grandes masses, leur ambiguïté et en particulier les coûts élevés de l’analyse in vitro en termes de temps et d’argent, rend l’utilisation de la fouille de données plutôt une nécessité qu’un choix rationnel. Cependant, les techniques fouille de données, qui traitent souvent des données sous le format relationnel, sont confrontés avec le format inapproprié des données biologiques. Par conséquent, une étape inévitable de prétraitement doit être établie. Cette thèse traite du prétraitement de données protéiques comme une étape de préparation avant leur classification. Nous présentons l’extraction de motifs comme un moyen fiable pour répondre à cette tâche. Les motifs extraits sont utilisés comme descripteurs, en vue de coder les protéines en vecteurs d’attributs. Cela permet l’utilisation des classifieurs connus. Cependant, la conception d’un espace appropié d’attributs, n’est pas une tâche triviale. Nous traitons deux types de données protéiques à savoir les séquences et les structures 3D. Dans le premier axe, i:e:; celui des séquences, nous proposons un nouveau procédé de codage qui utilise les matrices de substitution d’acides aminés pour définir la similarité entre les motifs lors de l’étape d’extraction. En utilisant certains classifieurs, nous montrons l’efficacité de notre approche en la comparant avec plusieurs autres méthodes de codage. Nous proposons également de nouvelles métriques pour étudier la robustesse de certaines de ces méthodes lors de la perturbation des données d’entrée. Ces métriques permettent de mesurer la capacité d’une méthode de révéler tout changement survenant dans les données d’entrée et également sa capacité à cibler les motifs intéressants. Le second axe est consacré aux structures protéiques 3D, qui ont été récemment considérées comme graphes d’acides aminés selon différentes représentations. Nous faisons un bref survol sur les représentations les plus utilisées et nous proposons une méthode naïve pour aider à la construction de graphes d’acides aminés. Nous montrons que certaines méthodes répandues présentent des faiblesses remarquables et ne reflètent pas vraiment la conformation réelle des protéines. Par ailleurs, nous nous intéressons à la découverte, des sous-structures récurrentes qui pourraient donner des indications fonctionnelles et structurelles. Nous proposons un nouvel algorithme pour trouver des motifs spatiaux dans les protéines. Ces motifs obéissent à un format défini sur la base d’une argumentation biologique. Nous comparons avec des motifs séquentiels et spatiaux de certains travaux reliés. Pour toutes nos contributions, les résultats expérimentaux confirment l’efficacité de nos méthodes pour représenter les séquences et les structures protéiques, dans des tâches de classification. Les programmes développés sont disponibles sur ma page web http://fc.isima.fr/~saidi. / The classification of biological data is one of the significant challenges inbioinformatics, as well for protein as for nucleic data. The presence of these data in hugemasses, their ambiguity and especially the high costs of the in vitro analysis in terms oftime and resources, make the use of data mining rather a necessity than a rational choice.However, the data mining techniques, which often process data under the relational format,are confronted with the inappropriate format of the biological data. Hence, an inevitablestep of pre-processing must be established.This thesis deals with the protein data preprocessing as a preparation step before theirclassification. We present motif extraction as a reliable way to address that task. The extractedmotifs are used as descriptors to encode proteins into feature vectors. This enablesthe use of known data mining classifiers which require this format. However, designing asuitable feature space, for a set of proteins, is not a trivial task.We deal with two kinds of protein data i:e:, sequences and tri-dimensional structures. In thefirst axis i:e:, protein sequences, we propose a novel encoding method that uses amino-acidsubstitution matrices to define similarity between motifs during the extraction step. Wedemonstrate the efficiency of such approach by comparing it with several encoding methods,using some classifiers. We also propose new metrics to study the robustness of some ofthese methods when perturbing the input data. These metrics allow to measure the abilityof the method to reveal any change occurring in the input data and also its ability to targetthe interesting motifs. The second axis is dedicated to 3D protein structures which are recentlyseen as graphs of amino acids. We make a brief survey on the most used graph-basedrepresentations and we propose a naïve method to help with the protein graph making. Weshow that some existing and widespread methods present remarkable weaknesses and do notreally reflect the real protein conformation. Besides, we are interested in discovering recurrentsub-structures in proteins which can give important functional and structural insights.We propose a novel algorithm to find spatial motifs from proteins. The extracted motifsmatch a well-defined shape which is proposed based on a biological basis. We compare withsequential motifs and spatial motifs of recent related works. For all our contributions, theoutcomes of the experiments confirm the efficiency of our proposed methods to representboth protein sequences and protein 3D structures in classification tasks.Software programs developed during this research work are available on my home page http://fc.isima.fr/~saidi.

L'oculométrie est un ensemble de techniques dédié à enregistrer et analyser les mouvements oculaires. Dans cette thèse, je présente l'étude, la conception et la mise en œuvre d'un système oculométrique numérique, non-intrusif permettant d'analyser les mouvements oculaires en temps réel avec une webcam à distance et sans lumière infra-rouge. Dans le cadre de la réalisation, le système oculométrique proposé se compose de quatre modules: l'extraction des caractéristiques, la détection et le suivi des yeux, l'analyse de la variété des mouvements des yeux à partir des images et l'estimation du regard par l'apprentissage. Nos contributions reposent sur le développement des méthodes autour de ces quatre modules: la première réalise une méthode hybride pour détecter et suivre les yeux en temps réel à partir des techniques du filtre particulaire, du modèle à formes actives et des cartes des yeux (EyeMap); la seconde réalise l'extraction des caractéristiques à partir de l'image des yeux en utilisant les techniques des motifs binaires locaux; la troisième méthode classifie les mouvements oculaires selon la variété générée par le Laplacian Eigenmaps et forme un ensemble de données d'apprentissage; enfin, la quatrième méthode calcul la position du regard à partir de cet ensemble d'apprentissage. Nous proposons également deux méthodes d'estimation:une méthode de la régression par le processus gaussien et un apprentissage semi-supervisé et une méthode de la catégorisation par la classification spectrale (spectral clustering). Il en résulte un système complet, générique et économique pour les applications diverses dans le domaine de l'oculométrie. / Gaze tracker offers a powerful tool for diverse study fields, in particular eye movement analysis. In this thesis, we present a new appearance-based real-time gaze tracking system with only a remote webcam and without infra-red illumination. Our proposed gaze tracking model has four components: eye localization, eye feature extraction, eye manifold learning and gaze estimation. Our research focuses on the development of methods on each component of the system. Firstly, we propose a hybrid method to localize in real time the eye region in the frames captured by the webcam. The eye can be detected by Active Shape Model and EyeMap in the first frame where eye occurs. Then the eye can be tracked through a stochastic method, particle filter. Secondly, we employ the Center-Symmetric Local Binary Patterns for the detected eye region, which has been divided into blocs, in order to get the eye features. Thirdly, we introduce manifold learning technique, such as Laplacian Eigen-maps, to learn different eye movements by a set of eye images collected. This unsupervised learning helps to construct an automatic and correct calibration phase. In the end, as for the gaze estimation, we propose two models: a semi-supervised Gaussian Process Regression prediction model to estimate the coordinates of eye direction; and a prediction model by spectral clustering to classify different eye movements. Our system with 5-points calibration can not only reduce the run-time cost, but also estimate the gaze accurately. Our experimental results show that our gaze tracking model has less constraints from the hardware settings and it can be applied efficiently in different real-time applications.

O desenvolvimento tecnológico proporciona uma melhoria na qualidade de vida devido à facilidade, rapidez e flexibilidade no acesso à informação. Na área biomédica, a tecnologia é reconhecidamente uma importante aliada, permitindo o rápido desenvolvimento de métodos e técnicas que auxiliam o profissional na atenção à saúde. Recentes avanços na análise computadorizada de imagens médicas contribuem para o diagnóstico precoce de uma série de doenças. Nesse trabalho é apresentada uma metodologia para o desenvolvimento de um sistema computacional para caracterização de padrões em imagens pulmonares, baseado em técnicas de redes neurais artificiais. No estudo, buscou-se verificar a utilização de redes neurais auto-organizáveis como ferramenta de extração de atributos e redução de dimensionalidade de imagens radiográficas de tórax, objetivando a caracterização de lesões intersticiais de pulmão. Para a redução de dimensionalidade e extração de atributos, implementou-se um algoritmo baseado nos mapas auto-organizáveis (SOM), com algumas variações, obtendo-se uma redução dos cerca de 3 milhões de pixels que compõe uma imagem, para 240 elementos. Para a classificação dos padrões, utilizou-se uma rede Perceptron multi-camadas (MLP), validada com a metodologia leave-one-out. Com uma base contendo 79 exemplos de padrão linear, 37 exemplos de padrão nodular, 30 exemplos de padrão misto, e 72 exemplos de padrão normal, o classificador obteve a média de 89,5% de acerto, sendo 100% de classificação correta para o padrão linear, 67,5% para o padrão nodular, 63,3% para o padrão misto, e 100% para o padrão normal. Os resultados obtidos comprovam a validade da metodologia. / The technological development provides an improvement in the quality of life due to easiness, speed and flexibility in the access to the information. In the biomedical area, the technology is admitted as an important allied, allowing the fast development of methods and techniques that assist the professional in the health care. Recent advances in the computerized analysis of medical images contribute for the precocious diagnosis of a series of diseases. In this work a methodology for the development of a computational system for characterization of patterns in pulmonary images, based in techniques of artificial neural networks is presented. In the study, has searched for the verification the use of self-organizing neural networks as a feature extraction and dimensionality reduction tool of chest radiographs, willing to characterize interstitial lung disease. For the dimensionality reduction and feature extraction, an algorithm based on Self-Organizing Maps (SOM) was implemented, with some variations, getting a reduction of about 3 million pixels that it composes an image, for 240 elements. For the pattern classification, a Multilayer Perceptron (MLP) was used, validated with the leave-one-out methodology. With a database containing 79 samples of linear pattern, 37 samples of nodular pattern, 30 samples of mixed pattern, and 72 samples of normal pattern, the classifier provided an average result of 89.5% of right classification, with 100% of right classification for linear pattern, 67.5% for nodular pattern, 63.3% for mixed pattern, and 100% for normal pattern. The results prove the validity of the methodology.

O gênero Eimeria compreende um grupo de protozoários da classe Coccidia que infecta uma grande variedade de hospedeiros. Um total de sete espécies distintas Eimeria podem infectar a galinha doméstica causando enterites com graves prejuízos econômicos. A identificação das espécies pode ser feita através da análise microscópica das diferentes características morfológicas dos oocistos, um dos estágios de desenvolvimento do parasita. Alternativamente, ensaios moleculares baseados na amplificação de alvos específicos de DNA também podem ser utilizados. Em ambos os casos, requer-se um laboratório especializado e, principalmente, pessoal altamente treinado. Neste trabalho é relatada uma abordagem computacional para a extração automática de características para a representação da forma das distintas espécies de Eimeria. Foram utilizadas imagens digitais do protozoário nas quais aplicou-se técnicas de processamento de imagens e visão computacional para sua representação morfológica, formando três grupos de características: medidas geométricas, caracterização da curvatura, e quantificação da estrutura interna. A morfologia dos protozoários foi representada por um vetor de características constituído por 14 dimensões, o qual constituiu o padrão de entrada para o processo de classificação. Para o reconhecimento dos padrões, foram usados dois classificadores Bayesianos, utilizando-se como funções de verossimilhança a Gaussiana e a de Dirichlet, respectivamente. O primeiro classificador apresentou as melhores taxas de acerto, enquanto o segundo demonstrou melhor desempenho segundo a análise por curvas ROC. Como prova de princípio de que o sistema poderia ser utilizado por usuários leigos para o diagnóstico à distância de parasitas, foi implementado o COCCIMORPH, um sistema de diagnóstico de Eimeria em tempo real. O sistema permite o envio de imagens via web, assim como o seu pré-processamento e classificação remotos, obtendo-se o resultado do diagnóstico em tempo real. Essa abordagem totalmente integrada e implementada é inédita para o diagnóstico de parasitas. Entre suas vantagens principais está o fato de que o diagnóstico pode ser obtido sem a necessidade do transporte físico de amostras biológicas para um laboratório de referência, evitando assim riscos de contaminação do ambiente. Para o treinamento do sistema, foram obtidas centenas de micrografias de cada uma das sete espécies de Eimeria que infectam a galinha doméstica. Essas imagens também foram usadas para a construção de um banco de acesso público de imagens (The Eimeria Image Database). Além disso, a metodologia de diagnóstico foi também aplicada e testada com onze espécies Eimeria de coelho doméstico. Com isso, foram gerados dados inéditos de morfometria, micrografias adicionais para o banco de imagens, e um sistema de classificação para esse conjunto adicional de parasitas. Finalmente, foram determinadas as distâncias entre as diferentes espécies de Eimeria, calculadas a partir dos dados morfométricos. As árvores de distância revelaram uma topologia muito similar com árvores obtidas a partir da inferência filogenética usando-se marcadores moleculares como o gene 18S de rRNA ou genomas mitocondriais. / The Eimeria genus comprises a group of protozoan parasites that infect a wide range of hosts. A total of seven different Eimeria species infect the domestic fowl, causing enteritis with severe economical losses. Species identification can be performed through microscopic analysis of the distinct morphological characteristics of the oocysts, a developmental stage of the parasite. Alternatively, molecular assays based on the amplification of specific DNA targets can also be used. In both cases, a well equipped laboratory and, especially, highly qualified personnel are required. In this work, we report a computational approach for the automatic feature extraction for shape representation of the different Eimeria species. Digital images of the parasites were used in order to apply image processing and computational vision techniques for shape characterization. Three groups of morphological features were constituted: geometric measures, curvature characterization, and internal structure quantification. The protozoan morphology was represented by a 14-dimension feature vector, which was used as the input pattern for the classification process. Two Bayesian classifiers were used for pattern recognition, using as a likelihood function the normal and the Dirichlet, respectively. The former classifier presented the best correct classification rates, whereas the latter showed a better performance in ROC curve analyses. As a proof of principle that this system could be utilized by end-users for a long-distance parasite diagnosis, we implemented COCCIMORPH, an integrated system for the real-time diagnosis of Eimeria spp. The system presents an interface for image uploading. Image preprocessing and diagnosis are performed remotely and the results displayed in real-time. This fully integrated and implemented system constitutes a novel approach for parasite diagnosis. Among the several advantages of the system, it is noteworthy that no biological sample transportation is required between the farm and the reference laboratory, thus avoiding potential environment contamination risks. To train the system, we used hundreds of micrographs of each one of the seven Eimeria species of domestic fowl. These images were used to compose a public image repository (The Eimeria Image Database). In addition, our diagnosis methodology was extended to the eleven Eimeria species that infect the domestic rabbit. With this integrated approach, a totally novel set of images and morphometric data of rabbit Eimeria were incorporated to the image database and, also to the remote diagnosis system. Finally, distance trees of the distinct Eimeria species of domestic fowl were computed from the morphometric data. The trees revealed a very similar topology with trees obtained with molecular phylogenetic markers such as the 18S rRNA gene and mitochondrial genomes.