La topologie algébrique, bien que domaine abstrait des mathématiques, apporte de nouveaux concepts pour le traitement d'images. En effet, ces tâches sont complexes et restent limitées par différents facteurs tels que la nécessité d’utiliser un paramétrage, l'influence de l'arrière-plan ou la superposition d'objets. Nous proposons ici des méthodes dérivées de la topologie algébrique qui diffèrent des méthodes classiques de traitement d'images par l’intégration d’informations locales vers des échelles globales grâce à des invariants topologiques. Une première méthode de segmentation d'images a été développée en ajoutant aux caractéristiques statistiques classiques d’autres de nature topologique calculées par homologie persistante. Une autre méthode basée sur des complexes topologiques a été développée dans le but de segmenter les objets dans des images 2D et 3D. Cette méthode segmente des objets dans des images multidimensionnelles et fournit une réponse à certains problèmes habituels en restant robuste vis à vis du bruit et de la variabilité de l'arrière-plan. Son application aux images de grande taille peut se faire en utilisant des superpixels. Nous avons également montré que l'homologie relative détecte le mouvement d’objets dans une séquence d'images qui apparaissent et disparaissent du début à la fin. Enfin, nous posons les bases d’un ensemble de méthodes d'analyse d'images basé sur la théorie des faisceaux qui permet de fusionner des données locales en un ensemble cohérent. De plus, nous proposons une seconde approche qui permet de comprendre et d'interpréter la structure d’une image en utilisant les invariants fournis par la cohomologie des faisceaux. / Algebraic topology, which is often appears as an abstract domain of mathematics, can bring new concepts in the execution of the image processing tasks. Indeed, these tasks might be complex and limited by different factors such as the need of prior parameters, the influence of the background, the superposition of objects. In this thesis, we propose methods derived from algebraic topology that differ from classical image processing methods by integrating local information at global scales through topological invariants. A first method of image segmentation was developed by adding topological characteristics calculated through persistent homology to classical statistical characteristics. Another method based on topological complexes built from pixels was developed with the purpose to segment objects in 2D and 3D images. This method allows to segment objects in multidimensional images but also to provide an answer to known issues in object segmentation remaining robust regarding the noise and the variability of the background. Our method can be extended to large scale images by using the superpixels concept. We also showed that the relative version of homology can be used effectively to detect the movement of objects in image sequences. This method can detect and follow objects that appear and disappear in a video sequence from the beginning to the end of the sequence. Finally, we lay the foundations of a set of methods of image analysis based on sheaf theory that allows the merging of local data into a coherent whole. Moreover, we propose a second approach that allows to understand and interpret scale analysis and localization by using the sheaves cohomology.

Over the past decades, Fourier Transform Infrared (FTIR) microspectroscopy has emerged as a potential candidate to complement Histopathology in the study and diagnosis of tissue diseases. Contrary to the histological examination, which relies on the morphological tissue alterations assessed by visual inspection of stained samples, FTIR chemical imaging is a rapid and label-free tool that provide simultaneously information about histological structures as well as the localisation and magnitude of basic molecular units that compose tissue sections (proteins, nucleic acids, lipids, and carbohydrates). Despite the many proof-of-concept studies demonstrating the effectiveness of FTIR spectroscopy in detecting biological disorders with high levels of sensitivity and specificity, translation into clinical practice has been relatively slow due to the substantial cost of infrared transparent substrates required to collect the images. Thus, the main objective of this research is to evaluate the diagnostic potential of infrared chemical images collected from samples placed on conventional histology glass slides as alternative substrates for FTIR spectroscopy. Swiss mice were submitted to a well-established chemical carcinogenesis protocol, in which cancerous and non-cancerous cutaneous lesions were obtained by varying the exposure time of the animals to carcinogenenic factors. FTIR hyperspectral images were acquired in transmission mode over the mid-infrared region from tissue specimens placed on conventional infrared substrates (calcium fluoride - CaF2) and glass slides. In the first phase of our study, spectral datasets were segmented using k-means (KMCA) and Hierarchical Cluster Analysis (HCA) as clustering algorithms to reconstruct the hyperspectral images aiming to evaluate the ability of the false-color maps in reproducing the histological structures of tissue specimens. The images were segmented by each clustering technique using several different combinations varying parameters including the substrate used to place the samples (CaF2 or conventional glass) and the methods employed to preprocess the datasets. Fingerprint (1000-1800 cm-1) and high wavenumber (3100-4000 cm-1) regions from images collected on CaF2 were separately used as input for image reconstruction and only the high wavenumber range was employed in the case of samples placed on glass. All pseudocolor maps were compared to standard histopathology in order to evaluate the quality and consistency of images after segmentation. KMCA presented slightly superior ability in correctly assigning the pixels of morphochemical maps to the histological structures of the specimen, nevertheless, our findings indicate that the choice of the substrate, input data, preprocessing methods, and sample preparation have more influence in the final results than the clustering algorithm used to reconstruct the images. In the second phase of our study, Principal Component Analysis (PCA) was employed to compare datasets from healthy group to animals exposed to chemicals for 8, 16, and 48 weeks in order to evaluate the biochemical changes induced by chemical carcinogenesis. The performance of classification in each pairwise comparison was calculated using a binary classification test based on Linear Discriminant Analysis associated to PCA (PC-LDA). The method achieved satisfactory discrimination (over 80%) comparing healthy tissue to samples that were classified as papilloma (16 weeks) and invasive squamous cell carcinoma (48 weeks) regardless of the substrate used to place the samples. Statistical measurements obtained comparing healthy skin to animals exposed to carcinogenic factors for 8 weeks (free of malignancy based on the morphological and clinical evidence) ranged from 35-78%, indicating that the ability of PC-LDA in correctly classifying spectral data from cancerous and pre-cancerous lesions vary with the stage of the disease during the tumorigenesis process. Thus, as a proof-of-concept, we demonstrate the feasibility of FTIR spectroscopy in evaluating the biological events triggered by cancer using a label-free methodology that do not rely on expensive substrates and do not disrupt the pathologist workflow. This is a major step forward towards clinical application, since the method can be used to complement the diagnostic process of cancer as a non-subjective alternative that do not require laborious and time-consuming procedures nor expensive probes as biomarkers. / Nas últimas décadas, a microespectroscopia de absorção no infravermelho por transformada de Fourier (FTIR) tem surgido como potencial ferramenta para complementar a Histopatologia no estudo e diagnóstico de doenças teciduais. Ao contrário do exame histológico, que se baseia na inspeção visual de amostras coradas visando avaliar as alterações morfológicas que as doenças ocasionam no tecido, o imageamento químico obtido pela técnica de FTIR baseia-se nas características bioquímicas da amostra sem o uso de colorações. Apesar da vasta literatura comprovando a eficácia da espectroscopia FTIR em detectar alterações biológicas causadas por doenças com altos níveis de sensibilidade e especificidade, a implementação do método na prática clínica tem sido relativamente lenta devido ao alto custo dos substratos transparentes no infravermelho que são necessários para aquisição de dados. Diante disso, o objetivo principal do presente trabalho é avaliar a capacidade diagnóstica de imagens hiperespectrais coletadas de amostras em lâminas de vidro como substratos alternativos para a espectroscopia FTIR. Camundongos Swiss foram submetidos a um protocolo de carcinogênese química, no qual lesões cutâneas cancerosas e não-cancerosas foram obtidas variando-se o tempo de exposição dos animais aos fatores carcinogênicos. Imagens hiperespectrais FTIR foram adquiridas no modo de transmissão na região do infravermelho médio a partir de amostras de tecido depositadas em substratos transparentes no infravermelho (fluoreto de cálcio - CaF2) e vidro convencional. Na primeira fase de nosso estudo, os dados espectrais foram segmentados usando as técnicas estatísticas k-means (KMCA) e Análise Hierárquica de Clusters (HCA) como algoritmos de agrupamento para reconstruir as imagens hiperespectrais com o objetivo de avaliar a capacidade dos mapas de cores falsas em reproduzir as estruturas histológicas das amostras de tecido. As imagens foram segmentadas por cada técnica de agrupamento variando-se o substrato usado para colocar as amostras (CaF2 ou vidro convencional) assim como os métodos de tratamento utilizados para pré-processamento dos dados. As regiões de impressão digital (1000-1800 cm-1) e de altos números de onda (3100-4000 cm-1) das imagens coletadas em CaF2 foram usadas separadamente como dados de entrada para a reconstrução das imagens, enquanto apenas a faixa de altos números de onda foi utilizada no caso de amostras colocadas em vidro. Ao fim do processo de segmentação os mapas de cores falsas obtidos foram comparados com a Histopatologia padrão a fim de avaliar a qualidade e consistência das imagens. Os resultados obtidos pela técnica de KMCA foram ligeiramente superiores com relação a HCA na identificação de pixels dos mapas morfo-quimicos correspondentes às estruturas histológicas da amostra. No entanto, nossos achados indicam que a escolha do substrato, dados de entrada, métodos de pré-processamento e preparação de amostras têm mais influência nos resultados finais do que o algoritmo de agrupamento usado para reconstruir as imagens. Na segunda fase do nosso estudo, a Análise de Componentes Principais (PCA) foi empregada para comparar os dados do grupo saudável aos animais expostos aos produtos carcinogênicos por 8, 16 e 48 semanas a fim de avaliar as alterações bioquímicas induzidas pela carcinogênese química. O desempenho da classificação em cada comparação pareada foi calculado usando um teste de classificação binária baseado na Análise de Discriminante Linear associada à técnica de PCA (PC-LDA). O método obteve discriminação satisfatória (acima de 80%) comparando tecido saudável com as amostras que foram classificadas como papiloma (16 semanas) e carcinoma espinocelular invasivo (48 semanas) independentemente do substrato usado para colocar as amostras. A comparação de pele saudável com animais expostos aos fatores carcinogênicos por 8 semanas (livres de malignidade de acordo com as evidências clínicas e morfológicas) apresentou figuras de performance cujos valores variaram entre 35-78%, indicando que a habilidade da técnica de PC-LDA em classificar corretamente dados espectrais de lesões cancerosas e pré-cancerosas variam com o estádio da doença durante o processo de tumorigênese. Diante disso, como uma prova de conceito, demonstramos a viabilidade da espectroscopia FTIR na avaliação dos eventos biológicos desencadeados pelo câncer usando uma metodologia que não requer colorações e substratos caros, assim como não interrompe/altera o fluxo de trabalho atual do patologista. Este é um passo importante na implementação da tecnologia no ambiente clínico, uma vez que o método pode ser usado para complementar o processo de diagnóstico do câncer como uma alternativa não-subjetiva e que não requer procedimentos trabalhosos e demorados, nem sondas caras como biomarcadores.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Este trabalho apresenta uma proposta de metodologia de estimação de idade óssea baseada em características métricas, utilizando o banco de imagens carpais da Escola de Engenharia de São Carlos (EESC). As imagens foram devidamente segmentadas para obtenção da área, perímetro e comprimento de cada osso, gerando, assim, um banco de dados métricos o CarpEven. As informações da base métrica CarpEven foram submetidas a dois mineradores de dados: ao StARMiner, (Statistical Association Rules) uma metodologia de mineração de dados criada por um grupo de pesquisadores do ICMC-USP, e ao Weka (Waikato Environment for Knowledge Analysis), desenvolvido pela Universidade Waikato da Nova Zelândia. As informações foram submetidas a classificadores neurais, contribuindo, assim, para a criação de uma nova metodologia de estimação de idade óssea. Finalmente, é feita uma comparação entre os resultados obtidos e os resultados já alcançados por outras pesquisas. / This work presents a methodology for bone age estimation based on metric characteristics using the carpal images database from Engineering School of São Carlos (EESC-USP). The images were properly segmented to obtain the area, perimeter and length of each bone, thus generating a metric database named CarpEven. The database information were submitted to two data miners: the StarMiner (Statistical Association Rules Miner) a methodology for data mining created by a group of researchers from ICMC-USP, and the Weka (Waikato Environment for Knowledge Analysis), developed by the University of Waikato in New Zealand. The information was submitted to the neural classifiers contributing to the creation of a new methodology for bone age estimation. The results are compared with those obtained by others research.

Plâncton são organismos microscópicos que constituem a base da cadeia alimentar de ecossistemas aquáticos. Eles têm importante papel no ciclo do carbono pois são os responsáveis pela absorção do carbono na superfície dos oceanos. Detectar, estimar e monitorar a distribuição das diferentes espécies são atividades importantes para se compreender o papel do plâncton e as consequências decorrentes de alterações em seu ambiente. Parte dos estudos deste tipo é baseada no uso de técnicas de imageamento de volumes de água. Devido à grande quantidade de imagens que são geradas, métodos computacionais para auxiliar no processo de análise das imagens estão sob demanda. Neste trabalho abordamos o problema de identificação da espécie. Adotamos o pipeline convencional que consiste dos passos de detecção de alvo, segmentação (delineação de contorno), extração de características, e classificação. Na primeira parte deste trabalho abordamos o problema de escolha de um algoritmo de segmentação adequado. Uma vez que a avaliação de resultados de segmentação é subjetiva e demorada, propomos um método para avaliar algoritmos de segmentação por meio da avaliação da classificação no final do pipeline. Experimentos com esse método mostraram que algoritmos de segmentação distintos podem ser adequados para a identificação de espécies de classes distintas. Portanto, na segunda parte do trabalho propomos um método de classificação que leva em consideração múltiplas segmentações. Especificamente, múltiplas segmentações são calculadas e classificadores são treinados individualmente para cada segmentação, os quais são então combinados para construir o classificador final. Resultados experimentais mostram que a acurácia obtida com a combinação de classificadores é superior em mais de 2% à acurácia obtida com classificadores usando uma segmentação fixa. Os métodos propostos podem ser úteis para a construção de sistemas de identificação de plâncton que sejam capazes de se ajustar rapidamente às mudanças nas características das imagens. / Plankton are microscopic organisms that constitute the basis of the food chain of aquatic ecosystems. They have an important role in the carbon cycle as they are responsible for the absorption of carbon in the ocean surfaces. Detecting, estimating and monitoring the distribution of plankton species are important activities for understanding the role of plankton and the consequences of changes in their environment. Part of these type of studies is based on the analysis of water volumes by means of imaging techniques. Due to the large quantity of generated images, computational methods for helping the process of image analysis are in demand. In this work we address the problem of species identification. We follow the conventional pipeline consisting of target detection, segmentation (contour delineation), feature extraction, and classification steps. In the first part of this work we address the problem of choosing an appropriate segmentation algorithm. Since evaluating segmentation results is a subjective and time consuming task, we propose a method to evaluate segmentation algorithms by evaluating the classification results at the end of the pipeline. Experiments with this method showed that distinct segmentation algorithms might be appropriate for identifying species of distinct classes. Therefore, in the second part of this work we propose a classification method that takes into consideration multiple segmentations. Specifically, multiple segmentations are computed and classifiers are trained individually for each segmentation, which are then combined to build the final classifier. Experimental results show that the accuracy obtained with the combined classifier is superior in more than 2% to the accuracy obtained with classifiers using a fixed segmentation. The proposed methods can be useful to build plankton identification systems that are able to quickly adjust to changes in the characteristics of the images.

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

Uma das etapas mais importantes da análise de imagens e, que conta com uma enorme quantidade de aplicações, é a segmentação. No entanto, uma boa parte das técnicas tradicionais apresenta alto custo computacional, dificultando sua aplicação em imagens de alta resolução como, por exemplo, as imagens de ninhais de aves do Pantanal que também serão analisadas neste trabalho. Diante disso, é proposta uma nova abordagem de segmentação que combina algoritmos de detecção de comunidades, pertencentes à teoria das redes complexas, com técnicas de extração de superpixels. Tal abordagem é capaz de segmentar imagens de alta resolução mantendo o compromisso entre acurácia e tempo de processamento. Além disso, como as imagens de ninhais analisadas apresentam características peculiares que podem ser mais bem tratadas por técnicas de segmentação por textura, a técnica baseada em Markov Random Fields (MRF) é proposta, como um complemento à abordagem de segmentação inicial, para realizar a identificação final das aves. Por fim, devido à importância de avaliar quantitativamente a qualidade das segmentações obtidas, um nova métrica de avaliação baseada em ground-truth foi desenvolvida, sendo de grande importância para a área. Este trabalho contribuiu para o avanço do estado da arte das técnicas de segmentação de imagens de alta resolução, aprimorando e desenvolvendo métodos baseados na combinação de redes complexas com superpixels, os quais alcançaram resultados satisfatórios com baixo tempo de processamento. Além disso, uma importante contribuição referente ao censo demográfico de aves por meio da análise de imagens aéreas de ninhais foi viabilizada por meio da aplicação da técnica de segmentação MRF. / Segmentation is one of the most important steps in image analysis with a large range of applications. However, some traditional techniques exhibit high computational costs, hindering their application in high resolution images such as the images of birds nests from Pantanal, one of Brazilian most important wetlands. Therefore, we propose a new segmentation approach that combines community detection algorithms, originated from the theory of the complex networks, with superpixels extraction techniques. This approach is capable of segmenting high resolution images while maintaining the trade-off between accuracy and processing time. Moreover, as the nest images exhibit peculiar characteristics that can be better dealt with texture segmentation techniques, the Markov Random Fields (MRF) technique is proposed, as a complement to the initial approach, to perform the final identification of the birds. Finally, due to the importance of the quantitatively evaluation of the segmentation quality, a new evaluation metric based on ground-truth was developed, being of great importance to the segmentation field. This work contributed to the state of art of high resolution images segmentation techniques, improving and developing methods based on combination of complex networks and superpixels, which generated satisfactory results within low processing time. Moreover, an important contribution for the birds census by the analysis of aerial images of birds nests was made possible by application of the MRF technique.

Systeme der Computer Vision spielen in der Automatisierung vieler Prozesse eine wichtige Rolle. Die wichtigste Aufgabe solcher Systeme ist die Automatisierung des visuellen Erkennungsprozesses und die Extraktion der relevanten Information aus Bildern oder Bildsequenzen. Eine wichtige Komponente dieser Systeme ist die Bildsegmentierung, denn sie bestimmt zu einem großen Teil die Qualitaet des Gesamtsystems. Fuer die Segmentierung von Bildern und Bildsequenzen werden neue Algorithmen vorgeschlagen. Das Konzept der Multiresolution wird als eigenstaendig dargestellt, es existiert unabhaengig von der Wavelet-Transformation. Die Wavelet-Transformation wird zur Verarbeitung von Bildern und Bildsequenzen zu einer 2D- bzw. 3D-Wavelet- Transformation erweitert. Fuer die Segmentierung von Bildern wird der Algorithmus Resolution Mosaic Expectation Maximization (RM-EM) vorgeschlagen. Das Ergebnis der Vorverarbeitung sind unterschiedlich aufgeloesten Teilbilder, das Aufloesungsmosaik. Durch dieses Mosaik lassen sich raeumliche Korrelationen zwischen den Pixeln ausnutzen. Die Verwendung unterschiedlicher Aufloesungen beschleunigt die Verarbeitung und verbessert die Ergebnisse. Fuer die Extraktion von bewegten Objekten aus Bildsequenzen werden neue Algorithmen vorgeschlagen, die auf der 3D-Wavelet-Transformation und auf der Analyse mit 3D-Wavelet-Packets beruhen. Die neuen Algorithmen haben den Vorteil, dass sie sowohl die raeumlichen als auch die zeitlichen Bewegungsinformationen beruecksichtigen. Wegen der geringen Berechnungskomplexitaet der Wavelet-Transformation ist fuer den ersten Segmentierungsschritt Hardware auf der Basis von FPGA entworfen worden. Aktuelle Anwendungen werden genutzt, um die Algorithmen zu evaluieren: die Segmentierung von Magnetresonanzbildern des menschlichen Gehirns und die Detektion von bewegten Objekten in Bildsequenzen von Verkehrsszenen. Die neuen Algorithmen sind robust und fuehren zu besseren Segmentierungsergebnissen. / More and more computer vision systems take part in the automation of various applications. The main task of such systems is to automate the process of visual recognition and to extract relevant information from the images or image sequences acquired or produced by such applications. One essential and critical component in almost every computer vision system is image segmentation. The quality of the segmentation determines to a great extent the quality of the final results of the vision system. New algorithms for image and video segmentation based on the multiresolution analysis and the wavelet transform are proposed. The concept of multiresolution is explained as existing independently of the wavelet transform. The wavelet transform is extended to two and three dimensions to allow image and video processing. For still image segmentation the Resolution Mosaic Expectation Maximization (RM-EM) algorithm is proposed. The resolution mosaic enables the algorithm to employ the spatial correlation between the pixels. The level of the local resolution depends on the information content of the individual parts of the image. The use of various resolutions speeds up the processing and improves the results. New algorithms based on the 3D wavelet transform and the 3D wavelet packet analysis are proposed for extracting moving objects from image sequences. The new algorithms have the advantage of considering the relevant spatial as well as temporal information of the movement. Because of the low computational complexity of the wavelet transform an FPGA hardware for the primary segmentation step was designed. Actual applications are used to investigate and evaluate all algorithms: the segmentation of magnetic resonance images of the human brain and the detection of moving objects in image sequences of traffic scenes. The new algorithms show robustness against noise and changing ambient conditions and gave better segmentation results.

Dans cette thèse, nous abordons le problème de la segmentation des images de documents en proposant de nouvelles approches pour la détection et la classification de leurs contenus. Dans un premier lieu, nous étudions le problème de l'estimation d'inclinaison des documents numérisées. Le but de ce travail étant de développer une approche automatique en mesure d'estimer l'angle d'inclinaison du texte dans les images de document. Notre méthode est basée sur la méthode Maximum Gradient Difference (MGD), la R-signature et la transformée de Ridgelets. Nous proposons ensuite une approche hybride pour la segmentation des documents. Nous décrivons notre descripteur de trait qui permet de détecter les composantes de texte en se basant sur la squeletisation. La méthode est appliquée pour la segmentation des images de documents numérisés (journaux et magazines) qui contiennent du texte, des lignes et des régions de photos. Le dernier volet de la thèse est consacré à la détection du texte dans les photos et posters. Pour cela, nous proposons un ensemble de descripteurs de texte basés sur les caractéristiques du trait. Notre approche commence par l'extraction et la sélection des candidats de caractères de texte. Deux méthodes ont été établies pour regrouper les caractères d'une même ligne de texte (mot ou phrase) ; l'une consiste à parcourir en profondeur un graphe, l'autre consiste à établir un critère de stabilité d'une région de texte. Enfin, les résultats sont affinés en classant les candidats de texte en régions « texte » et « non-texte » en utilisant une version à noyau du classifieur Support Vector Machine (K-SVM) / In this thesis I discuss the document image segmentation problem and I describe our new approaches for detecting and classifying document contents. First, I discuss our skew angle estimation approach. The aim of this approach is to develop an automatic approach able to estimate, with precision, the skew angle of text in document images. Our method is based on Maximum Gradient Difference (MGD) and R-signature. Then, I describe our second method based on Ridgelet transform.Our second contribution consists in a new hybrid page segmentation approach. I first describe our stroke-based descriptor that allows detecting text and line candidates using the skeleton of the binarized document image. Then, an active contour model is applied to segment the rest of the image into photo and background regions. Finally, text candidates are clustered using mean-shift analysis technique according to their corresponding sizes. The method is applied for segmenting scanned document images (newspapers and magazines) that contain text, lines and photo regions. Finally, I describe our stroke-based text extraction method. Our approach begins by extracting connected components and selecting text character candidates over the CIE LCH color space using the Histogram of Oriented Gradients (HOG) correlation coefficients in order to detect low contrasted regions. The text region candidates are clustered using two different approaches ; a depth first search approach over a graph, and a stable text line criterion. Finally, the resulted regions are refined by classifying the text line candidates into « text» and « non-text » regions using a Kernel Support Vector Machine K-SVM classifier

<div>Fluorescence microscopy has emerged as a powerful tool for studying cell biology because it enables the acquisition of 3D image volumes deeper into tissue and the imaging of complex subcellular structures. Fluorescence microscopy images are frequently distorted by motion resulting from animal respiration and heartbeat which complicates the quantitative analysis of biological structures needed to characterize the structure and constituency of tissue volumes. This thesis describes a two pronged approach to quantitative analysis consisting of non-rigid registration and deep convolutional neural network segmentation. The proposed image registration method is capable of correcting motion artifacts in three dimensional fluorescence microscopy images collected over time. In particular, our method uses 3D B-Spline based nonrigid registration using a coarse-to-fine strategy to register stacks of images collected at different time intervals and 4D rigid registration to register 3D volumes over time. The results show that the proposed method has the ability of correcting global motion artifacts of sample tissues in four dimensional space, thereby revealing the motility of individual cells in the tissue.</div><div><br></div><div>We describe in thesis nuclei segmentation methods using deep convolutional neural networks, data augmentation to generate training images of different shapes and contrasts, a refinement process combining segmentation results of horizontal, frontal, and sagittal planes in a volume, and a watershed technique to enumerate the nuclei. Our results indicate that compared to 3D ground truth data, our method can successfully segment and count 3D nuclei. Furthermore, a microscopy image synthesis method based on spatially constrained cycle-consistent adversarial networks is used to efficiently generate training data. A 3D modified U-Net network is trained with a combination of Dice loss and binary cross entropy metrics to achieve accurate nuclei segmentation. A multi-task U-Net is utilized to resolve overlapping nuclei. This method was found to achieve high accuracy object-based and voxel-based evaluations.</div>