Cette thèse présente une approche de segmentation d’images sans supervision pour obtenir une série de silhouettes et l’enveloppe visuelle («Visual Hull») d’un objet observé à partir de plusieurs points de vue. L’approche proposée peut traiter essentiellement n’importe quelles propriétés d’apparence comme la texture, des couleurs similaires d’arrière-plan, la specularité, la transparence et d’autre phénomènes tels que des ombres et des débordements de couleur. Par rapport aux méthodes plus classiques d’extraction de silhouettes sur plusieurs vues, où certaines hypothèses sur l’objet ou la scène sont formulès, nous ne modélisons ni l’arrière-plan ni les propriétés d’apparence de l’objet. La seule hypothèse est la constance de l’arrière-plan considéré comme inconnu pour un point de vue lorsque l’objet bouge. L’idée principale de l’approche est d’estimer l’évolution temporelle de chaque pixel pour obtenir une mesure de stabilité. Celle-ci est utilisée pour construire la fonction de coût d’arrière-plan. Pour faire face aux ombres et aux ombres projetées, un objet est capturé sous différentes conditions d’éclairage. En outre, les informations d’espace, de temps et d’éclairage sont fusionnées et utilisées dans un formalisme de champ aléatoire de Markov et la fonction d’énergie construite est minimisée par «Graph Cuts». Les expérimentations en laboratoire, sous différentes conditions d’éclairage, montrent que l’approche proposée permet la reconstruction robuste de l’enveloppe visuelle pour une grande variété d’objets difficiles tels que les objets en verre (effets de transparence) ou en métal brillant (effets de réflexions spéculaires). / This thesis presents an unsupervised image segmentation approach for obtaining a set of silhouettes along with the Visual Hull of an object observed from multiple viewpoints. The proposed approach can deal with mostly any type of appearance characteristics such as texture, similar background color, shininess, transparency besides other phenomena such as shadows and color bleeding. Compared to more classical methods for silhouette extraction from multiple views, for which certain assumptions are made on the object or scene, neither the background nor the object appearance properties are modeled. The only assumption is the constancy of the unknown background for a given camera viewpoint while the object is under motion. The principal idea of the approach is the estimation of the temporal evolution of each pixel over time which provides a stability measurement and leads to its associated background cost function. In order to cope with shadows and self-shadows, an object is captured under different lighting conditions. Furthermore, the information from the space, time and lighting domains is exploited and merged based on a Markov Random Field framework and the constructed energy function is minimized via graph-cut. Real-data experiments under different lighting condition show that the proposed approach allows for robust Visual Hull reconstruction of a variety of challenging objects such as objects made of shiny metal or glass.

Les méthodes d'analyse de données et d'apprentissage ont connu un développement très important ces dernières années. En effet, après les réseaux de neurones, les machines à noyaux (années 1990), les années 2000 ont vu l'apparition de méthodes spectrales qui ont fourni un cadre mathématique unifié pour développer des méthodes de classification originales. Parmi celles-ci ont peut citer la méthode LLE pour la réduction de dimension non linéaire et la méthode LDA pour la discrimination de classes. Une nouvelle méthode de classification est proposée dans cette thèse, méthode issue d'une combinaison des méthodes LLE et LDA. Cette méthode a donné des résultats intéressants sur des ensembles de données synthétiques. Elle permet une réduction de dimension non-linéaire suivie d'une discrimination efficace. Ensuite nous avons montré que cette méthode pouvait être étendue à l'apprentissage semi-supervisé. Les propriétés de réduction de dimension et de discrimination de cette nouvelle méthode, ainsi que la propriété de parcimonie inhérente à la méthode LLE nous ont permis de l'appliquer à la segmentation d'images couleur avec succès. La propriété d'apprentissage semi-supervisé nous a enfin permis de segmenter des images bruitées avec de bonnes performances. Ces résultats doivent être confortés mais nous pouvons d'ores et déjà dégager des perspectives de poursuite de travaux intéressantes. / Data analysis and learning methods have known a huge development during these last years. Indeed, after neural networks, kernel methods in the 90', spectral methods appeared in the years 2000. Spectral methods provide an unified mathematical framework to expand new original classification methods. Among these new techniques, two methods can be highlighted : LLE for non-linear dimension reduction and LDA as discriminating classification method. In this thesis document a new classification technique is proposed combining LLE and LDA methods. This new method makes it possible to provide efficient non-linear dimension reduction and discrimination. Then an extension of the method to semi-supervised learning is proposed. Good properties of dimension reduction and discrimination associated with the sparsity property of the LLE technique make it possible to apply our method to color images segmentation with success. Semi-supervised version of our method leads to efficient segmentation of noisy color images. These results have to be extended and compared with other state-of-the-art methods. Nevertheless interesting perspectives of this work are proposed in conclusion for future developments.

Cette thèse décrit l'exploitation d'approches géométriques pour résoudre le probleme de segmentation d'images, ainsi que le probleme de détection d'événements en imagerie multi-sources. La structure géométrique utilisée est le diagramme de Voronoi ponctuel. Nous abordons tout d'abord une première approche de segmentation d'images en polygones de Voronoi dont l'algorithme fonctionne en trois étapes: une phase d'initialisation, une phrase de partition et une phase de fusion. Ce processus de segmentation est utilise pour détecter les différences entre des images acquises dans différents domaines de radiometrie. Nous présentons une seconde technique de segmentation fondée sur le processus de coopération d'un détecteur de frontières et d'un détecteur de régions. Cette approche utilise le diagramme de voronoi généralisé pour générer une partition initiale dont les frontières des régions s'appuient sur les contours détectés initialement. Pour réaliser cette segmentation nous avons propose un algorithme de calcul d'une approximation du diagramme de Voronoi généralisé en utilisant le diagramme de Voronoi ponctuel

On étudie dans cette thèse certains aspects de la régularité de l'ensemble singulier d'un minimiseur pour la fonctionnelle de Mumford-Shah. On se place principalement en dimension 3 même si certains résultats fonctionnent encore en dimension supérieure. Dans une première partie on étudie les minimiseurs globaux dans R^N et on montre que si (u;K) est un minimiseur global et que si K est un cône assez régulier, alors u (modulo les constantes) est une fonction homogène de degré 1/2 dans R^N\K. Ceci nous permet de lier l'existence d'un minimiseur global et le spectre du laplacien sphérique dans la sphère unité privée de K. Une conséquence est qu'un secteur angulaire stricte ne peut pas être l'ensemble singulier d'un minimiseur global de Mumford-Shah dans R^3. Dans la deuxième partie on montre un théorème de régularité au voisinage des cônes minimaux P, Y et T. On montre que si K est proche (en distance) d'un Y ou d'un T dans une certaine boule, alors K est l'image C^1,alpha d'un P, Y ou d'un T dans une boule légèrement plus petite, ce qui généralise un théorème de L. Ambrosio, N. Fusco et D. Pallara [AFP07]. Les techniques employées ne sont pas exclusives à la dimension 3 et devraient permettre de démontrer des résultats analogues en toute dimension pour un minimiseur de Mumford-Shah, dès lors qu'un résultat de régularité sur les ensembles presque minimaux existerait.

Dans cette thèse, nous abordons le problème de la segmentation d'image dans le cadre de la vision cognitive. Plus précisément, nous étudions deux problèmes majeurs dans les systèmes de vision : la sélection d'un algorithme de segmentation et le réglage de ses paramètres selon le contenu de l'image et les besoins de l'application. Nous proposons une méthodologie reposant sur des techniques d'apprentissage pour faciliter la configuration des algorithmes et adapter en continu la tâche de segmentation. Notre première contribution est une procédure d'optimisation générique pour l'extraction automatiquement des paramètres optimaux des algorithmes. L'évaluation de la qualité de la segmentation est faite suivant une segmentation de référence. De cette manière, la tâche de l'utilisateur est réduite à fournir des données de référence pour des images d'apprentissage, comme des segmentations manuelles. Une seconde contribution est une stratégie pour le problème de sélection d'algorithme. Cette stratégie repose sur un jeu d'images d'apprentissage représentatif du problème. La première partie utilise le résultat de l'étape d'optimisation pour classer les algorithmes selon leurs valeurs de performance pour chaque image. La seconde partie consiste à identifier différentes situations à partir du jeu d'images d'apprentissage (modélisation du contexte) et à associer un algorithme paramétré avec chaque situation identifiée. Une troisième contribution est une approche sémantique pour la segmentation d'image. Dans cette approche, nous combinons le résultat des segmentations optimisées avec un processus d'étiquetage des régions. Les labels des régions sont donnés par des classificateurs de régions eux-mêmes entrainés à partir d'exemples annotés par l'utilisateur. Une quatrième contribution est l'implémentation de l'approche et le développement d'un outil graphique dédié à l'extraction, l'apprentissage, et l'utilisation de la connaissance pour la segmentation (modélisation et apprentissage du contexte pour la sélection dynamique d'algorithme de segmentation, optimisation automatique des paramètres, annotations des régions et apprentissage des classifieurs). Nous avons testé notre approche sur deux applications réelles : une application biologique (comptage d'insectes sur des feuilles de rosier) et une application de vidéo surveillance. Pour la première application, la segmentation des insectes obtenue par notre approche est de meilleure qualité qu'une segmentation non-adaptative et permet donc au système de vision de compter les insectes avec une meilleure précision. Pour l'application de vidéo surveillance, la principale contribution de l'approche proposée se situe au niveau de la modélisation du contexte, permettant d'adapter le choix d'un modèle de fond suivant les caractéristiques spatio-temporelles de l'image. Notre approche permet ainsi aux applications de vidéo surveillance d'élargir leur champ d'application aux environnements fortement variables comme les très longues séquences (plusieurs heures) en extérieur. Afin de montrer le potentiel et les limites de notre approche, nous présentons les résultats, une évaluation quantitative et une comparaison avec des segmentations non-adaptative.

Cette thèse traite des apports de la structure pyramidale irrégulière en segmentation multirésolution d'images en niveaux de gris. Une présentation des techniques de multirésolution (essentiellement pyramidales) pour le traitement des images et notamment pour la segmentation est faite dans un premier temps. Dans un second temps, le document décrit des techniques de segmentation d'image par approches 'région' puis par approches 'contour'. Une troisième partie traite de la modélisation de la pyramide par les graphes, puis détaillé précisement sa construction. Cette étude met en évidence certaines faiblesses de l'approche. Afin d'améliorer les résultats, nous proposons une coopération de processus unissant l'approche région de la structure pyramidale ˆ une approche contour représentée soit par un détecteur de maximums locaux, soit par un détecteur stochastique mis en oeuvre à cet effet. Par la suite, nous développons deux approches qui permettent d'obtenir des pyramides d'images segmentées multirésolution. La première permet, à l'aide des différents niveaux d'une pyramide irrégulière, de fournir rapidement un nombre important de segmentations dérivées, chacune à une résolution différente. La seconde, fondée sur la notion de décimation étendue, génère directement une pyramide d'images à différentes résolutions de détails. Enfin, quelques élements concernant l'étude des textures sont proposés. Des résultats expérimentaux sont fournis tout au long du document. Un comparatif des méthodes développées est effectuer. sur des images type.

Il y a un intérêt grandissant pour le développement d’outils de traitements adaptés aux images multimodales (plusieurs images de la même scène acquises avec différentes caractéristiques). Permettant une représentation plus complète de la scène, ces images multimodales ont de l'intérêt dans plusieurs domaines du traitement d'images, mais les exploiter et les manipuler de manière optimale soulève plusieurs questions. Cette thèse étend les représentations hiérarchiques, outil puissant pour le traitement et l’analyse d’images classiques, aux images multimodales afin de mieux exploiter l’information additionnelle apportée par la multimodalité et améliorer les techniques classiques de traitement d’images. Cette thèse se concentre sur trois différentes multimodalités fréquemment rencontrées dans le domaine de la télédétection. Nous examinons premièrement l’information spectrale-spatiale des images hyperspectrales. Une construction et un traitement adaptés de la représentation hiérarchique nous permettent de produire une carte de segmentation de l'image optimale vis-à-vis de l'opération de démélange spectrale. Nous nous concentrons ensuite sur la multimodalité temporelle, traitant des séquences d’images hyperspectrales. En utilisant les représentations hiérarchiques des différentes images de la séquence, nous proposons une nouvelle méthode pour effectuer du suivi d’objet et l’appliquons au suivi de nuages de gaz chimique dans des séquences d’images hyperspectrales dans le domaine thermique infrarouge. Finalement, nous étudions la multimodalité sensorielle, c’est-à-dire les images acquises par différents capteurs. Nous appuyant sur le concept des tresses de partitions, nous proposons une nouvelle méthodologie de segmentation se basant sur un cadre de minimisation d’énergie. / There is a growing interest in the development of adapted processing tools for multimodal images (several images acquired over the same scene with different characteristics). Allowing a more complete description of the scene, multimodal images are of interest in various image processing fields, but their optimal handling and exploitation raise several issues. This thesis extends hierarchical representations, a powerful tool for classical image analysis and processing, to multimodal images in order to better exploit the additional information brought by the multimodality and improve classical image processing techniques. %when applied to real applications. This thesis focuses on three different multimodalities frequently encountered in the remote sensing field. We first investigate the spectral-spatial information of hyperspectral images. Based on an adapted construction and processing of the hierarchical representation, we derive a segmentation which is optimal with respect to the spectral unmixing operation. We then focus on the temporal multimodality and sequences of hyperspectral images. Using the hierarchical representation of the frames in the sequence, we propose a new method to achieve object tracking and apply it to chemical gas plume tracking in thermal infrared hyperspectral video sequences. Finally, we study the sensorial multimodality, being images acquired with different sensors. Relying on the concept of braids of partitions, we propose a novel methodology of image segmentation, based on an energetic minimization framework.

L’objectif de cette recherche est de développer un algorithme de segmentation du cartilage du genou à partir des images IRM en façon automatique et robuste. Cette recherche est réalisée en collaboration avec Laboratoire BodyCad. Le but final de cette étude est de permettre à l’entreprise de générer des prothèses du genou personnalisées. L’algorithme développé dans cette étude sera utilisé pour planification des chirurgies médicales de genou, donc la précision et la fiabilité de l’algorithme sont des points critiques. Afin de mieux comprendre les algorithmes existants de segmentation médicale, nous avons fait une évaluation de la littérature de ce domaine. Nous présentons une revue brève des recherches touchant le domaine de la segmentation des images médicales. L’algorithme proposé dans cette étude est implémenté en deux versions : la version primaire et la version étendue. Dans la version primaire, la segmentation est effectuée basée sur les informations extraites à partir d’une image IRM, tandis que la version étendue de notre algorithme extrait les informations de deux images IRM simultanément. Les résultats obtenus en utilisant trois ensembles distincts d’images IRM se présentent et se comparent dans la section de conclusion. La comparaison montre que l’algorithme a la capacité de produire les résultats de grande qualité. / The objective of this research is to develop a robust automatic algorithm for segmentation of the knee cartilage from MRI images. This research is carried out in collaboration with BodyCad Laboratories. The ultimate goal of this study is to allow the company to generate personalized knee prostheses. The algorithm developed in this study will be used in medical knee surgery planning, so the precision and reliability of the algorithm are of crucial importance. In order to achieve a better understanding of the existing algorithms in the field of medical segmentations, we performed a profound review of the literature in this field. We present a brief review of these studies in the literature review section. The algorithm proposed in this study is implemented in two versions: the primary version and the extended version. In the primary version, segmentation is performed based on information extracted from an MRI image, while the extended version of our algorithm extracts information from two MRI images simultaneously. The results obtained using three distinct sets of MRI images are presented in the results section and a comparison is drawn in the conclusion section of this document. This comparison shows that the algorithm has the ability to produce high quality results.

Les travaux menés dans cette thèse concernent le développement d’un dispositif de vision permettant l’estimation de caractéristiques géométriques d’un feu de végétation en propagation. Ce dispositif est composé de plusieurs systèmes de stéréovision multimodaux générant des paires d’images stéréoscopiques à partir desquelles des points tridimensionnels sont calculés et les caractéristiques géométriques de feu tels que sa position, vitesse, hauteur, profondeur, inclinaison, surface et volume sont estimées. La première contribution importante de cette thèse est la détection de pixels de feu de végétation. Tous les algorithmes de détection de pixels de feu de la littérature ainsi que ceux développés dans le cadre de cette thèse ont été évalués sur une base de 500 images de feux de végétation acquises dans le domaine du visible et caractérisées en fonction des propriétés du feu dans l’image (couleur, fumée, luminosité). Cinq algorithmes de détection de pixels de feu de végétation basés sur la fusion de données issues d’images acquises dans le domaine du visible et du proche-infrarouge ont également été développés et évalués sur une autre base de données composée de 100 images multimodales caractérisées. La deuxième contribution importante de cette thèse concerne l’utilisation de méthodes de fusion d’images pour l’optimisation des points appariés entre les images multimodales stéréoscopiques. La troisième contribution importante de cette thèse est l’estimation des caractéristiques géométriques de feu à partir de points tridimensionnels obtenus depuis plusieurs paires d’images stéréoscopiques et recalés à l’aide de relevés GPS et d’inclinaison de tous les dispositifs de vision. Le dispositif d’estimation de caractéristiques géométriques à partir de systèmes de stéréovision a été évalué sur des objets rigides de dimensions connues et a permis d’obtenir les informations souhaitées avec une bonne précision. Les résultats des données obtenues pour des feux de végétation en propagation sont aussi présentés. Mots clefs : Feux de forêt, stéréovision, traitement d’images, segmentation, multimodal. / This thesis presents the geometrical characteristics measurement of spreading vegetation fires with multimodal stereovision systems. Image processing and 3D registration are used in order to obtain a three-dimensional modeling of the fire at each instant of image acquisition and then to compute fire front characteristics like its position, its rate of spread, its height, its width, its inclination, its surface and its volume. The first important contribution of this thesis is the fire pixel detection. A benchmark of fire pixel detection algorithms of the litterature and of those that are developed in this thesis have been on a database of 500 vegetation fire images of the visible spectra which have been characterized according to the fire properties in the image (color, smoke, luminosity). Five fire pixel detection algorithms based on fusion of data from visible and near-infrared spectra images have also been developed and tested on another database of 100 multimodal images. The second important contribution of this thesis is about the use of images fusion for the optimization of the matching point’s number between the multimodal stereo images. The second important contribution of this thesis is the registration method of 3D fire points obtained with stereovision systems. It uses information collected from a housing containing a GPS and an IMU card which is positioned on each stereovision systems. With this registration, a method have been developed to extract the geometrical characteristics when the fire is spreading. The geometrical characteristics estimation device have been evaluated on a car of known dimensions and the results obtained confirm the good accuracy of the device. The results obtained from vegetation fires are also presented. Key words: wildland fire, stereovision, image processing segmentation, multimodal.

Titre de l'écran-titre (visionné le 9 juillet 2020) / Thèse ou mémoire avec insertion d'articles / Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2020-2021 / En biologie cellulaire, la microscopie optique est couramment utilisée pour visualiser et caractériser la présence et la morphologie des structures biologiques. Suite à l’acquisition, un expert devra effectuer l’annotation des structures pour quantification. Cette tâche est ardue, requiert de nombreuses heures de travail, parfois répétitif, qui peut résulter en erreurs d’annotations causées par la fatigue d’étiquetage. L’apprentissage machine promet l’automatisation de tâches complexes à partir d’un grand lot de données exemples annotés. Mon projet de maîtrise propose d’utiliser des techniques faiblement supervisées, où les annotations requises pour l’entraînement sont réduites et/ou moins précises, pour la segmentation de structures neuronales. J’ai d’abord testé l’utilisation de polygones délimitant la structure d’intérêt pour la tâche complexe de segmentation de la protéine neuronale F-actine dans des images de microscopie à super-résolution. La complexité de la tâche est supportée par la morphologie hétérogène des neurones, le nombre élevé d’instances à segmenter dans une image et la présence de nombreux distracteurs. Malgré ces difficultés, l’utilisation d’annotations faibles a permis de quantifier un changement novateur de la conformation de la protéine F-actine en fonction de l’activité neuronale. J’ai simplifié davantage la tâche d’annotation en requérant seulement des étiquettes binaires renseignant sur la présence des structures dans l’image réduisant d’un facteur 30 le temps d’annotation. De cette façon, l’algorithme est entraîné à prédire le contenu d’une image et extrait ensuite les caractéristiques sémantiques importantes pour la reconnaissance de la structure d’intérêt à l’aide de mécanismes d’attention. La précision de segmentation obtenue sur les images de F-actine est supérieure à celle des annotations polygonales et équivalente à celle des annotations précises d’un expert. Cette nouvelle approche devrait faciliter la quantification des changements dynamiques qui se produisent sous le microscope dans des cellules vivantes et réduire les erreurs causées par l’inattention ou le biais de sélection des régions d’intérêt dans les images de microscopie. / In cell biology, optical microscopy is commonly used to visualize and characterize the presenceand morphology of biological structures. Following the acquisition, an expert will have toannotate the structures for quantification. This is a difficult task, requiring many hours ofwork, sometimes repetitive, which can result in annotation errors caused by labelling fatigue.Machine learning promises to automate complex tasks from a large set of annotated sampledata. My master’s project consists of using weakly supervised techniques, where the anno-tations required for training are reduced and/or less precise, for the segmentation of neuralstructures.I first tested the use of polygons delimiting the structure of interest for the complex taskof segmentation of the neuronal protein F-actin in super-resolution microscopy images. Thecomplexity of the task is supported by the heterogeneous morphology of neurons, the highnumber of instances to segment in an image and the presence of many distractors. Despitethese difficulties, the use of weak annotations has made it possible to quantify an innovativechange in the conformation of the F-actin protein as a function of neuronal activity. I furthersimplified the annotation task by requiring only binary labels that indicate the presence ofstructures in the image, reducing annotation time by a factor of 30. In this way, the algorithmis trained to predict the content of an image and then extract the semantic characteristicsimportant for recognizing the structure of interest using attention mechanisms. The segmen-tation accuracy obtained on F-actin images is higher than that of polygonal annotations andequivalent to that of an expert’s precise annotations. This new approach should facilitate thequantification of dynamic changes that occur under the microscope in living cells and reduceerrors caused by inattention or bias in the selection of regions of interest in microscopy images.