Dans ce mémoire nous présentons une méthode pour référencer deux nuages de points denses. Cette méthode commence par l'analyse d'un nuage de points de grand volume, composé d’environ 2 millions de points recueillis par un LiDAR (Light Detection And Ranging) monté sur une voiture, afin de le segmenter en surfaces représentatives pertinentes en termes de géométrie et de localisation. Ensuite, nous présentons la construction de descripteurs pour chacun des segments trouvés afin d’obtenir des caractéristiques significatives des segments. Ces descripteurs sont le FPFH (Fast Point Feature Histograms) et l’histogramme des orientations de surface. Pour finir, les descripteurs recueillis sur deux nuages de points différents du même environnement extérieur sont comparés pour repérer les segments similaires et ainsi permettre la localisation du véhicule par rapport à l'environnement extérieur. / In this work we present a method to reference two dense point clouds. We begin by analyzing a point cloud of a large number of points, approximately 2 million points collected by a LiDAR mounted on a car, in order to segment this point cloud into surfaces that feature representative regions of the point cloud that are interesting in terms of geometry. Then the construction of descriptors for each segment found is made to identify significant features. These descriptors are the FPFH (Fast Point Feature Histograms) and the surface orientation histogram. Finally, the descriptors collected on two different point clouds of the same outdoor environment are compared to identify similar segments and thus to allow the location of the vehicle in relation to the outdoor environment.

Titre de l'écran-titre (visionné le 12 octobre 2023) / Le mémoire s'inscrit dans un contexte de segmentation vasculaire en trois dimensions. Il s'intéresse à l'analyse d'angiogrammes cérébraux de souris acquis par microscopie deux photons in vivo. Le projet vise à départager automatiquement l'appartenance d'un voxel à l'architecture vasculaire cérébrale ou aux autres tissus. La littérature spécifique à la segmentation vasculaire d'angiogrammes acquis par microscopie deux-photons est émergente. Les modèles existants tentent de s'adapter aux limites physiques et biologiques de cette modalité afin d'extraire l'information vasculaire. La performance d'un modèle d'apprentissage profond récent est quantifiée. Les résultats motivent l'exploration des paramètres susceptibles de limiter la qualité et la robustesse de la segmentation. Un nouvel algorithme de segmentation est développé en intégrant la géométrie des vaisseaux sanguins au sein du processus de classification. La pertinence des métriques de segmentation est discutée dans un contexte de débalancement entre la classe vasculaire et les tissus. Le mémoire vise à fournir et comparer des outils numériques permettant de guider la segmentation automatique d'angiogrammes cérébraux acquis par microscopie deux-photons.

Cette thèse est proposée en deux parties. Une première partie se concentre sur la segmentation d’image. C’est en effet un problème fondamental pour la vision par ordinateur. En particulier, la segmentation non supervisée d’images est un élément important dans de nombreux algorithmes de haut niveau et de systèmes d’application. Dans cette thèse, nous proposons trois méthodes qui utilisent la segmentation d’images se basant sur différentes méthodes de graphes qui se révèlent être des outils puissants permettant de résoudre ces problèmes. Nous proposons dans un premier temps de développer une nouvelle méthode originale de construction de graphe. Nous analysons également différentes méthodes similaires ainsi que l’influence de l’utilisation de divers descripteurs. Le type de graphe proposé, appelé graphe local/global, encode de manière adaptative les informations sur la structure locale et globale de l’image. De plus, nous réalisons un groupement global en utilisant une représentation parcimonieuse des caractéristiques des superpixels sur le dictionnaire de toutes les caractéristiques en résolvant un problème de minimisation l0. De nombreuses expériences sont menées par la suite sur la base de données <Berkeley Segmentation>, et la méthode proposée est comparée avec des algorithmes classiques de segmentation. Les résultats démontrent que notre méthode peut générer des partitions visuellement significatives, mais aussi que des résultats quantitatifs très compétitifs sont obtenus en comparaison des algorithmes usuels. Dans un deuxième temps, nous proposons de travailler sur une méthode reposant sur un graphe d’affinité discriminant, qui joue un rôle essentiel dans la segmentation d’image. Un nouveau descripteur, appelé patch pondéré par couleur, est développé pour calculer le poids des arcs du graphe d’affinité. Cette nouvelle fonctionnalité est en mesure d’intégrer simultanément l’information sur la couleur et le voisinage en représentant les pixels avec des patchs de couleur. De plus, nous affectons à chaque pixel une pondération à la fois local et globale de manière adaptative afin d’atténuer l’effet trop lisse lié à l’utilisation de patchs. Des expériences approfondies montrent que notre méthode est compétitive par rapport aux autres méthodes standards à partir de plusieurs paramètres d’évaluation. Finalement, nous proposons une méthode qui combine superpixels, représentation parcimonieuse, et une nouvelle caractéristisation de mi-niveau pour décrire les superpixels. Le nouvelle caractérisation de mi-niveau contient non seulement les mêmes informations que les caractéristiques initiales de bas niveau, mais contient également des informations contextuelles supplémentaires. Nous validons la caractéristisation de mi-niveau proposée sur l’ensemble de données MSRC et les résultats de segmentation montrent des améliorations à la fois qualitatives et quantitatives par rapport aux autres méthodes standards. Une deuxième partie se concentre sur le suivi d’objets multiples. C’est un domaine de recherche très actif, qui est d’une importance majeure pour un grand nombre d’applications, par exemple la vidéo-surveillance de piétons ou de véhicules pour des raisons de sécurité ou l’identification de motifs de mouvements animaliers. / Image segmentation is a fundamental problem in computer vision. In particular, unsupervised image segmentation is an important component in many high-level algorithms and practical vision systems. In this dissertation, we propose three methods that approach image segmentation from different angles of graph based methods and are proved powerful to address these problems. Our first method develops an original graph construction method. We also analyze different types of graph construction method as well as the influence of various feature descriptors. The proposed graph, called a local/global graph, encodes adaptively the local and global image structure information. In addition, we realize global grouping using a sparse representation of superpixels’ features over the dictionary of all features by solving a l0-minimization problem. Extensive experiments are conducted on the Berkeley Segmentation Database, and the proposed method is compared with classical benchmark algorithms. The results demonstrate that our method can generate visually meaningful partitions, but also that very competitive quantitative results are achieved compared with state-of-the-art algorithms. Our second method derives a discriminative affinity graph that plays an essential role in graph-based image segmentation. A new feature descriptor, called weighted color patch, is developed to compute the weight of edges in an affinity graph. This new feature is able to incorporate both color and neighborhood information by representing pixels with color patches. Furthermore, we assign both local and global weights adaptively for each pixel in a patch in order to alleviate the over-smooth effect of using patches. The extensive experiments show that our method is competitive compared to the other standard methods with multiple evaluation metrics. The third approach combines superpixels, sparse representation, and a new midlevel feature to describe superpixels. The new mid-level feature not only carries the same information as the initial low-level features, but also carries additional contextual cue. We validate the proposed mid-level feature framework on the MSRC dataset, and the segmented results show improvements from both qualitative and quantitative viewpoints compared with other state-of-the-art methods. Multi-target tracking is an intensively studied area of research and is valuable for a large amount of applications, e.g. video surveillance of pedestrians or vehicles motions for sake of security, or identification of the motion pattern of animals or biological/synthetic particles to infer information about the underlying mechanisms. We propose a detect-then-track framework to track massive colloids’ motion paths in active suspension system. First, a region based level set method is adopted to segment all colloids from long-term videos subject to intensity inhomogeneity. Moreover, the circular Hough transform further refines the segmentation to obtain colloid individually. Second, we propose to recover all colloids’ trajectories simultaneously, which is a global optimal problem that can be solved efficiently with optimal algorithms based on min-cost/max flow. We evaluate the proposed framework on a real benchmark with annotations on 9 different videos. Extensive experiments show that the proposed framework outperforms standard methods with large margin.

Cette thèse présente plusieurs algorithmes développés dans le cadre du projet ANR COCLICO et contient deux axes principaux :Le premier axe concerne l'introduction d'un algorithme applicable aux images satellite à très haute résolution, qui est basé sur les champs aléatoires de Markov et qui apporte des notions sémantiques sur les clusters découverts. Cet algorithme est inspiré de l'algorithme Iterated conditional modes (ICM) et permet de faire un clustering sur des segments d'images pré-traitées. La méthode que nous proposons permet de gérer des voisinages irréguliers entre segments et d'obtenir des informations sémantiques de bas niveau sur les clusters de l'image traitée.Le second axe porte sur le développement de méthodes de clustering collaboratif applicables à autant d'algorithmes que possible, ce qui inclut les algorithmes du premier axe. La caractéristique principale des méthodes proposées dans cette thèse est leur applicabilité aux deux cas suivants : 1) plusieurs algorithmes travaillant sur les mêmes objets dans des espaces de représentation différents, 2) plusieurs algorithmes travaillant sur des données différentes ayant des distributions similaires. Les méthodes que nous proposons peuvent s'appliquer à de nombreux algorithmes comme l'ICM, les K-Moyennes, l'algorithme EM, ou les cartes topographiques (SOM et GTM). Contrairement aux méthodes précédemment proposées, notre modèle permet à des algorithmes très différents de collaborer ensemble, n'impose pas de contrainte sur le nombre de clusters recherchés et a une base mathématique solide. / This thesis presents several algorithms developed in the context of the ANR COCLICO project and contains two main axis: The first axis is concerned with introducing Markov Random Fields (MRF) based models to provide a semantic rich and suited algorithm applicable to images that are already segmented. This method is based on the Iterated Conditional Modes Algorithm (ICM algorithm) and can be applied to the segments of very high resolution (VHR) satellite pictures. Our proposed method can cope with highly irregular neighborhood dependencies and provides some low level semantic information on the clusters and their relationship within the image. The second axis deals with collaborative clustering methods developed with the goal of being applicable to as many clustering algorithms as possible, including the algorithms used in the first axis of this work. A key feature of the methods proposed in this thesis is that they can deal with either of the following two cases: 1) several clustering algorithms working together on the same data represented in different feature spaces, 2) several clustering algorithms looking for similar clusters in different data sets having similar distributions. Clustering algorithms to which these methods are applicable include the ICM algorithm, the K-Means algorithm, density based algorithms such as DB-scan, all Expectation-Maximization (EM) based algorithms such as the Self-Organizing Maps (SOM) and the Generative Topographic Mapping (GTM) algorithms. Unlike previously introduced methods, our models have no restrictions in term of types of algorithms that can collaborate together, do not require that all methods be looking for the same number of clusters, and are provided with solid mathematical foundations.

Dans le domaine de l'étiquetage, les méthodes stochastiques s'inscrivent dans un cadre ou l'affectation d'un objet est perçue comme une connaissance dynamique. Cette affectation peut être modifiée selon l'évolution des connaissances contextuelles, en retour elle est susceptible d'influer sur l'état instantané des connaissances. De telles méthodes présentent l'avantage d'introduire un caractère de contrôle local à l'évolution de l'étiquetage. C'est en s'appuyant sur cette notion d'étiquetage, sous son aspect local, que nous avons abordé le problème de la segmentation des images ayant remarque que les décisions au niveau de chaque point influent et sont influencées par celles des voisins. En outre, on remarque que jusqu'à présent, les méthodes de segmentation se fondaient, essentiellement, sur un choix entre 2 types de modèles : le modèle région et le modèle frontière. Les méthodes stochastiques, itératives abordées dans ce mémoire permettent de faire intervenir simultanément les 2 entités et de les traiter au sein d'un processus unique. Le procédé consiste à introduire pour chaque point, au niveau de son vecteur d'étiquetage des informations de type région et des informations de type frontière. Les relations contextuelles interviennent sous forme d'interactions inter-classes et d'interactions inter-entités

La segmentation d'images par la morphologie mathématique est une méthodologie basée sur les concepts de ligne de partage des eaux et de modification de l'homotopie. Ces deux outils sont construits à partir de transformations morphologiques élémentaires présentées dans la première partie de ce mémoire. Ces transformations élémentaires sont les transformations morphologiques sur images à teintes de gris et en particulier les opérations d'amincissement et d'épaississement, ainsi que les transformées géodésiques. Ces outils de base permettent l'élaboration de transformations plus sophistiqués. Parmi elles, le gradient morphologique et sa régularisation, opérateursimportants dans la segmentation d'images de gris et la ligne de partage des eaux. Après avoir introduit cette notion et mis en lumière ces liens avec les opérateurs géodésiques et les épaississements homotopiques, divers algorithmes permettant de la réaliser sont présentés par le biais du squelette de fonction et surtout au moyen d'une représentation des images à teintes de gris sous forme d'un graphe de fléchage.<br />La deuxième partie est consacrée à l'usage de ces outils. On montre en particulier comment le concept de marquage des régions à segmenter permet d'obtenir, en combinant la modification d'homotopie et la ligne de partage des eaux, une segmentation de l'image de bonne qualité. L'usage de ces outils est illustré dans le cas de segmentations plus complexes. On introduit alors une hiérarchisation de l'image, toujours basée sur la ligne de partage des eaux, et on montre comment cette hiérarchie permet la segmentation de certaines scènes où le marquage est moins évident. Un autre exemple, montrant la difficulté du marquage mais aussi les avantages de ce concept est également présenté.

La notion de clivage formalise l'idée d'ensemble frontiére dans un graphe. Fusionner deux régions, comme le requièrent certaines méthodes de segmentation d'images, pose des diffIcultés. Nous introduisons quatre classes de graphes (de fusion) dans lesquels ces diffIcultés sont progressivement supprimées. Nous montrons que l'une de ces classes est celle pour laquelle tout clivage est mince. Nous introduisons une relation d'adjacence, appelée grille de fusion parfaite, dans laquelle deux régions voisines peuvent être fusionnées, en préservant toutes les autres régions.<br /><br />La ligne de partage des eaux topologique (LPE) étend la notion de clivage aux graphes dont les sommets sont valués et permet de segmenter une image. Nous étendons les propriétés des clivages dans les graphes de fusion aux cas des fonctions et proposons un algorithme de LPE<br />monotone et linéaire dans les grilles de fusion parfaites. Grâce à la notion de graphe d'arêtes, les propriétés des LPE dans les grilles de fusion parfaites s'étendent aux graphes à arêtes valuées.<br /><br />Nous étudions en profondeur les LPE dans les graphes à arêtes valuées. Les LPE peuvent y être définies en suivant l'idée intuitive de gouttes d'eau s'écoulant sur un relief topographique. Nous établissons aussi bien la consistance que l'optimalité de cette définition. De plus, nous proposons deux algorithmes linéaires qui, à notre connaissance, sont les plus efficaces pour le calcul des LPE.<br /><br />En nous reposant sur ces résultats théoriques, nous proposons une méthode et développons un logiciel pour la segmentation du ventricule gauche dans des images cardiaques 3D+t par résonance magnétique. La méthode est quantitativement et qualitativement validée par comparaison avec des segmentations manuelles tracées par deux experts cardiologues.

La segmentation d'image est le processus de partitionnement d'une image numérique en régions, non chevauchées, homogènes vis-à-vis de certaines caractéristiques, telles que le niveau de gris, la texture, le mouvement, etc. Elle a des applications dans plusieurs domaines comme l'imagerie médicale, la détection d'objets, la biométrie, l'imagerie par satellite, la navigation de robot, la vidéosurveillance, etc. Le processus de segmentation représente une étape cruciale dans les systèmes de vision par ordinateur, car les caractéristiques et décisions sont extraites et prises à partir de son résultat. Les premiers algorithmes de segmentation d'image ont vu le jour dans les années 1970. Depuis, de nombreuses techniques et méthodes de segmentation ont été expérimentées pour essayer d'améliorer les résultats. Néanmoins, jusqu'à nos jours, aucun algorithme de segmentation d'image n'arrive à fournir des résultats parfaits sur une large variété d'images. Les "métaheuristiques" sont des procédures conçues pour résoudre des problèmes d'optimisation dits difficiles. Ce sont en général des problèmes aux données incomplètes, incertaines, bruitées ou confrontés à une capacité de calcul limitée. Les métaheuristiques ont connu un succès dans une large variété de domaines. Cela découle du fait qu'elles peuvent être appliquées à tout problème pouvant être exprimé sous la forme d'un problème d'optimisation de critère(s). Ces méthodes sont, pour la plupart, inspirées de la physique (recuit simulé), de la biologie (algorithmes évolutionnaires) ou de l'éthologie (essaims particulaires, colonies de fourmis).Ces dernières années, l'introduction des métaheuristiques dans le domaine du traitement d'images a permis d'étudier la segmentation sous un angle différent, avec des résultats plus ou moins réussis. Dans le but d'apporter notre contribution et d'améliorer davantage les performances des méthodes de segmentation, nous avons proposé des algorithmes basés régions, contours et hybrides, mettant en œuvre des métaheuristiques d'optimisation dans des approches mono et multiobjectif. Les méthodes proposées ont été évaluées sur des bases de données expérimentales composées d'images synthétiques, d'images IRM simulées et d'images IRM réelles ainsi que des images de tomographie par émission de positons (TEP). Les résultats obtenus sont significatifs et prouvent l'efficacité des idées proposées / Image segmentation is the process of partitioning a digital image into homogeneous non-overlapped regions with respect to some characteristics, such as gray value, motion, texture, etc. It is used in various applications like medical imaging, objects detection, biometric system, remote sensing, robot navigation, video surveillance, etc. The success of the machine vision system depends heavily on its performance, because characteristics and decisions are extracted and taken from its result. The first image segmentation algorithms were introduced in the 70's. Since then, various techniques and methods were experimented to improve the results. Nevertheless, up till now, no method produces a perfect result for a wide variety of images. Metaheuristics are a high level procedure designed to solve hard optimization problems. These problems are in general characterized by their incomplete, uncertain or noised data, or faced to low computing capacity. Metaheuristics have been extremely successful in a wide variety of fields and demonstrate significant results. This is due to the fact that they can applied to solve any problem which can be formulated as an optimization problem. These methods are, mainly, inspired from physics (simulated annealing), biology (evolutionary algorithms), or ethology (particle swarm optimization, ant colony optimization).In recent years, metaheuristics are starting to be exploited to solve segmentation problems with varying degrees of success and allow to consider the problem with different perspectives. Bearing this in mind, we propose in this work three segmentation and post-segmentation approaches based on mono or multiobjective optimization metaheuristics. The proposed methods were evaluated on databases containing synthetic images, simulated MRI images, real MRI images and PET images. The obtained results show the efficiency of the proposed ideas

L’étude expérimentale de la résilience d’un réseau complexe repose sur la capacité à reproduire l’organisation structurelle et fonctionnelle du réseau à l’étude. Ayant choisi le réseau neuronal du poisson-zèbre larvaire comme modèle animal pour sa transparence, on peut utiliser des techniques telles que l’imagerie calcique par feuillet de lumière pour imager son cerveau complet plus de deux fois par seconde à une résolution spatiale cellulaire. De par les bonnes résolutions spatiale et temporelle, les données à segmenter représentent par le fait même un gros volume de données qui ne peuvent être traitées manuellement. On doit donc avoir recours à des techniques numériques pour segmenter les neurones et extraire leur activité.Trois techniques de segmentation ont été comparées, soit le seuil adaptatif (AT), la forêtd’arbres décisionnels (ML), ainsi qu’un réseau de neurones à convolution (CNN) déjà entrainé. Alors que la technique du seuil adaptatif permet l’identification rapide et presque sans erreurdes neurones les plus actifs, elle génère beaucoup plus de faux négatifs que les deux autres méthodes. Au contraire, la méthode de réseaux de neurones à convolution identifie plus deneurones, mais en effectuant plus de faux positifs qui pourront, dans tous les cas, être filtrés parla suite. En utilisant le score F1 comme métrique de comparaison, les performances moyennes de la technique de réseau de neurones (F1= 59,2%) surpassent celles du seuil adaptatif (F1= 25,4%) et de forêt d’arbres de décisions (F1= 48,8%). Bien que les performances semblent faibles comparativement aux performances généralement présentées pour les réseauxde neurones profonds, il s’agit ici d’une performance similaire à celle de la meilleure techniquede segmentation connue à ce jour, soit celle du 3dCNN, présentée dans le cadre du concours neurofinder (F1= 65.9%). / The experimental study of the resilience of a complex network lies on our capacity to reproduceits structural and functional organization. Having chosen the neuronal network of the larvalzebrafish as our animal model for its transparency, we can use techniques such as light-sheet microscopy combined with calcium imaging to image its whole brain more than twice every second, with a cellular spatial resolution. Having both those spatial and temporal resolutions, we have to process and segment a great quantity of data, which can’t be done manually. Wethus have to resort to numerical techniques to segment the neurons and extract their activity. Three segmentation techniques have been compared : adaptive threshold (AT), random deci-sion forests (ML), and a pretrained deep convolutional neural network. While the adaptive threshold technique allow rapid identification and with almost no error of the more active neurons, it generates many more false negatives than the two other methods. On the contrary, the deep convolutional neural network method identify more neurons, but generates more false positives which can be filtered later in the proces. Using the F1 score as our comparison metrics, the neural network (F1= 59,2%) out performs the adaptive threshold (F1= 25,4%) and random decision forests (F1= 48,8%). Even though the performances seem lower compared to results generally shown for deep neural network, we are competitive with the best technique known to this day for neurons segmentation, which is 3dCNN (F1= 65.9%), an algorithm presented in the neurofinder challenge.

Un besoin ayant toujours existé dans le domaine de la vision numérique est celui d'avoir accès à des ensembles d'images annotées. Les avancements scientifiques et technologiques ont exacerbé les besoins en données étiquetées; un modèle d'apprentissage profond peut nécessiter des milliers, voire des centaines de milliers (dépendamment de la complexité du problème), d'images étiquetées. Cela peut causer un problème puisque générer de grands ensembles de données étiquetées est une tâche longue et ardue. Est-il possible de travailler en vision numérique sans avoir à collecter et étiqueter des ensembles de données de plus en plus grands ? Dans le cadre de cette thèse, nous tentons de répondre à cette question sur deux fronts différents. Premièrement, nous avons développé une approche de détection et segmentation d'objets nécessitant peu de données d'entraînement. Cette approche, inspirée des modèles par les bag-of-words, modélise l'apparence et la forme des objets de façon éparse; la modélisation de la forme se fait par l'entremise d'un nouveau descripteur de forme. Deuxièmement, nous nous sommes penchés sur le fait que certains ensembles de données sont difficilement capturables et étiquetables. Nous nous sommes concentrés sur un exemple particulier, c'est-à-dire générer un ensemble d'images de scènes extérieures avec de la pluie dont les annotations consistent au taux de précipitation (mm/h). Notre solution consiste à augmenter des images réelles avec de la pluie synthétique. Si ces images augmentées sont suffisamment réalistes, il est possible d'expérimenter sur celles-ci comme si elles étaient des images de pluie réelle. Dans nos expérimentations, nous avons évalué l'effet de la pluie sur différents algorithmes de vision numérique et nous avons augmenté la robustesse de ceux-ci sur des images contenant de la vraie pluie.