This dissertation presents a fully automatic segmentation algorithm for cardiac MR data. Some of the currently published methods are automatic, but they only work well in 2D and sometimes in 3D and do not perform well near the extremities (apex and base) of the heart. Additionally, they require substantial user input to make them feasible for use in a clinical environment. This dissertation introduces novel approaches to improve the accuracy, robustness, and consistency of existing methods. Segmentation accuracy can be improved by knowing as much about the data as possible. Accordingly, we compute a single 4D active surface that performs segmentation in space and time simultaneously. The segmentation routine can now take advantage of information from neighboring pixels that can be adjacent either spatially or temporally. Robustness is improved further by using confidence labels on shape priors. Shape priors are deduced from manual segmentation of training data. This data may contain imperfections that may impede proper manual segmentation. Confidence labels indicate the level of fidelity of the manual segmentation to the actual data. The contribution of regions with low confidence levels can be attenuated or excluded from the final result. The specific advantages of using the 4D segmentation along with shape priors and regions of confidence are highlighted throughout the thesis dissertation. Performance of the new method is measured by comparing the results to traditional 3D segmentation and to manual segmentation performed by a trained clinician.

Nous présentons dans cette thèse une approche nouvelle de la segmentation d’images, avec des descripteurs a priori utilisant des champs de Markov d’ordre supérieur. Nous représentons le modèle de forme par un graphe de distribution de points qui décrit les informations a priori des invariants de pose grâce à des cliques L1 discrètes d’ordre supérieur. Chaque clique de triplet décrit les variations statistiques locales de forme par des mesures d’angle,ce qui assure l’invariance aux transformations globales (translation, rotation et échelle). L’apprentissage d’une structure de graphe discret d’ordre supérieur est réalisé grâce à l’apprentissage d’un champ de Markov aléatoire utilisant une décomposition duale, ce qui renforce son efficacité tout en préservant sa capacité à rendre compte des variations.Nous introduisons la connaissance a priori d’une manière innovante pour la segmentation basée sur un modèle. Le problème de la segmentation est ici traité par estimation statistique d’un maximum a posteriori (MAP). L’optimisation des paramètres de la modélisation- c’est à dire de la position des points de contrôle - est réalisée par le calcul d’une fonction d’énergie globale de champs de Markov (MRF). On combine ainsi les calculs statistiques régionaux et le suivi des frontières avec la connaissance a priori de la forme.Les descripteurs invariants sont estimés par des potentiels de Markov d’ordre 2, tandis que les caractéristiques régionales sont transposées dans un espace de caractéristiques et calculées grâce au théorème de la Divergence.De plus, nous proposons une nouvelle approche pour la segmentation conjointe de l’image et de sa modélisation ; cette méthode permet d’obtenir une segmentation plus fine lorsque la délimitation précise d’un objet est recherchée. Un modèle graphique combinant l’information a priori et les informations de pixel est développé pour réaliser l’unité des modules "top-down" et "bottom-up". La cohérence entre l’image et sa modélisation est assurée par une décomposition qui associe les parties du modèle avec la labellisation de chaque pixel.Les deux champs de Markov d’ordre supérieur considérés sont optimisés par les algorithmes de l’état de l’art. Les résultats prometteurs dans les domaines de la vision par ordinateur et de l’imagerie médicale montrent le potentiel de cette méthode appliquée à la segmentation. / In this thesis, we propose a novel framework for knowledge-based segmentation using high-order Markov Random Fields (MRFs). We represent the shape model as a point distribution graphical model which encodes pose invariant shape priors through L1 sparse higher order cliques. Each triplet clique encodes the local shape variation statistics on the angle measurements which inherit invariance to global transformations (i.e. translation,rotation and scale). A sparse higher-order graph structure is learned through MRF training using dual decomposition, producing boosting efficiency while preserving its ability to represent the shape variation.We incorporate the prior knowledge in a novel framework for model-based segmentation.We address the segmentation problem as a maximum a posteriori (MAP) estimation in a probabilistic framework. A global MRF energy function is defined to jointly combine regional statistics, boundary support as well as shape prior knowledge for estimating the optimal model parameters (i.e. the positions of the control points). The pose-invariant priors are encoded in second-order MRF potentials, while regional statistics acting on a derived image feature space can be exactly factorized using Divergence theorem. Furthermore, we propose a novel framework for joint model-pixel segmentation towardsa more refined segmentation when exact boundary delineation is of interest. Aunified model-based and pixel-driven integrated graphical model is developed to combine both top-down and bottom-up modules simultaneously. The consistency between the model and the image space is introduced by a model decomposition which associates the model parts with pixels labeling. Both of the considered higher-order MRFs are optimized efficiently using state-of the-art MRF optimization algorithms. Promising results on computer vision and medical image applications demonstrate the potential of the proposed segmentation methods.

L'objectif de cette thèse concerne l'analyse automatique d'images de façades de bâtiments à partir de descriptions formelles à priori de formes géométriques. Ces informations suggérées par un utilisateur permettent de modéliser, de manière formelle, des contraintes spatiales plus ou moins dures quant à la segmentation sémantique produite par le système. Ceci permet de se défaire de deux principaux écueils inhérents aux méthodes d'analyse de façades existantes qui concernent d'une part la coûteuse fidélité de la segmentation résultante aux données visuelles de départ, d'autre part, la spécificité architecturale des règles imposées lors du processus de traitement. Nous proposons d'explorer au travers de cette thèse, différentes méthodes alternatives à celles proposées dans la littérature en exploitant un formalisme de représentation d'à priori de haut niveau d'abstraction, les propriétés engendrées par ces nouvelles méthodes ainsi que les outils de résolution mis en œuvres par celles-ci. Le système résultant est évalué tant quantitativement que qualitativement sur de multiples bases de données standards et par le biais d'études comparatives à des approches à l'état de l'art en la matière. Parmi nos contributions, nous pouvons citer la combinaison du formalisme des grammaires de graphes exprimant les variations architecturales de façades de bâtiments et les modèles graphiques probabilistes modélisant l'énergie attribuée à une configuration paramétrique donnée, dans un schéma d'optimisation par minimisation d'énergie; ainsi qu'une nouvelle approche par programmation linéaire d'analyse avec à priori de formes. Enfin, nous proposons un formalisme flexible de ces à priori devançant de par ses performances les méthodes à l'état de l'art tout en combinant les avantages de la généricité de contraintes simples manuellement imposées par un utilisateur, à celles de la précision de la segmentation finale qui se faisait jusqu'alors au prix d'un encodage préliminaire restrictif de règles grammaticales complexes propres à une famille architecturale donnée. Le système décrit permet également de traiter avec robustesse des scènes comprenant des objets occultants et pourrait encore être étendu notamment afin de traiter l'extension tri-dimensionnelle de la sémantisation d'environnements urbains sous forme de nuages de points 3D ou d'une analyse multi-image de bâtiments / The aim of this work is to propose a framework for facade segmentation with user-defined shape priors. In such a framework, the user specifies a shape prior using a rigorously defined shape prior formalism. The prior expresses a number of hard constraints and soft preference on spatial configuration of segments, constituting the final segmentation. Existing approaches to the problem are affected by a compromise between the type of constraints, the satisfaction of which can be guaranteed by the segmentation algorithm, and the capability to approximate optimal segmentations consistent with a prior. In this thesis we explore a number of approaches to facade parsing that combine prior formalism featuring high expressive power, guarantees of conformance of the resulting segmentations to the prior, and effective inference. We evaluate the proposed algorithms on a number of datasets. Since one of our focus points is the accuracy gain resulting from more effective inference algorithms, we perform a fair comparison to existing methods, using the same data term. Our contributions include a combination of graph grammars for expressing variation of facade structure with graphical models encoding the energy of models of given structures for different positions of facade elements. We also present the first linear formulation of facade parsing with shape priors. Finally, we propose a shape prior formalism that enables formulating the problem of optimal segmentation as the inference in a Markov random field over the standard four-connected grid of pixels. The last method advances the state of the art by combining the flexibility of a user-defined grammar with segmentation accuracy that was reserved for frameworks with pre-defined priors before. It also enables handling occlusions by simultaneously recovering the structure of the occluded facade and segmenting the occluding objects. We believe that it can be extended in many directions, including semantizing three-dimensional point clouds and parsing images of general urban scenes

This thesis deals with image segmentation problems that arise in various computer vision related fields such as medical imaging, satellite imaging, video surveillance, recognition and robotic vision. More specifically, this thesis deals with a special class of image segmentation technique called Snakes or Active Contour Models. In active contour models, image segmentation is posed as an energy minimization problem, where an objective energy function (based on certain image related features) is defined on the segmenting curve (contour). Typically, a gradient descent energy minimization approach is used to drive the initial contour towards a minimum for the defined energy. The drawback associated with this approach is that the contour has a tendency to get stuck at undesired local minima caused by subtle and undesired image features/edges. Thus, active contour based curve evolution approaches are very sensitive to initialization and noise. The central theme of this thesis is to develop techniques that can make active contour models robust against certain classes of local minima by incorporating global information in energy minimization. These techniques lead to energy minimization with global considerations; we call these models -- 'Non-local active contours'. In this thesis, we consider three widely used active contour models: 1) Edge- and region-based segmentation model, 2) Prior shape knowledge based segmentation model, and 3) Motion segmentation model. We analyze the traditional techniques used for these models and establish the need for robust models that avoid local minima. We address the local minima problem for each model by adding global image considerations.

Les contours actifs sont parmi les méthodes de segmentation d'images les plus utilisées et de nombreuses implémentations ont vu le jour durant ces 25 dernières années. Parmi elles, l'approche greedy est considérée comme l'une des plus rapides et des plus stables. Toutefois, quelle que soit l'implémentation choisie, les résultats de segmentation souffrent grandement en présence d'occlusions, de concavités ou de déformation anormales de la forme. Si l'on dispose d'informations a priori sur la forme recherchée, alors son incorporation à un modèle existant peut permettre d'améliorer très nettement les résultats de segmentation. Dans cette thèse, l'inclusion de ce type de contraintes de formes dans un modèle de contour actif explicite est proposée. Afin de garantir une invariance à la rotation, à la translation et au changement d'échelle, les descripteurs de Fourier sont utilisés. Contrairement à la plupart des méthodes existantes, qui comparent la forme de référence et le contour actif en cours d'évolution dans le domaine d'origine par le biais d'une transformation inverse, la méthode proposée ici réalise cette comparaison dans l'espace des descripteurs. Cela assure à notre approche un faible temps de calcul et lui permet d'être indépendante du nombre de points de contrôle choisis pour le contour actif. En revanche, cela induit un biais dans la phase des coefficients de Fourier, handicapant l'invariance à la rotation. Ce problème est résolu par un algorithme original. Les expérimentations indiquent clairement que l'utilisation de ce type de contrainte de forme améliore significativement les résultats de segmentation du modèle de contour actif utilisé. / Active contours are widely used for image segmentation. There are many implementations of active contours. The greedy algorithm is being regarded as one of the fastest and stable implementations. No matter which implementation is being employed, the segmentation results suffer greatly in the presence of occlusion, context noise, concavities or abnormal deformation of shape. If some prior knowledge about the shape of the object is available, then its addition to an existing model can greatly improve the segmentation results. In this thesis inclusion of such shape constraints for explicit active contours is being implemented. These shape priors are introduced through the use of robust Fourier based descriptors which makes them invariant to the translation, scaling and rotation factors and enables the deformable model to converge towards the prior shape even in the presence of occlusion and contextual noise. Unlike most existing methods which compare the reference shape and evolving contour in the spatial domain by applying the inverse transforms, our proposed method realizes such comparisons entirely in the descriptor space. This not only decreases the computational time but also allows our method to be independent of the number of control points chosen for the description of the active contour. This formulation however, may introduce certain anomalies in the phase of the descriptors which affects the rotation invariance. This problem has been solved by an original algorithm. Experimental results clearly indicate that the inclusion of these shape priors significantly improved the segmentation results of the active contour model being used.

Les espèces végétales, et en particulier les espèces d'arbres, forment un cadre de choix pour un processus de reconnaissance automatique basé sur l'analyse d'images. Les critères permettant de les identifier sont en effet le plus souvent des éléments morphologiques visuels, bien décrits et référencés par la botanique, qui laissent à penser qu'une reconnaissance par la forme est envisageable. Les feuilles constituent dans ce contexte les organes végétaux discriminants les plus faciles à appréhender, et sont de ce fait les plus communément employés pour ce problème qui connaît actuellement un véritable engouement. L'identification automatique pose toutefois un certain nombre de problèmes complexes, que ce soit dans le traitement des images ou dans la difficulté même de la classification en espèces, qui en font une application de pointe en reconnaissance de formes.Cette thèse place le problème de l'identification des espèces d'arbres à partir d'images de leurs feuilles dans le contexte d'une application pour smartphones destinée au grand public. Les images sur lesquelles nous travaillons sont donc potentiellement complexes et leur acquisition peu supervisée. Nous proposons alors des méthodes d'analyse d'images dédiées, permettant la segmentation et l'interprétation des feuilles d'arbres, en se basant sur une modélisation originale de leurs formes, et sur des approches basées modèles déformables. L'introduction de connaissances a priori sur la forme des objets améliore ainsi de façon significative la qualité et la robustesse de l'information extraite de l'image. Le traitement se déroulant sur l'appareil, nous avons développé ces algorithmes en prenant en compte les contraintes matérielles liées à leur utilisation.Nous introduisons également une description spécifique des formes des feuilles, inspirée par les caractéristiques déterminantes recensées dans les ouvrages botaniques. Ces différents descripteurs fournissent des informations de haut niveau qui sont fusionnées en fin de processus pour identifier les espèces, tout en permettant une interprétation sémantique intéressante dans le cadre de l'interaction avec un utilisateur néophyte. Les performances obtenues en termes de classification, sur près de 100 espèces d'arbres, se situent par ailleurs au niveau de l'état de l'art dans le domaine, et démontrent une robustesse particulière sur les images prises en environnement naturel. Enfin, nous avons intégré l'implémentation de notre système de reconnaissance dans l'application Folia pour iPhone, qui constitue une validation de nos approches et méthodes dans un cadre réel. / Plant species, and especially tree species, constitute a well adapted target for an automatic recognition process based on image analysis. The criteria that make their identification possible are indeed often morphological visual elements, which are well described and referenced by botany. This leads to think that a recognition through shape is worth considering. Leaves stand out in this context as the most accessible discriminative plant organs, and are subsequently the most often used for this problem recently receiving a particular attention. Automatic identification however gives rise to a fair amount of complex problems, linked with the processing of images, or in the difficult nature of the species classification itself, which make it an advanced application for pattern recognition.This thesis considers the problem of tree species identification from leaf images within the framework of a smartphone application intended for a non-specialist audience. The images on which we expect to work are then potentially very complex scenes and their acquisition rather unsupervised. We consequently propose dedicated methods for image analysis, in order to segment and interpret tree leaves, using an original shape modelling and deformable templates. The introduction on prior knowledge on the shape of objects enhances significatively the quality and the robustness of the information we extract from the image. All processing being carried out on the mobile device, we developed those algorithms with concern towards the material constraints of their exploitation. We also introduce a very specific description of leaf shapes, inspired by the determining characteristics listed in botanical references. These different descriptors constitute independent sources of high-level information that are fused at the end of the process to identify species, while providing the user with a possible semantic interpretation. The classification performance demonstrated over approximately 100 tree species are competitive with state-of-the-art methods of the domain, and show a particular robustness to difficult natural background images. Finally, we integrated the implementation of our recognition system into the \textbf{Folia} application for iPhone, which constitutes a validation of our approaches and methods in a real-world use.