We develop a generic Graph Cut-based semiautomatic multiobject image segmentation method principally for use in routine medical applications ranging from tasks involving few objects in 2D images to fairly complex near whole-body 3D image segmentation. The flexible formulation of the method allows its straightforward adaption to a given application.\linebreak In particular, the graph-based vicinity prior model we propose, defined as shortest-path pairwise constraints on the object adjacency graph, can be easily reformulated to account for the spatial relationships between objects in a given problem instance. The segmentation algorithm can be tailored to the runtime requirements of the application and the online storage capacities of the computing platform by an efficient and controllable Voronoi tessellation clustering of the input image which achieves a good balance between cluster compactness and boundary adherence criteria. Qualitative and quantitative comprehensive evaluation and comparison with the standard Potts model confirm that the vicinity prior model brings significant improvements in the correct segmentation of distinct objects of identical intensity, the accurate placement of object boundaries and the robustness of segmentation with respect to clustering resolution. Comparative evaluation of the clustering method with competing ones confirms its benefits in terms of runtime and quality of produced partitions. Importantly, compared to voxel segmentation, the clustering step improves both overall runtime and memory footprint of the segmentation process up to an order of magnitude virtually without compromising the segmentation quality.

Cette thèse présente un nouveau concept pour l’évaluation des déformations cardiaques à partir de ciné-IRM standard sans avoir recours aux images IRM marquées. Nous avons adapté la méthode des ensembles de niveaux afin de segmenter le myocarde et évalué le déplacement des contours endo et épicardique. Le processus de segmentation est appliqué directement sur un ensemble d’images pseudo-volumique 2D + t. Cela conduit à une méthode de segmentation efficace tenant compte à la fois des contraintes de continuité spatiale et temporelle. Puis, nous avons évalué le déplacement des contours endo et épicardique détectés avec une technique de mise en correspondance fondée sur les ensembles de niveaux. La vitesse de déplacement au sein de la paroi myocardique est évaluée par une méthode de flot optique, contrainte avec le déplacement des contours. Enfin, de ce champ de vitesses du myocarde, nous tirons des mesures pertinentes de la contraction cardiaque. La validation de la méthode proposée est effectuée sur des séquences d'images synthétiques, et en comparant sur les mêmes patients nos mesures à celles obtenues avec la méthode de référence HARP appliquée sur des images IRM taggées correspondantes. Les résultats de la méthode sont encourageants, ils sont pratiquement identiques à ceux de l’approche HARP. Cette méthode présente deux avantages principaux: premièrement elle exploite les ciné-IRM standard non taggées, deuxièmement elle permet des évaluations des déformations à haute résolution spatiale. Cette méthode est déjà disponible et peut rendre accessible l’évaluation des déformations du ventricule gauche du myocarde en routine clinique à partir des séquences ciné-IRM / This thesis presents a new concept for the assessment of cardiac deformation from standard cine-MRI without requiring tagged MRI. We have adapted the level set method to segment the myocardium and to evaluate the endocardial and epicardial velocity contours. The segmentation process is directly applied on a pseudo-volumic 2D+t set of images. This leads to an efficient segmentation method that both take into account spatial and temporal continuity constraints. Then, we evaluated the displacement of detected endocardial and epicardial contours by a levelset based matching procedure. The velocity flow in the myocardial wall is assessed by an optical flow method constrained with the contour displacement. Finally, from the velocity flow, we derive relevant measurements of the cardiac contraction. The validation of the method is performed on synthetic image sequences, and by comparing our measurements to those obtained on the same patients with the HARmonic Phase reference (HARP) method applied on matched tagged MR images. The results of this method are encouraging, they are practically identical to those HARP approach. This method presents two main advantages: first it exploits standard untagged cine-MRI, secondly it leads to high spatial resolution strain assessments. This method is readily available and has potential to make the assessment of left ventricular myocardial deformation accessible for clinical use from a set of cardiac cine MR acquisitions

Par opposition à la Réalité Augmentée qui consiste à ajouter des éléments virtuels à un environnement réel, la Réalité Diminuée consiste à supprimer des éléments réels d'un environnement. Le but est d'effectuer un rendu visuel d'une scène 3D où les éléments "effacés" ne sont plus présents : la difficulté consiste à créer une image de sorte que la diminution ne soit pas perceptible par l'utilisateur. Il faut donc venir compléter la scène initialement cachée par ces éléments, en effectuant une opération d'inpainting qui prenne en compte la géométrie de la pièce, sa texture (structurée ou non), et la luminosité ambiante de l'environnement. Par exemple, l’œil humain est sensible à la régularité d'une texture. L'un des objectifs d'Innersense, entreprise spécialisée dans l'aménagement virtuel d’intérieurs, est de développer un produit capable d'enlever des éléments présents dans une pièce d'intérieur. Une fois la suppression virtuelle des meubles existants effectuée , il sera alors possible d'ajouter des meubles virtuels dans l'espace laissé vacant. L'objectif de cette thèse CIFRE est donc de mettre en place un scénario de réalité diminuée pouvant être exécuté sur un système mobile (tablette IOS ou Android) qui génère des images photo-réalistes de la scène diminuée. Pour cela, à partir d’un modèle géométrique de la pièce d'intérieur que l'on veut altérer, nous adaptons et améliorons des procédures d'effacement d'éléments d'une image appelées inpainting dans une image 2D. Ensuite, nous appliquons ces techniques dans le contexte 3D intérieur pour tenir compte de la géométrie de la scène. Enfin, nous analysons la luminosité pour augmenter le réalisme des zones complétées.Dans cette thèse, nous rappelons d'abord les différents travaux académiques et les solutions industrielles existantes. Nous évoquons leurs avantages et leurs limites. Nous abordons ensuite les différentes techniques d'inpainting existantes pour introduire notre première contribution qui propose d'adapter une des méthodes de l’état de l’art pour prendre en compte de la structure du motif de la texture. La problématique de la luminosité est ensuite abordée en proposant un processus qui traite séparément la texture et la variation de la luminosité. Nous présentons ensuite une troisième contribution qui propose un critère de confiance basé sur des considérations radiométriques pour sélectionner une information selon sa qualité dans le processus d'inpainting. Nous proposons une dernière contribution basée sur la complétion de texture de modèles 3D non planaires reconstruits à partir de peu d’images et donc présentant une texture incomplète. Enfin, nous montrons les applications développées grâce à ces travaux dans le contexte des scènes d'intérieur considérées par Innersense / In contrast to Augmented Reality, which consists in adding virtual elements to a real environment,Diminished Reality consists in removing real elements from an environment. The goal is to visuallyrender a 3D scene where the "deleted" elements are no longer present: the difficulty is to createan image so that the processing is not perceptible to the user. It is therefore necessary tocomplete the scene initially hidden by these elements, by performing an inpainting operation thattakes into account the geometry of the part, its texture (structured or not), and the ambientbrightness of the environment. For example, the human eye is sensitive to the regularity of atexture. One of the objectives of Innersense, a company specializing in virtual interior design, is todevelop a product that can remove elements from an interior room. Once the virtual removal ofexisting furniture has been completed, it will then be possible to add virtual furniture in the vacantspace. The objective of this CIFRE thesis is therefore to set up a scenario of diminished realitythat can be executed on a mobile system (IOS or Android tablet) that generates photorealisticimages of the diminished scene. To do this, based on a geometric model of the interior part thatwe want to alter, we adapt and improve procedures for erasing elements of an image calledinpainting in a 2D image. Then, we apply these techniques in the 3D indoor context to take intoaccount the geometry of the scene. Finally, we analyze the brightness to increase the realism ofthe completed areas. In this thesis, we first review the various academic works and existingindustrial solutions. We discuss their advantages and limitations. We then discuss the differentexisting inpainting techniques to introduce our first contribution which proposes to adapt one of thestate of the art methods to take into account the structure of the texture pattern. The problem ofbrightness is then discussed by proposing a process that deals separately with texture andvariation of brightness. We then present a third contribution that proposes a confidence criterionbased on radiometric considerations to select information according to its quality in the inpaintingprocess. We propose a last contribution based on the texture completion of non-planar 3D modelsreconstructed from few images and therefore presenting an incomplete texture. Finally, we showthe applications developed through this work in the context of the interior scenes considered byInnersense.

Les travaux présentés dans cette thèse s'inscrivent dans le contexte du traitement des images cardiaques et l'étude de la fonction contractile du coeur, pour une meilleure compréhension de physiopathologie cardiaque et l'aide au diagnostic. Nous avons implémenté une méthode de segmentation des parois endocardiques sur des ciné-IRM non marquées. Nous avons utilisé une approche fondée sur les ensembles de niveaux, avec une formulation basée-région qui donne des résultats satisfaisants sur des cas sains et pathologiques. Nous avons proposé une méthode pratique pour la quantification des déformations segmentaires afin decaractériser la contractilité myocardique. La méthode a fait l'objet d'une validation clinique par l'expertise de médecins et par comparaison à la méthode HARP sur des IRM marquées. Pour améliorer la précision des mesures, nous avons proposé un algorithme de recalage iconique multimodal IRM/TDM, utilisant la maximisation de l'information culturelle. Nous l'avons appliqué à la localisation de coupes petit-axe dans des volumes TDM avec des résultats encourageants. Ce travail a pour perspective son application à l'obtention de séquences TDM de hautes résolutions spatiale et temporelle / The work presented in this thesis is related to the cardiac images processing and the cardiac contractile function study, for a better comprehension of cardiac physiopathology and diagnosis. We implemented a method for the segmentation of the endocardial walls on standard MRI without tags. We used an approach based on the level set method, with a region-based formulation which gives satisfactory results on healthy and pathological cases. We proposed a practical method for the quantification of the segmental deformations in order to characterize the myocardial contractility. The method was clinically validated by the assesment of doctors and by comparison with the HARP method on tagget MRI. To improve the measurements precision, we proposed an iconic MRI/CT multimodal registration algorithm, using the maximization of the mutual information. We applied it to the localization of short-axis slices in CT volumes with good results. This work has as prospect its application to obtain high spatial and temporal resolutions CT sequences

Indiana University-Purdue University Indianapolis (IUPUI) / Understanding the mechanical properties of peripheral nerves is essential for chronically implanted device design. The work in this thesis aimed to understand the relationship between local deformation responses to global strain changes in peripheral nerves. A custom-built mechanical testing rig and sample holder enabled an improved cyclical uniaxial tensile testing environment on rabbit sciatic nerves (N=5). A speckle was placed on the surface of the nerve and recorded with a microscope camera to track local deformations. The development of a semi-automated digital image processing algorithm systematically measured local speckle dimension and nerve diameter changes. Combined with the measured force response, local and global strain values constructed a stress-strain relationship and corresponding elastic modulus. Preliminary exploration of models such as Fung and 2-Term Mooney-Rivlin confirmed the hyperelastic nature of the nerve. The results of strain analysis show that, on average, local strain levels were approximately five times smaller than globally measured strains; however, the relationship was dependent on global strain magnitude. Elastic modulus values corresponding to ~9% global strains were 2.070 ± 1.020 MPa globally and 10.15 ± 4 MPa locally. Elastic modulus values corresponding to ~6% global strains were 0.173 ± 0.091 MPa globally and 1.030 ± 0.532 MPa locally.

Nous développons une méthode générique semi-automatique multi-objet de segmentation d'image par coupure de graphe visant les usages médicaux de routine, allant des tâches impliquant quelques objets dans des images 2D, à quelques dizaines dans celles 3D quasi corps entier. La formulation souple de la méthode permet son adaptation simple à une application donnée. En particulier, le modèle d'a priori de proximité que nous proposons, défini à partir des contraintes de paires du plus court chemin sur le graphe d'adjacence des objets, peut facilement être adapté pour tenir compte des relations spatiales entre les objets ciblés dans un problème donné. L'algorithme de segmentation peut être adapté aux besoins de l'application en termes de temps d'exécution et de capacité de stockage à l'aide d'une partition de l'image à segmenter par une tesselation de Voronoï efficace et contrôlable, établissant un bon équilibre entre la compacité des régions et le respect des frontières des objets. Des évaluations et comparaisons qualitatives et quantitatives avec le modèle de Potts standard confirment que notre modèle d'a priori apporte des améliorations significatives dans la segmentation d'objets distincts d'intensités similaires, dans le positionnement précis des frontières des objets ainsi que dans la robustesse de segmentation par rapport à la résolution de partition. L'évaluation comparative de la méthode de partition avec ses concurrentes confirme ses avantages en termes de temps d'exécution et de qualité des partitions produites. Par comparaison avec l'approche appliquée directement sur les voxels de l'image, l'étape de partition améliore à la fois le temps d'exécution global et l'empreinte mémoire du processus de segmentation jusqu'à un ordre de grandeur, sans compromettre la qualité de la segmentation en pratique. / We develop a generic Graph Cut-based semiautomatic multiobject image segmentation method principally for use in routine medical applications ranging from tasks involving few objects in 2D images to fairly complex near whole-body 3D image segmentation. The flexible formulation of the method allows its straightforward adaption to a given application.\linebreak In particular, the graph-based vicinity prior model we propose, defined as shortest-path pairwise constraints on the object adjacency graph, can be easily reformulated to account for the spatial relationships between objects in a given problem instance. The segmentation algorithm can be tailored to the runtime requirements of the application and the online storage capacities of the computing platform by an efficient and controllable Voronoi tessellation clustering of the input image which achieves a good balance between cluster compactness and boundary adherence criteria. Qualitative and quantitative comprehensive evaluation and comparison with the standard Potts model confirm that the vicinity prior model brings significant improvements in the correct segmentation of distinct objects of identical intensity, the accurate placement of object boundaries and the robustness of segmentation with respect to clustering resolution. Comparative evaluation of the clustering method with competing ones confirms its benefits in terms of runtime and quality of produced partitions. Importantly, compared to voxel segmentation, the clustering step improves both overall runtime and memory footprint of the segmentation process up to an order of magnitude virtually without compromising the segmentation quality.

Hlavným zámerom tejto diplomovej práce bola automatická segmentácia lézií sklerózy multiplex na snímkoch MRI. V rámci práce boli otestované najnovšie metódy segmentácie s využitím hlbokých neurónových sietí a porovnané prístupy inicializácie váh sietí pomocou preneseného učenia (transfer learning) a samoriadeného učenia (self-supervised learning). Samotný problém automatickej segmentácie lézií sklerózy multiplex je veľmi náročný, a to primárne kvôli vysokej nevyváženosti datasetu (skeny mozgov zvyčajne obsahujú len malé množstvo poškodeného tkaniva). Ďalšou výzvou je manuálna anotácia týchto lézií, nakoľko dvaja rozdielni doktori môžu označiť iné časti mozgu ako poškodené a hodnota Dice Coefficient týchto anotácií je približne 0,86. Možnosť zjednodušenia procesu anotovania lézií automatizáciou by mohlo zlepšiť výpočet množstva lézií, čo by mohlo viesť k zlepšeniu diagnostiky individuálnych pacientov. Našim cieľom bolo navrhnutie dvoch techník využívajúcich transfer learning na predtrénovanie váh, ktoré by neskôr mohli zlepšiť výsledky terajších segmentačných modelov. Teoretická časť opisuje rozdelenie umelej inteligencie, strojového učenia a hlbokých neurónových sietí a ich využitie pri segmentácii obrazu. Následne je popísaná skleróza multiplex, jej typy, symptómy, diagnostika a liečba. Praktická časť začína predspracovaním dát. Najprv boli skeny mozgu upravené na rovnaké rozlíšenie s rovnakou veľkosťou voxelu. Dôvodom tejto úpravy bolo využitie troch odlišných datasetov, v ktorých boli skeny vytvárané rozličnými prístrojmi od rôznych výrobcov. Jeden dataset taktiež obsahoval lebku, a tak bolo nutné jej odstránenie pomocou nástroju FSL pre ponechanie samotného mozgu pacienta. Využívali sme 3D skeny (FLAIR, T1 a T2 modality), ktoré boli postupne rozdelené na individuálne 2D rezy a použité na vstup neurónovej siete s enkodér-dekodér architektúrou. Dataset na trénovanie obsahoval 6720 rezov s rozlíšením 192 x 192 pixelov (po odstránení rezov, ktorých maska neobsahovala žiadnu hodnotu). Využitá loss funkcia bola Combo loss (kombinácia Dice Loss s upravenou Cross-Entropy). Prvá metóda sa zameriavala na využitie predtrénovaných váh z ImageNet datasetu na enkodér U-Net architektúry so zamknutými váhami enkodéra, resp. bez zamknutia a následného porovnania s náhodnou inicializáciou váh. V tomto prípade sme použili len FLAIR modalitu. Transfer learning dokázalo zvýšiť sledovanú metriku z hodnoty približne 0,4 na 0,6. Rozdiel medzi zamknutými a nezamknutými váhami enkodéru sa pohyboval okolo 0,02. Druhá navrhnutá technika používala self-supervised kontext enkodér s Generative Adversarial Networks (GAN) na predtrénovanie váh. Táto sieť využívala všetky tri spomenuté modality aj s prázdnymi rezmi masiek (spolu 23040 obrázkov). Úlohou GAN siete bolo dotvoriť sken mozgu, ktorý bol prekrytý čiernou maskou v tvare šachovnice. Takto naučené váhy boli následne načítané do enkodéru na aplikáciu na náš segmentačný problém. Tento experiment nevykazoval lepšie výsledky, s hodnotou DSC 0,29 a 0,09 (nezamknuté a zamknuté váhy enkodéru). Prudké zníženie metriky mohlo byť spôsobené použitím predtrénovaných váh na vzdialených problémoch (segmentácia a self-supervised kontext enkodér), ako aj zložitosť úlohy kvôli nevyváženému datasetu.