Indiana University-Purdue University Indianapolis (IUPUI) / Rapid development of digital technology has enabled the real-time volume rendering of scientific data, in particular large microscopy data sets. In general, volume rendering techniques project 3D discrete datasets onto 2D image planes, with the generated views being transparent and having designated color that is not necessarily "real" color. Volume rendering techniques initially require designating a processing method that assigns different colors and transparency coefficients to different regions. Then based on the "viewer" and the dataset "location," the method will determine the final imaging effect. Current popular techniques include ray casting, splatting, shear warp, and texture-based volume rendering. Of particular interest is ray casting as it permits the display of objects interior to a dataset as well as render complex objects such as skeleton and muscle. However, ray casting requires large memory and suffers from longer processing time. One way to address this is to parallelize its implementation on programmable graphic processing hardware. This thesis proposes a GPU based ray casting algorithm that can render a 3D volume in real-time application. In addition, to implementing volume rendering techniques on programmable graphic processing hardware to decrease execution times, 3D image segmentation techniques can also be utilized to increase execution speeds. In 3D image segmentation, the dataset is partitioned into smaller sized regions based on specific properties. By using a 3D segmentation method in volume rendering applications, users can extract individual objects from within the 3D dataset for rendering and further analysis. This thesis proposes a 3D segmentation algorithm with combinatorial map that can be parallelized on graphic processing units.

Lung carcinoma is the most prevalent type of cancer in the world, considered to be a relentlessly progressive disease, with dismal mortality rates to patients. Recent advances in targeted therapy hold the premise for the delivery of better, more effective treatments to lung cancer patients, that could significantly enhance their survival rates. Optimizing care delivery through targeted therapies requires the ability to effectively identify and diagnose lung cancer along with identifying the lung cancer cell type specific to each patient, \textit{small cell carcinoma}, \textit{adenocarcinoma}, or \textit{squamous cell carcinoma}. Label free optical imaging techniques such as the \textit{Coherent anti-stokes Raman Scattering microscopy} have the potential to provide physicians with minimally invasive access to lung tumor sites, and thus allow for better cancer diagnosis and sub-typing. To maximize the benefits of such novel imaging techniques in enhancing cancer treatment, the development of new data analysis methods that can rapidly and accurately analyze the new types of data provided through them is essential. Recent studies have gone a long way to achieving those goals but still face some significant bottlenecks hindering the ability to fully exploit the diagnostic potential of CARS images, namely, the streamlining of the diagnosis process was hindered by the lack of ability to automatically detect cancer cells, and the inability to reliably classify them into their respective cell types. More specifically, data analysis methods have thus far been incapable of correctly identifying and differentiating the different non-small cel lung carcinoma cell types, a stringent requirement for optimal therapy delivery. In this study we have addressed the two bottlenecks named above, through designing an image processing framework that is capable of, automatically and accuratly, detecting cancer cells in two and three dimensional CARS images. Moreover, we built upon this capability with a new approach at analyzing the segmented data, that provided significant information about the cancerous tissue and ultimately allowed for the automatic differential classification of non-small cell lung carcinoma cell types, with superb accuracies.

This thesis presents and evaluates different methods to semantically segment 3D-models by rendered 2D-views. The 2D-views are segmented separately and then merged together. The thesis evaluates three different merge strategies, two different classification architectures, how many views should be rendered and how these rendered views should be arranged. The results are evaluated both quantitatively and qualitatively and then compared with the current classifier at Vricon presented in [30]. The conclusion of this thesis is that there is a performance gain to be had using this method. The best model was using two views and attains an accuracy of 90.89% which can be compared with 84.52% achieved by the single view network from [30]. The best nine view system achieved a 87.72%. The difference in accuracy between the two and the nine view system is attributed to the higher quality mesh on the sunny side of objects, which typically is the south side. The thesis provides a proof of concept and there are still many areas where the system can be improved. One of them being the extraction of training data which seemingly would have a huge impact on the performance.

This thesis tries to answer if a semi-automatic tool can speed up the process of segmenting tumors to find the area of a slice in the tumor or the volume of the entire tumor. A few different 2D semi-automatic tools were considered. The final choice was to implement live-wire. The implemented live-wire was evaluated and improved upon with hands-on testing from developers. Two methods were found for extending live-wire to 3D bodies. The first method was to interpolate the seed points and create new contours using the new seed points. The second method was to let the user segment contours in two orthogonal projections. The intersections between those contours and planes in the third orthogonal projection were then used to create automatic contours in this third projection. Both tools were implemented and evaluated. The evaluation compared the two tools to manual segmentation on two cases posing different difficulties. Time-on-task and accuracy were measured during the evaluation. The evaluation revealed that the semi-automatic tools could indeed save the user time while maintaining acceptable (80%) accuracy. The significance of all results were analyzed using two-tailed t-tests.

Le traitement et l’analyse d’images angiographiques rotationnelles 3D (3DRA) de haute résolution spatiale pour l’aide à la planification d’interventions en neuroradiologie interventionnelle est un domaine de recherche récent et en plein essor. Les neuroradiologues ont besoin d’outils interactifs pour la planification des procédures d’embolisation et l’optimisation du guidage de microcathéters durant les interventions endovasculaires. L’exploitation des données d’imagerie pour l’aide au diagnostic et la thérapeutique requiert le développement d’algorithmes robustes et de méthodes efficaces. Ces méthodes permettent d’intégrer les informations contenues dans ces images pour en extraire des descripteurs anatomiques utiles durant les phases pre et per-opératoires.Cette thèse est dédiée au développement d’une chaine de traitement complète comprenant la segmentation, la reconstruction tridimensionnelle (3D) et la représentation symbolique de vaisseaux cérébraux à partir d’images 3DRA, pour faciliter la planification d’interventions d’embolisation pour le traitement de Malformations ArtérioVeineuses cérébrales (MAVs).La première partie du travail est consacrée à l’étude des différentes approches utilisées en segmentation des vaisseaux. Deux méthodes de segmentation sont ensuite proposées. Tout d’abord, une méthode de segmentation 2D coupe par coupe est développée ainsi qu’un technique robuste de suivi de vaisseaux permettant de détecter les bifurcations et de poursuivre le tracking de plusieurs branches du même vaisseau. Un maillage basé sur la triangulation Contrainte de Delaunay permet ensuite la reconstruction et la visualisation 3D des vaisseaux ainsi obtenus. Une méthode de segmentation 3D automatisée des images 3DRA est ensuite développée, elle présente l’avantage d’être plus rapide et de traiter le volume d’images entier en 3D. Cette méthode est basée sur la croissance de régions. Le processus 3D démarre à partir d’une coupe initiale pré-segmentée en utilisant la reconstruction géodésique et sur laquelle les germes sont placés de manière automatique. Finalement, une représentation du réseau vasculaire sur laquelle on distingue clairement les trois entités que sont les artères, les veines drainantes et le nidus est obtenue.La deuxième partie de la thèse est consacrée à la représentation symbolique des vaisseaux. L'étude hiérarchique du squelette permet de donner une description graphique du réseau vasculaire cérébral. A partir de cette description graphique, les vaisseaux et leurs branches sont labellisés et un ou plusieurs vaisseaux peuvent être isolés du reste du réseau pour une analyse visuelle plus précise, ce qui n’est pas possible avec les reconstructions 3D du constructeur. De plus, cette représentation améliore la détermination des chemins optimaux pour l’embolisation de la MAV et réduit la complexité due à l’enchevêtrement des vaisseaux malformés.La chaine de traitement complète ainsi développée aboutit à une description 3D précise des vaisseaux. Elle permet une meilleure compréhension structurelle du réseau vasculaire cérébral et offre aux neuroradiologues la possibilité d’extraire des descripteurs anatomiques, et géométriques (taille, diamètre…) des vaisseaux. Enfin, une étape de vérification des résultats par un expert neuroradiologue a permis la validation clinique des résultats de segmentation et de reconstruction 3D. L’intégration des algorithmes développés dans une interface graphique intuitive et facile d’utilisation devra être faite pour permettre l’exploitation de nos résultats en routine clinique / The processing and analysis of 3D Rotational Angiographic images (3DRA) of high spatial resolution to facilitate intervention planning in interventional neuroradiology is a new and booming research area. Neuroradiologists need interactive tools for the planning of embolization procedures and the optimization of the guidance of micro-catheters during endovascular interventions. The exploitation of imaging data to help in diagnosis and treatment requires the development of robust algorithms and efficient methods. These methods allow integrating information included in these images in order to extract useful anatomical descriptors during preoperative and peroperative phases.This thesis is dedicated to the development of a complete processing pipeline including segmentation, three-dimensional (3D) reconstruction and symbolic representation of cerebral vessels from 3DRA images, aiming to facilitate the embolization intervention planning for the treatment of cerebral ArterioVenous Malformations (AVMs).The first part of the work is devoted to the study of the different approaches used for the segmentation of vessels. Two segmentation methods are then proposed. First, a 2D slice-by-slice segmentation method is developed, followed by a robust vessel tracking process that enables detecting bifurcations and further following several branches of the same vessel. A mesh based on the Constrained Delaunay triangulation allows then the 3D reconstruction and visualization of the obtained vessels. An automated 3D segmentation method of 3DRA images is then developed, which presents the advantage of being faster and processing the whole 3D volume of images. This method is region growing based. The 3D process starts from an initial pre-segmented slice using the geodesic reconstruction, where the seeds are automatically placed. Finally, a representation of the vasculature is obtained, in which these three entities are clearly visible: the feeding arteries, the draining veins and the nidus.The second part of the thesis is devoted to the symbolic representation of the vessels. The hierarchical study of the skeleton allows giving a graphic description of the cerebral vascular network. From this graphic description, the vessels and their branches are labeled and one or more vessels can be isolated from the rest of network for a more accurate visual analysis, which is not possible with the original 3D reconstructions. Moreover, this improves the determination of the optimal paths for the AVM embolization and reduces the complexity due to the entanglement of the malformed vessels.The complete processing pipeline thus developed leads to a precise 3D description of the vessels. It allows a better understanding of the cerebral vascular network structure and provides the possibility to neuroradiologists of extracting anatomical and geometric descriptors (size, diameter...) of the vessels. Finally, a verification step of the results by a neuroradiology expert enabled clinical validation of the 3D segmentation and reconstruction results. The integration of the developed algorithms in a user-friendly graphical interface should be achieved to allow the exploitation of our results in clinical routine

La planification chirurgicale repose sur l’anatomie du patient, et repose souvent sur l’analyse d’images médicales acquises avant la chirurgie. En particulier, c’est le cas pour les interventions de chirurgie pelvienne en pédiatrie, pour de nombreuses pathologies telles que des tumeurs et des malformations. Dans cette zone anatomique, en raison de sa forte vascularisation et innervation, une bonne planification chirurgicale est extrêmement importante pour éviter des lésions fonctionnelles des organes du patient, qui pourraient nuire a sa qualité de vie. En pratique clinique, la procédure standard repose sur l’analyse visuelle, coupe par coupe, des images de la région pelvienne. Cette tâche, même si elle est facilement accomplie par des radiologues experts, est très complexe et fastidieuse pour les chirurgiens, en raison de la complexité et de la variabilité des structures anatomiques et, par conséquent, de leurs images. De plus, en raison des variations anatomiques selon l’age du patient, toutes ces difficultés sont accentuées en pédiatrie et une compréhension anatomique claire est encore plus importante que pour les adultes. Pour ces raisons, il est important et utile d’être capable de fournir aux chirurgiens des modèles anatomiques 3D spécifiques aux patients, obtenus par traitement et analyse des images IRM.Dans cette thèse, nous proposons un ensemble de méthodes de segmentation d’images IRM de patients pédiatriques. Nous nous concentrons sur trois structures pelviennes importantes : les os du bassin, les vaisseaux sanguins et la vessie. Pour les os, nous proposons une méthode semi-automatique comportant une première étape de recalage de modèles osseux puis une étape de segmentation fine par modèles déformables. La principale contribution de la méthode proposée est l’introduction d’un ensemble de modèles osseux pour différentes tranches d’age, ce qui permet de prendre en compte la variabilité des os pendant la croissance. Pour les vaisseaux, nous proposons une méthode par patchs, apprentissage profond et transfert d’apprentissage, donc ne nécessitant que peu de donnes d’apprentissage. La principale contribution de ce travail est la conception d’une procédure semi-automatique pour l’extraction des patchs, qui permet a l’utilisateur de se focaliser uniquement sur les vaisseaux d’intérêt; et pour la planification chirurgicale. Pour la segmentation de la vessie, nous proposons d’utiliser une approche par modèles déformables, particulièrement robuste aux hétérogénéités de l’image et aux effets de volume partiel, souvent présents dans les images IRM pédiatriques. Toutes les méthodes proposées sont intégrées dans une plateforme logicielle libre pour le traitement d’images médicales, donnant aux chirurgiens des outils performants avec des interfacesutilisateur faciles a utiliser. De plus, nous mettons en place une stratégie de traitement et de portabilité pour la visualisation des modèles 3D du patient, permettant aux chirurgiens de générer, visualiser et partager ces modèles au sein de l’hôpital. En conclusion, les résultats obtenus avec les méthodes proposées sont quantitativement et qualitativement évalués de manière très positive par des chirurgiens pédiatriques, démontrant leurs potentialités pour l’utilisation en pratique clinique dans des procédures de planification chirurgicale. / Surgical planning relies on the patient’s anatomy, and it is often based on medical images acquired before the surgery. This is in particular the case for pelvic surgery on children, for various indications such as malformations or tumors. In this particular anatomical region, due to its high vascularization and innervation, a good surgical planning is extremely important to avoid potential functional damages to the patient’s organs that could strongly affect their quality of life. In clinical practice the standard procedure is still to visually analyze, slice by slice, the images of the pelvic region. This task, even if quite easily performed by the expert radiologists, is difficult and tedious for the surgeons due to the complexity and variability of the anatomical structures and hence their images. Moreover, due to specific anatomy depending on the age of the patient, all the difficulties of the surgical planning are emphasized in the case of children, and a clear anatomical understanding is even more important than for the adults. For these reasons, it is very important and challenging to provide the surgeons with patient-specific 3D reconstructions, obtained from the segmentation of MRI images. In this work we propose a set of segmentation tools for pelvic MRI images of pediatric patients. In particular, we focus on three important pelvic structures: the pelvic bones, the pelvic vessels and the urinary bladder. For pelvic bones, we propose a semi-automatic approach based on template registration and deformable models. The main contribution of the proposed method is the introduction of a set of bones templates for different age ranges, which allows us to take into account the bones variability during growth. For vessels segmentation, we propose a patch-based deep learning approach using transfer learning, thus requiring few training data. The main contribution of this work is the design of a semi-automatic strategy for patches extraction, which allows the user to focus only on the vessels of interest for surgical planning. For bladder segmentation, we propose to use a deformable model approach that is particularly robust to image inhomogeneities and partial volume effects, which are often present in pediatric MRI images. All the developed segmentation methods are integrated in an open-source platform for medical imaging, delivering powerful tools and user-friendly GUIs to the surgeons. Furthermore, we set up a processing and portability workflow for visualization of the 3D patient specific models, allowing surgeons to generate, visualize and share within the hospital the patient specific 3D models. Finally, the results obtained with the proposed methods are quantitatively and qualitatively evaluated by pediatric surgeons, which demonstrates their potentials for clinical use in surgical planning procedures.

Cette thèse présente une méthode de segmentation de modèles 3D en parties significatives ou fonctionnelles. La segmentation s’effectue par "transfert" d’une segmentation exemple : la segmentation d’un modèle est calculée en transférant les segments d’une segmentation exemple d’un objet appartenant à la même classe de modèles 3D. Pour ce faire, nous avons adapté et étendu la méthode de segmentation par les marches aléatoires et transformé notre problème en un problème de localisation et mise en correspondance de faces germes. Notre méthode comporte quatre étapes fondamentales : la mise en correspondance entre le modèle exemple et le modèle cible, la localisation automatique de germes sur le modèle cible pour initialiser les régions, le calcul des segments du modèle cible et l’amélioration de leurs frontières. En constatant que les critères de similarité diffèrent selon que les objets sont de type rigide (chaises, avions,…) ou de type articulé (humains, quadrupèdes,…), nous décomposons notre approche en deux. La première dédiée aux objets rigides, où la mise en correspondance est basée sur le calcul des transformations rigides afin d’aligner au mieux les parties significatives des deux objets comparés. La deuxième dédiée aux modèles articulés, où la mise en correspondance des parties fonctionnelles, présentant des variations de poses plus importantes, est basée sur des squelettes calculés via des diagrammes de Reeb. Nous montrons à travers des évaluations qualitatives et quantitatives que notre méthode obtient des résultats meilleurs que les techniques de segmentation individuelle et comparables aux techniques de co-segmentation avec un temps de calcul nettement inférieur. / In this dissertation, we present a new method to segment 3D models into their functional parts. The segmentation is performed by a transfer approach: a semantic-oriented segmentation of an object is calculated using a pre-segmented example model from the same class (chairs, humans, etc.). To this end, we adapted and extended the random walk segmentation method which allowed us to transform our problem into a problem of locating and matching seed faces. Our method consists of four fundamental steps: establishing correspondences between the example and the target model, localizing seeds to initialize regions in the target model, computing the segments and refining their boundaries in the target model. We decomposed our approach in two, taking into account similarity criteria which differ regarding the object type (rigid vs. articulated). The first approach is dedicated to rigid objects (chairs, airplanes, etc.), where the matching is based on rigid transformations to determine the best alignment between the functional parts of the compared objects. The second one focused on articulated objects (humans, quadrupeds, etc.), where coarse topological shape attributes are used in a skeleton-based approach to cover larger pose variations when computing correspondences between functional parts. We show through qualitative and quantitative evaluations that our method improves upon individual segmentation techniques and obtains results that are close to the co-segmentation techniques results with an important calculation time reduction.

L'objectif de ces travaux de thèse consiste à mettre en place des solutions algorithmiques permettant de reconstruire un modèle 3D éditable d'un environnement intérieur à l'aide d'une tablette équipée d'un capteur de profondeur.Ces travaux s'inscrivent dans le contexte de la rénovation d'intérieur. Les normes Européennes poussent à la rénovation énergétique et à la modélisation 3D des bâtiments existants. Des outils professionnels utilisant des capteurs de type LIDAR permettent de reconstruire des nuages de points de très grande qualité, mais sont coûteux et longs à mettre en œuvre. De plus, il est très difficile d'identifier automatiquement les constituants d'un bâtiment pour en exporter un modèle 3D éditable complet.Dans le cadre de la rénovation d’intérieur, il n'est pas nécessaire de disposer des informations sur l'ensemble du bâtiment, seules les principales dimensions et surfaces sont nécessaires. Nous pouvons alors envisager d'automatiser complètement le processus de modélisation 3D.La mise sur le marché de capteurs de profondeur intégrables sur tablettes, et l'augmentation des capacités de calcul de ces dernières nous permet d'envisager l'adaptation d'algorithmes de reconstruction 3D classiques à ces supports.Au cours de ces travaux, nous avons envisagé deux approches de reconstruction 3D différentes. La première approche s'appuie sur des méthodes de l'état de l'art. Elle consiste à générer un maillage 3D d'un environnement intérieur en temps réel sur tablette, puis d'utiliser ce maillage 3D pour identifier la structure globale du bâtiment (murs, portes et fenêtres). La deuxième approche envisagée consiste à générer un modèle 3D éditable en temps réel, sans passer par un maillage intermédiaire. De cette manière beaucoup plus d'informations sont disponibles pour pouvoir détecter les éléments structuraux. Nous avons en effet à chaque instant donné un nuage de points complet ainsi que l'image couleur correspondante. Nous avons dans un premier temps mis en place deux algorithmes de segmentation planaire en temps réel. Puis, nous avons mis en place un algorithme d'analyse de ces plans permettant d'identifier deux plans identiques sur plusieurs prises de vue différentes. Nous sommes alors capables d'identifier les différents murs contenus dans l'environnement capturé, et nous pouvons mettre à jour leurs informations géométriques en temps réel. / This thesis works consisted to implement algorithmic solutions to reconstruct an editable 3D model of an indoor environment using a tablet equipped with a depth sensor.These works are part of the context of interior renovation. European standards push for energy renovation and 3D modeling of existing buildings. Professional tools using LIDAR-type sensors make it possible to reconstruct high-quality point clouds, but are costly and time-consuming to implement. In addition, it is very difficult to automatically identify the constituents of a building to export a complete editable 3D model.As part of the interior renovation, it is not necessary to have information on the whole building, only the main dimensions and surfaces are necessary. We can then consider completely automating the 3D modeling process.The recent development of depth sensors that can be integrated on tablets, and the improvement of the tablets computation capabilities allows us to consider the adaptation of classical 3D reconstruction algorithms to these supports.During this work, we considered two different 3D reconstruction approaches. The first approach is based on state-of-the-art methods. It consists of generating a 3D mesh of an interior environment in real time on a tablet, then using this 3D mesh to identify the overall structure of the building (walls, doors and windows). The second approach envisaged is to generate a 3D editable model in real time, without passing through an intermediate mesh. In this way much more information is available to be able to detect the structural elements. We have in fact at each given time a complete point cloud as well as the corresponding color image. In a first time we have set up two planar segmentation algorithms in real time. Then, we set up an analysis algorithm of these plans to identify two identical planes on different captures. We are then able to identify the different walls contained in the captured environment, and we can update their geometric information in real-time.

Le but de cette étude est de comparer le respect de la morphologie canalaire après instrumentation à l’aide de trois systèmes de mise en forme canalaire différents : le One Shape NEW Generation®, le Wave One® et le Revo-S® grâce à une étude en Micro-tomographie assistée par ordinateur ou micro-CT (Computed Tomography). La mise en place d’une chaîne méthodologique totalement tridimensionnelle (3D) comprenant la reconstruction, le recalage et la segmentation a permis de traiter les images acquises et d’extraire les images recalées des canaux dentaires avant et après instrumentation. Les artéfacts de segmentation dus aux calcifications et aux débris dentinaires ont été traités. Une méthode d’estimation des zones non instrumentées a également été décrite.Le transport canalaire a été calculé pour chaque coupe de chaque tiers radiculaire, en comparant la position du centroïde avant et après instrumentation. La comparaison des moyennes de transport canalaire ne montre pas de différence significative entre les 3 systèmes d’instrumentation.Cette approche méthodologique en 4 parties a permis de valider un protocole d’imagerie 3D reproductible, qui pourra être appliqué in vitro en recherche endodontique dans l’analyse des effets instrumentaux. / The aim of this study is to compare the respect of the root canal morphology after instrumentation with different shaping systems (One Shape NEW Generation®, Wave One® and Revo-S®), by using Micro-Computed Tomography.We used a fully three-dimensional (3D) methodological process which involved the reconstruction, registration and segmentation. By this methodological process, images have been acquired and processed in order to extract registered canals images before and after the instrumentation. The segmentation artifacts like calcifications and debris have been taken into account. A method to estimate the non-instrumented zones is also described.The canal transportation was calculated for each slice of each root-third by comparing the position of the centroids before and after instrumentation. No significant difference was found between the three instrumentation systems when canal transport means were done.This 4-part methodological approach has enabled the validation of a reproducible 3D imaging protocol. This can be applied in vitro in endodontic research for analysis of the instrumental effects.

Medical imaging is a key tool used in healthcare to diagnose and prognose patients by aiding the detection of a variety of diseases and conditions. In practice, medical image screening must be performed by clinical practitioners who rely primarily on their expertise and experience for disease diagnosis. The ability of convolutional neural networks (CNNs) to extract hierarchical features and determine classifications directly from raw image data makes CNNs a potentially useful adjunct to the medical image analysis process. A common challenge in successfully implementing CNNs is optimizing hyperparameters for training. In this study, we propose a method which utilizes scheduled hyperparameters and Bayesian optimization to classify cancerous and noncancerous tissues (i.e., segmentation) from head and neck computed tomography (CT) and positron emission tomography (PET) scans. The results of this method are compared using CT imaging with and without PET imaging for 2D and 3D image segmentation models.