Alors que la perspective de la fusion d’images médicales capturées par des systèmes d’imageries de type différent est largement contemplée, la mise en pratique est toujours victime d’un obstacle théorique : la définition d’une mesure de similarité entre les images. Des efforts dans le domaine ont rencontrés un certain succès pour certains types d’images, cependant la définition d’un critère de similarité entre les images quelle que soit leur origine et un des plus gros défis en recalage d’images déformables. Dans cette thèse, nous avons décidé de développer une approche générique pour la comparaison de deux types de modalités donnés. Les récentes avancées en apprentissage statistique (Machine Learning) nous ont permis de développer des solutions innovantes pour la résolution de ce problème complexe. Pour appréhender le problème de la comparaison de données incommensurables, nous avons choisi de le regarder comme un problème de plongement de données : chacun des jeux de données est plongé dans un espace commun dans lequel les comparaisons sont possibles. A ces fins, nous avons exploré la projection d’un espace de données image sur l’espace de données lié à la seconde image et aussi la projection des deux espaces de données dans un troisième espace commun dans lequel les calculs sont conduits. Ceci a été entrepris grâce à l’étude des correspondances entre les images dans une base de données images pré-alignées. Dans la poursuite de ces buts, de nouvelles méthodes ont été développées que ce soit pour la régression d’images ou pour l’apprentissage de métrique multimodale. Les similarités apprises résultantes sont alors incorporées dans une méthode plus globale de recalage basée sur l’optimisation discrète qui diminue le besoin d’un critère différentiable pour la recherche de solution. Enfin nous explorons une méthode qui permet d’éviter le besoin d’une base de données pré-alignées en demandant seulement des données annotées (segmentations) par un spécialiste. De nombreuses expériences sont conduites sur deux bases de données complexes (Images d’IRM pré-alignées et Images TEP/Scanner) dans le but de justifier les directions prises par nos approches. / Even though the prospect of fusing images issued by different medical imagery systems is highly contemplated, the practical instantiation of it is subject to a theoretical hurdle: the definition of a similarity between images. Efforts in this field have proved successful for select pairs of images; however defining a suitable similarity between images regardless of their origin is one of the biggest challenges in deformable registration. In this thesis, we chose to develop generic approaches that allow the comparison of any two given modality. The recent advances in Machine Learning permitted us to provide innovative solutions to this very challenging problem. To tackle the problem of comparing incommensurable data we chose to view it as a data embedding problem where one embeds all the data in a common space in which comparison is possible. To this end, we explored the projection of one image space onto the image space of the other as well as the projection of both image spaces onto a common image space in which the comparison calculations are conducted. This was done by the study of the correspondences between image features in a pre-aligned dataset. In the pursuit of these goals, new methods for image regression as well as multi-modal metric learning methods were developed. The resulting learned similarities are then incorporated into a discrete optimization framework that mitigates the need for a differentiable criterion. Lastly we investigate on a new method that discards the constraint of a database of images that are pre-aligned, only requiring data annotated (segmented) by a physician. Experiments are conducted on two challenging medical images data-sets (Pre-Aligned MRI images and PET/CT images) to justify the benefits of our approach.

Les changements anatomiques des patients au cours du traitement de radiothérapie peuvent engendrer des conséquences dosimétriques significatives sur les volumes cibles (VC) ou les organes à risques (OARs). Le processus de radiothérapie adaptative peut compenser ces variations, cependant son déploiement en clinique est ralentit par une charge de travail supplémentaire considérable pour les équipes médicales et aucun logiciel n'est disponible pour une utilisation en clinique. Nous avons développé un outil d'alerte dosimétrique in vivo simple permettant d'identifier rapidement les situations où une adaptation de traitement est requise pour un patient. L'évaluation dosimétrique des traitements délivrés a été réalisée sur l'imagerie embarquée 3D (CBCT) dont la précision des calculs de dose a dû être évaluée. L'outil d'alerte permet de s'affranchir d'une nouvelle délinéation de volumes d'intérêt et est basé sur des critères objectifs et quantifiables constitués par le dépassement des limites dosimétriques définies pour chacun des volumes considérés. La précision et la détectabilité de l'outil ont été validées puis il a été appliqué dans une étude rétrospective de 10 patients ORL afin de surveiller l'administration du traitement et d'identifier les patients pour lesquels une adaptation du traitement aurait pu être envisagée. Dans son implémentation clinique, le processus de radiothérapie adaptative requiert des algorithmes de recalage déformable capable de suivre les déformations locales d'un patient se produisant au cours du traitement, seulement leur utilisation n'est pas encore validée. Nous avons procédé à l'évaluation de la précision d'un algorithme de recalage déformable, de type Block Matching présentant l'avantage d'être adapté à l'imagerie multimodale CT/CBCT, en comparaison par rapport à un algorithme de recalage rigide. Une étude a été menée pour 10 patients ORL en se basant sur la comparaison de contours de volumes d'intérêt pour 76 CBCT. Les paramètres de similarité utilisés consistaient en l'Indice de Similarité Dice, la distance de Hausdorff robuste (en mm) et la différence de volume absolu (en cm3).

Le cancer pulmonaire est la principale cause de décès parmi tous les cancers au Canada. Le pronostic est généralement faible, de l'ordre de 15% de taux de survie après 5 ans. Les déplacements internes des structures anatomiques apportent une incertitude sur la précision des traitements en radio-oncologie, ce qui diminue leur efficacité. Dans cette optique, certaines techniques comme la radio-chirurgie et la radiothérapie par modulation de l'intensité (IMRT) visent à améliorer les résultats cliniques en ciblant davantage la tumeur. Ceci permet d'augmenter la dose reçue par les tissus cancéreux et de réduire celle administrée aux tissus sains avoisinants. Ce projet vise à mieux évaluer la dose réelle reçue pendant un traitement considérant une anatomie en mouvement. Pour ce faire, des plans de CyberKnife et d'IMRT sont recalculés en utilisant un algorithme Monte Carlo 4D de transport de particules qui permet d'effectuer de l'accumulation de dose dans une géométrie déformable. Un environnement de simulation a été développé afin de modéliser ces deux modalités pour comparer les distributions de doses standard et 4D. Les déformations dans le patient sont obtenues en utilisant un algorithme de recalage déformable d'image (DIR) entre les différentes phases respiratoire générées par le scan CT 4D. Ceci permet de conserver une correspondance de voxels à voxels entre la géométrie de référence et celles déformées. La DIR est calculée en utilisant la suite ANTs («Advanced Normalization Tools») et est basée sur des difféomorphismes. Une version modifiée de DOSXYZnrc de la suite EGSnrc, defDOSXYZnrc, est utilisée pour le transport de particule en 4D. Les résultats sont comparés à une planification standard afin de valider le modèle actuel qui constitue une approximation par rapport à une vraie accumulation de dose en 4D. / Pulmonary cancer is the main cause of death amongst all cancers in Canada with a prognosis of about 15% survival rate in 5 years. The efficiency of radiotherapy treatments is lower when high displacements of the tumors are observed, mostly caused by intrafraction respiratory motion. Advanced techniques such as radiosurgery and intensity-modulated radiotherapy treatments (IMRT) are expected to provide better clinical results by delivering higher radiation doses to the tumor while sparing the surrounding healthy lung tissues. The goal of this project is to perform 4D Monte Carlo dose recalculations to assess the dosimetric impact of moving tumors in CyberKnife and IMRT treatments using dose accumulation in deforming anatomies. Scripts developed in-house were used to model both situations and to compare the Monte Carlo dose distributions with those obtained with standard clinical plans. Displacement vectors fields are obtained from a 4D CT data set and a deformable image registration (DIR) algorithm which allows a voxel-to-voxel correspondence between each respiratory phase. The DIR is computed by the Advanced Normalization Tools (ANTs) software and is mostly based on diffeormophisms. A modified version of DOSXYZnrc from EGSnrc software, defDOSXYZnrc, is used to transport radiation through non-linear geometries. These results are then compared to a typical 3D plan to determine whether or not the current planification is a good approximation of the true 4D dose calculation.

Les changements anatomiques des patients au cours du traitement de radiothérapie peuvent engendrer des conséquences dosimétriques significatives sur les volumes cibles (VC) ou les organes à risques (OARs). Le processus de radiothérapie adaptative peut compenser ces variations, cependant son déploiement en clinique est ralentit par une charge de travail supplémentaire considérable pour les équipes médicales et aucun logiciel n'est disponible pour une utilisation en clinique. Nous avons développé un outil d'alerte dosimétrique in vivo simple permettant d'identifier rapidement les situations où une adaptation de traitement est requise pour un patient. L'évaluation dosimétrique des traitements délivrés a été réalisée sur l'imagerie embarquée 3D (CBCT) dont la précision des calculs de dose a dû être évaluée. L'outil d'alerte permet de s'affranchir d'une nouvelle délinéation de volumes d'intérêt et est basé sur des critères objectifs et quantifiables constitués par le dépassement des limites dosimétriques définies pour chacun des volumes considérés. La précision et la détectabilité de l'outil ont été validées puis il a été appliqué dans une étude rétrospective de 10 patients ORL afin de surveiller l'administration du traitement et d'identifier les patients pour lesquels une adaptation du traitement aurait pu être envisagée. Dans son implémentation clinique, le processus de radiothérapie adaptative requiert des algorithmes de recalage déformable capable de suivre les déformations locales d'un patient se produisant au cours du traitement, seulement leur utilisation n'est pas encore validée. Nous avons procédé à l'évaluation de la précision d'un algorithme de recalage déformable, de type Block Matching présentant l'avantage d'être adapté à l'imagerie multimodale CT/CBCT, en comparaison par rapport à un algorithme de recalage rigide. Une étude a été menée pour 10 patients ORL en se basant sur la comparaison de contours de volumes d'intérêt pour 76 CBCT. Les paramètres de similarité utilisés consistaient en l'Indice de Similarité Dice, la distance de Hausdorff robuste (en mm) et la différence de volume absolu (en cm3) / Changing anatomy during radiotherapy can lead to significant dosimetric consequences for organs at risk (OARs) and/or target volumes. Adaptive radiotherapy can compensate for these variations however its deployment for clinical work is hampered by the increased workload for the medical staff and there is still no commercialized software available for clinical use. We developed a simple in vivo dosimetric alert tool allowing rapid identification of patients who might benefit from an adaptive radiotherapy. Dosimetric evaluation of delivered treatment has been conducted onto 3D on board imaging (CBCT) whose dose calculation accuracy has been evaluated. The tool does not require a new volume of interest delineation. Tool alert is based on objectives and quantifiable criteria defined by the exceeding volumes of interest dose thresholds. Tool precision and detectability have been validated and applied in a retrospective study on 10 head and neck patients. The tool allows detecting patients where an adaptive treatment could have been considered. In its clinical implementation, adaptive radiotherapy process requires deformable matching algorithms to follow patient local's deformations occurring during treatment. Nevertheless, their use has not been validated. We conducted an evaluation of the Block Matching deformable algorithm, suitable for multimodality imaging (CT/CBCT), in comparison to rigid algorithm. A study has been conducted for 10 head and neck patients based on volume of interest contours comparison for 76 CBCT. Similarity parameters used consisted on Dice Similarity Index, Robust Hausdorff Distance (in mm) and the absolute volume difference (in cc)

L’évaluation de la fonction pulmonaire est important pour la réduction des complications radio-induites des traitements de radiothérapie. En effet, plus de 30% des patients souffriront de pneumonie des suites de leur traitement [1]. L’implantation de la fonction pulmonaire dans la planification de traitement pourrait limiter les complications médicales. La ventilation pulmonaire, l’une des deux métriques permettant de caractériser la fonction pulmonaire, est habituellement obtenue à partir de mesures SPECT. Cependant, cette méthode demande d’effectuer des acquisitions de mesure supplémentaires sur les patients. L’objectif de ce projet est de valider l’utilisation de CT 4D afin d’extraire la ventilation pulmonaire. La preuve de concept a été effectuée sur une cohorte de 25 patients atteints de cancer du poumon. Grâce à des recalages déformables effectués à l’aide du logiciel ANTs, la ventilation a été extraite. Les valeurs obtenues ont été comparées à celles déterminées à partir des données de SPECT, analysées par un logiciel clinique nommé Hermès. Une corrélation modérée a été observée, avec un coefficient de Pearson de r =0:59 avec p<0:05. Les valeurs de ventilation obtenues par CT 4D ont été validées par les coefficients de Dice (DC > 0:9), la distance de Hausdorff (HD < 2 mm), le positionnement de marqueurs anatomiques et les valeurs de jacobien des transformations. Des incertitudes provenant de l’acquisition de données et l’initialisation des paramètres des recalages déformables peuvent expliquer ces résultats. / The assessment of pulmonary functionality is of prime importance to avoid radioinduced complications after radiotherapy treatments of lung cancer. Indeed, more than 30% of patients will suffer from a radiation-induced pneumonia following the treatment [1]. Implementing functionality in treatment planning could limit the medical complications. The current community standard for measuring the ventilation - one of the two metrics concerning pulmonary functionality - is SPECT imaging. However, this method requires to perform additional image acquisitions on patients. The objective of this work is to validate an image analysis method that provides deformable image registration allowing us to estimate lung ventilation for each voxel with four-dimensional computed tomography imaging (4DCT). The proof of concept is performed on a cohort of 25 patients with lung cancer. Each patient is required to a 4DCT scan before their radiotherapy treatment. Those scans were processed retroactively with Advanced Normalized Tools (ANTs) registration to evaluate the lungs deformation between the respiratory maxima. A vector field representing the deformation is produced for all voxels. Local behavior is estimated by the Jacobian of those vector fields. The deformation allows us to estimate the lung capacity to contain air, which can be linked to the ventilation. We showed that the values obtained with the 4DCT method are moderately correlated with those obtained by SPECT (r = 0:59; p < 0:05).Those results were validated using Dice coefficients (DC > 0:9), Hausdorff distance (HD < 2 mm) and targets registration error. The results of the lung ventilation obtained by 4DCT and with SPECT scans are moderately correlated. The uncertainties pertaining to data acquisition and deformable registration initialization might explain those differences.

Les méthodes de recalage d’images, qui ont pour but l’alignement de deux ou plusieurs images dans un même système de coordonnées, sont parmi les algorithmes les plus anciens et les plus utilisés en vision par ordinateur. Les méthodes de recalage servent à établir des correspondances entre des images (prises à des moments différents, par différents senseurs ou avec différentes perspectives), lesquelles ne sont pas évidentes pour l’œil humain. Un type particulier d’algorithme de recalage, connu comme « les méthodes de recalage déformables à l’aide de modèles graphiques » est devenu de plus en plus populaire ces dernières années, grâce à sa robustesse, sa scalabilité, son efficacité et sa simplicité théorique. La gamme des problèmes auxquels ce type d’algorithme peut être adapté est particulièrement vaste. Dans ce travail de thèse, nous proposons plusieurs extensions à la théorie de recalage déformable à l’aide de modèles graphiques, en explorant de nouvelles applications et en développant des contributions méthodologiques originales.Notre première contribution est une extension du cadre du recalage à l’aide de graphes, en abordant le problème très complexe du recalage d’une tranche avec un volume. Le recalage d’une tranche avec un volume est le recalage 2D dans un volume 3D, comme par exemple le mapping d’une tranche tomographique dans un système de coordonnées 3D d’un volume en particulier. Nos avons proposé une formulation scalable, modulaire et flexible pour accommoder des termes d'ordre élevé et de rang bas, qui peut sélectionner le plan et estimer la déformation dans le plan de manière simultanée par une seule approche d'optimisation. Le cadre proposé est instancié en différentes variantes, basés sur différentes topologies du graph, définitions de l'espace des étiquettes et constructions de l'énergie. Le potentiel de notre méthode a été démontré sur des données réelles ainsi que des données simulées dans le cadre d’une résonance magnétique d’ultrason (où le cadre d’installation et les stratégies d’optimisation ont été considérés).Les deux autres contributions inclues dans ce travail de thèse, sont liées au problème de l’intégration de l’information sémantique dans la procédure de recalage (indépendamment de la dimensionnalité des images). Actuellement, la plupart des méthodes comprennent une seule fonction métrique pour expliquer la similarité entre l’image source et l’image cible. Nous soutenons que l'intégration des informations sémantiques pour guider la procédure de recalage pourra encore améliorer la précision des résultats, en particulier en présence d'étiquettes sémantiques faisant du recalage un problème spécifique adapté à chaque domaine.Nous considérons un premier scénario en proposant un classificateur pour inférer des cartes de probabilité pour les différentes structures anatomiques dans les images d'entrée. Notre méthode vise à recaler et segmenter un ensemble d'images d'entrée simultanément, en intégrant cette information dans la formulation de l'énergie. L'idée principale est d'utiliser ces cartes estimées des étiquettes sémantiques (fournie par un classificateur arbitraire) comme un substitut pour les données non-étiquettées, et les combiner avec le recalage déformable pour améliorer l'alignement ainsi que la segmentation.Notre dernière contribution vise également à intégrer l'information sémantique pour la procédure de recalage, mais dans un scénario différent. Dans ce cas, au lieu de supposer que nous avons des classificateurs arbitraires pré-entraînés à notre disposition, nous considérons un ensemble d’annotations précis (vérité terrain) pour une variété de structures anatomiques. Nous présentons une contribution méthodologique qui vise à l'apprentissage des critères correspondants au contexte spécifique comme une agrégation des mesures de similarité standard à partir des données annotées, en utilisant une adaptation de l’algorithme « Latent Structured Support Vector Machine ». / Image registration methods, which aim at aligning two or more images into one coordinate system, are among the oldest and most widely used algorithms in computer vision. Registration methods serve to establish correspondence relationships among images (captured at different times, from different sensors or from different viewpoints) which are not obvious for the human eye. A particular type of registration algorithm, known as graph-based deformable registration methods, has become popular during the last decade given its robustness, scalability, efficiency and theoretical simplicity. The range of problems to which it can be adapted is particularly broad. In this thesis, we propose several extensions to the graph-based deformable registration theory, by exploring new application scenarios and developing novel methodological contributions.Our first contribution is an extension of the graph-based deformable registration framework, dealing with the challenging slice-to-volume registration problem. Slice-to-volume registration aims at registering a 2D image within a 3D volume, i.e. we seek a mapping function which optimally maps a tomographic slice to the 3D coordinate space of a given volume. We introduce a scalable, modular and flexible formulation accommodating low-rank and high order terms, which simultaneously selects the plane and estimates the in-plane deformation through a single shot optimization approach. The proposed framework is instantiated into different variants based on different graph topology, label space definition and energy construction. Simulated and real-data in the context of ultrasound and magnetic resonance registration (where both framework instantiations as well as different optimization strategies are considered) demonstrate the potentials of our method.The other two contributions included in this thesis are related to how semantic information can be encompassed within the registration process (independently of the dimensionality of the images). Currently, most of the methods rely on a single metric function explaining the similarity between the source and target images. We argue that incorporating semantic information to guide the registration process will further improve the accuracy of the results, particularly in the presence of semantic labels making the registration a domain specific problem.We consider a first scenario where we are given a classifier inferring probability maps for different anatomical structures in the input images. Our method seeks to simultaneously register and segment a set of input images, incorporating this information within the energy formulation. The main idea is to use these estimated maps of semantic labels (provided by an arbitrary classifier) as a surrogate for unlabeled data, and combine them with population deformable registration to improve both alignment and segmentation.Our last contribution also aims at incorporating semantic information to the registration process, but in a different scenario. In this case, instead of supposing that we have pre-trained arbitrary classifiers at our disposal, we are given a set of accurate ground truth annotations for a variety of anatomical structures. We present a methodological contribution that aims at learning context specific matching criteria as an aggregation of standard similarity measures from the aforementioned annotated data, using an adapted version of the latent structured support vector machine (LSSVM) framework.

Des efforts de recherche considérables ont été déployés afin d'améliorer les résultats de traitement de cancers pulmonaires. L'étude de la déformation de l'anatomie du patient causée par la ventilation pulmonaire est au coeur du processus de planification de traitement radio-oncologique. À l'aide d'images de tomodensitométrie quadridimensionnelles (4DCT), une simulation dosimétrique peut être calculée sur les 10 ensembles d'images du 4DCT. Une méthode doit être employée afin de recombiner la dose de radiation calculée sur les 10 anatomies représentant une phase du cycle respiratoire. L'utilisation de recalage déformable d'images (DIR), une méthode de traitement d'images numériques, génère neuf champs vectoriels de déformation permettant de rapporter neuf ensembles d'images sur un ensemble de référence correspondant habituellement à la phase d'expiration profonde du cycle respiratoire. L'objectif de ce projet est d'établir une méthode de génération de champs de déformation à l'aide de la DIR conjointement à une méthode de validation de leur précision. Pour y parvenir, une méthode de segmentation automatique basée sur la déformation surfacique de surface à été créée. Cet algorithme permet d'obtenir un champ de déformation surfacique qui décrit le mouvement de l'enveloppe pulmonaire. Une interpolation volumétrique est ensuite appliquée dans le volume pulmonaire afin d'approximer la déformation interne des poumons. Finalement, une représentation en graphe de la vascularisation interne du poumon a été développée afin de permettre la validation du champ de déformation. Chez 15 patients, une erreur de recouvrement volumique de 7.6 ± 2.5[%] / 6.8 ± 2.1[%] et une différence relative des volumes de 6.8 ± 2.4 [%] / 5.9 ± 1.9 [%] ont été calculées pour le poumon gauche et droit respectivement. Une distance symétrique moyenne 0.8 ± 0.2 [mm] / 0.8 ± 0.2 [mm], une distance symétrique moyenne quadratique de 1.2 ± 0.2 [mm] / 1.3 ± 0.3 [mm] et une distance symétrique maximale 7.7 ± 2.4 [mm] / 10.2 ± 5.2 [mm] ont aussi été calculées pour le poumon gauche et droit respectivement. Finalement, 320 ± 51 bifurcations ont été détectées dans le poumons droit d'un patient, soit 92 ± 10 et 228 ± 45 bifurcations dans la portion supérieure et inférieure respectivement. Nous avons été en mesure d'obtenir des champs de déformation nécessaires pour la recombinaison de dose lors de la planification de traitement radio-oncologique à l'aide de la méthode de déformation hiérarchique des surfaces. Nous avons été en mesure de détecter les bifurcations de la vascularisation pour la validation de ces champs de déformation. / Purpose: To allow a reliable deformable image registration (DIR) method for dose calculation in radiation therapy and to investigate an automatic vessel bifurcations detection algorithm for DIR assessment to improve lung cancer radiation treatment. Methods: 15 4DCT datasets are acquired and deep exhale respiratory phases are exported to Varian treatment planning system (TPS) Eclipse^{\text{TM}} for contouring. Voxelized contours are smoothed by a Gaussian filter and then transformed into a surface mesh representation. Such mesh is adapted by rigid and elastic deformations based on hierarchical surface deformation to match each subsequent lung volumes. The segmentation efficiency is assessed by comparing the segmented lung contour and the TPS contour considering two volume metrics, defined as Volumetric Overlap Error (VOE) [%] and Relative Volume Difference (RVD) [%] and three surface metrics, defined as Average Symmetric Surface Distance (ASSD) [mm], Root Mean Square Symmetric Surface Distance (RMSSD) [mm] and Maximum Symmetric Surface Distance (MSSD) [mm]. Vesselness filter was applied within the segmented lung volumes to identify blood vessels and airways. Segmented blood vessels and airways were skeletonised using a hierarchical curve-skeleton algorithm based on a generalized potential field approach. A graph representation of the computed skeleton was generated to assign one of three labels to each node: the termination node, the continuation node or the branching node. Results: The volume metrics obtained are a VOE of 7.6 ± 2.5[%] / 6.8 ± 2.1[%] and a RVD of 6.8 ± 2.4 [%] / 5.9 ± 1.9 [%] respectively for left and right lung. The surface metrics computed are an ASSD of 0.8 ± 0.2 [mm] / 0.8 ± 0.2 [mm], a RMSSD of 1.2 ± 0.2 [mm] / 1.3 ± 0.3 [mm] and a MSSD of 7.7 ± 2.4 [mm] / 10.2 ± 5.2 [mm] respectively for left and right lung. 320 ± 51 bifurcations were detected in the right lung of a patient for the 10 breathing phases. 92 ± 10 bifurcations were found in the upper half of the lung and 228 ± 45 bifurcations were found in the lower half of the lung. Discrepancies between ten vessel trees were mainly ascribed to the segmentation methode. Conclusions: This study shows that the morphological segmentation algorithm can provide an automatic method to capture an organ motion from 4DCT scans and translate it into a volume deformation grid needed by DIR method for dose distribution combination. We also established an automatic method for DIR assessment using the morphological information of the patient anatomy. This approach allows a description of the lung’s internal structure movement, which is needed to validate the DIR deformation fields.