Ces travaux de thèse portent sur la proposition de stratégies de segmentation des tumeurs cancéreuses dans un contexte multimodal et multitemporel. La multimodalité fait référence au couplage de données TEP/TDM pour exploiter conjointement les deux sources d’information pour améliorer les performances de la segmentation. La multitemporalité fait référence à la disposition des images acquises à différents dates, ce qui limite une correspondance spatiale possible entre elles.Dans une première méthode, une structure arborescente est utilisée pour traiter et pour extraire des informations afin d’alimenter une segmentation par marche aléatoire. Un ensemble d'attributs est utilisé pour caractériser les nœuds de l'arbre, puis le filtrer et projeter des informations afin de créer une image vectorielle. Un marcheur aléatoire guidé par les données vectorielles provenant de l'arbre est utilisé pour étiqueter les voxels à des fins de segmentation.La deuxième méthode traite le problème de la multitemporalité en modifiant le paradigme de voxel à voxel par celui de nœud à nœud. Deux arbres sont alors modélisés à partir de la TEP et de la TDM avec injection de contraste pour comparer leurs nœuds par une différence entre leurs attributs et ainsi correspondre à ceux considérés comme similaires en supprimant ceux qui ne le sont pas.Dans une troisième méthode, qui est une extension de la première, l'arbre calculé à partir de l'image est directement utilisé pour mettre en œuvre l'algorithme développé. Une structure arborescente est construite sur la TEP, puis les données TDM sont projetées sur l’arbre en tant qu’informations contextuelles. Un algorithme de stabilité de nœud est appliqué afin de détecter et d'élaguer les nœuds instables. Des graines, extraites de la TEP, sont projetées dans l'arbre pour fournir des étiquettes (pour la tumeur et le fond) à ses nœuds correspondants et les propager au sein de la hiérarchie. Les régions évaluées comme incertaines sont soumises à une méthode de marche aléatoire vectorielle pour compléter l'étiquetage de l'arbre et finaliser la segmentation. / This work focuses on the proposition of cancerous tumor segmentation strategies in a multimodal and multitemporal context. Multimodal scope refers to coupling PET/CT data in order to jointly exploit both information sources with the purpose of improving segmentation performance. Multitemporal scope refers to the use of images acquired at different dates, which limits a possible spatial correspondence between them.In a first method, a tree is used to process and extract information dedicated to feed a random walker segmentation. A set of region-based attributes is used to characterize tree nodes, filter the tree and then project data into the image space for building a vectorial image. A random walker guided by vectorial tree data on image lattice is used to label voxels for segmentation.The second method is geared toward multitemporality problem by changing voxel-to-voxel for node-to-node paradigm. A tree structure is thus applied to model two hierarchical graphs from PET and contrast-enhanced CT, respectively, and compare attribute distances between their nodes to match those assumed similar whereas discarding the others.In a third method, namely an extension of the first one, the tree is directly involved as the data-structure for algorithm application. A tree structure is built on the PET image, and CT data is then projected onto the tree as contextual information. A node stability algorithm is applied to detect and prune unstable attribute nodes. PET-based seeds are projected into the tree to assign node seed labels (tumor and background) and propagate them by hierarchy. The uncertain nodes, with region-based attributes as descriptors, are involved in a vectorial random walker method to complete tree labeling and build the segmentation.

De nombreuses applications issues de la vision par ordinateur et de la reconnaissance des formes requièrent une analyse de l'image multi-échelle basée sur ses régions. De nos jours, personne ne considérerait une approche orientée « pixel » comme une solution viable pour traiter ce genre de problèmes. Pour répondre à cette demande, la Morphologie Mathématique a fourni des représentations hiérarchiques des régions de l'image telles que l'Arbre des Formes (AdF). L'AdF représente l'image par un arbre d'inclusion de ses lignes de niveaux. L'AdF est ainsi auto-dual et invariant au changement de contraste, ce qui fait de lui une structure bien adaptée aux traitements d'images de haut niveau. Néanmoins, il est seulement défini aux images en niveaux de gris et la plupart des tentatives d'extension aux images multivariées (e.g. en imposant un ordre total «arbitraire ») ne sont pas satisfaisantes. Dans ce manuscrit, nous présentons une nouvelle approche pour étendre l'AdF scalaire aux images multivariées : l'Arbre des Formes Multivarié (AdFM). Cette représentation est une « fusion » des AdFs calculés marginalement sur chaque composante de l'image. On vise à fusionner les formes marginales de manière « sensée » en préservant un nombre maximal d'inclusion. La méthode proposée a des fondements théoriques qui consistent en l'expression de l'AdF par une carte topographique de la variation totale curvilinéaire depuis la bordure de l'image. C'est cette reformulation qui a permis l'extension de l'AdF aux données multivariées. De plus, l'AdFM partage des propriétés similaires avec l'AdF scalaire ; la plus importante étant son invariance à tout changement ou inversion de contraste marginal (une sorte d'auto-dualité dans le cas multidimensionnel). Puisqu'il est évident que, vis-à-vis du nombre sans cesse croissant de données à traiter, nous ayons besoin de techniques rapides de traitement d'images, nous proposons un algorithme efficace qui permet de construire l'AdF en temps quasi-linéaire vis-à-vis du nombre de pixels et quadratique vis-à-vis du nombre de composantes. Nous proposons également des algorithmes permettant de manipuler l'arbre, montrant ainsi que, en pratique, l'AdFM est une structure facile à manipuler, polyvalente, et efficace. Finalement, pour valider la pertinence de notre approche, nous proposons quelques expériences testant la robustesse de notre structure aux composantes non-pertinentes (e.g. avec du bruit ou à faible dynamique) et nous montrons que ces défauts n'affectent pas la structure globale de l'AdFM. De plus, nous proposons des applications concrètes utilisant l'AdFM. Certaines sont juste des modifications mineures aux méthodes employant d'ores et déjà l'AdF scalaire mais adaptées à notre nouvelle structure. Par exemple, nous utilisons l'AdFM à des fins de filtrage, segmentation, classification et de détection d'objet. De ces applications, nous montrons ainsi que les méthodes basées sur l'AdFM surpassent généralement leur analogue basé sur l'AdF, démontrant ainsi le potentiel de notre approche / Nowadays, the demand for multi-scale and region-based analysis in many computer vision and pattern recognition applications is obvious. No one would consider a pixel-based approach as a good candidate to solve such problems. To meet this need, the Mathematical Morphology (MM) framework has supplied region-based hierarchical representations of images such as the Tree of Shapes (ToS). The ToS represents the image in terms of a tree of the inclusion of its level-lines. The ToS is thus self-dual and contrast-change invariant which make it well-adapted for high-level image processing. Yet, it is only defined on grayscale images and most attempts to extend it on multivariate images - e.g. by imposing an “arbitrary” total ordering - are not satisfactory. In this dissertation, we present the Multivariate Tree of Shapes (MToS) as a novel approach to extend the grayscale ToS on multivariate images. This representation is a mix of the ToS's computed marginally on each channel of the image; it aims at merging the marginal shapes in a “sensible” way by preserving the maximum number of inclusion. The method proposed has theoretical foundations expressing the ToS in terms of a topographic map of the curvilinear total variation computed from the image border; which has allowed its extension on multivariate data. In addition, the MToS features similar properties as the grayscale ToS, the most important one being its invariance to any marginal change of contrast and any marginal inversion of contrast (a somewhat “self-duality” in the multidimensional case). As the need for efficient image processing techniques is obvious regarding the larger and larger amount of data to process, we propose an efficient algorithm that can be build the MToS in quasi-linear time w.r.t. the number of pixels and quadraticw.r.t. the number of channels. We also propose tree-based processing algorithms to demonstrate in practice, that the MToS is a versatile, easy-to-use, and efficient structure. Eventually, to validate the soundness of our approach, we propose some experiments testing the robustness of the structure to non-relevant components (e.g. with noise or with low dynamics) and we show that such defaults do not affect the overall structure of the MToS. In addition, we propose many real-case applications using the MToS. Many of them are just a slight modification of methods employing the “regular” ToS and adapted to our new structure. For example, we successfully use the MToS for image filtering, image simplification, image segmentation, image classification and object detection. From these applications, we show that the MToS generally outperforms its ToS-based counterpart, demonstrating the potential of our approach

Le processus de discrétisation faisant inévitablement appel à des capteurs, et ceux-ci étant limités de par leur nature, de nombreux effets secondaires apparaissent alors lors de ce processus; en particulier, nous perdons la propriété d'être "bien-composé" dans le sens où deux objects discrétisés peuvent être connectés ou non en fonction de la connexité utilisée dans l'image discrète, ce qui peut amener à des ambigüités. De plus, les images discrétisées sont des tableaux de valeurs numériques, et donc ne possèdent pas de topologie par nature, contrairement à notre modélisation usuelle du monde en mathématiques et en physique. Perdre toutes ces propriétés rend difficile l'élaboration d'algorithmes topologiquement corrects en traitement d'images: par exemple, le calcul de l'arbre des formes nécessite que la representation d'une image donnée soit continue et bien-composée; dans le cas contraire, nous risquons d'obtenir des anomalies dans le résultat final. Quelques representations continues et bien-composées existent déjà, mais elles ne sont pas simultanément n-dimensionnelles et auto-duales. La n-dimensionalité est cruciale sachant que les signaux usuels sont de plus en plus tridimensionnels (comme les vidéos 2D) ou 4-dimensionnels (comme les CT-scans). L'auto-dualité est nécéssaire lorsqu'une même image contient des objets a contrastes divers. Nous avons donc développé une nouvelle façon de rendre les images bien-composées par interpolation de façon auto-duale et en n-D; suivie d'une immersion par l'opérateur span, cette interpolation devient une représentation auto-duale continue et bien-composée du signal initial n-D. Cette représentation bénéficie de plusieurs fortes propriétés topologiques: elle vérifie le théorème de la valeur intermédiaire, les contours de chaque coupe de la représentation sont déterminés par une union disjointe de surfaces discrète, et ainsi de suite / Digitization of the real world using real sensors has many drawbacks; in particular, we loose ``well-composedness'' in the sense that two digitized objects can be connected or not depending on the connectivity we choose in the digital image, leading then to ambiguities. Furthermore, digitized images are arrays of numerical values, and then do not own any topology by nature, contrary to our usual modeling of the real world in mathematics and in physics. Loosing all these properties makes difficult the development of algorithms which are ``topologically correct'' in image processing: e.g., the computation of the tree of shapes needs the representation of a given image to be continuous and well-composed; in the contrary case, we can obtain abnormalities in the final result. Some well-composed continuous representations already exist, but they are not in the same time n-dimensional and self-dual. n-dimensionality is crucial since usual signals are more and more 3-dimensional (like 2D videos) or 4-dimensional (like 4D Computerized Tomography-scans), and self-duality is necessary when a same image can contain different objects with different contrasts. We developed then a new way to make images well-composed by interpolation in a self-dual way and in n-D; followed with a span-based immersion, this interpolation becomes a self-dual continuous well-composed representation of the initial n-D signal. This representation benefits from many strong topological properties: it verifies the intermediate value theorem, the boundaries of any threshold set of the representation are disjoint union of discrete surfaces, and so on

Aquesta tesi proposa una estructura de dades per emmagatzemar imatges tridimensionals. L'estructura da dades té forma d'arbre i codifica les components connexes dels conjunts de nivell de la imatge. Aquesta estructura és la eina bàsica per moltes aplicacions proposades: operadors morfològics tridimensionals, visualització d'imatges mèdiques, anàlisi d'histogrames de color, seguiment d'objectes en vídeo i detecció de vores. Motivada pel problema de la completació de vores, la tesi conté un estudi de com l'eliminació de soroll mitjançant variació total anisòtropa es pot fer servir per calcular conjunts de Cheeger en mètriques anisòtropes. Aquests conjunts de Cheeger anisòtrops es poden utilitzar per trobar òptims globals d'alguns funcionals per completar vores. També estan relacionats amb certs invariants afins que s'utilitzen en reconeixement d'objectes, i en la tesi s'explicita aquesta relació. / This thesis proposes a tree data structure to encode the connected components of level sets of 3D images. This data structure is applied as a main tool in several proposed applications: 3D morphological operators, medical image visualization, analysis of color histograms, object tracking in videos and edge detection. Motivated by the problem of edge linking, the thesis contains also an study of anisotropic total variation denoising as a tool for computing anisotropic Cheeger sets. These anisotropic Cheeger sets can be used to find global optima of a class of edge linking functionals. They are also related to some affine invariant descriptors which are used in object recognition, and this relationship is laid out explicitly.