Visualiser et analyser automatiquement des coupes fines de tumeurs cancéreuses sont des enjeux majeurs pour progresser dans la compréhension des mécanismes de la cancérisation et mettre en évidence de nouveaux indicateurs de réponse au traitement. Les nouveaux scanners microscopiques apportent une aide essentielle en fournissant des images couleur haute résolution de la totalité des lames histologiques. Ceci permet de s'affranchir de l'hétérogénéité de distribution des marqueurs à quantifier. La taille de ces images, appelées lames virtuelles, peut atteindre plusieurs GigaOctets. L'objectif de cette thèse est de concevoir et d'implémenter une méthode de segmentation permettant de séparer les différents types de compartiments stromaux présents sur une lame virtuelle de carcinome ovarien. Les deux principales difficultés à surmonter sont la taille des images, qui empêche de les traiter en une seule fois, et le choix de critères permettant de différencier les compartiments stromaux. Pour répondre à ces problèmes, nous avons développé une méthode générique de segmentation multiéchelle qui associe un découpage judicieux de l'image à une caractérisation de chaque compartiment stromal, considéré comme une texture. Cette caractérisation repose sur une modélisation multiéchelle des textures par un modèle d'arbre de Markov caché, appliqué sur les coefficients de la décomposition en ondelettes. Plutôt que de considérer tous les types de compartiments stromaux simultanément, nous avons choisi de transformer le problème multiclasse en un ensemble de problèmes binaires. Nous avons également analysé l'influence d'hyperparamètres (représentation couleur, type d'ondelettes et nombre de niveaux de résolutions intégrés à l'analyse) sur la segmentation, ce qui nous a permis de sélectionner les classifieurs les mieux adaptés. Différentes méthodes de combinaison des décisions des meilleurs classifieurs ont ensuite été étudiées. La méthode a été testée sur une vingtaine de lames virtuelles. Afin d'évaluer les résultats de la segmentation, nous avons mis en œuvre un protocole de tests fondé sur une approche stéréologique. Les résultats sur différents jeux de tests (images synthétiques, images de petite taille, images réelles) sont présentés et commentés. Les résultats obtenus sur les lames virtuelles sont prometteurs, compte tenu de la variabilité des échantillons et de la difficulté, pour un expert, à identifier parfois très précisément un compartiment : environ 60% des points sont correctement classés (entre 35% et 80% selon les lames).

Ce travail s’inscrit dans le cadre du développement d’une médecine davantage personnalisée et préventive, pour laquelle la fusion d’informations multi modale et de différentes représentations d'une même modalité sont nécessaires afin d'aboutir à une quantification fiable des images médicales en oncologie. Dans cette étude nous présentons deux applications de traitement et d'analyse des images médicales: le débruitage des images TEP et la détermination des volumes anatomo-fonctionnels des tumeurs en imagerie multi modale TEP/TDM. Pour le débruitage des images TEP, nous avons mis en place une approche intitulée "WCD" permettant de bénéficier des caractéristiques complémentaires de la transformée en ondelettes et la transformée en Curvelets afin de mieux représenter les structures isotropiques et anisotropiques dans ces images, ce qui permet de réduire le bruit tout en minimisant les pertes d'informations utiles dans les images TEP. En ce qui concerne la deuxième application, nous avons proposé une méthode de segmentationTEP/TDM intitulée "WCHMT" permettant d'exploiter la spécificité des arbres de Markov caché de prendre en compte les dépendances statistiques entre l’ensemble des données. Ce modèle permet de gérer simultanément les propriétés complémentaires de l’imagerie fonctionnelle et l’imagerie morphologique dans un cadre unifié où les données sont représentées dans le domaine des Contourlets. Le débruitage en TEP a abouti à une hausse significative du rapport signal sur-bruit (SNR) en garantissant la moindre variation de l'intensité et du contraste local. Quant à la segmentation multimodale TEP/TDM, elle a démontré une bonne précision lors de la détermination du volume tumoral en terme du coefficient de Dice (DSC) avec le meilleur compromis entre la sensibilité (SE) et la valeur prédictive positive (PPV) par rapport à la vérité terrain. / This thesis is a part of the development of more personalized and preventive medicine, for which a fusion of multi modal information and diverse representations of the same modality is needed in order to get accurate and reliable quantification of medical images in oncology. In this study we present two applications for image processing analysis: PET denoising and multimodal PET/CT tumor segmentation. The PET filtering approach called "WCD" take benefit from the complementary features of the wavelet and Curvelets transforms in order to better represent isotropic and anisotropic structures in PET images. This algorithm allows the reduction of the noise while minimizing the loss of useful information in PET images. The PET/CT tumor segmentation application is performed through a Markov model as a probabilistic quadtree graph namely a Hidden Markov Tree (HMT).Our motivation for using such a model is to provide fast computation, improved robustness and an effective interpretational framework for image analysis on oncology. Thanks to two efficient aspects (multi observation and multi resolution), when dealing with Hidden Markov Tree (HMT), we exploit joint statistical dependencies between hidden states to handle the whole data stack. This model called "WCHMT" take advantage of the high resolution of the anatomic imaging (CT) and the high contrast of the functional imaging (PET). The denoising approach led to the best trade-off between denoising quality and structure preservation with the least quantitative bias in absolute intensity recovery. PET/CT segmentation's results performed with WCHMT method has proven a reliable segmentation when providing high Dice Similarity Coeffcient (DSC) with the best trade-off between sensitivity (SE) and positive predictive value (PPV).