Histopathological classification and grading of biopsy specimens play an important role in early cancer detection and prognosis. Nottingham Grading System (NGS) is one of the standard grading procedures used in breast cancer assessment, where three parameters, Mitotic Count (MC), Nuclear Pleomorphism (NP), and Tubule Formation (TF) are used for prognostic information. The grading takes into account the deviations in cellular structures and appearance between tumour and normal cells, using measures such as density, size, colour, and regularity. Cell structures in tissue images are also known to exhibit multifractal characteristics. This research focused on the multifractal properties of several graded biopsy specimens and analysed the dependency and variation of the fractal parameters with respect to the scores pre-assigned by pathologists. The effectiveness of using multifractal techniques on breast cancer grading was measured with a set of quantitative evaluations for MC, NP, and TF criteria. The developed method for MC scoring has obtained 82.87% true positive rate on detecting mitotic cells. Furthermore, the overall positive classification rates for NP and TF analysis were 67.38% and 71.82%, respectively, while obtaining 30.26% of false classification rate for NP analysis and 27.17% for TF analysis. The results have shown that multifractal formalism is a feasible and novel method that could be used for automatic grading of biopsy sections.

La pathologie numérique s’est développée ces dernières années grâce à l’avancée récente des algorithmes d’analyse d’images et de la puissance de calcul. Notamment, elle se base de plus en plus sur les images histologiques. Ce format de données a la particularité de révéler les objets biologiques recherchés par les experts en utilisant des marqueurs spécifiques tout en conservant la plus intacte possible l’architecture du tissu. De nombreuses méthodes d’aide au diagnostic à partir de ces images se sont récemment développées afin de guider les pathologistes avec des mesures quantitatives dans l’établissement d’un diagnostic. Les travaux présentés dans cette thèse visent à adresser les défis liés à l’analyse d’images histologiques, et à développer un modèle d’aide au diagnostic se basant principalement sur les relations spatiales, une information que les méthodes existantes n’exploitent que rarement. Une technique d’analyse de la texture à plusieurs échelles est tout d’abord proposée afin de détecter la présence de tissu malades dans les images. Un descripteur d’objets, baptisé Force Histogram Decomposition (FHD), est ensuite introduit dans le but d’extraire les formes et l’organisation spatiale des régions définissant un objet. Finalement, les images histologiques sont décrites par les FHD mesurées à partir de leurs différents types de tissus et des objets biologiques marqués qu’ils contiennent. Les expérimentations intermédiaires ont montré que les FHD parviennent à correctement reconnaitre des objets sur fonds uniformes y compris dans les cas où les relations spatiales ne contiennent à priori pas d’informations pertinentes. De même, la méthode d’analyse de la texture s’avère satisfaisante dans deux types d’applications médicales différents, les images histologiques et celles de fond d’œil, et ses performances sont mises en évidence au travers d’une comparaison avec les méthodes similaires classiquement utilisées pour l’aide au diagnostic. Enfin, la méthode dans son ensemble a été appliquée à l’aide au diagnostic pour établir la sévérité d’un cancer via deux ensembles d’images histologiques, un de foies métastasés de souris dans le contexte du projet ANR SPIRIT, et l’autre de seins humains dans le cadre du challenge CPR 2014 : Nuclear Atypia. L’analyse des relations spatiales et des formes à deux échelles parvient à correctement reconnaitre les grades du cancer métastasé dans 87, 0 % des cas et fourni des indications quant au degré d’atypie nucléaire. Ce qui prouve de fait l’efficacité de la méthode et l’intérêt d’encoder l’organisation spatiale dans ce type d’images particulier. / During the last decade, digital pathology has been improved thanks to the advance of image analysis algorithms and calculus power. Particularly, it is more and more based on histology images. This modality of images presents the advantage of showing only the biological objects targeted by the pathologists using specific stains while preserving as unharmed as possible the tissue structure. Numerous computer-aided diagnosis methods using these images have been developed this past few years in order to assist the medical experts with quantitative measurements. The studies presented in this thesis aim at adressing the challenges related to histology image analysis, as well as at developing an assisted diagnosis model mainly based on spatial relations, an information that currently used methods rarely use. A multiscale texture analysis is first proposed and applied to detect the presence of diseased tissue. A descriptor named Force Histogram Decomposition (FHD) is then introduced in order to extract the shapes and spatial organisation of regions within an object. Finally, histology images are described by the FHD measured on their different types of tissue and also on the stained biological objects inside every types of tissue. Preliminary studies showed that the FHD are able to accurately recognise objects on uniform backgrounds, including when spatial relations are supposed to hold no relevant information. Besides, the texture analysis method proved to be satisfactory in two different medical applications, namely histology images and fundus photographies. The performance of these methods are highlighted by a comparison with the usual approaches in their respectives fields. Finally, the complete method has been applied to assess the severity of cancers on two sets of histology images. The first one is given as part of the ANR project SPIRIT and presents metastatic mice livers. The other one comes from the challenge ICPR 2014 : Nuclear Atypia and contains human breast tissues. The analysis of spatial relations and shapes at two different scales achieves a correct recognition of metastatic cancer grades of 87.0 % and gives insight about the nuclear atypia grade. This proves the efficiency of the method as well as the relevance of measuring the spatial organisation in this particular type of images.