Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de "complexité". Dans ce cadre, le processus de sélection de modèle revient à trouver la "complexité" optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyperparamètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie.<br>L'approche habituelle pour déterminer ces hyperparamètres consiste à utiliser une "grille". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyperparamètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyperparamètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres.<br>La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type "réduction de dimension". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

La parcellisation du cerveau humain en aires fonctionnelles est un problème complexe mais majeur pour la compréhension du fonctionnement du cerveau et pourrait avoir des applications médicales importantes en neurochirurgie par exemple pour mieux identifier les zones fonctionnelles à sauvegarder. Cet objectif va de pair avec l'idée de construire le connectome cérébral humain, qui n'est autre que le réseau de ses connexions.Pour définir un tel réseau, il faut en effet définir les éléments de ce réseau de connexions : c'est-à-dire avoir un découpage du cerveau en régions. Il existe de multiples manières et critères pour identifier ces régions et à ce jour il n'y a pas de parcellisation universelle du cortex. Dans cette thèse nous étudierons la possibilité d'effectuer cette parcellisation en fonction des données de connectivité anatomique, issues de l'imagerie par résonance magnétique de diffusion, qui est une technique d'acquisition permettant de reconstruire les faisceaux de neurones cérébraux de manière non invasive. Nous nous placerons dans un cadre surfacique en étudiant seulement la surface corticale et les connexions anatomiques sous-jacentes. Dans ce contexte nous présenterons un ensemble de nouveaux outils pour construire, visualiser et simuler le connectome cérébral humain, dans un cadre surfacique et à partir des données de connectivité anatomique reconstruites par IRM, et ceci pour un groupe de sujets. A partir de ces outils nous présenterons des méthodes de réduction de dimension des données de connectivité, que nous appliquerons pour parcelliser le cortex entier de quelques sujets. Nous proposons aussi une nouvelle manière de décomposer les données de connectivité au niveau d'un groupe de sujets en tenant compte de la variabilité inter-individuelle. Cette méthode sera testée et comparée à d'autres méthodes sur des données simulées et des données réelles. Les enjeux de ce travail sont multiples, tant au niveau méthodologique (comparaison de différents algorithmes de tractographie par exemple) que clinique (étude du lien entre altérations des connexions et pathologie).

Ce mémoire résume mes travaux de recherche portant sur les trois thèmes suivants : inférence pour les lois à queue de type Weibull, estimation de quantiles extrêmes conditionnels et réduction de dimension pour la régression. Dans le cadre du premier thème, nous avons proposé de nombreux estimateurs du paramètre de forme et de quantiles extrêmes pour des lois à queue de type Weibull. Leurs propriétés théoriques ont aussi été étudiées. Les deuxième et troisième thèmatiques ont pour point de départ une application concrête respectivement l'estimation de niveaux de retour de pluies et l'étude d'images hyperspectrales Martienne. D'un point de vue théorique, nous avons proposé et étudié, dans le cadre du deuxième thème, des estimateurs de quantiles extrêmes conditionnels. Au sein du troisième thème, nous avons proposé une méthode de régularisation pour la régression inverse par tranches (SIR).

Nous considérons des modèles de régression où la variable expliquée est censurée à droite aléatoirement. Nous proposons de nouveaux estimateurs de la fonction de régression dans des modèles paramétriques, et nous proposons une procédure de test non paramétrique d'adéquation à ces modèles. Nous prolongeons ces méthodes à l'étude du modèle semi-paramétrique "single-index", généralisant ainsi des techniques de réduction de dimension utilisées en l'absence de censure. Nous nous penchons tout d'abord sur le cas d'un modèle où la variable de censure est indépendante de la variable expliquée ainsi que des variables explicatives. Nous travaillons dans un second temps dans un cadre moins restrictif où la variable expliquée et la censure sont indépendantes conditionnellement aux variables explicatives. Une difficulté spécifique à ce dernier type de modèle tient en l'impossibilité des techniques actuelles à estimer une espérance conditionnelle (de façon paramétrique ou non) en présence de plus d'une<br />variable explicative. Nous développons une nouvelle approche de réduction de la dimension afin de résoudre ce problème.

Les générateurs de vapeur sont d'imposants échangeurs de chaleur qui alimentent les turbines des centrales nucléaires à eau pressurisée. Au cours de leur exploitation, des dépôts d'oxydes s'y accumulent et obstruent progressivement des trous prévus pour le passage du fluide. Ce phénomène, appelé colmatage, pose des problèmes de sûreté. Une méthode de diagnostic est nécessaire pour optimiser la stratégie de maintenance permettant de s'en prémunir. La piste explorée dans cette thèse est l'analyse de la réponse dynamique des générateurs de vapeur lors de transitoire de puissance, à l'aide d'un modèle physique monodimensionnel. Deux améliorations ont été apportées au modèle existant au cours de la thèse : la prise en compte des débits perpendiculaires à l'axe du générateur de vapeur et la modélisation du déséquilibre cinématique entre la phase liquide et la phase vapeur. Ces éléments ont ajouté des degrés de liberté permettant de mieux reproduire le comportement réel des générateurs de vapeur. Une nouvelle méthodologie de calage et de validation a alors été proposée afin de garantir la robustesse du modèle.Le problème inverse initial était mal posé car plusieurs configurations spatiales de colmatage peuvent donner des réponses identiques. La magnitude relative de l'effet des dépôts suivant leur localisation a été évaluée par analyse de sensibilité avec la méthode de Sobol'. La dimension de la sortie fonctionnelle du modèle a au préalable été réduite par une analyse en composantes principales.Enfin, une méthode de réduction de dimension appelée régression inverse par tranches a été mise en œuvre pour déterminer dessous-espaces de projection optimaux pour le diagnostic. Une méthode de diagnostic plus robuste et mieux maitrisée que celle existante a pu être proposée grâce à cette nouvelle formulation.

L'objectif de la thèse est de définir les bases conceptuelles permettant de développer des méthodes efficaces et adaptées à la classification dans les espaces de grande dimension. Dans ce contexte, les méthodes à noyau s'avèrent particulièrement adaptées. En effet, au-delà de leurs propriétés de régularisation - régularisation de type Tikhonov (Régression Ridge, Support Vector Machines, ... ) ou réduction de dimension (Partial Least Squares, Régression sur Composantes Principales,...) – elles offrent des avantages algorithmiques majeurs lorsque la dimension des données est supérieure au nombre d'observations. Ces méthodes ont fait l'objet d'une étude approfondie à la fois du point de vue théorique et appliqué dans les deux premiers chapitres de la thèse.<br /><br />Les deux chapitres suivants proposent de nouvelles méthodes, découlant de cette étude. Elles se fondent sur des principes de réduction de dimension supervisée en se focalisant principalement sur la régression PLS, particulièrement bien adaptée à la gestion de données de grande dimension. Il s'agissait de concevoir des algorithmes de classification s'appuyant sur les principes algorithmiques de la régression PLS. Nous avons proposé, la Kernel Logistic PLS, modèle de classification nonlinéaire et binaire basé à la fois sur la construction de variables latentes et sur des transformations du type Empirical Kernel Map. Nous avons étendu la KL-PLS au cas où la variable à prédire est polytomique donnant naissance à la Kernel Multinomial Logistic PLS regression.<br />Enfin dans les deux derniers chapitres, nous avons appliqué ces méthodes à de nombreux domaines, notamment en analyse d'images. Nous avons ainsi contribué au développement d'une application en vraie grandeur dans le domaine médical en élaborant un outil d'aide au diagnostic de tumeurs noires de la peau à partir d'images.

La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de " complexité". Dans ce cadre, le processus de sélection de modèle revient 'a trouver la " complexité " optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyper-paramètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie. L'approche habituelle pour déterminer ces hyper-paramètres consiste à utiliser une " grille ". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyper-paramètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyper-paramètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres. La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type " réduction de dimension ". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

Les thèmes principaux de ce mémoire sont la parcimonie et la discrimination pour la modélisation de données complexes. Dans une première partie de ce mémoire, nous nous plaçons dans un contexte de modèle de mélanges gaussiens: nous introduisons une nouvelle famille de modèles probabilistes qui simultanément classent et trouvent un espace discriminant tel que cet espace discrimine au mieux les groupes. Une famille de 12 modèles latents discriminants (DLM) modèles est introduite et se base sur trois idées: tout d'abord, les données réelles vivent dans un sous-espace latent de dimension intrinsèque plus petite que celle de l'espace observé; deuxièmement, un sous-espace de K-1 dimensions est suffisant pour discriminer K groupes; enfin, l'espace observé et celui latent sont liés par une transformation linéaire. Une procédure d'estimation, appelée Fisher-EM, est proposée et améliore la plupart du temps les performances de clustering grâce à l'utilisation du sous-espace discriminant. Dans un second travail, nous nous sommes intéressés à la détermination du nombre de groupes en utilisant le cadre de la sériation. nous proposons d'intégrer de la parcimonie dans les données par l'intermédiaire d'une famille de matrices binaires. Ces dernière sont construites à partir d'une mesure de dissimilarité basée sur le nombre de voisins communs entre paires d'observations. En particulier, plus le nombre de voisins communs imposé est important, plus la matrice sera parcimonieuse, i.e. remplie de zéros, ce qui permet, à mesure que le seuil de parcimonie augmente, de retirer les valeurs extrêmes et les données bruitées. Cette collection de matrices parcimonieuses est ordonnée selon un algorithme de sériation de type forward, nommé PB-Clus, afin d'obtenir des représentations par blocs des matrices sériées. Ces deux méthodes ont été validées sur une application biologique basée sur la détection du cancer du col de l'utérus.

Cette thèse s'intéresse à deux modèles de régression semi-paramétrique permettant de contourner le problème classique du "fléau de la dimension" inhérent aux approches non-paramétriques usuelles. La première partie du travail concerne l'étude d'un modèle de régression dit partiellement linéaire ; le but est d'identifier les régresseurs qui composent la partie non-linéaire de la fonction de régression ainsi que d'estimer tous les paramètres du modèle. Pour ce faire nous définissons des quantités caractéristiques du modèle qui mesurent la linéarité des régresseurs puis nous développons un test du nombre de composantes non-linéaires basé sur cette mesure. La seconde partie porte sur l'étude d'un modèle dit à direction révélatrice unique et consiste à estimer, via des propriétés géométriques, l'axe du modèle et d'en déduire un test convergent et puissant sous une suite d'alternatives locales.