Dans la première partie de cette thèse nous passons en revue la classification par modèle de mélange. En particulier nous décrivons une famille de mélanges gaussiens d’un usage courant, dont la parcimonie porte sur des paramètres d’interprétation géométrique. Comme ces modèles possèdent des inconvénients majeurs, nous leur opposons une nouvelle famille de mélanges dont la parcimonie porte sur des paramètres statistiques. Ces nouveaux modèles possèdent de nombreuses propriétés de stabilité qui les rendent mathématiquement cohérents et facilitent leur interprétation. Dans la seconde partie de ce travail nous présentons une méthode nouvelle dite de classification simultanée. Nous montrons que la classification d'un échantillon revient très souvent au partitionnement de plusieurs échantillons ; puis nous proposons d'établir un lien entre la population d'origine des différents échantillons. Ce lien, dont la nature varie selon le contexte, a toujours pour vocation de formaliser de façon réaliste une information commune aux données à classifier.Lorsque les échantillons sont décrits par des variables de même signification et que l'on cherche le même nombre de groupes dans chacun d'eux, nous établissons un lien stochastique entre populations conditionnelles. Lorsque les variables sont différentes mais sémantiquement proches d'un échantillon à l'autre, il se peut que leur pouvoir discriminant soit similaire et que l'imbrication des données conditionnelles soit comparable. Nous envisageons des mélanges spécifiques à ce contexte, liés par un chevauchement homogène de leurs composantes. / In the first part of this work we review the mixture model-based clustering method. In particular we describe a family of common Gaussian mixtures the parsimony of which is about geometrical parameters. As these models suffer from major drawbacks, we display new Gaussian mixtures the parsimony of which focuses on statistical parameters. These new models own many stability properties that make them mathematically consistent and facilitate their interpretation. In the second part of this work we display the so-called simultaneous clustering method. We highlight that the classification of a single sample can often be seen as a multiple sample clustering problem; then we propose to establish a link between the original population of the diverse samples. This link varies depending on the context but it always tries to formalize in a realistic way some common information of the samples to classify. When samples are described by variables with identical meaning and when the same number of groups is researched within each of them, we establish a stochastic link between the conditional populations. When the variables are different but semantically close through the diverse samples nevertheless their discriminant power may be similar and the nesting of the conditional data can be comparable. We consider specific mixtures dedicated to this context: the link between the populations consists in an homogeneous overlap of the components.

Cette thèse étudie l'inférence de modèles graphiques Gaussiens en grande dimension à partir de données du transcriptome non indépendamment et identiquement distribuées dans l'objectif d'estimer des réseaux de régulation génétique. Dans ce contexte de données en grande dimension, l'hétérogénéité des données peut être mise à profit pour définir des méthodes de régularisation structurées améliorant la qualité des estimateurs. Nous considérons tout d'abord l'hétérogénéité apparaissant au niveau du réseau, fondée sur l'hypothèse que les réseaux biologiques sont organisés, ce qui nous conduit à définir une régularisation l1 pondérée. Modélisant l'hétérogénéité au niveau des données, nous étudions les propriétés théoriques d'une méthode de régularisation par bloc appelée coopérative-Lasso, définie dans le but de lier l'inférence sur des jeux de données distincts mais proches en un certain sens. Pour finir, nous nous intéressons au problème central de l'incertitude des estimations, définissant un test d'homogénéité pour modèle linéaire en grande dimension. / This thesis investigates the inference of high-dimensional Gaussian graphical models from non identically and independently distributed transcriptomic data in the objective of recovering gene regulatory networks. In the context of high-dimensional statistics, data heterogeneity paves the way to the definition of structured regularizers in order to improve the quality of the estimator. We first consider heterogeneity at the network level, building upon the assumption that biological networks are organized, which leads to the definition of a weighted l1 regularization. Modelling heterogeneity at the observation level, we provide a consistency analysis of a recent block-sparse regularizer called the cooperative-Lasso designed to combine observations from distinct but close datasets. Finally we address the crucial question of uncertainty, deriving homonegeity tests for high-dimensional linear regression.

Cette thèse propose une contribution originale au domaine de la classification de variables en régression linéaire. Cette contribution se base sur une modélisation hiérarchique des coefficients de régression. Cette modélisation permet de considérer ces derniers comme des variables aléatoires distribuées selon un mélange de lois Gaussiennes ayant des centres différents mais des variances égales. Nous montrons dans cette thèse que l'algorithme EM, communément utilisé pour estimer les paramètres d'un modèle hiérarchique ne peut s'appliquer. En effet, l'étape E de l'algorithme n'est pas explicite pour notre modèle.Nous avons donc proposé une approche plus efficace pour l'estimation des paramètres grâce à l'utilisation de l'algorithme SEM-Gibbs. En plus de cette amélioration computationnelle, nous avons introduit une contrainte dans le modèle pour permettre d'effectuer une sélection de variables simultanément. Notre modèle présente de très bonnes qualités prédictives relativement aux approches classiques pour la réduction de la dimension en régression linéaire. Cette thèse présente aussi une extension de notre méthodologie dans le cadre de la régression Probit pour données binaires. Notre modèle modèle a de plus été généralisé en relâchant l'hypothèse de l'égalité des variances pour les composantes du mélange Gaussien. Les performances de ce modèle généralisé ont été comparées à celles du modèle initial à travers différents scénarios de simulations. Ce travail de recherche a conduit au développement du package R clere. Ce dernier package met en œuvre tous les algorithmes décrits dans cette thèse. / We proposed in this thesis an original contribution to the field of variable clustering in linear regression through a model-based approach. This contribution was made via a hierarchical modeling of the regression coefficients as random variables drawn from a mixture of Gaussian distributions with equal variances. Parameter estimation in the proposed model was shown to be challenging since the classical EM algorithm could not apply. We then developped a more efficient algorithm for parameter estimation, through the use of the SEM-Gibbs algorithm. Along with this computational improvement, we also enhanced our model to allow variable selection. Given the good predictive performances of the CLERE method compared to standard techniques for dimension reduction, we considred an extension of the latter to binary response data. This extension was studied in the context of Probit regression. We generalized our model by relaxing the assumption of equal variance for the components in the mixture of Gaussians. The performances of this generalization were compared to those of the initial model under different scenarios on simulated data. This research led to the development of the R package clere which implements most of the algorithms described in this thesis.

Nous nous intéressons à la sélection de variables en classification non supervisée par mélanges gaussiens. Ces travaux sont en particulier motivés par la classification de gènes à partir de données transcriptomes. Dans les deux parties de cette thèse, le problème est ramené à celui de la sélection de modèles.<br />Dans la première partie, le modèle proposé, généralisant celui de Raftery et Dean (2006) permet de spécifier le rôle des variables vis-à-vis du processus de classification. Ainsi les variables non significatives peuvent être dépendantes d'une partie des variables retenues pour la classification. Ces modèles sont comparés grâce à un critère de type BIC. Leur identifiabilité est établie et la consistance du critère est démontrée sous des conditions de régularité. En pratique, le statut des variables est obtenu grâce à un algorithme imbriquant deux algorithmes descendants de sélection de variables pour la classification et pour la régression linéaire. L'intérêt de cette procédure est en particulier illustré sur des données transcriptomes. Une amélioration de la modélisation du rôle des variables, consistant à répartir les variables déclarées non significatives entre celles dépendantes et celles indépendantes des variables significatives pour la classification, est ensuite proposée pour pallier une surpénalisation de certains modèles. Enfin, la technologie des puces à ADN engendrant de nombreuses données manquantes, une extension de notre procédure tenant compte de l'existence de ces valeurs manquantes est suggérée, évitant leur<br />estimation préalable.<br />Dans la seconde partie, des mélanges gaussiens de formes spécifiques sont considérés et un critère pénalisé non asymptotique est proposé pour sélectionner simultanément le nombre de composantes du mélange et l'ensemble des variables pertinentes pour la classification. Un théorème général de sélection de modèles pour l'estimation de densités par maximum de vraisemblance, proposé par Massart (2007), est utilisé pour déterminer la forme de la pénalité. Ce théorème nécessite le contrôle de l'entropie à crochets des familles de mélanges gaussiens multidimensionnels étudiées. Ce critère dépendant de constantes multiplicatives inconnues, l'heuristique dite "de la pente" est mise en oeuvre pour permettre une utilisation effective de ce critère.

L'objectif de ce travail de recherche est l'étude des posibilités offertes par une nouvelle approche de l'information quantique basée sur des variables quantiques continues. Lorsque ces variables continues sont portées par le champs éléctromagnétique, un grand nombre de protocoles d'information quantique peuvent être implémentés à l'aide de lasers et d'éléments d'optique linéaire standards. Cette simplicité expérimentale rend cette approche très intéressantes d'un point de vue pratique, en particulier pour le développement des futurs réseaux de communications quantiques. Le travail peut se diviser en deux parties complémentaires. Dans la première partie, plus fondamentale, la relation complexe qui existe entre l'intrication et la nonlocalité de la mécanique quantique est étudiée sur base des variables optiques continues. Ces deux ressources étant essentielles pour l'information quantique, il est nécessaire de bien les comprendre et de bien les caractériser. Dans la seconde partie, orientée vers des applications concrètes, le problème de la correction d'erreur à variables continues est étudié. Pouvoir transmettre et manipuler l'information sans erreurs est nécessaire au bon développemnent de l'information quantique, mais, en pratique, les erreurs sont inévitables. Les codes correcteurs d'erreurs permettent de détecter et corriger ces erreures de manière efficace.

L'objectif de ce travail de thèse est d'enrichir la formulation du Lancer de Faisceaux Gaussiens (LFG) et de tester sa capacité à répondre à certains des besoins actuels en calculs de propagation dans le domaine du Radar terrestre. Le LFG est envisagé comme une alternative possible aux méthodes classiques (Equation Parabolique, méthodes de rayons) en environnement complexe urbanisé, en particulier en présence d'obstacles latéraux, avec une cible située en non visibilité. La méthode de LFG "de base", qui utilise des expressions analytiques obtenues par approximation paraxiale, permet des calculs de propagation rapides en environnements complexes, sans problèmes de caustiques. Elle conduit à des résultats de précision satisfaisante dans le domaine millimétrique, par exemple pour des calculs de champs intra-bâtiments. Aux fréquences plus basses comme celles utilisées en Radar terrestre, elle est limitée par une prise en compte trop approximative des effets de diffraction et par l'élargissement spatial des faisceaux gaussiens au regard des dimensions des obstacles. La théorie des frames est utilisée dans cette thèse pour dépasser ces limites. La théorie des frames fournit un cadre rigoureux pour la décomposition initiale du champ rayonné en faisceaux gaussiens, et permet de calibrer le nombre et les directions des faisceaux à lancer. Dans ce travail de thèse, l'emploi de frames de fenêtres gaussiennes pour décomposer des distributions de champs ou de sources équivalentes est généralisé aux distributions de champs incidents sur des plans ou des portions de plans, choisis en fonction des obstacles rencontrés et des distances parcourues. Les champs rayonnés à partir de ces plans sont alors obtenus par sommation des faisceaux gaussiens lancés depuis ces frames dits de "re-décomposition". Les transformations de faisceaux gaussiens par des obstacles de taille limitée sont ainsi traitées par redécomposition : les faisceaux incidents partiellement interceptés par des surfaces limitées sont "re-décomposés" successivement sur deux frames de re-décomposition, à fenêtres "étroites" puis "larges", définis dans les plans de ces surfaces. Le frame à fenêtres "étroites" permet de traiter les discontinuités physiques, tandis que le frame à fenêtres "larges" permet de propager les champs transformés sous la forme de faisceaux "collimatés". Dans cette thèse, nous présentons une formulation de ces re-décompositions permettant une mise en œuvre numériquement efficace, grâce à des expressions analytiques approchées des coefficients de frame pour la première décomposition, et des éléments de la matrice de changement de frame pour la seconde. Cette formulation est mise en œuvre numériquement, et l'influence de différents paramètres sur la précision des re-décompositions est analysée. Finalement, l'algorithme de LFG enrichi de ces re-décompositions successives est utilisé dans un scénario simplifié proche de situations rencontrées en propagation Radar terrestre.

Thèses (Ph.D.)--Université de Sherbrooke (Canada), 2002. / Titre de l'écran-titre (visionné le 20 juin 2006). Publié aussi en version papier.

Les méthodes à noyaux ont été beaucoup utilisées pour transformer un jeu de données initial en les envoyant dans un espace dit « à noyau » ou RKHS, pour ensuite appliquer une procédure statistique sur les données transformées. En particulier, cette approche a été envisagée dans la littérature pour tenter de rendre un modèle probabiliste donné plus juste dans l'espace à noyaux, qu'il s'agisse de mélanges de gaussiennes pour faire de la classification ou d'une simple gaussienne pour de la détection d'anomalie. Ainsi, cette thèse s'intéresse à la pertinence de tels modèles probabilistes dans ces espaces à noyaux. Dans un premier temps, nous nous concentrons sur une famille de noyaux paramétrée - la famille des noyaux radiaux gaussiens - et étudions d'un point de vue théorique la distribution d'une variable aléatoire projetée vers un RKHS correspondant. Nous établissons que la plupart des marginales d'une telle distribution est asymptotiquement proche d'un « scale-mixture » de gaussiennes - autrement dit une gaussienne avec une variance aléatoire - lorsque le paramètre du noyau tend vers l'infini. Une nouvelle méthode de détection d'anomalie utilisant ce résultat théorique est introduite.Dans un second temps, nous introduisons un test d'adéquation basé sur la Maximum Mean Discrepancy pour tester des modèles gaussiens dans un RKHS. En particulier, notre test utilise une procédure de bootstrap paramétrique rapide qui permet d'éviter de ré-estimer les paramètres de la distribution gaussienne à chaque réplication bootstrap. / Kernel methods have been extensively used to transform initial datasets by mapping them into a so-called kernel space or RKHS, before applying some statistical procedure onto transformed data. In particular, this kind of approach has been explored in the literature to try and make some prescribed probabilistic model more accurate in the RKHS, for instance Gaussian mixtures for classification or mere Gaussians for outlier detection. Therefore this thesis studies the relevancy of such models in kernel spaces.In a first time, we focus on a family of parameterized kernels - Gaussian RBF kernels - and study theoretically the distribution of an embedded random variable in a corresponding RKHS. We managed to prove that most marginals of such a distribution converge weakly to a so-called ''scale-mixture'' of Gaussians - basically a Gaussian with a random variance - when the parameter of the kernel tends to infinity. This result is used in practice to device a new method for outlier detection.In a second time, we present a one-sample test for normality in an RKHS based on the Maximum Mean Discrepancy. In particular, our test uses a fast parametric bootstrap procedure which circumvents the need for re-estimating Gaussian parameters for each bootstrap replication.

L’objectif de ce travail de thèse est d’enrichir la formulation du Lancer de Faisceaux Gaussiens (LFG) et de tester sa capacité à répondre à certains des besoins actuels en calculs de propagation dans le domaine du Radar terrestre. Le LFG est envisagé comme une alternative possible aux méthodes classiques (Equation Parabolique, méthodes de rayons) en environnement complexe urbanisé, en particulier en présence d’obstacles latéraux, avec une cible située en non visibilité. La méthode de LFG "de base", qui utilise des expressions analytiques obtenues par approximation paraxiale, permet des calculs de propagation rapides en environnements complexes, sans problèmes de caustiques. Elle conduit à des résultats de précision satisfaisante dans le domaine millimétrique, par exemple pour des calculs de champs intra-bâtiments. Aux fréquences plus basses comme celles utilisées en Radar terrestre, elle est limitée par une prise en compte trop approximative des effets de diffraction et par l’élargissement spatial des faisceaux gaussiens au regard des dimensions des obstacles. La théorie des frames est utilisée dans cette thèse pour dépasser ces limites. La théorie des frames fournit un cadre rigoureux pour la décomposition initiale du champ rayonné en faisceaux gaussiens, et permet de calibrer le nombre et les directions des faisceaux à lancer. Dans ce travail de thèse, l’emploi de frames de fenêtres gaussiennes pour décomposer des distributions de champs ou de sources équivalentes est généralisé aux distributions de champs incidents sur des plans ou des portions de plans, choisis en fonction des obstacles rencontrés et des distances parcourues. Les champs rayonnés à partir de ces plans sont alors obtenus par sommation des faisceaux gaussiens lancés depuis ces frames dits de "re-décomposition". Les transformations de faisceaux gaussiens par des obstacles de taille limitée sont ainsi traitées par redécomposition : les faisceaux incidents partiellement interceptés par des surfaces limitées sont "re-décomposés" successivement sur deux frames de re-décomposition, à fenêtres "étroites" puis "larges", définis dans les plans de ces surfaces. Le frame à fenêtres "étroites" permet de traiter les discontinuités physiques, tandis que le frame à fenêtres "larges" permet de propager les champs transformés sous la forme de faisceaux "collimatés". Dans cette thèse, nous présentons une formulation de ces re-décompositions permettant une mise en œuvre numériquement efficace, grâce à des expressions analytiques approchées des coefficients de frame pour la première décomposition, et des éléments de la matrice de changement de frame pour la seconde. Cette formulation est mise en œuvre numériquement, et l’influence de différents paramètres sur la précision des re-décompositions est analysée. Finalement, l’algorithme de LFG enrichi de ces re-décompositions successives est utilisé dans un scénario simplifié proche de situations rencontrées en propagation Radar terrestre. / In this work the Gaussian Beam Shooting (GBS) algorithm is complemented with new original formulations, and the ability of this "augmented" GBS algorithm to address specific problems encountered in electromagnetic field computations for ground-based Radar applications is tested. GBS is considered as an alternative to methods (Parabolic Equation, ray based methods) currently used for such computations in complex urban environments, especially when lateral obstacles and Non-Line-Of-Sight (NLOS) targets are involved. The "basic" GBS algorithm makes use of analytical expressions obtained through paraxial approximations. It allows to perform fast computations in complex environments, without suffering from any caustics problems. Reasonably accurate results have been obtained with this method in the millimetric range, e.g. for indoor field calculations. At lower frequencies, such as used in ground Radar systems, "basic" GBS cannot model diffraction effects accurately enough, and Gaussian beam width with respect to obstacle dimensions becomes a problem after some propagation distance. Frame theory is used in this PhD to overcome these limitations. Frame theory provides a rigorous framework for the initial decomposition of radiated fields into a set of Gaussian beams, providing flexible rules to adjust the number and directions of the launched beams. In this thesis, frame theory is used to discretize not only the source field distribution but also incident field distributions over planes or parts of planes of interest, according to encountered obstacles and propagation distances. The radiated fields are then obtained by summation of Gaussian beams launched from these frames called "reexpansion frames". Gaussian beam transformations by finite sized obstacles are addressed by this re-expansion scheme : the incident beams partially impinging on limited areas are successively "re-expanded" on two re-expansion frames, the first one composed of "narrow" windows and the second one of "wide" windows, both defined in the plane containing the limited area. Spatially narrow window frames allow to take into account abrupt transitions in space, and spatially wide window frames radiate in the form of collimated Gaussian beams. The re-expansion formulation proposed in this work is designed for efficient numerical implementation. Approximate analytical expressions are established for expansion coefficients on narrow window frames, and for frame change matrix elements. This formulation has been implemented, and the influence of frame parameters on re-expansion accuracy is analyzed. Finally, the GBS algorithm augmented with successive re-expansions is used to compute fields in simplified scenarios similar to situations encountered in ground-based Radar propagation problems.

L’apprentissage (machine) de modèle et l’estimation d’état sont cruciaux pour interpréter les phénomènes sous-jacents à de nombreuses applications du monde réel. Toutefois, il est souvent difficile d’apprendre le modèle d’un système et de capturer les états latents, efficacement et avec précision, en raison du fait que la connaissance du monde est généralement incertaine. Au cours des dernières années, les approches d’estimation et de modélisation bayésiennes ont été extensivement étudiées afin que l’incertain soit réduit élégamment et de manière flexible. Dans la pratique cependant, différentes limitations au niveau de la modélisation et de l’estimation bayésiennes peuvent détériorer le pouvoir d’interprétation bayésienne. Ainsi, la performance de l’estimation est souvent limitée lorsque le modèle de système manque de souplesse ou/et est partiellement inconnu. De même, la performance de la modélisation est souvent restreinte lorsque l’estimateur Bayésien est inefficace. Inspiré par ces faits, nous proposons d’étudier dans cette thèse, les connections possibles entre modélisation bayésienne (via le processus gaussien) et l’estimation bayésienne (via le filtre de Kalman et les méthodes de Monte Carlo) et comment on pourrait améliorer l’une en utilisant l’autre. À cet effet, nous avons d’abord vu de plus près comment utiliser les processus gaussiens pour l’estimation bayésienne. Dans ce contexte, nous avons utilisé le processus gaussien comme un prior non-paramétrique des modèles et nous avons montré comment cela permettait d’améliorer l’efficacité et la précision de l’estimation bayésienne. Ensuite, nous nous somme intéressé au fait de savoir comment utiliser l’estimation bayésienne pour le processus gaussien. Dans ce cadre, nous avons utilisé différentes estimations bayésiennes comme le filtre de Kalman et les filtres particulaires en vue d’améliorer l’inférence au niveau du processus gaussien. Ceci nous a aussi permis de capturer différentes propriétés au niveau des données d’entrée. Finalement, on s’est intéressé aux interactions dynamiques entre estimation bayésienne et processus gaussien. On s’est en particulier penché sur comment l’estimation bayésienne et le processus gaussien peuvent ”travailler” de manière interactive et complémentaire de façon à améliorer à la fois le modèle et l’estimation. L’efficacité de nos approches, qui contribuent à la fois au processus gaussien et à l’estimation bayésienne, est montrée au travers d’une analyse mathématique rigoureuse et validée au moyen de différentes expérimentations reflétant des applications réelles. / Model learning and state estimation are crucial to interpret the underlying phenomena in many real-world applications. However, it is often challenging to learn the system model and capture the latent states accurately and efficiently due to the fact that the knowledge of the world is highly uncertain. During the past years, Bayesian modeling and estimation approaches have been significantly investigated so that the uncertainty can be elegantly reduced in a flexible probabilistic manner. In practice, however, several drawbacks in both Bayesian modeling and estimation approaches deteriorate the power of Bayesian interpretation. On one hand, the estimation performance is often limited when the system model lacks in flexibility and/or is partially unknown. On the other hand, the modeling performance is often restricted when a Bayesian estimator is not efficient and/or accurate. Inspired by these facts, we propose Interactions Between Gaussian Processes and Bayesian Estimation where we investigate the novel connections between Bayesian model (Gaussian processes) and Bayesian estimator (Kalman filter and Monte Carlo methods) in different directions to address a number of potential difficulties in modeling and estimation tasks. Concretely, we first pay our attention to Gaussian Processes for Bayesian Estimation where a Gaussian process (GP) is used as an expressive nonparametric prior for system models to improve the accuracy and efficiency of Bayesian estimation. Then, we work on Bayesian Estimation for Gaussian Processes where a number of Bayesian estimation approaches, especially Kalman filter and particle filters, are used to speed up the inference efficiency of GP and also capture the distinct input-dependent data properties. Finally, we investigate Dynamical Interaction Between Gaussian Processes and Bayesian Estimation where GP modeling and Bayesian estimation work in a dynamically interactive manner so that GP learner and Bayesian estimator are positively complementary to improve the performance of both modeling and estimation. Through a number of mathematical analysis and experimental demonstrations, we show the effectiveness of our approaches which contribute to both GP and Bayesian estimation.