Dans notre travail de mémoire, nous présentons l'approche bayésienne empirique dans l'inférence statistique. Les premiers articles dans ce domaine ont été publiés par Rabbins (1951, 1955, 1980). Robbins a utilisé une méthode non paramétrique (Maritz et Lwin (1989)) pour estimer la densité marginale. Plus tard, Morris (1983) a introduit l'approche paramétrique bayésienne empirique (voir aussi Efron et Morris (1973) (a), Casella (1985)). Nous décrivons les deux approches pour l'estimation de la moyenne de la loi gaussienne, de la loi de Poisson et de la loi exponentielle. Pour le cas gaussien, nous adaptons une méthodologie proposée par Angers (1992) pour l'estimation bayésienne hiérarchique à l'estimation bayésienne empirique dans le but d'obtenir des estimations plus robustes. Nous nous intéressons à l'estimation de la moyenne gaussienne et de la moyenne de la loi de Poisson quand les tailles des groupes sont inégales. Pour le cas gaussien, nous utilisons un estimateur du type James-Stein d'après Berger et Bock (1976) pour incorporer les tailles inégales. Dans le cas de la loi de Poisson, nous utilisons une méthode proposée par Maritz et Lwin (1989). Nous étudions également les estimateurs bayésiens empiriques pour estimer une moyenne exponentielle. Pour ce cas, nous avons introduit un nouvel estimateur bayésien empirique qui semble prometteur. Dans le cas gaussien, nous illustrons les approches en utilisant des banques de données pertinentes. Dans les autres cas, nous effectuons les études de simulation. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Analyse bayésienne, bayésien empirique, estimateur de stein, estimateur minimax, plans d'expérience non équilibrés.

En phase de préparation d'un processus de fouille de données, une part importante<br />du travail est consacrée à la construction et à la sélection des variables descriptives.<br />L'approche filtre univariée usuellement adoptée nécessite l'emploi d'une méthode<br />d'évaluation d'une variable. Nous considérons la question de l'évaluation supervisée d'une<br />variable séquentielle. Pour résoudre ce problème, nous montrons qu'il suffit de résoudre<br />un problème plus général : celui de l'évaluation supervisée d'une mesure de similitude.<br /><br />Nous proposons une telle méthode d'évaluation. Pour l'obtenir, nous formulons le<br />problème en un problème de recherche d'une partition de Voronoi informative. Nous<br />proposons un nouveau critère d'évaluation supervisée de ces partitions et une nouvelle<br />heuristique de recherche optimisée. Le critère prévient automatiquement le risque de surapprentissage<br />et l'heuristique trouve rapidement une bonne solution. Au final, la méthode<br />réalise une estimation non paramétrique robuste de la densité d'une variable cible catégorielle<br />conditionnellement à une mesure de similitude définie à partir d'une variable descriptive.<br /><br />La méthode a été testée sur de nombreux jeux de données. Son utilisation permet<br />de répondre à des questions comme : quel jour de la semaine ou quelle tranche horaire<br />sur la semaine discrimine le mieux le segment auquel appartient un foyer à partir de sa<br />consommation téléphonique fixe ? Quelle série de mesures permet de quantifier au mieux l'appétence à un nouveau service ?

La robustesse d'une inférence a posteriori face à des valeurs aberrantes est étudiée, dans un cadre de régression linéaire bayésienne. Il est montré que le modèle de régression linéaire simple avec une constante nulle peut être vu comme un problème d'inférence sur des paramètres de position-échelle. Un lien est alors effectué avec la théorie de robustesse de Desgagné (2011). En présence minoritaire de données aberrantes, une convergence en loi des densités a posteriori vers celles excluant les valeurs extrêmes, lorsque celles-ci tendent vers plus ou moins l'infini, est garantie sous une condition relative à des ailes suffisamment relevées de la densité des erreurs. Il est démontré que les estimations par maximum de vraisemblance sont eux aussi robustes. De plus, une nouvelle famille de densités, appelée DL-GEP, est proposée afin de guider l'utilisateur dans une recherche de distributions respectant le critère de robustesse. Les résultats théoriques sont illustrés d'abord à l'aide d'un exemple basé sur des données simulées, puis par une étude de cas s'appuyant sur des données financières, où les considérations pratiques sont abordées. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Inférence bayésienne, robustesse, régression linéaire, valeurs aberrantes, paramètres de position-échelle, distributions à ailes relevées, fonctions à variation L-exponentielle, famille de densités DL-GEP.

Dans ce mémoire, on cherche à développer une nouvelle méthode d'estimation pour le lasso adaptatif pour l'issue en utilisant la machinerie bayésienne. L'hypothèse de recherche est que notre nouvelle méthode va beaucoup réduire la lourdeur computationnelle du lasso adaptatif pour l'issue. Notre méthode utilise les mêmes fondements théoriques que le lasso adaptatif pour l'issue. Elle remplit donc les conditions de la propriété d'oracle. Pour sa mise en ÷uvre, on ajuste d'abord un modèle du score de propension bayésien. Ensuite, on estime l'effet du traitement moyen par la pondération par l'inverse de la probabilité de traitement. Par ailleurs, nous considérons une distribution gamma pour le paramètre de régularisation qui nous permet de choisir ce paramètre à partir d'un ensemble continu, alors que le lasso adaptatif pour l'issue fréquentiste utilise une approche de validation croisée qui doit faire un choix parmi un ensemble discret de valeurs préspéciées. In ne, la méthode que nous avons développée répond bien à nos attentes, et permet donc de produire les inférences de façon beaucoup plus rapide. En effet, il a fallu seulement 41.298 secondes pour que cette méthode effectue les inférences, alors que 44.105 minutes ont été né- cessaires au lasso adaptatif pour l'issue. On espère que les idées développées dans ce mémoire vont contribuer signicativement à améliorer les méthodes de sélection de variables en inférence causale avec l'appui des techniques bayésiennes. / In this paper, we aim to develop a new estimation method for the outcome adaptive lasso using Bayesian machinery. The research hypothesis is that our new method will significantly reduce the computational burden of the outcome adaptive lasso. Our method uses the same theoretical foundation as the outcome adaptive lasso. It therefore meets the oracle properties. For its implementation, Bayesian propensity score model is first fitted. Next, the average treatment effect is estimated using inverse probability of treatment weights. In addition, we consider a gamma distribution for the regularisation parameter λ in order to choose this parameter over a continuous set, whereas the frequentist outcome adaptive lasso uses a cross-validation procedure that selects λ among a prespecified discrete set. In fine, the method we have developed meets our expectations, and therefore makes it possible to produce inferences much faster. Indeed, it took only 41.298 seconds for this method to yield inferences, while 44.105 minutes were required for the outcome adaptive lasso. We hope that the ideas developed in this paper will significantly contribute to improve methods for selecting variables in causal inference with the support of Bayesian techniques.

L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation est faite sur des problèmes d’estimations de densité et de test d’indépendance. Ce modèle est le premier modèle Bayésien nonparamétrique permettant d’apprendre des réseaux Bayésiens disposant d’une structure complètement arbitraire. / One of the important problems in machine learning is determining the complexity of the model to learn. Too much complexity leads to overfitting, which finds structures that do not actually exist in the data, while too low complexity leads to underfitting, which means that the expressiveness of the model is insufficient to capture all the structures present in the data. For some probabilistic models, the complexity depends on the introduction of one or more latent variables whose role is to explain the generative process of the data. There are various approaches to identify the appropriate number of latent variables of a model. This thesis covers various Bayesian nonparametric methods capable of determining the number of latent variables to be used and their dimensionality. The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is the fact that they offer highly flexible models and their complexity scales appropriately with the amount of available data. In recent years, research on Bayesian nonparametric learning methods have focused on three main aspects: the construction of new models, the development of inference algorithms and new applications. This thesis presents our contributions to these three topics of research in the context of learning latent variables models. Firstly, we introduce the Pitman-Yor process mixture of Gaussians, a model for learning infinite mixtures of Gaussians. We also present an inference algorithm to discover the latent components of the model and we evaluate it on two practical robotics applications. Our results demonstrate that the proposed approach outperforms, both in performance and flexibility, the traditional learning approaches. Secondly, we propose the extended cascading Indian buffet process, a Bayesian nonparametric probability distribution on the space of directed acyclic graphs. In the context of Bayesian networks, this prior is used to identify the presence of latent variables and the network structure among them. A Markov Chain Monte Carlo inference algorithm is presented and evaluated on structure identification problems and as well as density estimation problems. Lastly, we propose the Indian chefs process, a model more general than the extended cascading Indian buffet process for learning graphs and orders. The advantage of the new model is that it accepts connections among observable variables and it takes into account the order of the variables. We also present a reversible jump Markov Chain Monte Carlo inference algorithm which jointly learns graphs and orders. Experiments are conducted on density estimation problems and testing independence hypotheses. This model is the first Bayesian nonparametric model capable of learning Bayesian learning networks with completely arbitrary graph structures.

Ce travail est essentiellement centré sur l'estimation, du point de vue de la théorie de la décision, de la moyenne d'une distribution multidimensionnelle à symétrie sphérique. Sous coût quadratique, nous nous sommes concentrés à développer des classes d'estimateurs au moins aussi bons que les estimateurs usuels, puisque ces derniers tendent à perdre leur performance en dimension élevée et en présence de contraintes sur les paramètres. Dans un premier temps, nous avons considéré les distributions de mélange (par rapport à [sigma][indice supérieur 2]) de lois normales multidimensionnelles N ([théta], [sigma][indice supérieur 2]I[indice inférieur p]), en dimension p supérieure ou égale à 3. Nous avons trouvé une grande classe de lois a priori (généralisées), aussi dans la classe des distributions de mélange de lois normales, qui génèrent des estimateurs de Bayes minimax. Ensuite, pour étendre nos résultats, nous avons considéré les distributions à symétrie sphérique (pas nécessairement mélange de lois normales) avec paramètre d'échelle connu, en dimension supérieure ou égale à 3 et en présence d'un vecteur résiduel. Nous avons obtenu une classe d'estimateurs de Bayes généralisés minimax pour une grande classe de distributions sphériques incluant certaines distributions mélange de lois normales. Dans l'estimation de la moyenne [théta] d'une loi N[indice inférieur p]([théta], I[indice inférieur p]) sous la contrainte [double barre verticale][théta][double barre verticale] [inférieur ou égal] m avec m > 0, une analyse en dimension finie pour comparer les estimateurs linéaires tronqués [delta][indice inférieur a] (0 [plus petit ou égal] a < 1) avec l'estimateur du maximum de vraisemblance [delta][indice inférieur emv] est donnée. Un cadre asymptotique est développé, ceci nous permet de déduire la sous-classe des estimateurs [delta][indice inférieur a] qui dominent [delta][indice inférieur emv] et de mesurer avec précision le degré d'amélioration relative en risque. Enfin, dans l'estimation de la moyenne [théta] d'une loi N[indice inférieur p]([théta], [sigma][indice supérieur 2]I[indice inférieur p]) où [sigma] est inconnu et sous la contrainte [Special characters omitted.] [plus petit ou égal] m avec m > 0, des résultats de dominance de l'estimateur X et de l'estimateur du maximum de vraisemblance [delta][indice inférieur emv] sont développés. En particulier, nous avons montré que le meilleur estimateur équivariant [delta][indice inférieur m] (x , s) = h[indice inférieur m] ([Special characters omitted.]) x pour = [Special characters omitted.] = m domine [delta][indice inférieur emv] lorsque m [plus petit ou égal] [racine carrée]p et que sa troncature [delta][Special characters omitted.] domine [delta][indice inférieur emv] pour tout (m , p).

Ce mémoire est consacré à l'étude du modèle statistique bivarié duquel sont issues deux variables aléatoires conditionnellement indépendantes de loi de Poisson, dont les taux ne sont pas nécessairement égaux. Tout au long de ce mémoire, l'emphase est mise sur le développement d'un cadre bayésien au problème d'estimation paramétrique pour un tel modèle. Deux thèmes principaux y sont abordés : l'inférence statistique du rapport des deux paramètres d'intensité poissonniens et les densités prédictives. Ces problèmes surviennent notamment dans le contexte d'estimation de l'efficacité d'un vaccin développé par Laurent (Laurent, 2012) de même que Laurent et Legrand (Laurent et Legrand, 2012), ou encore, par celui d'estimation de l'efficacité d'un traitement contre le cancer par Lindley (Lindley, 2002). Alors que, dans ces articles, aucune contrainte paramétrique n'est imposée sur le rapport des deux taux poissonniens, une partie du mémoire abordera également ces thèmes lorsqu'il y a une contrainte restreignant le domaine du rapport sur l'intervalle $[0,1]$. Il sera alors possible d'établir des liens avec un article sur les files d'attente d'Armero et Bayarri (Armero et Bayarri, 1994).

Cette étude porte sur deux types de problèmes inverses en thermique : l'estimation de propriétés thermophysiques de matériaux anisotropes et l'estimation de conditions limites. Dans un premier temps, la méthode flash 3D permet d'estimer la diffusivité thermique dans les trois directions principales d'un matériau anisotrope. Pour cela, un dispositif expérimental spécifique a été développé. Il s'appuie essentiellement sur un laser CO2 comme source de puissance thermique et sur la thermographie infrarouge comme instrument de mesure. En associant à l'expérimentation un modèle analytique des transferts thermiques dans l'échantillon, un estimateur permet d'obtenir les diffusivités thermiques recherchées. Au cours de ce travail, différents estimateurs ont été proposés et comparés à travers notamment leurs écarts types. Par ailleurs, il est proposé également une méthode de conception optimale d'expérience permettant de diminuer davantage ces écarts types. Dans un deuxième temps, on s'intéresse à l'estimation de conditions aux limites thermiques d'un système faisant intervenir les matériaux dont on connait les propriétés thermophysiques, à partir de mesures de température par thermocouples. La première application concerne la caractérisation les transferts thermiques instationnaires gaz-paroi pendant la phase de remplissage de bouteilles d'hydrogène haute pression. La seconde application porte sur l'estimation du flux de chaleur absorbé par des matériaux composites soumis à une flamme oxygène/acétylène. Ces travaux font appel à différentes méthodes d'optimisation, aussi bien des algorithmes classiques de type gradient, que des algorithmes stochastiques. Ces derniers se sont révélés particulièrement adaptés à la conception optimale d'expériences.

La problématique de cette étude est la gestion du changement dans les projets d'implémentation de progiciel. L'approche proposée est la gestion proactive du changement. Elle est basée sur des actions à priori pour réduire l'impact négatif du changement. Ces actions sont optimisées et ciblées sur certains processus de l'entreprise identifiés par prédiction. Notre objectif est de combiner la gestion quantitative et non-quantitative du changement dans les projets ERP afin de lever leurs limites. En effet, la littérature montre que les méthodes non-quantitatives proposent des actions de gestion du changement, sans pour autant accompagner ces actions d'une optimisation et d'un ciblage formalisé. Les techniques quantitatives, quant à elles, proposent des modèles mais ne définissent pas des actions claires. La démarche proposée repose sur l'application du processus de datamining. Nous nous sommes intéressés à trois concepts principaux qui sont l'ampleur, l'effort de gestion et l'impact du changement. L'idée est de tirer parti des informations collectées dans des projets d'implémentation de progiciel antérieurs, pour établir des relations quantitatives et objectives entre ces trois concepts. La première composante de l'application du datamining est l'utilisation d'un modèle pour faire des prédictions sur l'impact potentiel du changement. Cet impact est mesuré de manière prédictive par rapport à la variation des critères de performance du processus après sa restructuration et son implémentation dans le progiciel. L'unité d'analyse dans l'étude est le processus métier. La seconde composante de l'application du processus de datamining est la prise de décision basée sur les prédictions du modèle. L'ampleur et l'effort de gestion du changement sont considérés comme des explications pour l'impact du changement. Ils sont utilisés aussi comme levier dans les actions à définir pour la gestion de cet impact. Notre approche intervient principalement dans la phase " d'adéquation et de configuration " du projet ERP (Tomas, 2000) dans laquelle les processus sont restructurés. Elle vient compléter la simulation, le prototypage (qui inclut l'analyse des écarts) pour l'acceptation d'un processus " en-devenir ".

Dans ce mémoire, nous étudions l'approche bayésienne dans l'estimation des durées de vie pour des problèmes avec des points de rupture et avec des données censurées. Dans le chapitre 1, nous présentons les deux approches statistiques, l'approche fréquentiste et l'approche bayésienne. Nous montrons les points de ressemblance et de différence entre ces deux approches. Aussi, nous présentons le modèle bayésien hiérarchique avec les méthodes d'estimation Monte-Carlo avec un bref aperçu des méthodes de simulation par chaînes de Markov (MCMC). nous nous intéressons en particulier aux deux algorithmes qui sont utiles pour ces méthodes: il s'agit de l'algorithme Metropolis-Hastings et la méthode d'échantillonnage de Gibbs. Cette dernière a été utilisée par Geman et Geman (84) pour générer des observations à partir d'une distribution de Gibbs (distribution de Boltzmann). Il s'agit d'une forme particulière de méthode de Monte-Carlo par chaîne de Markov qui, du fait de son efficacité, est largement utilisée dans de nombreux domaines d'analyse statistique bayésienne. Nous parlons aussi dans ce chapitre du logiciel BUGS(Bayesian Inference Using Gibbs Sampling). Ce logiciel de programmation a été développé à l'unité MRC de Biostatistique de Cambridge. Il vise à tirer avantage des probabilités de l'échantillonnage de Gibbs dans l'inférence bayésienne sur des systèmes complexes. Dans le chapitre 2, nous abordons quelques concepts nécessaires à l'étude de l'analyse de survie, tels les fonctions de survie et de risque, les différents types de données censurées. Nous parlons aussi des méthodes fréquentistes d'analyse de survie, notamment la méthode de Kaplan-Meier. Nous rappellons aussi comment est déterminée la fonction de vraisemblance d'un modèle bayésien paramétrique de durée avec censure. Le chapitre 3 présente deux méthodes bayésiennes qui seront analysées et implémentées dans le logiciel BUGS. Une méthode qui est semi paramétrique, il s'agit de la méthode de Kalbfteisch. L'autre méthode paramétrique est celle de Carlin, Gelfand et Smith. Nous vérifions, grâce à des simulations, l'efficacité de ces deux méthodes bayésiennes. Deux exemples de simulations seront traités, un avec données censurées et l'autre avec points de rupture. Nous démontrons principalement que les estimations par simulation et l'inférence bayésienne paramétrique donnent de bons résultats par rapport aux méthodes classiques. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Fonction de survie, Méthodes paramétrique et semi paramétrique bayésiennes, Méthodes de Monte Carlo par chaîne de Markov, Échantillonnage de Gibbs.