Thèses (Ph.D.)--Université de Sherbrooke (Canada), 2002. / Titre de l'écran-titre (visionné le 20 juin 2006). Publié aussi en version papier.

L’apprentissage (machine) de modèle et l’estimation d’état sont cruciaux pour interpréter les phénomènes sous-jacents à de nombreuses applications du monde réel. Toutefois, il est souvent difficile d’apprendre le modèle d’un système et de capturer les états latents, efficacement et avec précision, en raison du fait que la connaissance du monde est généralement incertaine. Au cours des dernières années, les approches d’estimation et de modélisation bayésiennes ont été extensivement étudiées afin que l’incertain soit réduit élégamment et de manière flexible. Dans la pratique cependant, différentes limitations au niveau de la modélisation et de l’estimation bayésiennes peuvent détériorer le pouvoir d’interprétation bayésienne. Ainsi, la performance de l’estimation est souvent limitée lorsque le modèle de système manque de souplesse ou/et est partiellement inconnu. De même, la performance de la modélisation est souvent restreinte lorsque l’estimateur Bayésien est inefficace. Inspiré par ces faits, nous proposons d’étudier dans cette thèse, les connections possibles entre modélisation bayésienne (via le processus gaussien) et l’estimation bayésienne (via le filtre de Kalman et les méthodes de Monte Carlo) et comment on pourrait améliorer l’une en utilisant l’autre. À cet effet, nous avons d’abord vu de plus près comment utiliser les processus gaussiens pour l’estimation bayésienne. Dans ce contexte, nous avons utilisé le processus gaussien comme un prior non-paramétrique des modèles et nous avons montré comment cela permettait d’améliorer l’efficacité et la précision de l’estimation bayésienne. Ensuite, nous nous somme intéressé au fait de savoir comment utiliser l’estimation bayésienne pour le processus gaussien. Dans ce cadre, nous avons utilisé différentes estimations bayésiennes comme le filtre de Kalman et les filtres particulaires en vue d’améliorer l’inférence au niveau du processus gaussien. Ceci nous a aussi permis de capturer différentes propriétés au niveau des données d’entrée. Finalement, on s’est intéressé aux interactions dynamiques entre estimation bayésienne et processus gaussien. On s’est en particulier penché sur comment l’estimation bayésienne et le processus gaussien peuvent ”travailler” de manière interactive et complémentaire de façon à améliorer à la fois le modèle et l’estimation. L’efficacité de nos approches, qui contribuent à la fois au processus gaussien et à l’estimation bayésienne, est montrée au travers d’une analyse mathématique rigoureuse et validée au moyen de différentes expérimentations reflétant des applications réelles. / Model learning and state estimation are crucial to interpret the underlying phenomena in many real-world applications. However, it is often challenging to learn the system model and capture the latent states accurately and efficiently due to the fact that the knowledge of the world is highly uncertain. During the past years, Bayesian modeling and estimation approaches have been significantly investigated so that the uncertainty can be elegantly reduced in a flexible probabilistic manner. In practice, however, several drawbacks in both Bayesian modeling and estimation approaches deteriorate the power of Bayesian interpretation. On one hand, the estimation performance is often limited when the system model lacks in flexibility and/or is partially unknown. On the other hand, the modeling performance is often restricted when a Bayesian estimator is not efficient and/or accurate. Inspired by these facts, we propose Interactions Between Gaussian Processes and Bayesian Estimation where we investigate the novel connections between Bayesian model (Gaussian processes) and Bayesian estimator (Kalman filter and Monte Carlo methods) in different directions to address a number of potential difficulties in modeling and estimation tasks. Concretely, we first pay our attention to Gaussian Processes for Bayesian Estimation where a Gaussian process (GP) is used as an expressive nonparametric prior for system models to improve the accuracy and efficiency of Bayesian estimation. Then, we work on Bayesian Estimation for Gaussian Processes where a number of Bayesian estimation approaches, especially Kalman filter and particle filters, are used to speed up the inference efficiency of GP and also capture the distinct input-dependent data properties. Finally, we investigate Dynamical Interaction Between Gaussian Processes and Bayesian Estimation where GP modeling and Bayesian estimation work in a dynamically interactive manner so that GP learner and Bayesian estimator are positively complementary to improve the performance of both modeling and estimation. Through a number of mathematical analysis and experimental demonstrations, we show the effectiveness of our approaches which contribute to both GP and Bayesian estimation.

Ce mémoire présente les résultats d’estimation de ressources minérales en éléments des terres rares (ETR) réalisés à l’aide de simulations géostatistiques gaussiennes séquentielles (SGS) en facteurs spatialement décorrélés par la méthode MAF (Minimum/Maximum Autocorrelation Factors). Cette étude s’inscrit dans le cadre du projet de recherche « Caractérisation des gîtes de terres rares d’intrusions alcalines : géologie, métallogénie et géométallurgie du complexe syénitique de Kipawa » (FRQNT, 2017, p. 59). Les SGS se proposent comme une méthode alternative à la technique reconnue du krigeage ordinaire ayant été utilisée pour l’estimation des ressources minérales d’ETR du gisement de Kipawa, site à l’étude. Ce mémoire compare les résultats d’estimation des ressources minérales d’ETR des SGS à ceux du krigeage ordinaire. À cette fin, le site à l’étude est d’abord présenté en compagnie de la base de données conjointement utilisées par les deux méthodes. Ensuite, une revue de littérature aborde les notions et concepts nécessaires à la réalisation des SGS de cette étude. Une fois ces connaissances acquises, la méthode de recherche est développée. Son aboutissement permet de présenter les résultats et d’en discuter. Globalement, les résultats démontrent que les SGS en facteurs offrent l’avantage de procéder à l’estimation de ressources minérales d’ETR de façon multivariée, de limiter le lissage des résultats tout en fournissant une évaluation de leur incertitude. Les SGS proposent une distribution normale des ressources minérales en ETR totaux allant d’un minimum de 91 035 t à un maximum de 103 118 t. D’autre part, le krigeage ordinaire en estime, sans teneur de coupure, une valeur unique de 113 717 t. En conclusion, le tonnage évalué des ressources minérales en ETR du gisement Kipawa est moindre par la méthode des SGS que par le krigeage ordinaire. MOTS CLÉS : Simulations, géostatistique, simulations gaussiennes séquentielles (SGS), facteurs d’autocorrélation minimum/maximum (MAF), éléments des terres rares (ETR), ressources minérales. / This thesis presents the results of rare earth elements (REE) mineral resources estimate using Sequential Gaussian Simulations (SGS) of spatially decorrelated factors calculated from the Minimum/Maximum Autocorrelation Factors (MAF) method. This study is part of the research project "Characterization of REE deposits of alkaline intrusions: geology, metallogeny and geometallurgy of the Kipawa syenite complex" (FRQNT, 2017, p. 59). SGS are proposed as an alternative method to the acknowledge ordinary kriging technic which was used for the REE mineral resources estimation of the Kipawa deposit, site under study. This report compares the results of the SGS mineral resources estimate to those of ordinary kriging. To this end, the study site is first presented along with the database jointly used by the two methods. Then, a literature review discusses the notions and concepts required to carry out the SGS of this study. Once this knowledge acquired, the research method is developed. Afterward, the results are presented and discussed. Overall, results demonstrate that SGS of MAF factors offer the advantage of estimating REE mineral resources in a multivariate manner, limiting the smoothing of the results while providing an assessment of their uncertainty. The SGS propose a normal distribution of the total REE ranging from a minimum of 91 035 t to a maximum of 103 118 t. On the other hand, the ordinary kriging estimates a single value of 113 717 t in total REE with no cut-off grade. In conclusion, the SGS method evaluates a lesser tonnage of REE mineral ressources at the Kipawa deposit than the ordinary kriging technic. KEYWORDS: Simulations, Geostatistic, Sequential Gaussian Simulations (SGS), Min/Max Autocorrelation Factors (MAF), Rare Earth Elements (REE), Mineral resources.

La majeure partie de cette thèse est consacrée à l'inégalité de Blaschke-Santaló, qui s'énonce ainsi : parmi les ensembles symétriques, la boule euclidienne maximise le produit vol(K) vol(K°), K° désignant le polaire de K. Il existe des versions fonctionnelles de cette inégalité, découvertes par plusieurs auteurs (Ball, Artstein, Klartag, Milman, Fradelizi, Meyer. . .), mais elles sont toutes dérivées de l'inégalité ensembliste. L'objet de cette thèse est de proposer des démonstrations directes de ces inégalités fonctionnelles. On obtient ainsi de nouvelles preuves de l'inégalité de Santaló, parfois très simples. La dernière partie est un peu à part et concerne le chaos gaussien : on démontre une majoration précise des moments du chaos gaussien due à Lataªa par des arguments de chaînage à la Talagrand

La majeure partie de cette thèse est consacrée à l'inégalité de Blaschke-Santaló, qui s'énonce ainsi : parmi les ensembles symétriques, la boule euclidienne maximise le produit vol(K) vol(K°), K° désignant le polaire de K. Il existe des versions fonctionnelles de cette inégalité, découvertes par plusieurs auteurs (Ball, Artstein, Klartag, Milman, Fradelizi, Meyer. . .), mais elles sont toutes dérivées de l'inégalité ensembliste. L'objet de cette thèse est de proposer des démonstrations directes de ces inégalités fonctionnelles. On obtient ainsi de nouvelles preuves de l'inégalité de Santaló, parfois très simples. La dernière partie est un peu à part et concerne le chaos gaussien : on démontre une majoration précise des moments du chaos gaussien due à Lataªa par des arguments de chaînage à la Talagrand / This thesis is mostly about the Blaschke-Santaló inequality, which states that among symmetric sets, the Euclidean ball maximises the product vol(K) vol(K°), where K° is the polar body of K. Several authors (Ball, Artstein, Klartag, Milman, Fradelizi, Meyer. . .) were able to derive functional inequalities from this inequality. The purpose of this thesis is to give direct proofs of these functional Santaló inequalities. This provides new proofs of Santaló, some of which are very simple. The last chapter is about Gaussian chaoses. We obtain a sharp bound for moments of Gaussian chaoses due to Lataªa, using the generic chaining of Talagrand

Le thème général de cette thèse est celui de la construction de modèles permettantd'approximer une fonction f lorsque la valeur de f(x) est connue pour un certainnombre de points x. Les modèles considérés ici, souvent appelés modèles de krigeage,peuvent être abordés suivant deux points de vue : celui de l'approximation dans les espacesde Hilbert à noyaux reproduisants ou celui du conditionnement de processus gaussiens.Lorsque l'on souhaite modéliser une fonction dépendant d'une dizaine de variables, lenombre de points nécessaires pour la construction du modèle devient très important etles modèles obtenus sont difficilement interprétables. A partir de ce constat, nous avonscherché à construire des modèles simplifié en travaillant sur un objet clef des modèles dekrigeage : le noyau. Plus précisement, les approches suivantes sont étudiées : l'utilisation denoyaux additifs pour la construction de modèles additifs et la décomposition des noyauxusuels en sous-noyaux pour la construction de modèles parcimonieux. Pour finir, nousproposons une classe de noyaux qui est naturellement adaptée à la représentation ANOVAdes modèles associés et à l'analyse de sensibilité globale.

Thèse de doctorat : Mathématiques : Lille 1 : 2001. / N° d'ordre (Lille) : 3085. Résumé en français et en anglais. Bibliogr. p. 115-119.

Le thème général de cette thèse est celui de la construction de modèles permettant d'approximer une fonction f lorsque la valeur de f(x) est connue pour un certain nombre de points x. Les modèles considérés ici, souvent appelés modèles de krigeage, peuvent être abordés suivant deux points de vue : celui de l'approximation dans les espaces de Hilbert à noyaux reproduisants ou celui du conditionnement de processus gaussiens. Lorsque l'on souhaite modéliser une fonction dépendant d'une dizaine de variables, le nombre de points nécessaires pour la construction du modèle devient très important et les modèles obtenus sont difficilement interprétables. A partir de ce constat, nous avons cherché à construire des modèles simplifiés en travaillant sur un objet clef des modèles de krigeage : le noyau. Plus précisement, les approches suivantes sont étudiées : l'utilisation de noyaux additifs pour la construction de modèles additifs et la décomposition des noyaux usuels en sous-noyaux pour la construction de modèles parcimonieux. Pour finir, nous proposons une classe de noyaux qui est naturellement adaptée à la représentation ANOVA des modèles associés et à l'analyse de sensibilité globale.

L’«Efficient Global Optimization» (EGO) est une méthode de référence pour l’optimisation globale de fonctions «boites noires» coûteuses. Elle peut cependant rencontrer quelques difficultés, comme le mauvais conditionnement des matrices de covariance des processus Gaussiens (GP) qu’elle utilise, ou encore la lenteur de sa convergence vers l’optimum global. De plus, le choix des paramètres du GP, crucial car il contrôle la famille des fonctions d’approximation utilisées, mériterait une étude plus poussée que celle qui en a été faite jusqu’à présent. Enfin, on peut se demander si l’évaluation classique des paramètres du GP est la plus appropriée à des fins d’optimisation. \\Ce travail est consacré à l'analyse et au traitement des différentes questions soulevées ci-dessus.La première partie de cette thèse contribue à une meilleure compréhension théorique et pratique de l’impact des stratégies de régularisation des processus Gaussiens, développe une nouvelle technique de régularisation, et propose des règles pratiques. Une seconde partie présente un nouvel algorithme combinant EGO et CMA-ES (ce dernier étant un algorithme d’optimisation globale et convergeant). Le nouvel algorithme, nommé EGO-CMA, utilise EGO pour une exploration initiale, puis CMA-ES pour une convergence finale. EGO-CMA améliore les performances des deux algorithmes pris séparément. Dans une troisième partie, l’effet des paramètres du processus Gaussien sur les performances de EGO est soigneusement analysé. Finalement, un nouvel algorithme EGO auto-adaptatif est présenté, dans une nouvelle approche où ces paramètres sont estimés à partir de leur influence sur l’efficacité de l’optimisation elle-même. / The Efficient Global Optimization (EGO) is regarded as the state-of-the-art algorithm for global optimization of costly black-box functions. Nevertheless, the method has some difficulties such as the ill-conditioning of the GP covariance matrix and the slow convergence to the global optimum. The choice of the parameters of the GP is critical as it controls the functional family of surrogates used by EGO. The effect of different parameters on the performance of EGO needs further investigation. Finally, it is not clear that the way the GP is learned from data points in EGO is the most appropriate in the context of optimization. This work deals with the analysis and the treatment of these different issues. Firstly, this dissertation contributes to a better theoretical and practical understanding of the impact of regularization strategies on GPs and presents a new regularization approach based on distribution-wise GP. Moreover, practical guidelines for choosing a regularization strategy in GP regression are given. Secondly, a new optimization algorithm is introduced that combines EGO and CMA-ES which is a global but converging search. The new algorithm, called EGO-CMA, uses EGO for early exploration and then CMA-ES for final convergence. EGO-CMA improves the performance of both EGO and CMA-ES. Thirdly, the effect of GP parameters on the EGO performance is carefully analyzed. This analysis allows a deeper understanding of the influence of these parameters on the EGO iterates. Finally, a new self-adaptive EGO is presented. With the self-adaptive EGO, we introduce a novel approach for learning parameters directly from their contribution to the optimization.

Motivés par des besoins en industrie microélectronique, ces travaux apportent des contributions en modélisation probabiliste de données spatiales, et en maîtrise statistique de procédés.Le problème spatial a pour spécificité d’être posé sur un domaine circulaire. Il se représente par un modèle de krigeage dont la partie déterministe est constituée de polynômes orthogonaux et la partie stochastique de processus gaussiens. Traditionnellement définis avec la norme euclidienne et la mesure uniforme sur le disque, ces choix n’exploitent pas les informations a priori sur les procédés d’usinage.Pour tenir compte des mécanismes de rotation ou de diffusion à partir du centre, nous formalisons les processus gaussiens polaires sur le disque. Ces processus intègrent les corrélations radiales et angulaires dans le modèle de krigeage, et en améliorent les performances dans les situations considérées. Ils sont ensuite interprétés par décomposition de Sobol et généralisés en dimension supérieure. Des plans d’expériences sont proposés dans le cadre de leur utilisation. Au premier rang figurent les cylindres latins qui reproduisent en coordonnées polaires les caractéristiques des hypercubes latins.Pour intégrer à la fois les aspects spatiaux et temporels du problème industriel, la maîtrise statistique de procédé est abordée en termes d’application de cartes de contrôle aux paramètres des modèles spatiaux. Les séries temporelles suivies ont aussi la particularité de comporter des données atypiques et des changements structurels, sources de biais en prévision, et de fausses alarmes en suivi de risque. Ce problème est traité par lissage robuste et adaptatif. / Driven by industrial needs in microelectronics, this thesis is focused on probabilistic models for spatial data and Statistical Process Control. The spatial problem has the specificity of being defined on circular domains. It is addressed through a Kriging model where the deterministic part is made of orthogonal polynomials and the stochastic term represented by a Gaussian process. Defined with the Euclidean distance and the uniform measure over the disk, traditional Kriging models do not exploit knowledge on manufacturing processes. To take rotations or diffusions from the center into account, we introduce polar Gaussian processes over the disk. They embed radial and angular correlations in Kriging predictions, leading to significant improvements in the considered situations. Polar Gaussian processes are then interpreted via Sobol decomposition and generalized in higher dimensions. Different designs of experiments are developed for the proposed models. Among them, Latin cylinders reproduce in the space of polar coordinates the properties of Latin hypercubes. To model spatial and temporal data, Statistical Process Control is addressed by monitoring Kriging parameters, based on standard control charts. Furthermore, the monitored time – series contain outliers and structural changes, which cause bias in prediction and false alarms in risk management. These issues are simultaneously tackled with a robust and adaptive smoothing.