Cette thèse est consacrée à l’étude de deux problèmes différents : l’asymptotique suramortie de la dynamique de Langevin d’une part, et l’étude d’une technique de réduction de variance dans une méthode de Monte Carlo par une repondération optimale des échantillons, d’autre part. Dans le premier problème, on montre la convergence en distribution de processus de Langevin dans l’asymptotique sur-amortie. La preuve repose sur la méthode classique des “fonctions test perturbées”, qui est utilisée pour montrer la tension dans l’espace des chemins, puis pour identifier la limite comme solution d’un problème de martingale. L’originalité du résultat tient aux hypothèses très faibles faites sur la régularité de l’énergie potentielle. Dans le deuxième problème, nous concevons des méthodes de réduction de la variance pour l’estimation de Monte Carlo d’une espérance de type E[φ(X, Y )], lorsque la distribution de X est exactement connue. L’idée générale est de donner à chaque échantillon un poids, de sorte que la distribution empirique pondérée qui en résulterait une marginale par rapport à la variable X aussi proche que possible de sa cible. Nous prouvons plusieurs résultats théoriques sur la méthode, en identifiant des régimes où la réduction de la variance est garantie. Nous montrons l’efficacité de la méthode en pratique, par des tests numériques qui comparent diverses variantes de notre méthode avec la méthode naïve et des techniques de variable de contrôle. La méthode est également illustrée pour une simulation d’équation différentielle stochastique de Langevin / This dissertation is devoted to studying two different problems: the over-damped asymp- totics of Langevin dynamics and a new variance reduction technique based on an optimal reweighting of samples.In the first problem, the convergence in distribution of Langevin processes in the over- damped asymptotic is proven. The proof relies on the classical perturbed test function (or corrector) method, which is used (i) to show tightness in path space, and (ii) to identify the extracted limit with a martingale problem. The result holds assuming the continuity of the gradient of the potential energy, and a mild control of the initial kinetic energy. In the second problem, we devise methods of variance reduction for the Monte Carlo estimation of an expectation of the type E [φ(X, Y )], when the distribution of X is exactly known. The key general idea is to give each individual sample a weight, so that the resulting weighted empirical distribution has a marginal with respect to the variable X as close as possible to its target. We prove several theoretical results on the method, identifying settings where the variance reduction is guaranteed, and also illustrate the use of the weighting method in Langevin stochastic differential equation. We perform numerical tests comparing the methods and demonstrating their efficiency

La matière sombre est considérée comme l'un des plus grands mystères dans la cosmologie moderne. En effet, on peut dire que l’on connaît plus sur ce que la matière sombre n'est pas que sur sa vraie nature. La collaboration SuperCDMS travaille sans répit pour réussir à faire la première détection directe de la matière sombre. À cet effet, la collaboration a eu recours à plusieurs expériences et simulations à diverses échelles, pouvant aller de l'usage d'un seul détecteur semi-conducteur, jusqu'à la création d'expériences à grande échelle qui cherchent à faire cette première détection directe de la matière sombre. Dans ce texte, on verra différentes méthodes pour nous aider à mieux comprendre les erreurs systématiques liées à la position du détecteur utilisé dans le cadre des expériences IMPACT@TUNL et IMPACT@MTL, soit l'usage des simulations et de la radiologie industrielle respectivement. On verra aussi comment l'implémentation de la méthode de réduction de variance connue comme échantillonnage préférentiel, peut aider à améliorer l'exécution des simulations de l'expérience à grande échelle planifiée pour le laboratoire canadien SNOLAB. En outre, on verra comment l'échantillonnage préférentiel s'avère utile non seulement pour mieux profiter des ressources disponibles pour la collaboration, mais aussi pour avoir une meilleure compréhension des source de bruits de fond qui seront présentes à SNOLAB, tels que les signaux générés par la désintégration radioactive de divers isotopes. / Dark matter is one of the biggest mysteries of modern-day cosmology. Simply put, we know much more about what it is not, rather than what it actually is. The SuperCDMS collaboration works relentlessly toward making the first direct detection of this type of matter. To this effect, multiple experiments and simulations have been performed, ranging from small-scale testing of the detectors to large-scale, long-term experiments, looking for the actual detection of dark matter. In this work, I will analyze different methods to help understand the systematic errors linked to detector position in regard to the small-scale experiments IMPACT@TUNL and IMPACT@MTL, through simulation and industrial radiography respectively. We will also see how the implementation of the variance reduction method known as importance sampling can be used to improve the simulation performance of the large-scale experiment in the Canadian laboratory SNOLAB. Additionally, we will see how this method can provide not only better management of the computing resources available to the collaboration, but also how it can be used to better the understanding of the background noises, such as the signals generated by radioactive decay of different isotopes, that will be present at SNOLAB.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Cette thèse traite de quatre sujets en rapport avec les dynamiques non-réversibles. Chacun fait l'objet d'un chapitre qui peut être lu indépendamment.Le premier chapitre est une introduction générale présentant les problématiques et quelques résultats majeurs de physique statistique computationnelle.Le second chapitre concerne la résolution numérique d'équations aux dérivées partielles hypoelliptiques, c'est-à-dire faisant intervenir un opérateur différentiel inversible mais non coercif. Nous prouvons la consistance de la méthode de Galerkin ainsi que des taux de convergence pour l'erreur. L'analyse est également conduite dans le cas d'une formulation point-selle, qui s'avère être la plus adaptée dans les cas qui nous intéressent. Nous démontrons que nos hypothèses sont satisfaites dans un cas simple et vérifions numériquement nos prédictions théoriques sur cet exemple.Dans le troisième chapitre nous proposons une stratégie générale permettant de construire des variables de contrôle pour des dynamiques hors-équilibre. Cette méthode permet en particulier de réduire la variance des estimateurs de coefficient de transport par moyenne ergodique. Cette réduction de variance est quantifiée dans un régime perturbatif. La variable de contrôle repose sur la solution d'une équation aux dérivées partielles. Dans le cas de l'équation de Langevin cette équation est hypoelliptique, ce qui motive le chapitre précédent. La méthode proposée est testée numériquement sur trois exemples.Le quatrième chapitre est connecté au troisième puisqu'il utilise la même idée de variable de contrôle. Il s'agit d'estimer la mobilité d'une particule dans le régime sous-amorti, où la dynamique est proche d'être Hamiltonienne. Ce travail a été effectué en collaboration avec G. Pavliotis durant un séjour à l'Imperial College London.Le dernier chapitre traite des processus de Markov déterministes par morceaux, qui permettent l'échantillonnage de mesure en grande dimension. Nous prouvons la convergence exponentielle vers l'équilibre de plusieurs dynamiques de ce type sous un formalisme général incluant le processus de Zig-Zag (ZZP), l'échantillonneur à particule rebondissante (BPS) et la dynamique de Monte Carlo hybride randomisée (RHMC). La dépendances des bornes sur le taux de convergence que nous démontrons sont explicites par rapport aux paramètres du problème. Cela permet en particulier de contrôler la taille des intervalles de confiance pour des moyennes empiriques lorsque la dimension de l'espace des phases sous-jacent est grande. Ce travail a été fait en collaboration avec C. Andrieu, A. Durmus et N. Nüsken. / This thesis deals with four topics related to non-reversible dynamics. Each is the subject of a chapter which can be read independently. The first chapter is a general introduction presenting the problematics and some major results of computational statistical physics. The second chapter concerns the numerical resolution of hypoelliptic partial differential equations, i.e. involving an invertible but non-coercive differential operator. We prove the consistency of the Galerkin method as well as convergence rates for the error. The analysis is also carried out in the case of a saddle-point formulation, which is the most appropriate in the cases of interest to us. We demonstrate that our assumptions are met in a simple case and numerically check our theoretical predictions on this example. In the third chapter we propose a general strategy for constructing control variates for nonequilibrium dynamics. In particular, this method reduces the variance of transport coefficient estimators by ergodic mean. This variance reduction is quantified in a perturbative regime. The control variate is based on the solution of a partial differential equation. In the case of Langevin's equation this equation is hypoelliptic, which motivates the previous chapter. The proposed method is tested numerically on three examples. The fourth chapter is connected to the third since it uses the same idea of a control variate. The aim is to estimate the mobility of a particle in the underdamped regime, where the dynamics are close to being Hamiltonian. This work was done in collaboration with G. Pavliotis during a stay at Imperial College London. The last chapter deals with Piecewise Deterministic Markov Processes, which allow measure sampling in high-dimension. We prove the exponential convergence towards the equilibrium of several dynamics of this type under a general formalism including the Zig-Zag process (ZZP), the Bouncy Particle Sampler (BPS) and the Randomized Hybrid Monte Carlo (RHMC). The dependencies of the bounds on the convergence rate that we demonstrate are explicit with respect to the parameters of the problem. This allows in particular to control the size of the confidence intervals for empirical averages when the size of the underlying phase space is large. This work was done in collaboration with C. Andrieu, A. Durmus and N. Nüsken

L'étude de la propagation de la lumière dans les fibres optiques monomodes requiert la prise en compte de plusieurs phénomènes compliqués tels que la dispersion modale de polarisation et l'effet Kerr. Il s'est avéré que l'évolution de l'enveloppe lentement variable du champ électrique est bien décrite par un système couplé d'équations de Schrödinger non linéaires à coefficients aléatoires : l'équation de Manakov PMD. Cette équation fait intervenir différentes échelles dont le ratio est donné par un petit paramètre. La première partie de ce travail consiste à étudier le comportement asymptotique de la solution de l'équation de Manakov PMD lorsque ce petit paramètre tend vers zéro. En généralisant la théorie de l'Approximation-Diffusion au cadre de la dimension infinie, on a montré que la dynamique asymptotique est donnée par une équation aux dérivées partielles stochastiques dirigée par un mouvement brownien de dimension trois. Dans une seconde partie, nous proposons un schéma de différences finies de type Crank Nicolson pour cette équation pour lequel nous obtenons un ordre de convergence en probabilité d'ordre 1/2. La discrétisation du bruit doit être implicite afin d'obtenir un schéma conservatif et stable. Enfin la dernière partie est relative à la simulation numérique de la dispersion modale de polarisation et à ses effets sur la propagation et la collision de solitons de Manakov. Dans ce cadre, on propose une méthode de réduction de variance valable pour les équations aux dérivées partielles stochastiques.

Dans une première partie, nous étudions des schémas numériques utilisant la méthode des éléments finis pour discrétiser le système d'équations Oldroyd-B modélisant un fluide viscolélastique avec conditions de collement dans un domaine borné, en dimension deux ou trois. Le but est d'obtenir des schémas stables au sens où ils dissipent une énergie libre, imitant ainsi des propriétés thermodynamiques de dissipation similaires à celles identifiées pour des solutions régulières du modèle continu. Cette étude s'ajoute a de nombreux travaux antérieurs sur les instabilités observées dans les simulations numériques d'équations viscoélastiques (dont celles connues comme étant des Problèmes à Grand Nombre de Weissenberg). A notre connaissance, c'est la première étude qui considère rigoureusement la stabilité numérique au sens de la dissipation d'une énergie pour des discrétisations de type Galerkin. Dans une seconde partie, nous adaptons et utilisons les idées d'une méthode numérique initialement développée dans des travaux de Y. Maday, A. T. Patera et al., la méthode des bases réduites, pour simuler efficacement divers modèles multi-échelles. Le principe est d'approcher numériquement chaque élément d'une collection paramétrée d'objets complexes dans un espace de Hilbert par la plus proche combinaison linéaire dans le meilleur sous-espace vectoriel engendré par quelques éléments bien choisis au sein de la même collection paramétrée. Nous appliquons ce principe pour des problèmes numériques liés : à l'homogénéisation numérique d'équations elliptiques scalaires du second-ordre, avec coefficients de diffusion oscillant à deux échelles, puis ; à la propagation d'incertitudes (calculs de moyenne et de variance) dans un problème elliptique avec coefficients stochastiques (un champ aléatoire borné dans une condition de bord du troisième type), enfin ; au calcul Monte-Carlo de l'espérance de nombreuses variables aléatoires paramétrées, en particulier des fonctionnelles de processus stochastiques d'Itô paramétrés proches de ce qu'on rencontre dans les modèles micro-macro de fluides polymériques, avec une variable de contrôle pour en réduire la variance. Dans chaque application, le but de l'approche bases-réduites est d'accélérer les calculs sans perte de précision / In a first part, we study numerical schemes using the finite-element method to discretize the Oldroyd-B system of equations, modelling a viscoelastic fluid under no flow boundary condition in a 2- or 3- dimensional bounded domain. The goal is to get schemes which are stable in the sense that they dissipate a free-energy, mimicking that way thermodynamical properties of dissipation similar to those actually identified for smooth solutions of the continuous model. This study adds to numerous previous ones about the instabilities observed in the numerical simulations of viscoelastic fluids (in particular those known as High Weissenberg Number Problems). To our knowledge, this is the first study that rigorously considers the numerical stability in the sense of an energy dissipation for Galerkin discretizations. In a second part, we adapt and use ideas of a numerical method initially developped in the works of Y. Maday, A.T. Patera et al., the reduced-basis method, in order to efficiently simulate some multiscale models. The principle is to numerically approximate each element of a parametrized family of complicate objects in a Hilbert space through the closest linear combination within the best linear subspace spanned by a few elementswell chosen inside the same parametrized family. We apply this principle to numerical problems linked : to the numerical homogenization of second-order elliptic equations, with two-scale oscillating diffusion coefficients, then ; to the propagation of uncertainty (computations of the mean and the variance) in an elliptic problem with stochastic coefficients (a bounded stochastic field in a boundary condition of third type), last ; to the Monte-Carlo computation of the expectations of numerous parametrized random variables, in particular functionals of parametrized Itô stochastic processes close to what is encountered in micro-macro models of polymeric fluids, with a control variate to reduce its variance. In each application, the goal of the reduced-basis approach is to speed up the computations without any loss of precision

La méthode Quasi-Monte Carlo Randomisé (RQMC) est souvent utilisée pour estimer une intégrale sur le cube unitaire (0,1)^s de dimension s. Cette intégrale est interprétée comme l'espérance mathématique d'une variable aléatoire X. Il est bien connu que, sous certaines conditions, les estimateurs d'intégrales par RQMC peuvent converger plus rapidement que les estimateurs par Monte Carlo. Pour la simulation de chaînes de Markov sur un grand nombre d'étapes en utilisant RQMC, il existe peu de résultats. L'approche la plus prometteuse proposée à ce jour est la méthode array-RQMC. Cette méthode simule, en parallèle, n copies de la chaîne en utilisant un ensemble de points RQMC aléatoires et indépendants à chaque étape et trie ces chaînes en utilisant une fonction de tri spécifique après chaque étape. Cette méthode a donné, de manière empirique, des résultats significatifs sur quelques exemples (soit, un taux de convergence bien meilleur que celui observé avec Monte Carlo standard). Par contre, les taux de convergence observés empiriquement n'ont pas encore été prouvés théoriquement. Dans la première partie de cette thèse, nous examinons comment RQMC peut améliorer, non seulement, le taux de convergence lors de l'estimation de l'espérance de X mais aussi lors de l'estimation de sa densité. Dans la deuxième partie, nous examinons comment RQMC peut être utilisé pour la simulation de chaînes de Markov sur un grand nombre d'étapes à l'aide de la méthode array-RQMC. Notre thèse contient quatre articles. Dans le premier article, nous étudions l'efficacité gagnée en remplaçant Monte Carlo (MC) par les méthodes de Quasi-Monte Carlo Randomisé (RQMC) ainsi que celle de la stratification. Nous allons ensuite montrer comment ces méthodes peuvent être utilisées pour rendre un échantillon plus représentatif. De plus, nous allons montrer comment ces méthodes peuvent aider à réduire la variance intégrée (IV) et l'erreur quadratique moyenne intégrée (MISE) pour les estimateurs de densité par noyau (KDE). Nous fournissons des résultats théoriques et empiriques sur les taux de convergence et nous montrons que les estimateurs par RQMC et par stratification peuvent atteindre des réductions significatives en IV et MISE ainsi que des taux de convergence encore plus rapides que MC pour certaines situations, tout en laissant le biais inchangé. Dans le deuxième article, nous examinons la combinaison de RQMC avec une approche Monte Carlo conditionnelle pour l'estimation de la densité. Cette approche est définie en prenant la dérivée stochastique d'une CDF conditionnelle de X et offre une grande amélioration lorsqu'elle est appliquée. L'utilisation de la méthode array-RQMC pour évaluer une option asiatique sous un processus ordinaire de mouvement brownien géométrique avec une volatilité fixe a déjà été tentée dans le passé et un taux de convergence de O(n⁻²) a été observé pour la variance. Dans le troisième article, nous étudions le prix des options asiatiques lorsque le processus sous-jacent présente une volatilité stochastique. Plus spécifiquement, nous examinons les modèles de volatilité stochastique variance-gamma, Heston ainsi que Ornstein-Uhlenbeck. Nous montrons comment l'application de la méthode array-RQMC pour la détermination du prix des options asiatiques et européennes peut réduire considérablement la variance. L'algorithme t-leaping est utilisé dans la simulation des systèmes biologiques stochastiques. La méthode Monte Carlo (MC) est une approche possible pour la simulation de ces systèmes. Simuler la chaîne de Markov pour une discrétisation du temps de longueur t via la méthode quasi-Monte Carlo randomisé (RQMC) a déjà été explorée empiriquement dans plusieurs expériences numériques et les taux de convergence observés pour la variance, lorsque la dimension augmente, s'alignent avec ceux observés avec MC. Dans le dernier article, nous étudions la combinaison de array-RQMC avec cet algorithme et démontrons empiriquement que array-RQMC fournit une réduction significative de la variance par rapport à la méthode de MC standard. / The Randomized Quasi Monte Carlo method (RQMC) is often used to estimate an integral over the s-dimensional unit cube (0,1)^s. This integral is interpreted as the mathematical expectation of some random variable X. It is well known that RQMC estimators can, under some conditions, converge at a faster rate than crude Monte Carlo estimators of the integral. For Markov chains simulation on a large number of steps by using RQMC, little exists. The most promising approach proposed to date is the array-RQMC method. This method simulates n copies of the chain in parallel using a set of independent RQMC points at each step, and sorts the chains using a specific sorting function after each step. This method has given empirically significant results in terms of convergence rates on a few examples (i.e. a much better convergence rate than that observed with Monte Carlo standard). However, the convergence rates observed empirically have not yet been theoretically proven. In the first part of this thesis, we examine how RQMC can improve the convergence rate when estimating not only X's expectation, but also its distribution. In the second part, we examine how RQMC can be used for Markov chains simulation on a large number of steps using the array-RQMC method. Our thesis contains four articles. In the first article, we study the effectiveness of replacing Monte Carlo (MC) by either randomized quasi Monte Carlo (RQMC) or stratification to show how they can be applied to make samples more representative. Furthermore, we show how these methods can help to reduce the integrated variance (IV) and the mean integrated square error (MISE) for the kernel density estimators (KDEs). We provide both theoretical and empirical results on the convergence rates and show that the RQMC and stratified sampling estimators can achieve significant IV and MISE reductions with even faster convergence rates compared to MC in some situations, while leaving the bias unchanged. In the second article, we examine the combination of RQMC with a conditional Monte Carlo approach to density estimation. This approach is defined by taking the stochastic derivative of a conditional CDF of X and provides a large improvement when applied. Using array-RQMC in order to price an Asian option under an ordinary geometric Brownian motion process with fixed volatility has already been attempted in the past and a convergence rate of O(n⁻²) was observed for the variance. In the third article, we study the pricing of Asian options when the underlying process has stochastic volatility. More specifically, we examine the variance-gamma, Heston, and Ornstein-Uhlenbeck stochastic volatility models. We show how applying the array-RQMC method for pricing Asian and European options can significantly reduce the variance. An efficient sample path algorithm called (fixed-step) t-leaping can be used to simulate stochastic biological systems as well as well-stirred chemical reaction systems. The crude Monte Carlo (MC) method is a feasible approach when it comes to simulating these sample paths. Simulating the Markov chain for fixed-step t-leaping via ordinary randomized quasi-Monte Carlo (RQMC) has already been explored empirically and, when the dimension of the problem increased, the convergence rate of the variance was realigned with those observed in several numerical experiments using MC. In the last article, we study the combination of array-RQMC with this algorithm and empirically demonstrate that array-RQMC provides a significant reduction in the variance compared to the standard MC algorithm.

Cette thèse se concentre sur le calcul de la solution optimale d'un problème de couverture de produit dérivé en temps discret. Le problème consiste à minimiser une mesure de risque, définie comme l'espérance d'une fonction convexe du profit (ou perte) du portefeuille, en tenant compte des frais de transaction. Lorsqu'il y a des coûts, il peut être optimal de ne pas transiger. Ainsi, les solutions sont caractérisées par des frontières de transaction. En général, les politiques optimales et les fonctions de risque associées ne sont pas connues explicitement, mais une stratégie bien connue consiste à approximer les solutions de manière récursive en utilisant la programmation dynamique. Notre contribution principale est d'appliquer la méthode du maillage stochastique. Cela permet d'utiliser des processus stochastiques multi-dimensionels pour les dynamiques de prix. On obtient aussi des estimateurs biasés à la hausse et à la baisse, donnant une mesure de la proximité de l'optimum. Nous considérons différentes façons d'améliorer l'efficacité computationelle. Utiliser la technique des variables de contrôle réduit le bruit qui provient de l'utilisation de prix de dérivés estimés à même le maillage stochastique. Deux autres techniques apportent des réductions complémentaires du temps de calcul : utiliser une grille unique pour les états du maillage et utiliser une procédure de "roulette Russe". Dans la dernière partie de la thèse, nous présentons une application pour le cas de la fonction de risque exponentielle négative et un modèle à volatilité stochastique (le modèle de Ornstein-Uhlenbeck exponentiel). Nous étudions le comportement des solutions sous diverses configurations des paramètres du modèle et comparons la performance des politiques basées sur un maillage à celles d'heuristiques. / This thesis focuses on computing the optimal solution to a derivative hedging problem in discrete time. The problem is to minimize a risk measure, defined as the expectation of a convex function of the terminal profit and loss of the portfolio, taking transaction costs into account. In the presence of costs, it is sometimes optimal not to trade, so the solutions are characterized in terms of trading boundaries. In general, the optimal policies and the associated risk functions are not known explicitly, but a well-known strategy is to approximate the solutions recursively using dynamic programming. Our central innovation is in applying the stochastic mesh method, which was originally applied to option pricing. It allows exibility for the price dynamics, which could be driven by a multi-dimensional stochastic process. It also yields both low and high biased estimators of the optimal risk, thus providing a measure of closeness to the actual optimum. We look at various ways to improve the computational efficiency. Using the control variate technique reduces the noise that comes from using derivative prices estimated on the stochastic mesh. Two additional techniques turn out to provide complementary computation time reductions : using a single grid for the mesh states and using a so-called Russian roulette procedure. In the last part of the thesis, we showcase an application to the particular case of the negative exponential risk function and a stochastic volatility model (the exponential Ornstein-Uhlenbeck model). We study the behavior of the solutions under various configurations of the model parameters and compare the performance of the mesh-based policies with that of well-known heuristics.

Cette thèse s’intéresse à différents problèmes de contrôle et d’optimisation dont il n’existe à ce jour que des solutions approchées. D’une part nous nous intéressons à des techniques visant à réduire ou supprimer les approximations pour obtenir des solutions plus précises voire exactes. D’autre part nous développons de nouvelles méthodes d’approximation pour traiter plus rapidement des problèmes à plus grande échelle. Nous étudions des méthodes numériques de simulation d’équation différentielle stochastique et d’amélioration de calculs d’espérance. Nous mettons en œuvre des techniques de type quantification pour la construction de variables de contrôle ainsi que la méthode de gradient stochastique pour la résolution de problèmes de contrôle stochastique. Nous nous intéressons aussi aux méthodes de clustering liées à la quantification, ainsi qu’à la compression d’information par réseaux neuronaux. Les problèmes étudiés sont issus non seulement de motivations financières, comme le contrôle stochastique pour la couverture d’option en marché incomplet mais aussi du traitement des grandes bases de données de médias communément appelé Big data dans le chapitre 5. Théoriquement, nous proposons différentes majorations de la convergence des méthodes numériques d’une part pour la recherche d’une stratégie optimale de couverture en marché incomplet dans le chapitre 3, d’autre part pour l’extension la technique de Beskos-Roberts de simulation d’équation différentielle dans le chapitre 4. Nous présentons une utilisation originale de la décomposition de Karhunen-Loève pour une réduction de variance de l’estimateur d’espérance dans le chapitre 2. / This thesis proposes different problems of stochastic control and optimization that can be solved only thanks approximation. On one hand, we develop methodology aiming to reduce or suppress approximations to obtain more accurate solutions or something exact ones. On another hand we develop new approximation methodology in order to solve quicker larger scale problems. We study numerical methodology to simulated differential equations and enhancement of computation of expectations. We develop quantization methodology to build control variate and gradient stochastic methods to solve stochastic control problems. We are also interested in clustering methods linked to quantization, and principal composant analysis or compression of data thanks neural networks. We study problems motivated by mathematical finance, like stochastic control for the hedging of derivatives in incomplete market but also to manage huge databases of media commonly known as big Data in chapter 5. Theoretically we propose some upper bound for convergence of the numerical method used. This is the case of optimal hedging in incomplete market in chapter 3 but also an extension of Beskos-Roberts methods of exact simulation of stochastic differential equations in chapter 4. We present an original application of karhunen-Loève decomposition for a control variate of computation of expectation in chapter 2.

Les familles exponentielles sont une classe de modèles omniprésente en statistique. D'une part, elle peut modéliser n'importe quel type de données. En fait la plupart des distributions communes en font partie : Gaussiennes, variables catégoriques, Poisson, Gamma, Wishart, Dirichlet. D'autre part elle est à la base des modèles linéaires généralisés (GLM), une classe de modèles fondamentale en apprentissage automatique. Enfin les mathématiques qui les sous-tendent sont souvent magnifiques, grâce à leur lien avec la dualité convexe et la transformée de Laplace. L'auteur de cette thèse a fréquemment été motivé par cette beauté. Dans cette thèse, nous faisons trois contributions à l'intersection de l'optimisation et des statistiques, qui tournent toutes autour de la famille exponentielle. La première contribution adapte et améliore un algorithme d'optimisation à variance réduite appelé ascension des coordonnées duales stochastique (SDCA), pour entraîner une classe particulière de GLM appelée champ aléatoire conditionnel (CRF). Les CRF sont un des piliers de la prédiction structurée. Les CRF étaient connus pour être difficiles à entraîner jusqu'à la découverte des technique d'optimisation à variance réduite. Notre version améliorée de SDCA obtient des performances favorables comparées à l'état de l'art antérieur et actuel. La deuxième contribution s'intéresse à la découverte causale. Les familles exponentielles sont fréquemment utilisées dans les modèles graphiques, et en particulier dans les modèles graphique causaux. Cette contribution mène l'enquête sur une conjecture spécifique qui a attiré l'attention dans de précédents travaux : les modèles causaux s'adaptent plus rapidement aux perturbations de l'environnement. Nos résultats, obtenus à partir de théorèmes d'optimisation, soutiennent cette hypothèse sous certaines conditions. Mais sous d'autre conditions, nos résultats contredisent cette hypothèse. Cela appelle à une précision de cette hypothèse, ou à une sophistication de notre notion de modèle causal. La troisième contribution s'intéresse à une propriété fondamentale des familles exponentielles. L'une des propriétés les plus séduisantes des familles exponentielles est la forme close de l'estimateur du maximum de vraisemblance (MLE), ou maximum a posteriori (MAP) pour un choix naturel de prior conjugué. Ces deux estimateurs sont utilisés presque partout, souvent sans même y penser. (Combien de fois calcule-t-on une moyenne et une variance pour des données en cloche sans penser au modèle Gaussien sous-jacent ?) Pourtant la littérature actuelle manque de résultats sur la convergence de ces modèles pour des tailles d'échantillons finis, lorsque l'on mesure la qualité de ces modèles avec la divergence de Kullback-Leibler (KL). Pourtant cette divergence est la mesure de différence standard en théorie de l'information. En établissant un parallèle avec l'optimisation, nous faisons quelques pas vers un tel résultat, et nous relevons quelques directions pouvant mener à des progrès, tant en statistiques qu'en optimisation. Ces trois contributions mettent des outil d'optimisation au service des statistiques dans les familles exponentielles : améliorer la vitesse d'apprentissage de GLM de prédiction structurée, caractériser la vitesse d'adaptation de modèles causaux, estimer la vitesse d'apprentissage de modèles omniprésents. En traçant des ponts entre statistiques et optimisation, cette thèse fait progresser notre maîtrise de méthodes fondamentales d'apprentissage automatique. / Exponential families are a ubiquitous class of models in statistics. On the one hand, they can model any data type. Actually, the most common distributions are exponential families: Gaussians, categorical, Poisson, Gamma, Wishart, or Dirichlet. On the other hand, they sit at the core of generalized linear models (GLM), a foundational class of models in machine learning. They are also supported by beautiful mathematics thanks to their connection with convex duality and the Laplace transform. This beauty is definitely responsible for the existence of this thesis. In this manuscript, we make three contributions at the intersection of optimization and statistics, all revolving around exponential families. The first contribution adapts and improves a variance reduction optimization algorithm called stochastic dual coordinate ascent (SDCA) to train a particular class of GLM called conditional random fields (CRF). CRF are one of the cornerstones of structured prediction. CRF were notoriously hard to train until the advent of variance reduction techniques, and our improved version of SDCA performs favorably compared to the previous state-of-the-art. The second contribution focuses on causal discovery. Exponential families are widely used in graphical models, and in particular in causal graphical models. This contribution investigates a specific conjecture that gained some traction in previous work: causal models adapt faster to perturbations of the environment. Using results from optimization, we find strong support for this assumption when the perturbation is coming from an intervention on a cause, and support against this assumption when perturbation is coming from an intervention on an effect. These pieces of evidence are calling for a refinement of the conjecture. The third contribution addresses a fundamental property of exponential families. One of the most appealing properties of exponential families is its closed-form maximum likelihood estimate (MLE) and maximum a posteriori (MAP) for a natural choice of conjugate prior. These two estimators are used almost everywhere, often unknowingly -- how often are mean and variance computed for bell-shaped data without thinking about the Gaussian model they underly? Nevertheless, literature to date lacks results on the finite sample convergence property of the information (Kulback-Leibler) divergence between these estimators and the true distribution. Drawing on a parallel with optimization, we take some steps towards such a result, and we highlight directions for progress both in statistics and optimization. These three contributions are all using tools from optimization at the service of statistics in exponential families: improving upon an algorithm to learn GLM, characterizing the adaptation speed of causal models, and estimating the learning speed of ubiquitous models. By tying together optimization and statistics, this thesis is taking a step towards a better understanding of the fundamentals of machine learning.