La méthode Quasi-Monte Carlo Randomisé (RQMC) est souvent utilisée pour estimer une intégrale sur le cube unitaire (0,1)^s de dimension s. Cette intégrale est interprétée comme l'espérance mathématique d'une variable aléatoire X. Il est bien connu que, sous certaines conditions, les estimateurs d'intégrales par RQMC peuvent converger plus rapidement que les estimateurs par Monte Carlo. Pour la simulation de chaînes de Markov sur un grand nombre d'étapes en utilisant RQMC, il existe peu de résultats. L'approche la plus prometteuse proposée à ce jour est la méthode array-RQMC. Cette méthode simule, en parallèle, n copies de la chaîne en utilisant un ensemble de points RQMC aléatoires et indépendants à chaque étape et trie ces chaînes en utilisant une fonction de tri spécifique après chaque étape. Cette méthode a donné, de manière empirique, des résultats significatifs sur quelques exemples (soit, un taux de convergence bien meilleur que celui observé avec Monte Carlo standard). Par contre, les taux de convergence observés empiriquement n'ont pas encore été prouvés théoriquement. Dans la première partie de cette thèse, nous examinons comment RQMC peut améliorer, non seulement, le taux de convergence lors de l'estimation de l'espérance de X mais aussi lors de l'estimation de sa densité. Dans la deuxième partie, nous examinons comment RQMC peut être utilisé pour la simulation de chaînes de Markov sur un grand nombre d'étapes à l'aide de la méthode array-RQMC. Notre thèse contient quatre articles. Dans le premier article, nous étudions l'efficacité gagnée en remplaçant Monte Carlo (MC) par les méthodes de Quasi-Monte Carlo Randomisé (RQMC) ainsi que celle de la stratification. Nous allons ensuite montrer comment ces méthodes peuvent être utilisées pour rendre un échantillon plus représentatif. De plus, nous allons montrer comment ces méthodes peuvent aider à réduire la variance intégrée (IV) et l'erreur quadratique moyenne intégrée (MISE) pour les estimateurs de densité par noyau (KDE). Nous fournissons des résultats théoriques et empiriques sur les taux de convergence et nous montrons que les estimateurs par RQMC et par stratification peuvent atteindre des réductions significatives en IV et MISE ainsi que des taux de convergence encore plus rapides que MC pour certaines situations, tout en laissant le biais inchangé. Dans le deuxième article, nous examinons la combinaison de RQMC avec une approche Monte Carlo conditionnelle pour l'estimation de la densité. Cette approche est définie en prenant la dérivée stochastique d'une CDF conditionnelle de X et offre une grande amélioration lorsqu'elle est appliquée. L'utilisation de la méthode array-RQMC pour évaluer une option asiatique sous un processus ordinaire de mouvement brownien géométrique avec une volatilité fixe a déjà été tentée dans le passé et un taux de convergence de O(n⁻²) a été observé pour la variance. Dans le troisième article, nous étudions le prix des options asiatiques lorsque le processus sous-jacent présente une volatilité stochastique. Plus spécifiquement, nous examinons les modèles de volatilité stochastique variance-gamma, Heston ainsi que Ornstein-Uhlenbeck. Nous montrons comment l'application de la méthode array-RQMC pour la détermination du prix des options asiatiques et européennes peut réduire considérablement la variance. L'algorithme t-leaping est utilisé dans la simulation des systèmes biologiques stochastiques. La méthode Monte Carlo (MC) est une approche possible pour la simulation de ces systèmes. Simuler la chaîne de Markov pour une discrétisation du temps de longueur t via la méthode quasi-Monte Carlo randomisé (RQMC) a déjà été explorée empiriquement dans plusieurs expériences numériques et les taux de convergence observés pour la variance, lorsque la dimension augmente, s'alignent avec ceux observés avec MC. Dans le dernier article, nous étudions la combinaison de array-RQMC avec cet algorithme et démontrons empiriquement que array-RQMC fournit une réduction significative de la variance par rapport à la méthode de MC standard. / The Randomized Quasi Monte Carlo method (RQMC) is often used to estimate an integral over the s-dimensional unit cube (0,1)^s. This integral is interpreted as the mathematical expectation of some random variable X. It is well known that RQMC estimators can, under some conditions, converge at a faster rate than crude Monte Carlo estimators of the integral. For Markov chains simulation on a large number of steps by using RQMC, little exists. The most promising approach proposed to date is the array-RQMC method. This method simulates n copies of the chain in parallel using a set of independent RQMC points at each step, and sorts the chains using a specific sorting function after each step. This method has given empirically significant results in terms of convergence rates on a few examples (i.e. a much better convergence rate than that observed with Monte Carlo standard). However, the convergence rates observed empirically have not yet been theoretically proven. In the first part of this thesis, we examine how RQMC can improve the convergence rate when estimating not only X's expectation, but also its distribution. In the second part, we examine how RQMC can be used for Markov chains simulation on a large number of steps using the array-RQMC method. Our thesis contains four articles. In the first article, we study the effectiveness of replacing Monte Carlo (MC) by either randomized quasi Monte Carlo (RQMC) or stratification to show how they can be applied to make samples more representative. Furthermore, we show how these methods can help to reduce the integrated variance (IV) and the mean integrated square error (MISE) for the kernel density estimators (KDEs). We provide both theoretical and empirical results on the convergence rates and show that the RQMC and stratified sampling estimators can achieve significant IV and MISE reductions with even faster convergence rates compared to MC in some situations, while leaving the bias unchanged. In the second article, we examine the combination of RQMC with a conditional Monte Carlo approach to density estimation. This approach is defined by taking the stochastic derivative of a conditional CDF of X and provides a large improvement when applied. Using array-RQMC in order to price an Asian option under an ordinary geometric Brownian motion process with fixed volatility has already been attempted in the past and a convergence rate of O(n⁻²) was observed for the variance. In the third article, we study the pricing of Asian options when the underlying process has stochastic volatility. More specifically, we examine the variance-gamma, Heston, and Ornstein-Uhlenbeck stochastic volatility models. We show how applying the array-RQMC method for pricing Asian and European options can significantly reduce the variance. An efficient sample path algorithm called (fixed-step) t-leaping can be used to simulate stochastic biological systems as well as well-stirred chemical reaction systems. The crude Monte Carlo (MC) method is a feasible approach when it comes to simulating these sample paths. Simulating the Markov chain for fixed-step t-leaping via ordinary randomized quasi-Monte Carlo (RQMC) has already been explored empirically and, when the dimension of the problem increased, the convergence rate of the variance was realigned with those observed in several numerical experiments using MC. In the last article, we study the combination of array-RQMC with this algorithm and empirically demonstrate that array-RQMC provides a significant reduction in the variance compared to the standard MC algorithm.

Cette thèse se concentre sur le calcul de la solution optimale d'un problème de couverture de produit dérivé en temps discret. Le problème consiste à minimiser une mesure de risque, définie comme l'espérance d'une fonction convexe du profit (ou perte) du portefeuille, en tenant compte des frais de transaction. Lorsqu'il y a des coûts, il peut être optimal de ne pas transiger. Ainsi, les solutions sont caractérisées par des frontières de transaction. En général, les politiques optimales et les fonctions de risque associées ne sont pas connues explicitement, mais une stratégie bien connue consiste à approximer les solutions de manière récursive en utilisant la programmation dynamique. Notre contribution principale est d'appliquer la méthode du maillage stochastique. Cela permet d'utiliser des processus stochastiques multi-dimensionels pour les dynamiques de prix. On obtient aussi des estimateurs biasés à la hausse et à la baisse, donnant une mesure de la proximité de l'optimum. Nous considérons différentes façons d'améliorer l'efficacité computationelle. Utiliser la technique des variables de contrôle réduit le bruit qui provient de l'utilisation de prix de dérivés estimés à même le maillage stochastique. Deux autres techniques apportent des réductions complémentaires du temps de calcul : utiliser une grille unique pour les états du maillage et utiliser une procédure de "roulette Russe". Dans la dernière partie de la thèse, nous présentons une application pour le cas de la fonction de risque exponentielle négative et un modèle à volatilité stochastique (le modèle de Ornstein-Uhlenbeck exponentiel). Nous étudions le comportement des solutions sous diverses configurations des paramètres du modèle et comparons la performance des politiques basées sur un maillage à celles d'heuristiques. / This thesis focuses on computing the optimal solution to a derivative hedging problem in discrete time. The problem is to minimize a risk measure, defined as the expectation of a convex function of the terminal profit and loss of the portfolio, taking transaction costs into account. In the presence of costs, it is sometimes optimal not to trade, so the solutions are characterized in terms of trading boundaries. In general, the optimal policies and the associated risk functions are not known explicitly, but a well-known strategy is to approximate the solutions recursively using dynamic programming. Our central innovation is in applying the stochastic mesh method, which was originally applied to option pricing. It allows exibility for the price dynamics, which could be driven by a multi-dimensional stochastic process. It also yields both low and high biased estimators of the optimal risk, thus providing a measure of closeness to the actual optimum. We look at various ways to improve the computational efficiency. Using the control variate technique reduces the noise that comes from using derivative prices estimated on the stochastic mesh. Two additional techniques turn out to provide complementary computation time reductions : using a single grid for the mesh states and using a so-called Russian roulette procedure. In the last part of the thesis, we showcase an application to the particular case of the negative exponential risk function and a stochastic volatility model (the exponential Ornstein-Uhlenbeck model). We study the behavior of the solutions under various configurations of the model parameters and compare the performance of the mesh-based policies with that of well-known heuristics.

Cette thèse s’intéresse à différents problèmes de contrôle et d’optimisation dont il n’existe à ce jour que des solutions approchées. D’une part nous nous intéressons à des techniques visant à réduire ou supprimer les approximations pour obtenir des solutions plus précises voire exactes. D’autre part nous développons de nouvelles méthodes d’approximation pour traiter plus rapidement des problèmes à plus grande échelle. Nous étudions des méthodes numériques de simulation d’équation différentielle stochastique et d’amélioration de calculs d’espérance. Nous mettons en œuvre des techniques de type quantification pour la construction de variables de contrôle ainsi que la méthode de gradient stochastique pour la résolution de problèmes de contrôle stochastique. Nous nous intéressons aussi aux méthodes de clustering liées à la quantification, ainsi qu’à la compression d’information par réseaux neuronaux. Les problèmes étudiés sont issus non seulement de motivations financières, comme le contrôle stochastique pour la couverture d’option en marché incomplet mais aussi du traitement des grandes bases de données de médias communément appelé Big data dans le chapitre 5. Théoriquement, nous proposons différentes majorations de la convergence des méthodes numériques d’une part pour la recherche d’une stratégie optimale de couverture en marché incomplet dans le chapitre 3, d’autre part pour l’extension la technique de Beskos-Roberts de simulation d’équation différentielle dans le chapitre 4. Nous présentons une utilisation originale de la décomposition de Karhunen-Loève pour une réduction de variance de l’estimateur d’espérance dans le chapitre 2. / This thesis proposes different problems of stochastic control and optimization that can be solved only thanks approximation. On one hand, we develop methodology aiming to reduce or suppress approximations to obtain more accurate solutions or something exact ones. On another hand we develop new approximation methodology in order to solve quicker larger scale problems. We study numerical methodology to simulated differential equations and enhancement of computation of expectations. We develop quantization methodology to build control variate and gradient stochastic methods to solve stochastic control problems. We are also interested in clustering methods linked to quantization, and principal composant analysis or compression of data thanks neural networks. We study problems motivated by mathematical finance, like stochastic control for the hedging of derivatives in incomplete market but also to manage huge databases of media commonly known as big Data in chapter 5. Theoretically we propose some upper bound for convergence of the numerical method used. This is the case of optimal hedging in incomplete market in chapter 3 but also an extension of Beskos-Roberts methods of exact simulation of stochastic differential equations in chapter 4. We present an original application of karhunen-Loève decomposition for a control variate of computation of expectation in chapter 2.

[pt] A demanda global por soluções sustentáveis para geração de energia elétrica cresceu rapidamente nas últimas décadas, sendo impulsionada por incentivos fiscais dos governos e investimentos em pesquisa e desenvolvimento de tecnologias. Isso provocou uma crescente inserção de fontes renováveis nas redes elétricas ao redor do mundo, criando novos desafios críticos para as avaliações de desempenho dos sistemas que são potencializados pela intermitência desses recursos energéticos combinada às falhas dos equipamentos de rede. Motivado por esse cenário, esta dissertação aborda a estimativa de risco de inadequação de grandezas elétricas, como ocorrências de sobrecarga em ramos elétricos ou subtensão em barramentos, através do uso do fluxo de potência probabilístico, baseado na simulação Monte Carlo e no método de entropia cruzada. O objetivo é determinar o risco do sistema não atender a critérios operativos, de forma precisa e com eficiência computacional, considerando as incertezas de carga, geração e transmissão. O método é aplicado aos sistemas testes IEEE RTS 79 e IEEE 118 barras, considerando também versões modificadas com a inclusão de uma usina eólica, e os resultados são amplamente discutidos. / [en] The global demand for sustainable solutions for electricity generation has grown rapidly in recent decades, driven by government tax incentives and investments in technology research and development. This caused a growing insertion of renewable sources in power networks around the world, creating new critical challenges for systems performance assessments that are enhanced by the intermittency of these energy resources combined with the failures of network equipment. Motivated by this scenario, this dissertation addresses the estimation of risk of inadequacy of electrical quantities, such as overload occurrences in electrical branches or undervoltage in buses, through the use of probabilistic power flow, based on Monte Carlo simulation and the cross-entropy method. The objective is to determine the risk of the system not meeting operational criteria, precisely and with computational efficiency, considering load, generation and transmission uncertainties. The method is applied to IEEE RTS 79 and IEEE 118 bus test systems, also considering modified versions with the inclusion of a wind power plant, and the results are widely discussed.

衡量投資組合的稀有事件時，即使稀有事件違約的機率極低，但是卻隱含著高額資產違約時所帶來的重大損失，所以我們必須要精準地評估稀有事件的信用風險。本研究係在估計信用損失分配的尾端機率，模擬的模型包含同質模型與異質模型；然而蒙地卡羅法雖然在風險管理的計算上相當實用，但是估計機率極小的尾端機率時模擬不夠穩定，因此為增進模擬的效率，我們利用Glasserman and Li (Management Science, 51(11),2005)提出的重點取樣法，以及根據Chiang et al. (Joural of Derivatives, 15(2),2007)重點取樣法為基礎做延伸的改良式重點取樣法，兩種方法來對不同的投資組合做模擬，更是將改良式重點取樣法推廣至異質模型做討論，本文亦透過變異數縮減效果來衡量兩種方法的模擬效率。數值結果顯示，比起傳統的蒙地卡羅法，此兩種方法皆能達到變異數縮減，其中在同質模型下的改良式重點取樣法有很好的表現，模擬時間相當省時，而異質模型下的重點取樣法也具有良好的估計效率及模擬的穩定性。 / When measuring portfolio credit risk of rare-event, even though its default probabilities are low, it causes significant losses resulting from a large number of default. Therefore, we have to measure portfolio credit risk of rare-event accurately. In particular, our goal is estimating the tail of loss distribution. Models we simulate are including homogeneous models and heterogeneous models. However, Monte Carlo simulation is useful and widely used computational tool in risk management, but it is unstable especially estimating small tail probabilities. Hence, in order to improve the efficiency of simulation, we use importance sampling proposed by Glasserman and Li (Management Science, 51(11),2005) and modified importance sampling based on importance sampling which proposed by Chiang et al. (2007 Joural of Derivatives, 15(2),). Simulate different portfolios by these two of simulations. On top of that, we extend and discuss the modified importance sampling simulation to heterogeneous model. In this article, we measure efficiency of two simulations by variance reduction. Numerical results show that proposed methods are better than Monte Carlo and achieve variance reduction. In homogeneous model, modified importance sampling has excellent efficiency of estimating and saves time. In heterogeneous model, importance sampling also has great efficiency of estimating and stability.

近年來隨著法規與市場逐漸的開放，使得券商可以發行衍生性商品的種類也逐漸增加，而在眾多結構型商品中，不少商品其連結標的包含了多資產與路徑相依條款，可以看成投資一藍子股票且具有多個觀察時間的商品，一方面若連結資產上漲投資人將可得到一定的報酬，另外一方面同時具有下方保護的條款可避免本金嚴重虧損。 而此類商品包含了多資產連結且有路徑相依條款，在評價方面是一個高維度的問題，若使用傳統的蒙地卡羅法來評價，因其收斂速度緩慢常需秏費大量的計算時間，使得蒙地卡羅法在應用上有此缺點，一般來說可以使用對立變數法或控制變數法來改進收斂的速度，另外也可以使用低差異性數列即所謂的準蒙地卡羅法來改進收斂速度，並且準蒙地卡羅法與布朗橋結構或主成份分析法相結合還可加快收斂速度。 本文主要提供二種不同報酬型態的商品，第一個商品為低維度上入局商品，其報酬型態與障礙型選擇類似，第二個商品為連結多資產且路徑相依商品，以此兩商品來探討各種不同方法在不同報酬型態下的收斂速度與準確性，最後文中模擬的結果顯示在所有方法中，使用準蒙地卡羅法結合主成份分析法皆可以得到不錯的收斂速度與準確性。

蒙地卡羅模擬是在組合信用風險的管理上相當實用的計算工具。衡量組合信用風險時，必須以適當的模型描述資產間的相依性。常態關聯結構是目前最廣為使用的模型，但實證研究認為 t 關聯結構更適合用於配適金融市場的資料。在本文中，我們採用 Bassamboo et al. (2008) 提出的極值相依模型建立 t 關聯結構用以捕捉資產之間的相關性。同時，為增進蒙地卡羅法之收斂速度，我們以 Chiang et al. (2007) 的重要性取樣法為基礎，將其拓展到極值相依模型下，並提出兩階段的重要性取樣技巧確保使用此方法估計一籃子信用違約時，所有模擬路徑均會發生信用事件。數值結果顯示，所提出的演算法皆達變異數縮減。而在模型自由度較低或是資產池較大的情況下，兩階段的重要性取樣法將會有更佳的估計效率。我們也以同樣的思路，提出用以估計投資組合損失機率的演算法。雖然所提出的演算法經過重要性取樣的技巧後仍無法使得欲估計的事件在所有模擬路徑下都會發生，但數值結果仍顯示所提出的方法估計效率遠遠優於傳統蒙地卡羅法。 / Monte Carlo simulation is a useful tool on portfolio credit risk management. When measuring portfolio credit risk, one should choose an appropriate model to characterize the dependence among all assets. Normal copula is the most widely used mechanism to capture this dependence structure, however, some emperical studies suggest that $t$-copula provides a better fit to market data than normal copula does. In this article, we use extremal depence model proposed by Bassamboo et al. (2008) to construct $t$-copula. We also extend the importance sampling (IS) procedure proposed by Chiang et al. (2007) to evaluate basket credit default swaps (BDS) with extremal dependence and introduce a two-step IS algorithm which ensures credit events always take place for every simulation path. Numerical results show that the proposed methods achieve variance reduction. If the model has lower degree of freedom, or the portfolio size is larger, the two-step IS method is more efficient. Following the same idea, we also propose algorithms to estimate the probability of portfolio losses. Althought the desired events may not occur for some simulations, even if the IS technique is applied, numerical results still show that the proposed method is much better than crude Monte Carlo.

In this paper, Monte Carlo simulation for CCR (Counterparty Credit Risk) modeling is investigated. A jump-diffusion model, Bates' model, is used to describe the price process of an asset, and the counterparty default probability is described by a stochastic intensity model with constant intensity. In combination with Monte Carlo simulation, the variance reduction technique importance sampling is used in an attempt to make the simulations more efficient. Importance sampling is used for simulation of both the asset price and, for CVA (Credit Valuation Adjustment) estimation, the default time. CVA is simulated for both European and Bermudan options. It is shown that a significant variance reduction can be achieved by utilizing importance sampling for asset price simulations. It is also shown that a significant variance reduction for CVA simulation can be achieved for counterparties with small default probabilities by employing importance sampling for the default times. This holds for both European and Bermudan options. Furthermore, the regression based method least squares Monte Carlo is used to estimate the price of a Bermudan option, resulting in CVA estimates that lie within an interval of feasible values. Finally, some topics of further research are suggested. / I denna rapport undersöks Monte Carlo-simuleringar för motpartskreditrisk. En jump-diffusion-modell, Bates modell, används för att beskriva prisprocessen hos en tillgång, och sannolikheten att motparten drabbas av insolvens beskrivs av en stokastisk intensitetsmodell med konstant intensitet. Tillsammans med Monte Carlo-simuleringar används variansreduktionstekinken importance sampling i ett försök att effektivisera simuleringarna. Importance sampling används för simulering av både tillgångens pris och, för estimering av CVA (Credit Valuation Adjustment), tidpunkten för insolvens. CVA simuleras för både europeiska optioner och Bermuda-optioner. Det visas att en signifikant variansreduktion kan uppnås genom att använda importance sampling för simuleringen av tillgångens pris. Det visas även att en signifikant variansreduktion för CVA-simulering kan uppnås för motparter med små sannolikheter att drabbas av insolvens genom att använda importance sampling för simulering av tidpunkter för insolvens. Detta gäller både europeiska optioner och Bermuda-optioner. Vidare, används regressionsmetoden least squares Monte Carlo för att estimera priset av en Bermuda-option, vilket resulterar i CVA-estimat som ligger inom ett intervall av rimliga värden. Slutligen föreslås några ämnen för ytterligare forskning.

Les familles exponentielles sont une classe de modèles omniprésente en statistique. D'une part, elle peut modéliser n'importe quel type de données. En fait la plupart des distributions communes en font partie : Gaussiennes, variables catégoriques, Poisson, Gamma, Wishart, Dirichlet. D'autre part elle est à la base des modèles linéaires généralisés (GLM), une classe de modèles fondamentale en apprentissage automatique. Enfin les mathématiques qui les sous-tendent sont souvent magnifiques, grâce à leur lien avec la dualité convexe et la transformée de Laplace. L'auteur de cette thèse a fréquemment été motivé par cette beauté. Dans cette thèse, nous faisons trois contributions à l'intersection de l'optimisation et des statistiques, qui tournent toutes autour de la famille exponentielle. La première contribution adapte et améliore un algorithme d'optimisation à variance réduite appelé ascension des coordonnées duales stochastique (SDCA), pour entraîner une classe particulière de GLM appelée champ aléatoire conditionnel (CRF). Les CRF sont un des piliers de la prédiction structurée. Les CRF étaient connus pour être difficiles à entraîner jusqu'à la découverte des technique d'optimisation à variance réduite. Notre version améliorée de SDCA obtient des performances favorables comparées à l'état de l'art antérieur et actuel. La deuxième contribution s'intéresse à la découverte causale. Les familles exponentielles sont fréquemment utilisées dans les modèles graphiques, et en particulier dans les modèles graphique causaux. Cette contribution mène l'enquête sur une conjecture spécifique qui a attiré l'attention dans de précédents travaux : les modèles causaux s'adaptent plus rapidement aux perturbations de l'environnement. Nos résultats, obtenus à partir de théorèmes d'optimisation, soutiennent cette hypothèse sous certaines conditions. Mais sous d'autre conditions, nos résultats contredisent cette hypothèse. Cela appelle à une précision de cette hypothèse, ou à une sophistication de notre notion de modèle causal. La troisième contribution s'intéresse à une propriété fondamentale des familles exponentielles. L'une des propriétés les plus séduisantes des familles exponentielles est la forme close de l'estimateur du maximum de vraisemblance (MLE), ou maximum a posteriori (MAP) pour un choix naturel de prior conjugué. Ces deux estimateurs sont utilisés presque partout, souvent sans même y penser. (Combien de fois calcule-t-on une moyenne et une variance pour des données en cloche sans penser au modèle Gaussien sous-jacent ?) Pourtant la littérature actuelle manque de résultats sur la convergence de ces modèles pour des tailles d'échantillons finis, lorsque l'on mesure la qualité de ces modèles avec la divergence de Kullback-Leibler (KL). Pourtant cette divergence est la mesure de différence standard en théorie de l'information. En établissant un parallèle avec l'optimisation, nous faisons quelques pas vers un tel résultat, et nous relevons quelques directions pouvant mener à des progrès, tant en statistiques qu'en optimisation. Ces trois contributions mettent des outil d'optimisation au service des statistiques dans les familles exponentielles : améliorer la vitesse d'apprentissage de GLM de prédiction structurée, caractériser la vitesse d'adaptation de modèles causaux, estimer la vitesse d'apprentissage de modèles omniprésents. En traçant des ponts entre statistiques et optimisation, cette thèse fait progresser notre maîtrise de méthodes fondamentales d'apprentissage automatique. / Exponential families are a ubiquitous class of models in statistics. On the one hand, they can model any data type. Actually, the most common distributions are exponential families: Gaussians, categorical, Poisson, Gamma, Wishart, or Dirichlet. On the other hand, they sit at the core of generalized linear models (GLM), a foundational class of models in machine learning. They are also supported by beautiful mathematics thanks to their connection with convex duality and the Laplace transform. This beauty is definitely responsible for the existence of this thesis. In this manuscript, we make three contributions at the intersection of optimization and statistics, all revolving around exponential families. The first contribution adapts and improves a variance reduction optimization algorithm called stochastic dual coordinate ascent (SDCA) to train a particular class of GLM called conditional random fields (CRF). CRF are one of the cornerstones of structured prediction. CRF were notoriously hard to train until the advent of variance reduction techniques, and our improved version of SDCA performs favorably compared to the previous state-of-the-art. The second contribution focuses on causal discovery. Exponential families are widely used in graphical models, and in particular in causal graphical models. This contribution investigates a specific conjecture that gained some traction in previous work: causal models adapt faster to perturbations of the environment. Using results from optimization, we find strong support for this assumption when the perturbation is coming from an intervention on a cause, and support against this assumption when perturbation is coming from an intervention on an effect. These pieces of evidence are calling for a refinement of the conjecture. The third contribution addresses a fundamental property of exponential families. One of the most appealing properties of exponential families is its closed-form maximum likelihood estimate (MLE) and maximum a posteriori (MAP) for a natural choice of conjugate prior. These two estimators are used almost everywhere, often unknowingly -- how often are mean and variance computed for bell-shaped data without thinking about the Gaussian model they underly? Nevertheless, literature to date lacks results on the finite sample convergence property of the information (Kulback-Leibler) divergence between these estimators and the true distribution. Drawing on a parallel with optimization, we take some steps towards such a result, and we highlight directions for progress both in statistics and optimization. These three contributions are all using tools from optimization at the service of statistics in exponential families: improving upon an algorithm to learn GLM, characterizing the adaptation speed of causal models, and estimating the learning speed of ubiquitous models. By tying together optimization and statistics, this thesis is taking a step towards a better understanding of the fundamentals of machine learning.

Effizienzsteigernde Methoden haben die Aufgabe, die Rechenzeit von Monte Carlo Simulationen zur Lösung von Strahlungstransportproblemen zu verringern. Dazu gehören weitergehende Quell- oder Geometrievereinfachungen und die Gewichtsfenstertechnik als wichtigstes varianzreduzierendes Verfahren, entwickelt in den 1950er Jahren. Die Schwierigkeit besteht bis heute in der Berechnung geeigneter Gewichtsfenster. In dieser Arbeit wird ein orts- und energieabhängiger Gewichtsfenstergenerator basierend auf dem vorwärts-adjungierten Generator von T.E. BOOTH und J.S. HENDRICKS für das Strahlungstransportprogramm AMOS entwickelt und implementiert. Dieser ist in der Lage, die Gewichtsfenster sowohl iterativ zu berechnen und automatisch zu setzen als auch, deren Energieeinteilung selbstständig anzupassen. Die Arbeitsweise wird anhand des Problems der tiefen Durchdringung von Photonenstrahlung demonstriert, wobei die Effizienz um mehrere Größenordnungen gesteigert werden kann. Energieabhängige Gewichtsfenster sorgen günstigstenfalls für eine weitere Verringerung der Rechenzeit um etwa eine Größenordnung. Für eine praxisbezogene Problemstellung, die Bestrahlung eines Personendosimeters, kann die Effizienz hingegen bestenfalls vervierfacht werden. Quell- und Geometrieveränderungen sind gleichwertig. Energieabhängige Fenster zeigen keine praxisrelevante Effizienzsteigerung. / The purpose of efficiency increasing methods is the reduction of the computing time required to solve radiation transport problems using Monte Carlo techniques. Besides additional geometry manipulation and source biasing this includes in particular the weight windows technique as the most important variance reduction method developed in the 1950s. To date the difficulty of this technique is the calculation of appropriate weight windows. In this work a generator for spatial and energy dependent weight windows based on the forward-adjoint generator by T.E. BOOTH and J.S. HENDRICKS is developed and implemented in the radiation transport program AMOS. With this generator the weight windows are calculated iteratively and set automatically. Furthermore the generator is able to autonomously adapt the energy segmentation. The functioning is demonstrated by means of the deep penetration problem of photon radiation. In this case the efficiency can be increased by several orders of magnitude. With energy dependent weight windows the computing time is decreased additionally by approximately one order of magnitude. For a practice-oriented problem, the irradiation of a dosimeter for individual monitoring, the efficiency is only improved by a factor of four at best. Source biasing and geometry manipulation result in an equivalent improvement. The use of energy dependent weight windows proved to be of no practical relevance.