Les simulations Monte Carlo de transport de particules sont un outil incontournable pour l'étude de problèmes de radioprotection. Leur utilisation implique l'échantillonnage d'événements rares grâce à des méthode de réduction de variance qui reposent sur l'estimation de la contribution d'une particule au détecteur. On construit cette estimation sous forme d'une carte d'importance.L’objet de cette étude est de proposer une stratégie qui permette de générer de manière adaptative des cartes d'importance durant la simulation Monte Carlo elle-même. Le travail a été réalisé dans le code de transport des particules TRIPOLI-4®, développé à la Direction de l’énergie nucléaire du CEA (Salay, France).Le cœur du travail a consisté à estimer le flux adjoint à partir des trajectoires simulées avec l'Adaptive Multilevel Splitting, une méthode de réduction de variance robuste. Ce développement a été validé à l'aide de l'intégration d'un module déterministe dans TRIPOLI-4®.Trois stratégies sont proposés pour la réutilisation de ce score en tant que carte d'importance dans la simulation Monte Carlo. Deux d'entre elles proposent d'estimer la convergence du score adjoint lors de phases d'exploitation.Ce travail conclut sur le lissage du score adjoint avec des méthodes d'apprentissage automatique, en se concentrant plus particulièrement sur les estimateurs de densité à noyaux. / Monte Carlo methods are a reference asset for the study of radiation transport in shielding problems. Their use naturally implies the sampling of rare events and needs to be tackled with variance reduction methods. These methods require the definition of an importance function/map. The aim of this study is to propose an adaptivestrategy for the generation of such importance maps during the Montne Carlo simulation. The work was performed within TRIPOLI-4®, a Monte Carlo transport code developped at the nuclear energy division of CEA in Saclay, France. The core of this PhD thesis is the implementation of a forward-weighted adjoint score that relies on the trajectories sampled with Adaptive Multilevel Splitting, a robust variance reduction method. It was validated with the integration of a deterministic module in TRIPOLI-4®. Three strategies were proposed for the reintegrationof this score as an importance map and accelerations were observed. Two of these strategies assess the convergence of the adjoint score during exploitation phases by evalutating the figure of merit yielded by the use of the current adjoint score. Finally, the smoothing of the importance map with machine learning algorithms concludes this work with a special focus on Kernel Density Estimators.

Cette thèse est consacrée à l’étude de deux problèmes différents : l’asymptotique suramortie de la dynamique de Langevin d’une part, et l’étude d’une technique de réduction de variance dans une méthode de Monte Carlo par une repondération optimale des échantillons, d’autre part. Dans le premier problème, on montre la convergence en distribution de processus de Langevin dans l’asymptotique sur-amortie. La preuve repose sur la méthode classique des “fonctions test perturbées”, qui est utilisée pour montrer la tension dans l’espace des chemins, puis pour identifier la limite comme solution d’un problème de martingale. L’originalité du résultat tient aux hypothèses très faibles faites sur la régularité de l’énergie potentielle. Dans le deuxième problème, nous concevons des méthodes de réduction de la variance pour l’estimation de Monte Carlo d’une espérance de type E[φ(X, Y )], lorsque la distribution de X est exactement connue. L’idée générale est de donner à chaque échantillon un poids, de sorte que la distribution empirique pondérée qui en résulterait une marginale par rapport à la variable X aussi proche que possible de sa cible. Nous prouvons plusieurs résultats théoriques sur la méthode, en identifiant des régimes où la réduction de la variance est garantie. Nous montrons l’efficacité de la méthode en pratique, par des tests numériques qui comparent diverses variantes de notre méthode avec la méthode naïve et des techniques de variable de contrôle. La méthode est également illustrée pour une simulation d’équation différentielle stochastique de Langevin / This dissertation is devoted to studying two different problems: the over-damped asymp- totics of Langevin dynamics and a new variance reduction technique based on an optimal reweighting of samples.In the first problem, the convergence in distribution of Langevin processes in the over- damped asymptotic is proven. The proof relies on the classical perturbed test function (or corrector) method, which is used (i) to show tightness in path space, and (ii) to identify the extracted limit with a martingale problem. The result holds assuming the continuity of the gradient of the potential energy, and a mild control of the initial kinetic energy. In the second problem, we devise methods of variance reduction for the Monte Carlo estimation of an expectation of the type E [φ(X, Y )], when the distribution of X is exactly known. The key general idea is to give each individual sample a weight, so that the resulting weighted empirical distribution has a marginal with respect to the variable X as close as possible to its target. We prove several theoretical results on the method, identifying settings where the variance reduction is guaranteed, and also illustrate the use of the weighting method in Langevin stochastic differential equation. We perform numerical tests comparing the methods and demonstrating their efficiency

L’objectif principal de cette thèse est de souligner que le compromis biais-variance n’est pas toujours vrai (p. ex. dans les réseaux neuronaux). Nous plaidons pour que ce manque d’universalité soit reconnu dans les manuels scolaires et enseigné dans les cours d’introduction qui couvrent le compromis. Nous passons d’abord en revue l’historique du compromis entre les biais et les variances, sa prévalence dans les manuels scolaires et certaines des principales affirmations faites au sujet du compromis entre les biais et les variances. Au moyen d’expériences et d’analyses approfondies, nous montrons qu’il n’y a pas de compromis entre la variance et le biais dans les réseaux de neurones lorsque la largeur du réseau augmente. Nos conclusions semblent contredire les affirmations de l’oeuvre historique de Geman et al. (1992). Motivés par cette contradiction, nous revisitons les mesures expérimentales dans Geman et al. (1992). Nous discutons du fait qu’il n’y a jamais eu de preuves solides d’un compromis dans les réseaux neuronaux lorsque le nombre de paramètres variait. Nous observons un phénomène similaire au-delà de l’apprentissage supervisé, avec un ensemble d’expériences d’apprentissage de renforcement profond. Nous soutenons que les révisions des manuels et des cours magistraux ont pour but de transmettre cette compréhension moderne nuancée de l’arbitrage entre les biais et les variances. / The main goal of this thesis is to point out that the bias-variance tradeoff is not always true (e.g. in neural networks). We advocate for this lack of universality to be acknowledged in textbooks and taught in introductory courses that cover the tradeoff. We first review the history of the bias-variance tradeoff, its prevalence in textbooks, and some of the main claims made about the bias-variance tradeoff. Through extensive experiments and analysis, we show a lack of a bias-variance tradeoff in neural networks when increasing network width. Our findings seem to contradict the claims of the landmark work by Geman et al. (1992). Motivated by this contradiction, we revisit the experimental measurements in Geman et al. (1992). We discuss that there was never strong evidence for a tradeoff in neural networks when varying the number of parameters. We observe a similar phenomenon beyond supervised learning, with a set of deep reinforcement learning experiments. We argue that textbook and lecture revisions are in order to convey this nuanced modern understanding of the bias-variance tradeoff.

Ever since it was first introduced in an article in the Journal of Finance 1952, Harry Markowitz’ mean - variance model for portfolio selection has become one of the best known models in finance. The model was one of the first in the world to deal with portfolio optimization mathematically and have directly or indirectly inspired the rest of the world to develop new portfolio optimization methods. Although the model is one of the greatest contributions to modern portfolio theory, critics claim that it may have practical difficulties. Partly because the Markowitz model is based on various assumptions which do not necessarily coincide with the reality. The assumptions which are based on the financial markets and investor behavior contain the simplification that there are no transaction costs associated with financial trading. However, in reality, all financial products are subject to transaction costs such as brokerage fees and taxes. To determine whether this simplification leads to inaccurate results or not, we derive an extension of the mean-variance optimization model which includes brokerage fees occurred under the construction of an investment portfolio. We then compare our extension of the Markowitz model, including transaction costs, with the standard model. The results indicate that brokerage fees have a negligible effect on the standard model if the investor's budget is relatively large. Hence the assumption that no brokerage fees occur when trading financial securities seems to be an acceptable simplification if the budget is relatively high. Finally, we suggest that brokerage fees are negligible if the creation of the portfolio and hence the transactions only occurs once. However if an investor is active and rebalances his portfolio often, the brokerage fees could be of great importance. / Harry Markowitz portföljoptimeringsmodell har sedan den publicerades år 1952 i en artikel i the journal of Finance, blivit en av de mest använda modellerna inom finansvärlden. Modellen var en av dem första i världen att hantera portföljoptimering matematiskt och har direkt eller indirekt inspirerat omvärlden att utveckla nya portföljoptimeringsmetoder. Men trots att Markowitz modell är ett av de största bidragen till dagens portföljoptimeringsteori har kritiker hävdat att den kan ha praktiska svårigheter. Detta delvis på grund av att modellen bygger på olika antaganden som inte nödvändigtvis stämmer överens med verkligheten. Antagandena, som är baserad på den finansiella marknaden och individers investeringsbeteende, leder till förenklingen att transaktionskostnader inte förekommer i samband med finansiell handel. Men i verkligheten förekommer transaktions-kostnader som courtageavgifter och skatter nästintill alltid vid handel av finansiella produkter som t.ex. värdepapper. För att avgöra om modellen påvisar felaktiga resultat på grund av bortfallet av courtageavgifter härleds en utvidgning av Markowitz modell som inkluderar courtageavgifter. Utvidgningen av Markowitz modell jämförs sedan med originalmodellen. Resultaten tyder på att courtageavgifter har en försumbar effekt på originalmodellen om investeraren har en stor investeringsbudget. Slutsatsen är därför att, förenklingen att inga courtageavgifter förekommer är en acceptabel förenkling om investeringsbudgeten är stor. Det föreslås slutligen att courtageavgiften är försumbar om transaktionen av aktier endast sker en gång. Men om en investerare är aktiv och ombalanserar sin portfölj flitigt, kan courtageavgifterna vara av stor betydelse.

The aim of this thesis is to explore the role of bitcoin in an investment portfolio. The paper examines the nature of bitcoin and additionally how bitcoin compares to gold when included in an investment portfolio. This report uses the historical value of bitcoin and investigates with a Mean-Variance model how the risk-adjusted return of an optimized portfolio is affected when bitcoin is a constituent. By comparing Sharpe Ratios from the optimized portfolios, a conclusion can be drawn as to whether bitcoin affects the maximum Sharpe ratio or the global minimum variance point. Our study suggests that including bitcoin in an investment portfolio increases the risk-adjusted return of the portfolio. In addition, portfolios optimized with bitcoin outperform the market. Further, we conclude that bitcoin has a relatively high correlation as compared to gold with the assets in the study. Hence, bitcoin is not the new gold.

La colinéarité rend difficile l’utilisation de la régression linéaire pour estimer l’importance des variables dans les études de marché. D’autres approches ont donc été utilisées.Concernant la décomposition de la variance expliquée, une démonstration de l’égalité entre les méthodes lmg-Shapley et celle de Johnson avec deux prédicteurs est proposée. Il a aussi été montré que la méthode de Fabbris est différente des méthodes de Genizi et Johnson et que les CAR scores de deux prédicteurs ne s’égalisent pas lorsque leur corrélation tend vers 1.Une méthode nouvelle, weifila (weighted first last) a été définie et publiée en 2015.L’estimation de l’importance des variables avec les forêts aléatoires a également été analysée et les résultats montrent une bonne prise en compte des non-linéarités.Avec les réseaux bayésiens, la multiplicité des solutions et le recours à des restrictions et choix d’expert militent pour utilisation prudente même si les outils disponibles permettent une aide dans le choix des modèles.Le recours à weifila ou aux forêts aléatoires est recommandé plutôt que lmg-Shapley sans négliger les approches structurelles et les modèles conceptuels.Mots clés :régression, décomposition de la variance, importance, valeur de Shapley, forêts aléatoires, réseaux bayésiens. / AbstractLinear regression is used in Market Research but faces difficulties due to multicollinearity. Other methods have been considered.A demonstration of the equality between lmg-Shapley and and Johnson methods for Variance Decomposition has been proposed. Also this research has shown that the decomposition proposed by Fabbris is not identical to those proposed by Genizi and Johnson, and that the CAR scores of two predictors do not equalize when their correlation tends towards 1. A new method, weifila (weighted first last) has been proposed and published in 2015.Also we have shown that permutation importance using Random Forest enables to take into account non linear relationships and deserves broader usage in Marketing Research.Regarding Bayesian Networks, there are multiple solutions available and expert driven restrictions and decisions support the recommendation to be careful in their usage and presentation, even if they allow to explore possible structures and make simulations.In the end, weifila or random forests are recommended instead of lmg-Shapley knowing that the benefit of structural and conceptual models should not be underestimated.Keywords :Linear regression, Variable Importance, Shapley Value, Random Forests, Bayesian Networks

Le traitement massif et automatique des données requiert le développement de techniques de filtration des informations les plus importantes. Parmi ces méthodes, celles présentant des structures parcimonieuses se sont révélées idoines pour améliorer l’efficacité statistique et computationnelle des estimateurs, dans un contexte de grandes dimensions. Elles s’expriment souvent comme solution de la minimisation du risque empirique régularisé s’écrivant comme une somme d’un terme lisse qui mesure la qualité de l’ajustement aux données, et d’un terme non lisse qui pénalise les solutions complexes. Cependant, une telle manière d’inclure des informations a priori, introduit de nombreuses difficultés numériques pour résoudre le problème d’optimisation sous-jacent et pour calibrer le niveau de régularisation. Ces problématiques ont été au coeur des questions que nous avons abordées dans cette thèse.Une technique récente, appelée «Screening Rules», propose d’ignorer certaines variables pendant le processus d’optimisation en tirant bénéfice de la parcimonie attendue des solutions. Ces règles d’élimination sont dites sûres lorsqu’elles garantissent de ne pas rejeter les variables à tort. Nous proposons un cadre unifié pour identifier les structures importantes dans ces problèmes d’optimisation convexes et nous introduisons les règles «Gap Safe Screening Rules». Elles permettent d’obtenir des gains considérables en temps de calcul grâce à la réduction de la dimension induite par cette méthode. De plus, elles s’incorporent facilement aux algorithmes itératifs et s’appliquent à un plus grand nombre de problèmes que les méthodes précédentes.Pour trouver un bon compromis entre minimisation du risque et introduction d’un biais d’apprentissage, les algorithmes d’homotopie offrent la possibilité de tracer la courbe des solutions en fonction du paramètre de régularisation. Toutefois, ils présentent des instabilités numériques dues à plusieurs inversions de matrice, et sont souvent coûteux en grande dimension. Aussi, ils ont des complexités exponentielles en la dimension du modèle dans des cas défavorables. En autorisant des solutions approchées, une approximation de la courbe des solutions permet de contourner les inconvénients susmentionnés. Nous revisitons les techniques d’approximation des chemins de régularisation pour une tolérance prédéfinie, et nous analysons leur complexité en fonction de la régularité des fonctions de perte en jeu. Il s’ensuit une proposition d’algorithmes optimaux ainsi que diverses stratégies d’exploration de l’espace des paramètres. Ceci permet de proposer une méthode de calibration de la régularisation avec une garantie de convergence globale pour la minimisation du risque empirique sur les données de validation.Le Lasso, un des estimateurs parcimonieux les plus célèbres et les plus étudiés, repose sur une théorie statistique qui suggère de choisir la régularisation en fonction de la variance des observations. Ceci est difficilement utilisable en pratique car, la variance du modèle est une quantité souvent inconnue. Dans de tels cas, il est possible d’optimiser conjointement les coefficients de régression et le niveau de bruit. Ces estimations concomitantes, apparues dans la littérature sous les noms de Scaled Lasso, Square-Root Lasso, fournissent des résultats théoriques aussi satisfaisants que celui du Lasso tout en étant indépendant de la variance réelle. Bien que présentant des avancées théoriques et pratiques importantes, ces méthodes sont aussi numériquement instables et les algorithmes actuellement disponibles sont coûteux en temps de calcul. Nous illustrons ces difficultés et nous proposons à la fois des modifications basées sur des techniques de lissage pour accroitre la stabilité numérique de ces estimateurs, ainsi qu’un algorithme plus efficace pour les obtenir. / Massive and automatic data processing requires the development of techniques able to filter the most important information. Among these methods, those with sparse structures have been shown to improve the statistical and computational efficiency of estimators in a context of large dimension. They can often be expressed as a solution of regularized empirical risk minimization and generally lead to non differentiable optimization problems in the form of a sum of a smooth term, measuring the quality of the fit, and a non-smooth term, penalizing complex solutions. Although it has considerable advantages, such a way of including prior information, unfortunately introduces many numerical difficulties both for solving the underlying optimization problem and to calibrate the level of regularization. Solving these issues has been at the heart of this thesis. A recently introduced technique, called "Screening Rules", proposes to ignore some variables during the optimization process by benefiting from the expected sparsity of the solutions. These elimination rules are said to be safe when the procedure guarantees to not reject any variable wrongly. In this work, we propose a unified framework for identifying important structures in these convex optimization problems and we introduce the "Gap Safe Screening Rules". They allows to obtain significant gains in computational time thanks to the dimensionality reduction induced by this method. In addition, they can be easily inserted into iterative algorithms and apply to a large number of problems.To find a good compromise between minimizing risk and introducing a learning bias, (exact) homotopy continuation algorithms offer the possibility of tracking the curve of the solutions as a function of the regularization parameters. However, they exhibit numerical instabilities due to several matrix inversions and are often expensive in large dimension. Another weakness is that a worst-case analysis shows that they have exact complexities that are exponential in the dimension of the model parameter. Allowing approximated solutions makes possible to circumvent the aforementioned drawbacks by approximating the curve of the solutions. In this thesis, we revisit the approximation techniques of the regularization paths given a predefined tolerance and we propose an in-depth analysis of their complexity w.r.t. the regularity of the loss functions involved. Hence, we propose optimal algorithms as well as various strategies for exploring the parameters space. We also provide calibration method (for the regularization parameter) that enjoys globalconvergence guarantees for the minimization of the empirical risk on the validation data.Among sparse regularization methods, the Lasso is one of the most celebrated and studied. Its statistical theory suggests choosing the level of regularization according to the amount of variance in the observations, which is difficult to use in practice because the variance of the model is oftenan unknown quantity. In such case, it is possible to jointly optimize the regression parameter as well as the level of noise. These concomitant estimates, appeared in the literature under the names of Scaled Lasso or Square-Root Lasso, and provide theoretical results as sharp as that of theLasso while being independent of the actual noise level of the observations. Although presenting important advances, these methods are numerically unstable and the currently available algorithms are expensive in computation time. We illustrate these difficulties and we propose modifications based on smoothing techniques to increase stability of these estimators as well as to introduce a faster algorithm.

Risk management in portfolio construction is a widely discussed topic and the tradeoff between risk and return is always considered before an investment is made. Modern portfolio theory is a mathematical framework which describes how a rational investor can use diversification to optimize a portfolio, which suggests using variance to measure financial risk. However, since variance is a symmetrical metric, the framework fails to correctly account for the loss aversion preferences most investors exhibit. Therefore, the use of downside risk measures were proposed, which only measures the variance of the portfolio below a certain threshold, usually set to zero or the risk-free rate. This thesis empirically investigates the differences in performance between the two risk measures when used to solve a real world portfolio optimization problem. Backtests using the different measures on all major Nordic equity markets are performed to highlight the dynamics between the frameworks, and when one should be preferred over the other. It is concluded that the optimization frameworks indeed provides a useful tool for investors to construct great performing portfolios. However, even though the downside risk framework is more mathematically rigorous, implementing this risk measure instead of variance seems to be of less importance for the actual results. / Riskhantering för aktieportföljer är mycket centralt och en avvägning mellan risk och avkastning görs alltid innan en investering. Modern Portföljteori är ett matematiskt ramverk som beskriver hur en rationell investerare kan använda diversifiering för att optimera en portfölj. Centralt för detta är att använda portföljens varians för att mäta risk. Dock, eftersom varians är ett symmetriskt mått lyckas inte detta ramverk korrekt ta hänsyn till den förlustaversion som de flesta investerare upplever. Därför har det föreslagits att istället använda olika mått på nedsiderisk (downside risk), som endast tar hänsyn till portföljens varians under en viss avkastningsgräns, oftast satt till noll eller den riskfria räntan. Denna studie undersöker skillnaderna i prestation mellan dessa två riskmått när de används för att lösa ett verkligt portföljoptimeringsproblem. Backtests med riskmåtten har genomförts på de olika nordiska aktiemarknaderna för att visa på likheter och skillnader mellan de olika riskmåtten, samt när det enda är att föredra framför det andra. Slutsatsen är att ramverken ger investerare ett användbart verktyg för att smidigt optimera portföljer. Däremot verkar den faktiska skillnaden mellan de två riskmåtten vara av mindre betydelse för portföljernas prestation. Detta trots att downside risk är mer matematiskt rigoröst.

La matière sombre est considérée comme l'un des plus grands mystères dans la cosmologie moderne. En effet, on peut dire que l’on connaît plus sur ce que la matière sombre n'est pas que sur sa vraie nature. La collaboration SuperCDMS travaille sans répit pour réussir à faire la première détection directe de la matière sombre. À cet effet, la collaboration a eu recours à plusieurs expériences et simulations à diverses échelles, pouvant aller de l'usage d'un seul détecteur semi-conducteur, jusqu'à la création d'expériences à grande échelle qui cherchent à faire cette première détection directe de la matière sombre. Dans ce texte, on verra différentes méthodes pour nous aider à mieux comprendre les erreurs systématiques liées à la position du détecteur utilisé dans le cadre des expériences IMPACT@TUNL et IMPACT@MTL, soit l'usage des simulations et de la radiologie industrielle respectivement. On verra aussi comment l'implémentation de la méthode de réduction de variance connue comme échantillonnage préférentiel, peut aider à améliorer l'exécution des simulations de l'expérience à grande échelle planifiée pour le laboratoire canadien SNOLAB. En outre, on verra comment l'échantillonnage préférentiel s'avère utile non seulement pour mieux profiter des ressources disponibles pour la collaboration, mais aussi pour avoir une meilleure compréhension des source de bruits de fond qui seront présentes à SNOLAB, tels que les signaux générés par la désintégration radioactive de divers isotopes. / Dark matter is one of the biggest mysteries of modern-day cosmology. Simply put, we know much more about what it is not, rather than what it actually is. The SuperCDMS collaboration works relentlessly toward making the first direct detection of this type of matter. To this effect, multiple experiments and simulations have been performed, ranging from small-scale testing of the detectors to large-scale, long-term experiments, looking for the actual detection of dark matter. In this work, I will analyze different methods to help understand the systematic errors linked to detector position in regard to the small-scale experiments IMPACT@TUNL and IMPACT@MTL, through simulation and industrial radiography respectively. We will also see how the implementation of the variance reduction method known as importance sampling can be used to improve the simulation performance of the large-scale experiment in the Canadian laboratory SNOLAB. Additionally, we will see how this method can provide not only better management of the computing resources available to the collaboration, but also how it can be used to better the understanding of the background noises, such as the signals generated by radioactive decay of different isotopes, that will be present at SNOLAB.

Detta arbete syftar till att undersöka relationen mellan företagsstorlek och dess aktieavkastning,annars känt som storlekseffekten, inom halvledarsektorn. Vi använder oss av två portföljer bestående av de tio största och tio minsta halvledarbolagen och görutfallstestet under perioden 2004–2015. Tre olika allokeringsstrategier tillämpas: equal weight, meanvariance och equal risk contribution samt tre olika ombalanseringsperioder. Vårt resultat visar på ett negativt samband mellan företagsstorlek och riskjusterad avkastning oavsettallokeringsstrategi. Resultaten tyder på att effekten inte är en proxy för fundamentala skillnader ellerberor på en felspecificering av β. / This thesis aims to examine the relationship between firm size and stock return, otherwise known asthe size effect, within the semiconductor industry. We construct two portfolios each comprising the ten largest and smallest semiconductor companiesand conduct a back test between 2004-2015. We examine three allocation strategies: equal weight,mean variance, and equal risk contribution along three difference rebalancing periods. Our results show a negative relationship between firm size and risk adjusted return regardless ofallocation strategy. The results also show that size effect is not a proxy for fundamental differencesnor a misspecification of β.