Spelling suggestions: "subject:"piecewisedeterministic markov process"" "subject:"piecewisedeterministic darkov process""
11 |
Étude d’algorithmes de simulation par chaînes de Markov non réversiblesHuguet, Guillaume 10 1900 (has links)
Les méthodes de Monte Carlo par chaînes de Markov (MCMC) utilisent généralement des
chaînes de Markov réversibles. Jusqu’à récemment, une grande partie de la recherche théorique
sur les chaînes de Markov concernait ce type de chaînes, notamment les théorèmes de
Peskun (1973) et de Tierney (1998) qui permettent d’ordonner les variances asymptotiques
de deux estimateurs issus de chaînes réversibles différentes.
Dans ce mémoire nous analysons des algorithmes simulants des chaînes qui ne respectent
pas cette condition. Nous parlons alors de chaînes non réversibles. Expérimentalement, ces
chaînes produisent souvent des estimateurs avec une variance asymptotique plus faible et/ou
une convergence plus rapide. Nous présentons deux algorithmes, soit l’algorithme de marche
aléatoire guidée (GRW) par Gustafson (1998) et l’algorithme de discrete bouncy particle
sampler (DBPS) par Sherlock et Thiery (2017). Pour ces deux algorithmes, nous comparons
expérimentalement la variance asymptotique d’un estimateur avec la variance asymptotique
en utilisant l’algorithme de Metropolis-Hastings.
Récemment, un cadre théorique a été introduit par Andrieu et Livingstone (2019) pour
ordonner les variances asymptotiques d’une certaine classe de chaînes non réversibles. Nous
présentons leur analyse de GRW. De plus, nous montrons que le DBPS est inclus dans
ce cadre théorique. Nous démontrons que la variance asymptotique d’un estimateur peut
théoriquement diminuer en ajoutant des propositions à cet algorithme. Finalement, nous
proposons deux modifications au DBPS.
Tout au long du mémoire, nous serons intéressés par des chaînes issues de propositions
déterministes. Nous montrons comment construire l’algorithme du delayed rejection avec
des fonctions déterministes et son équivalent dans le cadre de Andrieu et Livingstone (2019). / Markov chain Monte Carlo (MCMC) methods commonly use chains that respect the detailed
balance condition. These chains are called reversible. Most of the theory developed for
MCMC evolves around those particular chains. Peskun (1973) and Tierney (1998) provided
useful theorems on the ordering of the asymptotic variances for two estimators produced by
two different reversible chains.
In this thesis, we are interested in non-reversible chains, which are chains that don’t
respect the detailed balance condition. We present algorithms that simulate non-reversible
chains, mainly the Guided Random Walk (GRW) by Gustafson (1998) and the Discrete
Bouncy Particle Sampler (DBPS) by Sherlock and Thiery (2017). For both algorithms, we
compare the asymptotic variance of estimators with the ones produced by the Metropolis-
Hastings algorithm.
We present a recent theoretical framework introduced by Andrieu and Livingstone (2019)
and their analysis of the GRW. We then show that the DBPS is part of this framework
and present an analysis on the asymptotic variance of estimators. Their main theorem
can provide an ordering of the asymptotic variances of two estimators resulting from nonreversible
chains. We show that an estimator could have a lower asymptotic variance by
adding propositions to the DBPS. We then present empirical results of a modified DBPS.
Through the thesis we will mostly be interested in chains that are produced by deterministic
proposals. We show a general construction of the delayed rejection algorithm using
deterministic proposals and one possible equivalent for non-reversible chains. Read more
|
12 |
Acceleration Strategies of Markov Chain Monte Carlo for Bayesian Computation / Stratégies d'accélération des algorithmes de Monte Carlo par chaîne de Markov pour le calcul BayésienWu, Chang-Ye 04 October 2018 (has links)
Les algorithmes MCMC sont difficiles à mettre à l'échelle, car ils doivent balayer l'ensemble des données à chaque itération, ce qui interdit leurs applications dans de grands paramètres de données. En gros, tous les algorithmes MCMC évolutifs peuvent être divisés en deux catégories: les méthodes de partage et de conquête et les méthodes de sous-échantillonnage. Le but de ce projet est de réduire le temps de calcul induit par des fonctions complexes ou à grande efficacité. / MCMC algorithms are difficult to scale, since they need to sweep over the whole data set at each iteration, which prohibits their applications in big data settings. Roughly speaking, all scalable MCMC algorithms can be divided into two categories: divide-and-conquer methods and subsampling methods. The aim of this project is to reduce the computing time induced by complex or largelikelihood functions.
|
Page generated in 0.1054 seconds