In this thesis random walks similar to the Metropolis algorithm are investigated. Special emphasis is laid on different types of acceptance probabilities, namely Metropolis, Tsallis and Threshold Accepting. Equilibrium and relaxation properties as well as performance aspects in stochastic optimization are investigated. Analytical investigation of a simple system mimicking an harmonic oscillator yields that a variety of acceptance probabilities, including the abovementioned, result in an equilibrium distribution that is widely dominated by an exponential function. In the last chapter an optimal optimization schedule for the Tsallis acceptance probability for the idealized barrier is investigated. / In dieser Dissertation werden Random Walks ähnlich dem Metropolis Algorithmus untersucht. Es werden verschiedene Akzeptanzwahrscheinlichkeiten untersucht, dabei werden Metropolis, Tsallis und Threshold Accepting besonders betrachtet. Gleichgewichts- und Relaxationseigenschaften sowie Performanceaspekte im Bereich der stochastischen Optimierung werden untersucht. Die Analytische Betrachtung eines simplen, dem harmonischen Oszillator ähnlichen Systems zeigt, dass eine Reihe von Akzeptanzwahrscheinlichkeiten, eingeschlossen die oben Erwähnten, eine Gleichgewichtsverteilung ausbilden, die von einer Exponentialfunktion dominiert wird. Im letzten Kapitel wird der optimale Schedule für die Tsallis Akzeptanzwahrscheinlichkeit für eine idealisierte Barriere untersucht.

Les méthodes de Monte Carlo par chaînes de Markov (MCCM) sont des méthodes servant à échantillonner à partir de distributions de probabilité. Ces techniques se basent sur le parcours de chaînes de Markov ayant pour lois stationnaires les distributions à échantillonner. Étant donné leur facilité d’application, elles constituent une des approches les plus utilisées dans la communauté statistique, et tout particulièrement en analyse bayésienne. Ce sont des outils très populaires pour l’échantillonnage de lois de probabilité complexes et/ou en grandes dimensions. Depuis l’apparition de la première méthode MCCM en 1953 (la méthode de Metropolis, voir [10]), l’intérêt pour ces méthodes, ainsi que l’éventail d’algorithmes disponibles ne cessent de s’accroître d’une année à l’autre. Bien que l’algorithme Metropolis-Hastings (voir [8]) puisse être considéré comme l’un des algorithmes de Monte Carlo par chaînes de Markov les plus généraux, il est aussi l’un des plus simples à comprendre et à expliquer, ce qui en fait un algorithme idéal pour débuter. Il a été sujet de développement par plusieurs chercheurs. L’algorithme Metropolis à essais multiples (MTM), introduit dans la littérature statistique par [9], est considéré comme un développement intéressant dans ce domaine, mais malheureusement son implémentation est très coûteuse (en termes de temps). Récemment, un nouvel algorithme a été développé par [1]. Il s’agit de l’algorithme Metropolis à essais multiples revisité (MTM revisité), qui définit la méthode MTM standard mentionnée précédemment dans le cadre de l’algorithme Metropolis-Hastings sur un espace étendu. L’objectif de ce travail est, en premier lieu, de présenter les méthodes MCCM, et par la suite d’étudier et d’analyser les algorithmes Metropolis-Hastings ainsi que le MTM standard afin de permettre aux lecteurs une meilleure compréhension de l’implémentation de ces méthodes. Un deuxième objectif est d’étudier les perspectives ainsi que les inconvénients de l’algorithme MTM revisité afin de voir s’il répond aux attentes de la communauté statistique. Enfin, nous tentons de combattre le problème de sédentarité de l’algorithme MTM revisité, ce qui donne lieu à un tout nouvel algorithme. Ce nouvel algorithme performe bien lorsque le nombre de candidats générés à chaque itérations est petit, mais sa performance se dégrade à mesure que ce nombre de candidats croît. / Markov Chain Monte Carlo (MCMC) algorithms are methods that are used for sampling from probability distributions. These tools are based on the path of a Markov chain whose stationary distribution is the distribution to be sampled. Given their relative ease of application, they are one of the most popular approaches in the statistical community, especially in Bayesian analysis. These methods are very popular for sampling from complex and/or high dimensional probability distributions. Since the appearance of the first MCMC method in 1953 (the Metropolis algorithm, see [10]), the interest for these methods, as well as the range of algorithms available, continue to increase from one year to another. Although the Metropolis-Hastings algorithm (see [8]) can be considered as one of the most general Markov chain Monte Carlo algorithms, it is also one of the easiest to understand and explain, making it an ideal algorithm for beginners. As such, it has been studied by several researchers. The multiple-try Metropolis (MTM) algorithm , proposed by [9], is considered as one interesting development in this field, but unfortunately its implementation is quite expensive (in terms of time). Recently, a new algorithm was developed by [1]. This method is named the revisited multiple-try Metropolis algorithm (MTM revisited), which is obtained by expressing the MTM method as a Metropolis-Hastings algorithm on an extended space. The objective of this work is to first present MCMC methods, and subsequently study and analyze the Metropolis-Hastings and standard MTM algorithms to allow readers a better perspective on the implementation of these methods. A second objective is to explore the opportunities and disadvantages of the revisited MTM algorithm to see if it meets the expectations of the statistical community. We finally attempt to fight the sedentarity of the revisited MTM algorithm, which leads to a new algorithm. The latter performs efficiently when the number of generated candidates in a given iteration is small, but the performance of this new algorithm then deteriorates as the number of candidates in a given iteration increases.

No description available.

In this thesis random walks similar to the Metropolis algorithm are investigated. Special emphasis is laid on different types of acceptance probabilities, namely Metropolis, Tsallis and Threshold Accepting. Equilibrium and relaxation properties as well as performance aspects in stochastic optimization are investigated. Analytical investigation of a simple system mimicking an harmonic oscillator yields that a variety of acceptance probabilities, including the abovementioned, result in an equilibrium distribution that is widely dominated by an exponential function. In the last chapter an optimal optimization schedule for the Tsallis acceptance probability for the idealized barrier is investigated. / In dieser Dissertation werden Random Walks ähnlich dem Metropolis Algorithmus untersucht. Es werden verschiedene Akzeptanzwahrscheinlichkeiten untersucht, dabei werden Metropolis, Tsallis und Threshold Accepting besonders betrachtet. Gleichgewichts- und Relaxationseigenschaften sowie Performanceaspekte im Bereich der stochastischen Optimierung werden untersucht. Die Analytische Betrachtung eines simplen, dem harmonischen Oszillator ähnlichen Systems zeigt, dass eine Reihe von Akzeptanzwahrscheinlichkeiten, eingeschlossen die oben Erwähnten, eine Gleichgewichtsverteilung ausbilden, die von einer Exponentialfunktion dominiert wird. Im letzten Kapitel wird der optimale Schedule für die Tsallis Akzeptanzwahrscheinlichkeit für eine idealisierte Barriere untersucht.