- / -

- / -

- / -

- / -

- / -

- / -

- / -

Στο πέρασμα των αιώνων, οι άνθρωποι αναζητούσαν νόμους που να περιγράφουν τα φαινόμενα του φυσικού κόσμου. Το 1744 ο Γάλλος επιστήμονας Pierre Louis Moreau de Maupertious έθεσε την αρχή ότι η φύση ενεργεί πάντα με τέτοιο τρόπο ώστε να ελαχιστοποιείται κάποια ποσότητα που ο ίδιος ονόμασε «δράση». Στη μαθηματική θεμελίωση της σχετικής θεωρίας των μεγίστων και ελαχίστων των βαθμωτών ποσοτήτων συνέβαλλε ο Ελβετός μαθηματικός Leonard Euler. Στα προβλήματα του Λογισμού των Μεταβολών μελετάμε παραστάσεις που περιέχουν μία ή περισσότερες άγνωστες πραγματικές συναρτήσεις μιας ή περισσοτέρων πραγματικών μεταβλητών. Έτσι, αναζητούμε μια συνάρτηση που να δίνει στη συγκεκριμένη παράσταση μέγιστη ή ελάχιστη τιμή. Οι παραστάσεις αυτές ονομάζονται συναρτησιακά και αποτελούν μια γενίκευση της έννοιας της συνάρτησης. H διπλωματική αυτή εργασία αποτελεί μια βιβλιογραφική επισκόπηση των άμεσων μεθόδων που χρησιμοποιούνται στην επίλυση των προβλημάτων του λογισμού των μεταβολών.Κάτω από αυτό το πρίσμα, παρουσιάζονται οι προσεγγιστικές λύσεις, η εφαρμογή τους καθώς και οι πρόσφατες βελτιώσεις τους. Συγκεκριμένα, στο κεφάλαιο 1 αναφέρονται κάποιες βασικές έννοιες του λογισμού των μεταβολών . Στο κεφάλαιο 2 γίνεται λόγος για τέσσερις άμεσες μεθόδους επίλυσης συναρτησιακών προβλημάτων. Στο κεφάλαιο 3 περιγράφονται τέσσερις μέθοδοι, οι οποίες προσεγγίζουν τη λύση μη γραμμικών προβλημάτων του λογισμού των μεταβολών με ακρίβεια 2ης τάξης ως συνάρτηση του μήκους βήματος. Στο κεφάλαιο 4 παρουσιάζονται κάποιες νέες τεχνικές επίλυσης των προβλημάτων που συζητήθηκαν. Στο κεφάλαιο 5 αναφέρεται η χρήση υποπρογραμμάτων (“packages”) που χρησιμοποιούνται μέσω συστημάτων λογισμικού όπως το Maple και το Mathematica. / Over the centuries, people seeking laws that describe the phenomena of the natural world. In 1744 the French scientist Pierre Louis Moreau de Maupertious established the principle that nature always acts in such a way as to minimize a quantity he called ‘action’. The Swiss mathematician Leonard Euler helped the mathematical foundations of the theory of maximum and minimum of the scalar quantities. Problems of the Calculus of Variations contain unknown functions of one or more real variables. So, the aim is to find a function that maximizes an integral. This project deals with direct methods which give approximate solutions to functional problems. Furthermore, their implementation and their recent improvements are described. Specifically, in Chapter 1 some basic concepts of calculus of variations are discussed. In chapter 2 four direct methods of solving functional problems are illustrated. In the chapter four methods which approximate the solution of nonlinear problems in the calculus of variations with second order accuracy in terms of the step length are described and some results are pointed out. Chapter 4 presents some new techniques to solve these problems. The chapter 5 refers the use of “packages” used by software systems such as Maple and Mathematica.

Η παρούσα διπλωματική διατριβή εντάσσεται ερευνητικά στην περιοχή της Υπολογιστικής Στατιστικής, καθώς ασχολούμαστε με τη μελέτη μεθόδων προσομοίωσης από κάποια κατανομή π (κατανομή στόχο) και τον υπολογισμό σύνθετων ολοκληρωμάτων. Σε πολλά πραγματικά προβλήματα, όπου η μορφή της π είναι ιδιαίτερα πολύπλοκή ή/και η διάσταση του χώρου καταστάσεων μεγάλη, η προσομοίωση από την π δεν μπορεί να γίνει με απλές τεχνικές καθώς επίσης και ο υπολογισμός των ολοκληρωμάτων είναι πάρα πολύ δύσκολο αν όχι αδύνατο να γίνει αναλυτικά. Γι’ αυτό, καταφεύγουμε σε τεχνικές Monte Carlo (MC) και Markov Chain Monte Carlo (MCMC), οι οποίες προσομοιώνουν τιμές τυχαίων μεταβλητών και εκτιμούν τα ολοκληρώματα μέσω κατάλληλων συναρτήσεων των προσομοιωμένων τιμών. Οι τεχνικές MC παράγουν ανεξάρτητες παρατηρήσεις είτε απ’ ευθείας από την κατανομή-στόχο π είτε από κάποια διαφορετική κατανομή-πρότασης g. Οι τεχνικές MCMC προσομοιώνουν αλυσίδες Markov με στάσιμη κατανομή την και επομένως οι παρατηρήσεις είναι εξαρτημένες. Στα πλαίσια αυτής της εργασίας θα ασχοληθούμε κυρίως με τον αλγόριθμο Metropolis-Hastings που είναι ένας από τους σημαντικότερους, αν όχι ο σημαντικότερος, MCMC αλγόριθμους. Πιο συγκεκριμένα, στο Κεφάλαιο 2 γίνεται μια σύντομη αναφορά σε γνωστές τεχνικές MC, όπως η μέθοδος Αποδοχής-Απόρριψης, η μέθοδος Αντιστροφής και η μέθοδος Δειγματοληψίας σπουδαιότητας καθώς επίσης και σε τεχνικές MCMC, όπως ο αλγόριθμός Metropolis-Hastings, o Δειγματολήπτης Gibbs και η μέθοδος Metropolis Within Gibbs. Στο Κεφάλαιο 3 γίνεται αναλυτική αναφορά στον αλγόριθμο Metropolis-Hastings. Αρχικά, παραθέτουμε μια σύντομη ιστορική αναδρομή και στη συνέχεια δίνουμε μια αναλυτική περιγραφή του. Παρουσιάζουμε κάποιες ειδικές μορφές τού καθώς και τις βασικές ιδιότητες που τον χαρακτηρίζουν. Το κεφάλαιο ολοκληρώνεται με την παρουσίαση κάποιων εφαρμογών σε προσομοιωμένα καθώς και σε πραγματικά δεδομένα. Το τέταρτο κεφάλαιο ασχολείται με μεθόδους εκτίμησης της διασποράς του εργοδικού μέσου ο οποίος προκύπτει από τις MCMC τεχνικές. Ιδιαίτερη αναφορά γίνεται στις μεθόδους Batch means και Spectral Variance Estimators. Τέλος, το Κεφάλαιο 5 ασχολείται με την εύρεση μιας κατάλληλης κατανομή πρότασης για τον αλγόριθμό Metropolis-Hastings. Παρόλο που ο αλγόριθμος Metropolis-Hastings μπορεί να συγκλίνει για οποιαδήποτε κατανομή πρότασης αρκεί να ικανοποιεί κάποιες βασικές υποθέσεις, είναι γνωστό ότι μία κατάλληλη επιλογή της κατανομής πρότασης βελτιώνει τη σύγκλιση του αλγόριθμου. Ο προσδιορισμός της βέλτιστής κατανομής πρότασης για μια συγκεκριμένη κατανομή στόχο είναι ένα πολύ σημαντικό αλλά εξίσου δύσκολο πρόβλημα. Το πρόβλημα αυτό έχει προσεγγιστεί με πολύ απλοϊκές τεχνικές (trial-and-error τεχνικές) αλλά και με adaptive αλγόριθμούς που βρίσκουν μια "καλή" κατανομή πρότασης αυτόματα. / This thesis is part of research in Computational Statistics, as we deal with the study of methods of modeling some distribution π (target distribution) and calculate complex integrals. In many real problems, where the form of π is very complex and / or the size of large state space, simulation of π can not be done with simple techniques as well as the calculation of the integrals is very difficult if not impossible to done analytically. So we resort to techniques Monte Carlo (MC) and Markov Chain Monte Carlo (MCMC), which simulate values ​​of random variables and estimate the integrals by appropriate functions of the simulated values. These techniques produce MC independent observations either directly from the distribution n target or a different distribution motion-g. MCMC techniques simulate Markov chains with stationary distribution and therefore the observations are dependent. As part of this work we will deal mainly with the Metropolis-Hastings algorithm is one of the greatest, if not the most important, MCMC algorithms. More specifically, in Chapter 2 is a brief reference to known techniques MC, such as Acceptance-Rejection method, the inversion method and importance sampling methods as well as techniques MCMC, as the algorithm Metropolis-Hastings, o Gibbs sampler and method Metropolis Within Gibbs. Chapter 3 is a detailed report on the algorithm Metropolis-Hastings. First, we present a brief history and then give a detailed description. Present some specific forms as well as the basic properties that characterize them. The chapter concludes with a presentation of some applications on simulated and real data. The fourth chapter deals with methods for estimating the dispersion of ergodic average, derived from the MCMC techniques. Particular reference is made to methods Batch means and Spectral Variance Estimators. Finally, Chapter 5 deals with finding a suitable proposal for the allocation algorithm Metropolis-Hastings. Although the Metropolis-Hastings algorithm can converge on any distribution motion sufficient to satisfy some basic assumptions, it is known that an appropriate selection of the distribution proposal improves the convergence of the algorithm. Determining the optimal allocation proposal for a specific distribution target is a very important but equally difficult problem. This problem has been approached in a very simplistic techniques (trial-and-error techniques) but also with adaptive algorithms that find a "good" allocation proposal automatically.

Σε αυτή τη διπλωματική εργασία παρουσιάζονται μερικές μέθοδοι ομαλών διαταραχών και η εφαρμογή τους στις "διάσημες" μη γραμμικές συνήθεις διαφορικές εξισώσεις Duffing, Castor και van der Pol.Οι μέθοδοι διαταραχών μπορούν να χρησιμοποιηθούν για να βρούμε προσεγγιστικές λύσεις σε διαφορικές εξισώσεις οι οποίες είναι μη γραμμικές και μια ακριβή λύση δεν μπορεί να βρεθεί. Η μέθοδος της θεωρίας διαταραχών γίνεται με σεβασμό ως προς μια μικρή παράμετρο ε, 0<ε<<1. Οι προσεγγιστικές αυτές μέθοδοι προυποθέτουν ότι γνωρίζουμε πλήρως τη λύση του προβλήματος για την τιμή ε=0 μιας παραμέτρου και επιχειρούμε να εκφράσουμε τη γενική λύση, για 0<ε<<1, υπό μορφή σειράς όρων του ε,ε^2,...κ.τ.λ. / In this thesis we present some regular perturbation methods and their applications to the famous non-linear ordinary differential equations of Duffing, Castor and van der Pol. The method of perturbations can be used to develop approximate solutions to differential equations, which have nonlinearities or variable coefficients so that an exact solution cannot be constructed. The method of perturbation expansion is carried out with respect to a small parameter ε,0<ε<<1. These approximate methods require that we know the solution of the problem for ε=0 and try to expess the general solution, for 0<ε<<1, as a series of terms ε,ε^2,...e.t.c.