1 |
Efficiency Analysis of European Freight Villages-Three Peers for BenchmarkingYang, Congcong, Taudes, Alfred, Dong, Guozhi January 2015 (has links) (PDF)
Measuring the performance of Freight Villages (FVs) has important implications for logistics companies and other related companies as well as governments. In this paper we apply Data Envelopment Analysis (DEA) to measure the performance of European FVs in a purely data-driven way incorporating the nature of FVs as complex operations that use multiple inputs and produce several outputs. We employ several DEA models and perform a complete sensitivity analysis of the appropriateness of the chosen input and output variables, and an assessment of the robustness of the efficiency score. It turns out that about half of the 20 FVs analyzed are inefficient, with utilization of the intermodal area and warehouse capacity and level of goods handed the being the most important areas of improvement. While we find no significant differences in efficiency between FVs of different sizes and in different countries, it turns out that the FVs Eurocentre Toulouse, Interporto Quadrante Europa and GVZ Nürnberg constitute more than 90% of the benchmark share. / Series: Working Papers on Information Systems, Information Business and Operations
|
2 |
Forecasting Global Equity Indices Using Large Bayesian VARsHuber, Florian, Krisztin, Tamás, Piribauer, Philipp 10 1900 (has links) (PDF)
This paper proposes a large Bayesian Vector Autoregressive (BVAR) model with common stochastic volatility to forecast global equity indices. Using a dataset consisting of monthly data on global stock indices the BVAR model inherently incorporates co-movements in the stock markets. The time-varying specification of the covariance structure moreover accounts for sudden shifts in the level of volatility. In an out-of-sample forecasting application we show that the BVAR model with stochastic volatility significantly outperforms the random walk both in terms of root mean squared errors as well as Bayesian log
predictive scores. The BVAR model without stochastic volatility, on the other hand, underperforms relative to the random walk. In a portfolio allocation exercise we moreover show that it is possible to use the forecasts obtained from our BVAR model with common stochastic volatility to set up simple investment strategies. Our results indicate that these simple investment schemes outperform a naive buy-and-hold strategy. (authors' abstract) / Series: Department of Economics Working Paper Series
|
3 |
Bayesian Inference for High-Dimensional Data with Applications to Portfolio TheoryBauder, David 06 December 2018 (has links)
Die Gewichte eines Portfolios liegen meist als als Kombination des Produkts der Präzisionsmatrix und des Erwartungswertvektors vor. In der Praxis müssen diese Parameter geschätzt werden, allerdings ist die Beschreibung der damit verbundenen Schätzunsicherheit über eine Verteilung dieses Produktes eine Herausforderung. In dieser Arbeit wird demonstriert, dass ein geeignetes bayesianisches Modell nicht nur zu einer leicht zugänglichen Posteriori-Verteilung führt, sondern auch zu leicht interpretierbaren Beschreibungen des Portfoliorisikos, wie beispielsweise einer Ausfallwahrscheinlichkeit des gesamten Portfolios zu jedem Zeitpunkt.
Dazu werden die Parameter mit ihren konjugierten Prioris ausgestatet. Mit Hilfe bekannter Ergebnisse aus der Theorie multivariater Verteilungen ist es möglich, eine stochastische Darstellung für relevante Ausdrücke wie den Portfoliogewichten oder des effizienten Randes zu geben. Diese Darstellungen ermöglichen nicht nur die Bestimmung von Bayes-Schätzern der Parameter, sondern sind auch noch rechentechnisch hoch effizient, da Zufallszahlen nur aus bekannten und leicht zugänglichen Verteilungen gezogen werden. Insbesondere aber werden Markov-Chain-Monte-Carlo Methoden nicht benötigt.
Angewendet wird diese Methodik an einem mehrperiodigen Portfoliomodell für eine exponentielle Nutzenfunktion, am Tangentialportfolio, zur Schätzung des effizienten Randes, des globalen Minimum-Varianz-Portfolios wie auch am gesamten Mittelwert-Varianz Ansatzes. Für alle behandelten Portfoliomodelle werden für wichtige Größen stochastische Darstellungen oder Bayes-Schätzer gefunden. Die Praktikabilität und Flexibilität wie auch bestimmte Eigenschaften werden in Anwendungen mit realen Datensätzen oder Simulationen illustriert. / Usually, the weights of portfolio assets are expressed as a comination of the product of the precision matrix and the mean vector. These parameters have to be estimated in practical applications. But it is a challenge to describe the associated estimation risk of this product. It is demonstrated in this thesis, that a suitable Bayesian approach does not only lead to an easily accessible posteriori distribution, but also leads to easily interpretable risk measures. This also includes for example the default probability of the portfolio at all relevant points in time.
To approach this task, the parameters are endowed with their conjugate priors. Using results from the theory of multivariate distributions, stochastic representations for the portfolio parameter are derived, for example for the portfolio weights or the efficient frontier. These representations not only allow to derive Bayes estimates of these parameters, but are computationally highly efficient since all th necessary random variables are drawn from well known and easily accessible distributions. Most importantly, Markov-Chain-Monte-Carlo methods are not necessary.
These methods are applied to a multi-period portfolio for an exponential utility function, to the tangent portfolio, to estimate the efficient frontier and also to a general mean-variance approach. Stochastic representations and Bayes estimates are derived for all relevant parameters. The practicability and flexibility as well as specific properties are demonstrated using either real data or simulations.
|
4 |
Resampling-based tuning of ordered model selectionWillrich, Niklas 02 December 2015 (has links)
In dieser Arbeit wird die Smallest-Accepted Methode als neue Lepski-Typ Methode für Modellwahl im geordneten Fall eingeführt. In einem ersten Schritt wird die Methode vorgestellt und im Fall von Schätzproblemen mit bekannter Fehlervarianz untersucht. Die Hauptkomponenten der Methode sind ein Akzeptanzkriterium, basierend auf Modellvergleichen für die eine Familie von kritischen Werten mit einem Monte-Carlo-Ansatz kalibriert wird, und die Wahl des kleinsten (in Komplexität) akzeptierten Modells. Die Methode kann auf ein breites Spektrum von Schätzproblemen angewandt werden, wie zum Beispiel Funktionsschätzung, Schätzung eines linearen Funktionals oder Schätzung in inversen Problemen. Es werden allgemeine Orakelungleichungen für die Methode im Fall von probabilistischem Verlust und einer polynomialen Verlustfunktion gezeigt und Anwendungen der Methode in spezifischen Schätzproblemen werden untersucht. In einem zweiten Schritt wird die Methode erweitert auf den Fall einer unbekannten, möglicherweise heteroskedastischen Fehlerstruktur. Die Monte-Carlo-Kalibrierung wird durch eine Bootstrap-basierte Kalibrierung ersetzt. Eine neue Familie kritischer Werte wird eingeführt, die von den (zufälligen) Beobachtungen abhängt. In Folge werden die theoretischen Eigenschaften dieser Bootstrap-basierten Smallest-Accepted Methode untersucht. Es wird gezeigt, dass unter typischen Annahmen unter normalverteilten Fehlern für ein zugrundeliegendes Signal mit Hölder-Stetigkeits-Index s > 1/4 und log(n) (p^2/n) klein, wobei n hier die Anzahl der Beobachtungen und p die maximale Modelldimension bezeichnet, die Anwendung der Bootstrap-Kalibrierung anstelle der Monte-Carlo-Kalibrierung theoretisch gerechtfertigt ist. / In this thesis, the Smallest-Accepted method is presented as a new Lepski-type method for ordered model selection. In a first step, the method is introduced and studied in the case of estimation problems with known noise variance. The main building blocks of the method are a comparison-based acceptance criterion relying on Monte-Carlo calibration of a set of critical values and the choice of the model as the smallest (in complexity) accepted model. The method can be used on a broad range of estimation problems like function estimation, estimation of linear functionals and inverse problems. General oracle results are presented for the method in the case of probabilistic loss and for a polynomial loss function. Applications of the method to specific estimation problems are studied. In a next step, the method is extended to the case of an unknown possibly heteroscedastic noise structure. The Monte-Carlo calibration step is now replaced by a bootstrap-based calibration. A new set of critical values is introduced, which depends on the (random) observations. Theoretical properties of this bootstrap-based Smallest-Accepted method are then studied. It is shown for normal errors under typical assumptions, that the replacement of the Monte-Carlo step by bootstrapping in the Smallest-Accepted method is valid, if the underlying signal is Hölder-continuous with index s > 1/4 and log(n) (p^2/n) is small for a sample size n and a maximal model dimension p.
|
5 |
Finite sample analysis of profile M-estimatorsAndresen, Andreas 02 September 2015 (has links)
In dieser Arbeit wird ein neuer Ansatz für die Analyse von Profile Maximierungsschätzern präsentiert. Es werden die Ergebnisse von Spokoiny (2011) verfeinert und angepasst für die Schätzung von Komponenten von endlich dimensionalen Parametern mittels der Maximierung eines Kriteriumfunktionals. Dabei werden Versionen des Wilks Phänomens und der Fisher-Erweiterung für endliche Stichproben hergeleitet und die dafür kritische Relation der Parameterdimension zum Stichprobenumfang gekennzeichnet für den Fall von identisch unabhängig verteilten Beobachtungen und eines hinreichend glatten Funktionals. Die Ergebnisse werden ausgeweitet für die Behandlung von Parametern in unendlich dimensionalen Hilberträumen. Dabei wir die Sieve-Methode von Grenander (1981) verwendet. Der Sieve-Bias wird durch übliche Regularitätsannahmen an den Parameter und das Funktional kontrolliert. Es wird jedoch keine Basis benötigt, die orthogonal in dem vom Model induzierten Skalarprodukt ist. Weitere Hauptresultate sind zwei Konvergenzaussagen für die alternierende Maximisierungsprozedur zur approximation des Profile-Schätzers. Alle Resultate werden anhand der Analyse der Projection Pursuit Prozedur von Friendman (1981) veranschaulicht. Die Verwendung von Daubechies-Wavelets erlaubt es unter natürlichen und üblichen Annahmen alle theoretischen Resultate der Arbeit anzuwenden. / This thesis presents a new approach to analyze profile M-Estimators for finite samples. The results of Spokoiny (2011) are refined and adapted to the estimation of components of a finite dimensional parameter using the maximization of a criterion functional. A finite sample versions of the Wilks phenomenon and Fisher expansion are obtained and the critical ratio of parameter dimension to sample size is derived in the setting of i.i.d. samples and a smooth criterion functional. The results are extended to parameters in infinite dimensional Hilbert spaces using the sieve approach of Grenander (1981). The sieve bias is controlled via common regularity assumptions on the parameter and functional. But our results do not rely on an orthogonal basis in the inner product induced by the model. Furthermore the thesis presents two convergence results for the alternating maximization procedure. All results are exemplified in an application to the Projection Pursuit Procedure of Friendman (1981). Under a set of natural and common assumptions all theoretical results can be applied using Daubechies wavelets.
|
6 |
The Propagation-Separation ApproachBecker, Saskia 16 May 2014 (has links)
Lokal parametrische Modelle werden häufig im Kontext der nichtparametrischen Schätzung verwendet. Bei einer punktweisen Schätzung der Zielfunktion können die parametrischen Umgebungen mithilfe von Gewichten beschrieben werden, die entweder von den Designpunkten oder (zusätzlich) von den Beobachtungen abhängen. Der Vergleich von verrauschten Beobachtungen in einzelnen Punkten leidet allerdings unter einem Mangel an Robustheit. Der Propagations-Separations-Ansatz von Polzehl und Spokoiny [2006] verwendet daher einen Multiskalen-Ansatz mit iterativ aktualisierten Gewichten. Wir präsentieren hier eine theoretische Studie und numerische Resultate, die ein besseres Verständnis des Verfahrens ermöglichen. Zu diesem Zweck definieren und untersuchen wir eine neue Strategie für die Wahl des entscheidenden Parameters des Verfahrens, der Adaptationsbandweite. Insbesondere untersuchen wir ihre Variabilität in Abhängigkeit von der unbekannten Zielfunktion. Unsere Resultate rechtfertigen eine Wahl, die unabhängig von den jeweils vorliegenden Beobachtungen ist. Die neue Parameterwahl liefert für stückweise konstante und stückweise beschränkte Funktionen theoretische Beweise der Haupteigenschaften des Algorithmus. Für den Fall eines falsch spezifizierten Modells führen wir eine spezielle Stufenfunktion ein und weisen eine punktweise Fehlerschranke im Vergleich zum Schätzer des Algorithmus nach. Des Weiteren entwickeln wir eine neue Methode zur Entrauschung von diffusionsgewichteten Magnetresonanzdaten. Unser neues Verfahren (ms)POAS basiert auf einer speziellen Beschreibung der Daten, die eine zeitgleiche Glättung bezüglich der gemessenen Positionen und der Richtungen der verwendeten Diffusionsgradienten ermöglicht. Für den kombinierten Messraum schlagen wir zwei Distanzfunktionen vor, deren Eignung wir mithilfe eines differentialgeometrischen Ansatzes nachweisen. Schließlich demonstrieren wir das große Potential von (ms)POAS auf simulierten und experimentellen Daten. / In statistics, nonparametric estimation is often based on local parametric modeling. For pointwise estimation of the target function, the parametric neighborhoods can be described by weights that depend on design points or on observations. As it turned out, the comparison of noisy observations at single points suffers from a lack of robustness. The Propagation-Separation Approach by Polzehl and Spokoiny [2006] overcomes this problem by using a multiscale approach with iteratively updated weights. The method has been successfully applied to a large variety of statistical problems. Here, we present a theoretical study and numerical results, which provide a better understanding of this versatile procedure. For this purpose, we introduce and analyse a novel strategy for the choice of the crucial parameter of the algorithm, namely the adaptation bandwidth. In particular, we study its variability with respect to the unknown target function. This justifies a choice independent of the data at hand. For piecewise constant and piecewise bounded functions, this choice enables theoretical proofs of the main heuristic properties of the algorithm. Additionally, we consider the case of a misspecified model. Here, we introduce a specific step function, and we establish a pointwise error bound between this function and the corresponding estimates of the Propagation-Separation Approach. Finally, we develop a method for the denoising of diffusion-weighted magnetic resonance data, which is based on the Propagation-Separation Approach. Our new procedure, called (ms)POAS, relies on a specific description of the data, which enables simultaneous smoothing in the measured positions and with respect to the directions of the applied diffusion-weighting magnetic field gradients. We define and justify two distance functions on the combined measurement space, where we follow a differential geometric approach. We demonstrate the capability of (ms)POAS on simulated and experimental data.
|
7 |
Estimating the quadratic covariation from asynchronous noisy high-frequency observationsBibinger, Markus 30 August 2011 (has links)
Ein nichtparametrisches Schätzverfahren für die quadratische Kovariation von hochfrequent nicht-synchron beobachteter Itô-Prozessen mit einem additiven Rauschen wird entwickelt. Für eine artverwandte Folge von statistischen Experimenten wird die lokal asymptotische Normalität (LAN) im Sinne von Le Cam bewiesen. Mit dieser lassen sich optimale Konvergenzraten und Effizienzschranken für asymptotische Varianzen ableiten. Der vorgestellte Schätzer wird auf Grundlage von zwei modernen Verfahren, für die Anwendung bei nicht-synchronen Beobachtungen zum einen, und einem additiven Rauschen zum anderen, entwickelt. Der Hayashi-Yoshida Schätzer wird in einer neuen Darstellung eingeführt, welche einen Synchronisierungsalgorithmus mit einschließt, der für die kombinierte Methode ausgelegt werden kann. Es wird eine stabiles zentrales Grenzwerttheorem bewiesen, wobei spezieller Wert auf die Analyse des Einflusses der Nicht-Synchronität auf die asymptotische Varianz gelegt wird. Nach diesen Vorbereitungen wird das kombinierte Schätzverfahren für den allgemeinsten Fall nicht-synchroner verrauschter Beobachtungen vorgestellt. Dieses beruht auf Subsampling- und Multiskalenmethoden, die auf Mykland, Zhang und Aït-Sahalia zurück gehen. Es vereint positive Eigenschaften der beiden Ursprünge. Das zentrale Resultat dieser Arbeit ist der Beweis, dass der Schätzfehler stabil in Verteilung gegen eine gemischte Normalverteilung konvergiert. Für die asymptotische Varianz wird ein konsistenter Schätzer angegeben. In einer Anwendungsstudie wird eine praktische Implementierung des Schätzverfahrens, die die Wahl von abhängigen Parametern beinhaltet, getestet und auf ihre Eigenschaften im Falle endlicher Stichprobenumfänge untersucht. Neuen fortgeschrittenen Entwicklungen auf dem Forschungsfeld von Seite anderer Autoren wird Rechnung getragen durch Vergleiche und diesbezügliche Kommentare. / A nonparametric estimation approach for the quadratic covariation of Itô processes from high-frequency observations with an additive noise is developed. It is proved that a closely related sequence of statistical experiments is locally asymptotically normal (LAN) in the Le Cam sense. By virtue of this property optimal convergence rates and efficiency bounds for asymptotic variances of estimators can be concluded. The proposed nonparametric estimator is founded on a combination of two modern estimation methods devoted to an additive observation noise on the one hand and asynchronous observation schemes on the other hand. We reinvent this Hayashi-Yoshida estimator in a new illustration that can serve as a synchronization method which is possible to adapt for the combined approach. A stable central limit theorem is proved focusing especially on the impact of non-synchronicity on the asymptotic variance. With this preparations on hand, the generalized multiscale estimator for the noisy and asynchronous setting arises. This convenient method for the general model is based on subsampling and multiscale estimation techniques that have been established by Mykland, Zhang and Aït-Sahalia. It preserves valuable features of the synchronization methodology and the estimators to cope with noise perturbation. The central result of the thesis is that the estimation error of the generalized multiscale estimator converges with optimal rate stably in law to a centred mixed normal limiting distribution on fairly general regularity assumptions. For the asymptotic variance a consistent estimator based on time transformed histograms is given making the central limit theorem feasible. In an application study a practicable estimation algorithm including a choice of tuning parameters is tested for its features and finite sample size behaviour. We take account of recent advances on the research field by other authors in comparisons and notes.
|
8 |
Range-based parameter estimation in diffusion modelsHenkel, Hartmuth 04 October 2010 (has links)
Wir studieren das Verhalten des Maximums, des Minimums und des Endwerts zeithomogener eindimensionaler Diffusionen auf endlichen Zeitintervallen. Zuerst beweisen wir mit Hilfe des Malliavin-Kalküls ein Existenzresultat für die gemeinsamen Dichten. Außerdem leiten wir Entwicklungen der gemeinsamen Momente des Tripels (H,L,X) zur Zeit Delta bzgl. Delta her. Dabei steht X für die zugrundeliegende Diffusion, und H und L bezeichnen ihr fortlaufendes Maximum bzw. Minimum. Ein erster Ansatz, der vollständig auf den elementaren Abschätzungen der Doob’schen und der Cauchy-Schwarz’schen Ungleichung beruht, liefert eine Entwicklung bis zur Ordnung 2 bzgl. der Wurzel der Zeitvariablen Delta. Ein komplexerer Ansatz benutzt Partielle-Differentialgleichungstechniken, um eine Entwicklung der einseitigen Austrittswahrscheinlichkeit für gepinnte Diffusionen zu bestimmen. Da eine Entwicklung der Übergangsdichten von Diffusionen bekannt ist, erhält man eine vollständige Entwicklung der gemeinsamen Wahrscheinlichkeit von (H,X) bzgl. Delta. Die entwickelten Verteilungseigenschaften erlauben es uns, eine Theorie für Martingalschätzfunktionen, die aus wertebereich-basierten Daten konstruiert werden, in einem parameterisierten Diffusionsmodell, herzuleiten. Ein Small-Delta-Optimalitätsansatz, der die approximierten Momente benutzt, liefert eine Vereinfachung der vergleichsweise komplizierten Schätzprozedur und wir erhalten asymptotische Optimalitätsresultate für gegen 0 gehende Sampling-Frequenz. Beim Schätzen des Drift-Koeffizienten ist der wertebereich-basierte Ansatz der Methode, die auf equidistanten Beobachtungen der Diffusion beruht, nicht überlegen. Der Effizienzgewinn im Fall des Schätzens des Diffusionskoeffizienten ist hingegen enorm. Die Maxima und Minima in die Analyse miteinzubeziehen senkt die Varianz des Schätzers für den Parameter in diesem Szenario erheblich. / We study the behavior of the maximum, the minimum and the terminal value of time-homogeneous one-dimensional diffusions on finite time intervals. To begin with, we prove an existence result for the joint density by means of Malliavin calculus. Moreover, we derive expansions for the joint moments of the triplet (H,L,X) at time Delta w.r.t. Delta. Here, X stands for the underlying diffusion whereas H and L denote its running maximum and its running minimum, respectively. In a first approach that entirely relies on elementary estimates, such as Doob’s inequality and Cauchy-Schwarz’ inequality, we derive an expansion w.r.t. the square root of the time parameter Delta including powers of 2. A more sophisticated ansatz uses partial differential equation techniques to determine an expansion of the one-barrier hitting time probability for pinned diffusions. For an expansion of the transition density of diffusions is known, one obtains an overall expansion of the joint probability of (H,X) w.r.t. Delta. The developed distributional properties enable us to establish a theory for martingale estimating functions constructed from range-based data in a parameterized diffusion model. A small-Delta-optimality approach, that uses the approximated moments, yields a simplification of the relatively complicated estimating procedure and we obtain asymptotic optimality results when the sampling frequency Delta tends to 0. When it comes to estimating the drift coefficient the range-based method is not superior to the method relying on equidistant observations of the underlying diffusion alone. However, there is an enormous gain in efficiency at the estimation for the diffusion coefficient. Incorporating the maximum and the minimum into the analysis significantly lowers the asymptotic variance of the estimators for the parameter in this scenario.
|
9 |
Verallgemeinerte Maximum-Likelihood-Methoden und der selbstinformative GrenzwertJohannes, Jan 16 December 2002 (has links)
Es sei X eine Zufallsvariable mit unbekannter Verteilung P. Zu den Hauptaufgaben der Mathematischen Statistik zählt die Konstruktion von Schätzungen für einen abgeleiteten Parameter theta(P) mit Hilfe einer Beobachtung X=x. Im Fall einer dominierten Verteilungsfamilie ist es möglich, das Maximum-Likelihood-Prinzip (MLP) anzuwenden. Eine Alternative dazu liefert der Bayessche Zugang. Insbesondere erweist sich unter Regularitätsbedingungen, dass die Maximum-Likelihood-Schätzung (MLS) dem Grenzwert einer Folge von Bayesschen Schätzungen (BSen) entspricht. Eine BS kann aber auch im Fall einer nicht dominierten Verteilungsfamilie betrachtet werden, was als Ansatzpunkt zur Erweiterung des MLPs genutzt werden kann. Weiterhin werden zwei Ansätze einer verallgemeinerten MLS (vMLS) von Kiefer und Wolfowitz sowie von Gill vorgestellt. Basierend auf diesen bekannten Ergebnissen definieren wir einen selbstinformativen Grenzwert und einen selbstinformativen a posteriori Träger. Im Spezialfall einer dominierten Verteilungsfamilie geben wir hinreichende Bedingungen an, unter denen die Menge der MLSen einem selbstinformativen a posteriori Träger oder, falls die MLS eindeutig ist, einem selbstinformativen Grenzwert entspricht. Das Ergebnis für den selbstinformativen a posteriori Träger wird dann auf ein allgemeineres Modell ohne dominierte Verteilungsfamilie erweitert. Insbesondere wird gezeigt, dass die Menge der vMLSen nach Kiefer und Wolfowitz ein selbstinformativer a posteriori Träger ist. Weiterhin wird der selbstinformative Grenzwert bzw. a posteriori Träger in einem Modell mit nicht identifizierbarem Parameter bestimmt. Im Mittelpunkt dieser Arbeit steht ein multivariates semiparametrisches lineares Modell. Zunächst weisen wir jedoch nach, dass in einem rein nichtparametrischen Modell unter der a priori Annahme eines Dirichlet Prozesses der selbstinformative Grenzwert existiert und mit der vMLS nach Kiefer und Wolfowitz sowie der nach Gill übereinstimmt. Anschließend untersuchen wir das multivariate semiparametrische lineare Modell und bestimmen die vMLSen nach Kiefer und Wolfowitz bzw. nach Gill sowie den selbstinformativen Grenzwert unter der a priori Annahme eines Dirichlet Prozesses und einer Normal-Wishart-Verteilung. Im Allgemeinen sind die so erhaltenen Schätzungen verschieden. Abschließend gehen wir dann auf den Spezialfall eines semiparametrischen Lokationsmodells ein, in dem die vMLSen nach Kiefer und Wolfowitz bzw. nach Gill und der selbstinformative Grenzwert wieder identisch sind. / We assume to observe a random variable X with unknown probability distribution. One major goal of mathematical statistics is the estimation of a parameter theta(P) based on an observation X=x. Under the assumption that P belongs to a dominated family of probability distributions, we can apply the maximum likelihood principle (MLP). Alternatively, the Bayes approach can be used to estimate the parameter. Under some regularity conditions it turns out that the maximum likelihood estimate (MLE) is the limit of a sequence of Bayes estimates (BE's). Note that BE's can even be defined in situations where no dominating measure exists. This allows us to derive an extension of the MLP using the Bayes approach. Moreover, two versions of a generalised MLE (gMLE) are presented, which have been introduced by Kiefer and Wolfowitz and Gill, respectively. Based on the known results, we define a selfinformative limit and a posterior carrier. In the special case of a model with dominated distribution family, we state sufficient conditions under which the set of MLE's is a selfinformative posterior carrier or, in the case of a unique MLE, a selfinformative limit. The result for the posterior carrier is extended to a more general model without dominated distributions. In particular we show that the set of gMLE's of Kiefer and Wolfowitz is a posterior carrier. Furthermore we calculate the selfinformative limit and posterior carrier, respectively, in the case of a model with possibly nonidentifiable parameters. In this thesis we focus on a multivariate semiparametric linear model. At first we show that, in the case of a nonparametric model, the selfinformative limit coincides with the gMLE of Kiefer and Wolfowitz as well as that of Gill, if a Dirichlet process serves as prior. Then we investigate both versions of gMLE's and the selfinformative limit in the multivariate semiparametric linear model, where the prior for the latter estimator is given by a Dirichlet process and a normal-Wishart distribution. In general the estimators are not identical. However, in the special case of a location model we find again that the three considered estimates coincide.
|
10 |
Slowness learningSprekeler, Henning 18 February 2009 (has links)
In dieser Doktorarbeit wird Langsamkeit als unüberwachtes Lernprinzip in sensorischen Systemen untersucht. Dabei wird zwei Aspekten besondere Aufmerksamkeit gewidmet: der mathematischen Analyse von Slow Feature Analysis - einer Implementierung des Langsamkeitsprinzips - und der Frage, wie das Langsamkeitsprinzip biologisch umgesetzt werden kann. Im ersten Teil wird zunächst eine mathematische Theorie für Slow Feature Analysis entwickelt, die zeigt, dass die optimalen Funktionen für Slow Feature Analysis die Lösungen einer partiellen Differentialgleichung sind. Die Theorie erlaubt, das Verhalten komplizierter Anwendungen analytisch vorherzusagen und intuitiv zu verstehen. Als konkrete Anwendungen wird das Erlernen von Orts- und Kopfrichtungszellen, sowie von komplexen Zellen im primären visuellen Kortex vorgestellt. Im Rahmen einer technischen Anwendung werden die theoretischen Ergebnisse verwendet, um einen neuen Algorithmus für nichtlineare blinde Quellentrennung zu entwickeln und zu testen. Als Abschluss des ersten Teils wird die Beziehung zwischen dem Langsamkeitsprinzip und dem Lernprinzip der verhersagenden Kodierung mit Hilfe eines informationstheoretischen Ansatzes untersucht. Der zweite Teil der Arbeit befasst sich mit der Frage der biologischen Implementierung des Langsamkeitsprinzips. Dazu wird zunächst gezeigt, dass Spikezeit-abhängige Plastizität unter bestimmten Bedingungen als Implementierung des Langsamkeitsprinzips verstanden werden kann. Abschließend wird gezeigt, dass sich die Lerndynamik sowohl von gradientenbasiertem Langsamkeitslernen als auch von Spikezeit-abhängiger Plastizität mathematisch durch Reaktions-Diffusions-Gleichungen beschreiben lässt. / In this thesis, we investigate slowness as an unsupervised learning principle of sensory processing. Two aspects are given particular emphasis: (a) the mathematical analysis of Slow Feature Analysis (SFA) as one particular implementation of slowness learning and (b) the question, how slowness learning can be implemented in a biologically plausible fashion. In the first part of the thesis, we develop a mathematical framework for SFA and show that the optimal functions for SFA are the solutions of a partial differential eigenvalue problem. The theory allows (a) to make analytical predictions for the behavior of complicated applications and (b) an intuitive understanding of how the statistics of the input data are reflected in the optimal functions of SFA. The theory is applied to the learning of place and head-direction representations and to the learning of complex cell receptive fields as found in primary visual cortex. As a technical application, we use the theoretical results to develop and test a new algorithm for nonlinear blind source separation. The first part of the thesis is concluded by an information-theoretic analysis of the relation between slowness learning and predictive coding. In the second part of the thesis, we study the question, how slowness learning could be implemented in a biologically plausible manner. To this end, we first show that spike timing-dependent plasticity can under certain conditions be interpreted as an implementation of slowness learning. Finally, we show that both gradient-based slowness learning and spike timing-dependent plasticity lead to receptive field dynamics that can be described in terms of reaction-diffusion equations.
|
Page generated in 0.0164 seconds