Sei (X(t), t>= -r) ein stationärer stochastischer Prozess, der die affine stochastische Differentialgleichung mit Gedächtnis dX(t)=L(X(t+s))dt+sigma dW(t), t>= 0, löst, wobei sigma>0, (W(t), t>=0) eine Standard-Brownsche Bewegung und L ein stetiges lineares Funktional auf dem Raum der stetigen Funktionen auf [-r,0], dargestellt durch ein endliches signiertes Maß a, bezeichnet. Wir nehmen an, dass eine Trajektorie (X(t), -r 0, konvergiert. Diese Rate ist schlechter als in vielen klassischen Fällen. Wir beweisen jedoch eine untere Schranke, die zeigt, dass keine Schätzung eine bessere Rate im Minimax-Sinn aufweisen kann. Für zeit-diskrete Beobachtungen von maximalem Abstand Delta konvergiert die Galerkin-Schätzung immer noch mit obiger Rate, sofern Delta is in etwa von der Ordnung T^(-1/2). Hingegen wird bewiesen, dass für festes Delta unabhängig von T die Rate sich signifikant verschlechtern muss, indem eine untere Schranke von T^(-s/(2s+6)) gezeigt wird. Außerdem wird eine adaptive Schätzung basierend auf Wavelet-Thresholding-Techniken für das assoziierte schlechtgestellte Problem konstruiert. Diese nichtlineare Schätzung erreicht die obige Minimax-Rate sogar für die allgemeinere Klasse der Besovräume B^s_(p,infinity) mit p>max(6/(2s+3),1). Die Restriktion p>=max(6/(2s+3),1) muss für jede Schätzung gelten und ist damit inhärent mit dem Schätzproblem verknüpft. Schließlich wird ein Hypothesentest mit nichtparametrischer Alternative vorgestellt, der zum Beispiel für das Testen auf Gedächtnis verwendet werden kann. Dieser Test ist anwendbar für eine L^2-Trennungsrate zwischen Hypothese und Alternative der Ordnung T^(-s/(2s+2.5)). Diese Rate ist wiederum beweisbar optimal für jede mögliche Teststatistik. Für die Beweise müssen die Parameterabhängigkeit der stationären Lösungen sowie die Abbildungseigenschaften der assoziierten Kovarianzoperatoren detailliert bestimmt werden. Weitere Resultate von allgemeinem Interessen beziehen sich auf die Mischungseigenschaft der stationären Lösung, eine Fallstudie zu exponentiellen Gewichtsfunktionen sowie der Approximation des stationären Prozesses durch autoregressive Prozesse in diskreter Zeit. / Let (X(t), t>= -r) be a stationary stochastic process solving the affine stochastic delay differential equation dX(t)=L(X(t+s))dt+sigma dW(t), t>= 0, with sigma>0, (W(t), t>=0) a standard one-dimensional Brownian motion and with a continuous linear functional L on the space of continuous functions on [-r,0], represented by a finite signed measure a. Assume that a trajectory (X(t), -r 0. This rate is worse than those obtained in many classical cases. However, we prove a lower bound, stating that no estimator can attain a better rate of convergence in a minimax sense. For discrete time observations of maximal distance Delta, the Galerkin estimator still attains the above asymptotic rate if Delta is roughly of order T^(-1/2). In contrast, we prove that for observation intervals Delta, with Delta independent of T, the rate must deteriorate significantly by providing the rate estimate T^(-s/(2s+6)) from below. Furthermore, we construct an adaptive estimator by applying wavelet thresholding techniques to the corresponding ill-posed inverse problem. This nonlinear estimator attains the above minimax rate even for more general classes of Besov spaces B^s_(p,infinity) with p>max(6/(2s+3),1). The restriction p >= 6/(2s+3) is shown to hold for any estimator, hence to be inherently associated with the estimation problem. Finally, a hypothesis test with a nonparametric alternative is constructed that could for instance serve to decide whether a trajectory has been generated by a stationary process with or without time delay. The test works for an L^2-separation rate between hypothesis and alternative of order T^(-s/(2s+2.5)). This rate is again shown to be optimal among all conceivable tests. For the proofs, the parameter dependence of the stationary solutions has to be studied in detail and the mapping properties of the associated covariance operators have to be determined exactly. Other results of general interest concern the mixing properties of the stationary solution, a case study for exponential weight functions and the approximation of the stationary process by discrete time autoregressive processes.

Gegenstand dieser Dissertation ist die non-parametrische Schätzung der Kovarianz in multi-dimensionalen Lévy-Prozessen auf der Basis von Hochfrequenzbeobachtungen. Im ersten Teil der Arbeit wird eine modifizierte Version der von Jacod und Reiß vorgeschlagenen Methode der Hochfrequenzbeobachtung für die Ermittlung der Kovarianz multi-dimensionaler Lévy-Prozesse gegeben. Es wird gezeigt, dass der Kovarianzschätzer optimal im Minimaxsinn ist. Darüber hinaus demonstrieren wir, dass die Indexaktivität der co-jumps durch das harmonische Mittel der Sprungaktivitätsinzidenzen der Komponenten von unten beschränkt wird. Der zweite Teil behandelt das Problem der adaptiven Schätzung. Ausgehend von einer Familie asymptotischer Minimax-Schätzer der Kovarianz, erhalten wir einen datenbasierten Schätzer. Wir wenden Lepskii’s Methode an, um die Kovarianz an die unbekannte Aktivität des co-jumps Indexes des Sprungteils anzupassen. Da wir es mit einem Adaptierungsproblem zu tun haben, müssen wir eine Schätzung der charakteristischen Funktion des multi-dimensionalen Lévy-Prozesses konstruieren, damit die charakteristische Funktion weder von einer semiparametrischen Annahme abhängt noch schnell abfällt. Aus diesem Grund wird auf Basis von Neumanns Methode ein trunkierter Schätzer für die empirische charakteristische Funktion konstruiert. Die Anwesenheit der trunkierten, empirischen charakteristischen Funktion im Zähler führt jedoch zu einer Situation, die auch bei der Deconvolution auftritt, d.h. einem irregulären Verhalten des stochastischen Fehlers. Dieser U-förmige stochastische Fehler verhindert die Anwendung von Lepskii’s Grundsatz. Um diesem Problem, entgegenzuwirken, entwickeln wir eine Strategie, welche zu einem Orakelstart von Lepskii's Methode führt, mit deren Hilfe ein monoton steigender stochastischer Fehler konstruiert wird. Dies erlaubt uns, ein Balancing Principle einzuführen und einen adaptiven Schätzer für die Kovarianz zu erhalten, der fast-optimale Raten erzeugt. / In this thesis, we consider the problem of nonparametric estimation for the continuous part of the covariation of a multi-dimensional Lévy process from high-frequency observations. This continuous part of covariation is also called covariance. The first part modifies the high-frequency estimation method, proposed by Jacod and Reiss, to cover estimation of the covariance of multi-dimensional Lévy processes. The covariance estimator is shown to be optimal in the minimax-sense. Moreover, the co-jump index activity is proved to be bounded from below by the harmonic mean of the jump activity indices of the components. In the second part, we address the problem of the adaptive estimation. Starting from an asymptotically minimax family of estimators for the covariance, we derive a data-driven estimator. Lepskii's method is applied to adapt the covariance to the unknown co-jump index activity of the jump part. Faced with an adaptation problem, we need to secure an estimation for the characteristic function of the multi-dimensional Lévy process so that it does not depend on a semiparametric assumption and, at the same time, does not decay fast. For this reason, a truncated estimator for the empirical characteristic function is constructed based on Neumann's method. The presence of the truncated empirical characteristic function in the denominator leads to a situation similar to the deconvolution problem, i.e., an irregular behavior of the stochastic error. This U-shaped stochastic error does not permit us to apply Lepskii's principle. To counteract this problem, we establish a strategy to obtain an oracle start of Lepskii's method, according to which a monotonically increasing stochastic error is constructed. This enables us to apply a balancing principle and build an adaptive estimator for the covariance which obtains near-optimal rates.

Cette thèse s'inscrit dans le domaine de l'apprentissage statistique. Le cadre principal est celui de la prévision de suites déterministes arbitraires (ou suites individuelles), qui recouvre des problèmes d'apprentissage séquentiel où l'on ne peut ou ne veut pas faire d'hypothèses de stochasticité sur la suite des données à prévoir. Cela conduit à des méthodes très robustes. Dans ces travaux, on étudie quelques liens étroits entre la théorie de la prévision de suites individuelles et le cadre statistique classique, notamment le modèle de régression avec design aléatoire ou fixe, où les données sont modélisées de façon stochastique. Les apports entre ces deux cadres sont mutuels : certaines méthodes statistiques peuvent être adaptées au cadre séquentiel pour bénéficier de garanties déterministes ; réciproquement, des techniques de suites individuelles permettent de calibrer automatiquement des méthodes statistiques pour obtenir des bornes adaptatives en la variance du bruit. On étudie de tels liens sur plusieurs problèmes voisins : la régression linéaire séquentielle parcimonieuse en grande dimension (avec application au cadre stochastique), la régression linéaire séquentielle sur des boules L1, et l'agrégation de modèles non linéaires dans un cadre de sélection de modèles (régression avec design fixe). Enfin, des techniques stochastiques sont utilisées et développées pour déterminer les vitesses minimax de divers critères de performance séquentielle (regrets interne et swap notamment) en environnement déterministe ou stochastique. / The topics addressed in this thesis lie in statistical machine learning. Our main framework is the prediction of arbitrary deterministic sequences (or individual sequences). It includes online learning tasks for which we cannot make any stochasticity assumption on the data to be predicted, which requires robust methods. In this work, we analyze several connections between the theory of individual sequences and the classical statistical setting, e.g., the regression model with fixed or random design, where stochastic assumptions are made. These two frameworks benefit from one another: some statistical methods can be adapted to the online learning setting to satisfy deterministic performance guarantees. Conversely, some individual-sequence techniques are useful to tune the parameters of a statistical method and to get risk bounds that are adaptive to the unknown variance. We study such connections for several connected problems: high-dimensional online linear regression under a sparsity scenario (with an application to the stochastic setting), online linear regression on L1-balls, and aggregation of nonlinear models in a model selection framework (regression on a fixed design). We also use and develop stochastic techniques to compute the minimax rates of game-theoretic online measures of performance (e.g., internal and swap regrets) in a deterministic or stochastic environment.