Das vorliegende Skript ist aus dem Lehrveranstaltungszyklus Theorie und Methodik der Statistik hervorgegangen, den ich an der Fakultät Wirtschaftswissenschaften der TU Dresden im Hauptstudium der Diplomstudiengänge und in den Masterstudiengängen gehalten habe. Es gibt 16 ältere Auflagen, die während mehr als 15 Jahren kontinuierlich überarbeitet, erweitert und korrigiert wurden. Für Hinweise auf Fehler und für Erweiterungs- und Verbesserungsvorschläge danke ich mehreren Studenten und allen Mitarbeitern, die in dieser Zeit am Lehrstuhl für Quantitative Verfahren, insbesondere Statistik beschäftigt waren. Die 30 Kapitel verteilen sich auf die fünf Teile Grundlagen, Schätzen und Testen, Korrelation und Regression, Stochastische Prozesse und Multivariate Verfahren, die jeweils Grundlage einer Lehrveranstaltung waren. Viele Kapitel haben einen abschließenden Abschnitt "Weiterführendes" mit zusätzlichem und ergänzendem Material, das in der Vorlesung nicht behandelt wurde, sowie zusätzlichen Eräauterungen, Beispielen und Anmerkungen. Zur verwendeten Notation und zu mathematischen Grundlagen siehe Anhang A.

Seit den 70er Jahren erscheint die Welteinkommensverteilung zwischen den Nationen polarisiert in arm und reich. Dieses Phänomen kann theoretisch mithilfe des Solow Wachstumsmodells erklärt werden. Der Nachweis wurde auf drei Arten geführt. Als erstes wurde graphisch gezeigt, dass Änderungen der Annahmen bezüglich der Sparquote, des Bevölkerungswachstums sowie der Sparquote des Humankapital im erweiterten Solow Wachstumsmodell zu Bipolarität führen können. Die zweite Vorgehensweise war analytisch: eine endogene Sparquote wurde in das Solow Wachstumsmodell eingefügt, für welches dann die Gleichgewichte bestimmt wurden. Es konnte gezeigt werden, dass es zur Polarisierung kommt. Schließlich wurde ein empirisch determiniertes Solow Wachstumsmodell formuliert. Die Sparquote sowie die Bevölkerungswachstumsrate wurden mithilfe von Regressionen geschätzt und in das Modell integriert. Hieraus wurden anschließend die Gleichgewichte bestimmt.

In this thesis, we develop and investigate numerical methods for solving nonsmooth convex optimization problems in real Hilbert spaces. We construct algorithms, such that they handle the terms in the objective function and constraints of the minimization problems separately, which makes these methods simpler to compute. In the first part of the thesis, we extend the well known AMA method from Tseng to the Proximal AMA algorithm by introducing variable metrics in the subproblems of the primal-dual algorithm. For a special choice of metrics, the subproblems become proximal steps. Thus, for objectives in a lot of important applications, such as signal and image processing, machine learning or statistics, the iteration process consists of expressions in closed form that are easy to calculate. In the further course of the thesis, we intensify the investigation on this algorithm by considering and studying a dynamical system. Through explicit time discretization of this system, we obtain Proximal AMA. We show the existence and uniqueness of strong global solutions of the dynamical system and prove that its trajectories converge to the primal-dual solution of the considered optimization problem. In the last part of this thesis, we minimize a sum of finitely many nonsmooth convex functions (each can be composed by a linear operator) over a nonempty, closed and convex set by smoothing these functions. We consider a stochastic algorithm in which we take gradient steps of the smoothed functions (which are proximal steps if we smooth by Moreau envelope), and use a mirror map to 'mirror'' the iterates onto the feasible set. In applications, we compare them to similar methods and discuss the advantages and practical usability of these new algorithms.

Ziel dieser Arbeit ist es zwei verschiedene Klassen von Systemen nichtlinearer parabolischer Gleichungen zu homogenisieren, und zwar Reaktions-Diffusions-Systeme mit verschiedenen Diffusionslängenskalen und Gleichungen vom Typ Cahn-Hilliard. Wir betrachten parabolische Gleichungen mit periodischen Koeffizienten, wobei die Periode dem Verhältnis der charakteristischen mikroskopischen zu der makroskopische Längenskala entspricht. Unser Ziel ist es, effektive Gleichungen rigoros herzuleiten, um die betrachteten Systeme besser zu verstehen und den Simulationsaufwand zu minimieren. Wir suchen also einen Konvergenzbegriff, mit dem die Lösung des Ausgangsmodells im Limes der Periode gegen Null gegen die Lösung des effektiven Modells konvergiert. Um die periodische Mikrostruktur und die verschiedenen Diffusivitäten zu erfassen, verwenden wir die Zwei-Skalen Konvergenz mittels periodischer Auffaltung. Der erste Teil der Arbeit handelt von Reaktions-Diffusions-Systemen, in denen einige Spezies mit der charakteristischen Diffusionslänge der makroskopischen Skala und andere mit der mikroskopischen diffundieren. Die verschiedenen Diffusivitäten führen zu einem Verlust der Kompaktheit, sodass wir nicht direkt den Grenzwert der nichtlinearen Terme bestimmen können. Wir beweisen mittels starker Zwei-Skalen Konvergenz, dass das effektive Modell ein zwei-skaliges Modell ist, welches von der makroskopischen und der mikroskopischen Skale abhängt. Unsere Methode erlaubt es uns, explizite Raten für die Konvergenz der Lösungen zu bestimmen. Im zweiten Teil betrachten wir Gleichungen vom Typ Cahn-Hilliard, welche ortsabhängige Mobilitätskoeffizienten und allgemeine Potentiale beinhalten. Wir beweisen evolutionäre Gamma-Konvergenz der zugehörigen Gradientensysteme basierend auf der Gamma-Konvergenz der Energien und der Dissipationspotentiale. / The aim of this thesis is to derive homogenization results for two different types of systems of nonlinear parabolic equations, namely reaction-diffusion systems involving different diffusion length scales and Cahn-Hilliard-type equations. The coefficient functions of the considered parabolic equations are periodically oscillating with a period which is proportional to the ratio between the charactersitic microscopic and macroscopic length scales. In view of greater structural insight and less computational effort, it is our aim to rigorously derive effective equations as the period tends to zero such that solutions of the original model converge to solutions of the effective model. To account for the periodic microstructure as well as for the different diffusion length scales, we employ the method of two-scale convergence via periodic unfolding. In the first part of the thesis, we consider reaction-diffusion systems, where for some species the diffusion length scale is of order of the macroscopic length scale and for other species it is of order of the microscopic one. Based on the notion of strong two-scale convergence, we prove that the effective model is a two-scale reaction-diffusion system depending on the macroscopic and the microscopic scale. Our approach supplies explicit rates for the convergence of the solution. In the second part, we consider Cahn-Hilliard-type equations with position-dependent mobilities and general potentials. It is well-known that the classical Cahn-Hilliard equation admits a gradient structure. Based on the Gamma-convergence of the energies and the dissipation potentials, we prove evolutionary Gamma-convergence, for the associated gradient system such that we obtain in the limit of vanishing periods a Cahn-Hilliard equation with homogenized coefficients.

In dieser Arbeit präsentieren wir eine neue Art von Newton-Verfahren mit Liniensuche, basierend auf Interpolation im Bildbereich nach Wedin et al. [LW84]. Von dem resultierenden stabilisierten Newton-Algorithmus wird theoretisch und praktisch gezeigt, dass er effizient ist im Falle von nichtsingulären Lösungen. Darüber hinaus wird beobachtet, dass er eine superlineare Rate von Konvergenz bei einfachen Singularitäten erhält. Hingegen ist vom Newton-Verfahren ohne Liniensuche bekannt, dass es nur linear von fast allen Punkten in der Nähe einer singulären Lösung konvergiert. In Hinsicht auf Anwendungen auf Komplementaritätsprobleme betrachten wir auch Systeme, deren Jacobimatrix nicht differenzierbar sondern nur semismooth ist. Auch hier erreicht unser stabilisiertes und beschleunigtes Newton- Verfahren Superlinearität bei einfachen Singularitäten. / In this thesis we present a new type of line-search for Newton’s method, based on range space interpolation as suggested by Wedin et al. [LW84]. The resulting stabilized Newton algorithm is theoretically and practically shown to be efficient in the case of nonsingular roots. Moreover it is observed that it maintains a superlinear rate of convergence at simple singularities. Whereas Newton’s method without line-search is known to converge only linearly from almost all points near the singular root. In view of applications to complementarity problems we also consider systems, whose Jacobian is not differentiable but only semismooth. Again, our stabilized and accelerated Newton’s method achieves superlinearity at simple singularities.

Die vorliegende Arbeit zum Thema der numerischen Analysis von Eigenwertproblemen befasst sich mit fünf wesentlichen Aspekten der numerischen Analysis von Eigenwertproblemen. Der erste Teil präsentiert einen Algorithmus von asymptotisch quasi-optimaler Rechenlaufzeit, der die adaptive Finite Elemente Methode mit einem iterativen algebraischen Eigenwertlöser kombiniert. Der zweite Teil präsentiert explizite beidseitige Schranken für die Eigenwerte des Laplace Operators auf beliebig groben Gittern basierend auf einer Approximation der zugehörigen Eigenfunktion in dem nicht konformen Finite Elemente Raum von Crouzeix und Raviart und einem Postprocessing. Die Effizienz der garantierten Schranke des Eigenwertfehlers hängt von der globalen Gitterweite ab. Der dritte Teil betrachtet eine adaptive Finite Elemente Methode basierend auf Verfeinerungen von Knoten-Patchen. Dieser Algorithmus zeigt eine asymptotische Fehlerreduktion der adaptiven Sequenz von einfachen Eigenwerten und Eigenfunktionen des Laplace Operators. Die hier erstmals bewiesene Eigenschaft der Saturation des Eigenwertfehlers zeigt Zuverlässigkeit und Effizienz für eine Klasse von hierarchischen a posteriori Fehlerschätzern. Der vierte Teil betrachtet a posteriori Fehlerschätzer für Konvektion-Diffusion Eigenwertprobleme, wie sie von Heuveline und Rannacher (2001) im Kontext der dual-gewichteten residualen Methode (DWR) diskutiert wurden. Zwei neue dual-gewichtete a posteriori Fehlerschätzer werden vorgestellt. Der letzte Teil beschäftigt sich mit drei adaptiven Algorithmen für Eigenwertprobleme von nicht selbst-adjungierten Operatoren partieller Differentialgleichungen. Alle drei Algorithmen basieren auf einer Homotopie-Methode die vom einfacheren selbst-adjungierten Problem startet. Neben der Gitterverfeinerung wird der Prozess der Homotopie sowie die Anzahl der Iterationen des algebraischen Löser adaptiv gesteuert und die verschiedenen Anteile am gesamten Fehler ausbalanciert. / This thesis "on the numerical analysis of eigenvalue problems" consists of five major aspects of the numerical analysis of adaptive finite element methods for eigenvalue problems. The first part presents a combined adaptive finite element method with an iterative algebraic eigenvalue solver for a symmetric eigenvalue problem of asymptotic quasi-optimal computational complexity. The second part introduces fully computable two-sided bounds on the eigenvalues of the Laplace operator on arbitrarily coarse meshes based on some approximation of the corresponding eigenfunction in the nonconforming Crouzeix-Raviart finite element space plus some postprocessing. The efficiency of the guaranteed error bounds involves the global mesh-size and is proven for the large class of graded meshes. The third part presents an adaptive finite element method (AFEM) based on nodal-patch refinement that leads to an asymptotic error reduction property for the adaptive sequence of simple eigenvalues and eigenfunctions of the Laplace operator. The proven saturation property yields reliability and efficiency for a class of hierarchical a posteriori error estimators. The fourth part considers a posteriori error estimators for convection-diffusion eigenvalue problems as discussed by Heuveline and Rannacher (2001) in the context of the dual-weighted residual method (DWR). Two new dual-weighted a posteriori error estimators are presented. The last part presents three adaptive algorithms for eigenvalue problems associated with non-selfadjoint partial differential operators. The basis for the developed algorithms is a homotopy method which departs from a well-understood selfadjoint problem. Apart from the adaptive grid refinement, the progress of the homotopy as well as the solution of the iterative method are adapted to balance the contributions of the different error sources.

Gegenstand dieser Arbeit ist die numerische Approximation von Eigenwerten elliptischer Differentialoperatoren vermittels der adaptiven finite-Elemente-Methode (AFEM). Durch lokale Netzverfeinerung können derartige Verfahren den Rechenaufwand im Vergleich zu uniformer Verfeinerung deutlich reduzieren und sind daher von großer praktischer Bedeutung. Diese Arbeit behandelt adaptive Algorithmen für Finite-Elemente-Methoden (FEMs) für drei selbstadjungierte Modellprobleme: den Laplaceoperator, das Stokes-System und den biharmonischen Operator. In praktischen Anwendungen führen Störungen der Koeffizienten oder der Geometrie auf Eigenwert-Haufen (Cluster). Dies macht simultanes Markieren im adaptiven Algorithmus notwendig. In dieser Arbeit werden optimale Konvergenzraten für einen praktischen adaptiven Algorithmus für Eigenwert-Cluster des Laplaceoperators (konforme und nichtkonforme P1-FEM), des Stokes-Systems (nichtkonforme P1-FEM) und des biharmonischen Operators (Morley-FEM) bewiesen. Fehlerabschätzungen in der L2-Norm und Bestapproximations-Resultate für diese Nichtstandard-Methoden erfordern neue Techniken, die in dieser Arbeit entwickelt werden. Dadurch wird der Beweis optimaler Konvergenzraten ermöglicht. Die Optimalität bezüglich einer nichtlinearen Approximationsklasse betrachtet die Approximation des invarianten Unterraums, der von den Eigenfunktionen im Cluster aufgespannt wird. Der Fehler der Eigenwerte kann dazu in Bezug gesetzt werden: Die hierfür notwendigen Eigenwert-Fehlerabschätzungen für nichtkonforme Finite-Elemente-Methoden werden in dieser Arbeit gezeigt. Die numerischen Tests für die betrachteten Modellprobleme legen nahe, dass der vorgeschlagene Algorithmus, der bezüglich aller Eigenfunktionen im Cluster markiert, einem Markieren, das auf den Vielfachheiten der Eigenwerte beruht, überlegen ist. So kann der neue Algorithmus selbst im Fall, dass alle Eigenwerte im Cluster einfach sind, den vorasymptotischen Bereich signifikant verringern. / The numerical approximation of the eigenvalues of elliptic differential operators with the adaptive finite element method (AFEM) is of high practical interest because the local mesh-refinement leads to reduced computational costs compared to uniform refinement. This thesis studies adaptive algorithms for finite element methods (FEMs) for three model problems, namely the eigenvalues of the Laplacian, the Stokes system and the biharmonic operator. In practice, little perturbations in coefficients or in the geometry immediately lead to eigenvalue clusters which requires the simultaneous marking in adaptive finite element methods. This thesis proves optimality of a practical adaptive algorithm for eigenvalue clusters for the conforming and nonconforming P1 FEM for the eigenvalues of the Laplacian, the nonconforming P1 FEM for the eigenvalues of the Stokes system and the Morley FEM for the eigenvalues of the biharmonic operator. New techniques from the medius analysis enable the proof of L2 error estimates and best-approximation properties for these nonstandard finite element methods and thereby lead to the proof of optimality. The optimality in terms of the concept of nonlinear approximation classes is concerned with the approximation of invariant subspaces spanned by eigenfunctions of an eigenvalue cluster. In order to obtain eigenvalue error estimates, this thesis presents new estimates for nonconforming finite elements which relate the error of the eigenvalue approximation to the error of the approximation of the invariant subspace. Numerical experiments for the aforementioned model problems suggest that the proposed practical algorithm that uses marking with respect to all eigenfunctions within the cluster is superior to marking that is based on the multiplicity of the eigenvalues: Even if all exact eigenvalues in the cluster are simple, the simultaneous approximation can reduce the pre-asymptotic range significantly.

When the finite element method is used to solve boundary value problems, the corresponding finite element mesh is appropriate if it is reflects the behavior of the true solution. A posteriori error estimators are suited to construct adequate meshes. They are useful to measure the quality of an approximate solution and to design adaptive solution algorithms. Singularly perturbed problems yield in general solutions with anisotropic features, e.g. strong boundary or interior layers. For such problems it is useful to use anisotropic meshes in order to reach maximal order of convergence. Moreover, the quality of the numerical solution rests on the robustness of the a posteriori error estimation with respect to both the anisotropy of the mesh and the perturbation parameters. There exist different possibilities to measure the a posteriori error in the energy norm for the singularly perturbed reaction-diffusion equation. One of them is the equilibrated residual method which is known to be robust as long as one solves auxiliary local Neumann problems exactly on each element. We provide a basis for an approximate solution of the aforementioned auxiliary problem and show that this approximation does not affect the quality of the error estimation. Another approach that we develope for the a posteriori error estimation is the hierarchical error estimator. The robustness proof for this estimator involves some stages including the strengthened Cauchy-Schwarz inequality and the error reduction property for the chosen space enrichment. In the rest of the work we deal with adaptive algorithms. We provide an overview of the existing methods for the isotropic meshes and then generalize the ideas for the anisotropic case. For the resulting algorithm the error reduction estimates are proven for the Poisson equation and for the singularly perturbed reaction-difussion equation. The convergence for the Poisson equation is also shown. Numerical experiments for the equilibrated residual method, for the hierarchical error estimator and for the adaptive algorithm confirm the theory. The adaptive algorithm shows its potential by creating the anisotropic mesh for the problem with the boundary layer starting with a very coarse isotropic mesh.

Tikhonov-type regularization of linear and nonlinear ill-posed problems in abstract spaces under sparsity constraints gained relevant attention in the past years. Since under some weak assumptions all regularized solutions are sparse if the l1-norm is used as penalty term, the l1-regularization was studied by numerous authors although the non-reflexivity of the Banach space l1 and the fact that such penalty functional is not strictly convex lead to serious difficulties. We consider the case that the sparsity assumption is narrowly missed. This means that the solutions may have an infinite number of nonzero but fast decaying components. For that case we formulate and prove convergence rates results for the l1-regularization of nonlinear operator equations. In this context, we outline the situations of Hölder rates and of an exponential decay of the solution components.

We consider a system of weakly coupled singularly perturbed convection-diffusion equations with multiple scales. Based on sharp estimates for first order derivatives, Linß [T. Linß, Computing 79 (2007) 23–32.] analyzed the upwind finite-difference method on a Shishkin mesh. We derive such sharp bounds for second order derivatives which show that the coupling generates additional weak layers. Finally, we prove the first robust convergence result for the Galerkin finite element method for this class of problems on modified Shishkin meshes introducing a mesh grading to cope with the weak layers. Numerical experiments support our theory.