Master-Arbeit Univ. St. Gallen, 2006.

Master-Arbeit Univ. St. Gallen, 2008.

University, Diss., 2005--Bonn.

This thesis is devoted to the theoretical and numerical investigation of preconditioning methods for gradient schemes for solving underdetermined nonlinear least-squares problems. In particular, problems with zero residual are considered, which are equivalent to the problem of solving underdetermined nonlinear systems of equations. These problems arise in several fields such as nonlinear eigenvalue problems, partial differential equations, and in the context of data fitting. A specific example from the latter class is the supervised training of overparameterised artificial neural networks. In this case, a large number of parameters and a complex problem structure make solving these problems challenging, and the development of efficient methods with guaranteed convergence is of paramount importance. In this thesis, the relation between solutions of nonlinear least-squares problems and nonlinear systems of equations is explained. Further, a result on the existence of solutions that is based on the existence of a point with sufficiently small value of the residual function and a full rank assumption on the Jacobian of the residual function around this point is presented. This theoretical framework is discussed in the context of quadratic data fitting problems and supervised training problems. However, in some cases a full rank property is not at hand, and regularisation techniques are required for guaranteeing existence of solutions and convergence of iterative schemes. For this purpose, two regularisation schemes based on the minimisation of a least-squares objective function with a regularised residual are introduced. These schemes preserve the underdetermined structure of the problem and the corresponding Jacobians satisfy the full rank property. Further, it is established that a sequence of solutions of the regularised problems converges to a solution of the original problem if the regularisation parameter decreases to zero. To compute solutions of the considered underdetermined nonlinear least-squares problems, preconditioning approaches for gradient-based schemes are investigated. To this end, the standard gradient method, which serves as a basis for the proposed preconditioning approaches, is discussed. Specifically, a semi-local convergence result is presented, where, in contrast to local convergence theorems, the existence of a solution is not assumed a priori but follows from the convergence of a sequence obtained by this gradient scheme. The assumptions for this convergence result are transferred to the case of quadratic data fitting problems and supervised training problems. Moreover, the application of the gradient method to minimise the underdetermined regularised least-squares objective function that appear in both regularisation strategies is investigated. It is proven that the sequence of solutions obtained by the gradient method for regularised problems with varying regularisation parameter converges to a solution of the original problem if the regularisation parameter tends to zero. Results of numerical experiments illustrate this property. Preconditioning approaches with fixed transformation matrices are introduced. Motivated from the linear case, these schemes are classified as left, right, and split preconditioning methods depending on the space in which the transformation is applied. A convergence result for a left preconditioning method is proven. Further, flexible preconditioning schemes where the transformation matrix is allowed to vary during the gradient iteration are addressed. For nonlinear least-squares problems, a left preconditioning scheme with fixed transformation matrix based on a random subspace embedding is designed. A relation of the condition number of the Jacobian of the transformed residual function to the distortion of the subspace embedding is established. Results from numerical experiments on supervised learning problems are shown, which demonstrate a striking improvement of the convergence rate of the randomised preconditioned method compared to the standard gradient method. Inspired by spectral multigrid preconditioners, a flexible right preconditioning scheme is defined using the eigendecomposition of the Hessian of the least-squares objective function that complements the gradient method. Based on the resemblance to algebraic multigrid schemes, an approach to compute a similar transformation matrix with less computational effort is suggested. Additionally, the combination of this gradient and coarse-level correction scheme with the randomised left preconditioning approach is analysed. The resulting scheme gives a flexible split preconditioned gradient method. A numerical investigation of these flexible right and split preconditioning schemes is included. These results demonstrate that the combination of the gradient method with a coarse-level correction leads to a faster reduction of the least-squares objective function in terms of iterations compared to the standard gradient method, and that the split preconditioned gradient scheme converges even faster. Another efficient method for solving nonlinear systems of equations is the class of quasi-Newton methods, which represent flexible left preconditioned gradient schemes. In this context, an update formula for the Moore-Penrose inverse of the Jacobian approximations obtained by the Broyden update for underdetermined problems is developed. A semi-local convergence result for general quasi-Newton methods is proven. Sufficient conditions for the convergence of the quasi-Newton scheme resulting from the developed new updating procedure based on the Broyden update are given. These conditions are transferred to the context of quadratic data fitting problems and the supervised training of shallow neural networks. Further, for the considered regularised problems, it is established that the sequence of solutions obtained by the proposed quasi-Newton scheme applied to find a zero of the regularised residual functions converges to a solution of the original problem if the regularisation parameters decrease to zero. Results of numerical experiments on quadratic data fitting problems, eigenvalue problems, and supervised training problems are included to support the theoretical findings. A description of the problems' settings, the specifications of the applied algorithms, and the Python program used for the numerical experiments is included. / Diese Arbeit widmet sich der theoretischen und numerischen Untersuchung von Vorkonditionierungsmethoden für Gradientenschemata zur Lösung unterbestimmter nichtlinearer Kleinste-Quadrate-Probleme. Insbesondere werden Probleme mit Nullresiduen betrachtet, die dem Problem der Lösung unterbestimmter nichtlinearer Gleichungssysteme entsprechen. Diese Probleme treten in verschiedenen Bereichen auf, z. B. bei nichtlinearen Eigenwertproblemen, partiellen Differentialgleichungen und im Zusammenhang mit Datenanpassung. Ein spezifisches Beispiel aus der letztgenannten Klasse ist das überwachte Training von überparametrisierten künstlichen neuronalen Netzen. In diesem Fall machen eine große Anzahl von Parametern und eine komplexe Problemstruktur die Lösung dieser Probleme zu einer Herausforderung, und die Entwicklung effizienter Methoden mit garantierter Konvergenz ist von größter Bedeutung. In dieser Arbeit wird der Zusammenhang zwischen Lösungen von nichtlinearen Kleinste-Quadrate-Probleme und nichtlinearen Gleichungssystemen erläutert. Außerdem wird ein Ergebnis über die Existenz von Lösungen vorgestellt, das auf der Existenz eines Punktes mit einem hinreichend kleinem Wert der Residuenfunktion und einer Vollrangannahme für die Jacobimatrix der Residuenfunktion um diesen Punkt herum beruht. Dieser theoretische Rahmen wird im Zusammenhang mit quadratischen Datenanpassungsproblemen und überwachten Trainingsproblemen diskutiert. In einigen Fällen liegt jedoch keine Vollrang-Eigenschaft vor, und es sind Regularisierungstechniken erforderlich, um die Existenz von Lösungen und die Konvergenz von Iterationsverfahren zu gewährleisten. Zu diesem Zweck werden zwei Regularisierungsverfahren eingeführt, die auf der Minimierung einer Kleinste-Quadrate-Zielfunktion mit einer regularisierten Residuenfunktion beruhen. Diese Verfahren bewahren die unterbestimmte Struktur des Problems, und die entsprechenden Jacobimatrizen haben vollen Rang. Ferner wird festgestellt, dass eine Folge von Lösungen der regularisierten Probleme zu einer Lösung des ursprünglichen Problems konvergiert, wenn der Regularisierungsparameter auf Null sinkt. Um Lösungen für die betrachteten unterbestimmten nichtlinearen Kleinste-Quadrate-Probleme zu berechnen, werden Vorkonditionierungsansätze für gradientenbasierte Verfahren untersucht. Zu diesem Zweck wird das Standard-Gradientenverfahren, das als Grundlage für die vorgeschlagenen Vorkonditionierungsansätze dient, diskutiert. Insbesondere wird ein semilokales Konvergenzergebnis vorgestellt, bei dem im Gegensatz zu lokalen Konvergenztheoremen die Existenz einer Lösung nicht a priori vorausgesetzt wird, sondern aus der Konvergenz einer mit diesem Gradientenschema erhaltenen Sequenz folgt. Die Annahmen für dieses Konvergenzergebnis werden auf den Fall von quadratischen Datenanpassungsproblemen und überwachten Trainingsproblemen übertragen. Darüber hinaus wird die Anwendung der Gradientenmethode zur Minimierung der unterbestimmten regularisierten Kleinste-Quadrate-Zielfunktion untersucht, die in beiden Regularisierungsstrategien auftritt. Es wird bewiesen dass die Folge von Lösungen, die durch die Gradientenmethode für regularisierte Probleme mit variierenden Regularisierungsparametern erhalten wird, zu einer Lösung des ursprünglichen Problems konvergiert, wenn der Regularisierungsparameter gegen Null tendiert. Ergebnisse von numerischen Experimenten veranschaulichen diese Eigenschaft. Es werden Vorkonditionierungsansätze mit festen Transformationsmatrizen vorgestellt. Ausgehend vom linearen Fall werden diese Verfahren als linke, rechte und geteilte Vorkonditionierungsmethoden klassifiziert, je nach dem Raum, in dem die Transformation angewendet wird. Es wird ein Konvergenzergebnis für eine linke Vorkonditionierungsmethode bewiesen. Außerdem werden flexible Vorkonditionierungsverfahren behandelt, bei denen die Transformationsmatrix während der Gradienteniteration variieren kann. Für nichtlineare Kleinste-Quadrate-Probleme wird ein linkes Vorkonditionierungsschema mit fester Transformationsmatrix auf der Grundlage einer zufälligen Unterraumeinbettung entworfen. Es wird eine Beziehung zwischen der Konditionszahl der Jacobimatrix der transformierten Residuenfunktion und der Verzerrung der Unterraumeinbettung hergestellt. Es werden Ergebnisse aus numerischen Experimenten zu überwachten Lernproblemen gezeigt, die eine deutliche Verbesserung der Konvergenzrate der randomisierten vorkonditionierten Methode im Vergleich zur Standard-Gradientenmethode belegen. Inspiriert von spektralen Mehrgitterkonditionierern wird ein flexibles rechtes Vorkonditionierungsschema definiert, das die Eigenwertzerlegung der Hessematrix der Kleinste-Quadrate-Zielfunktion verwendet und die Gradientenmethode ergänzt. Aufgrund der Ähnlichkeit mit algebraischen Mehrgitterverfahren wird ein Ansatz zur Berechnung einer ähnlichen Transformationsmatrix mit geringerem Rechenaufwand vorgeschlagen. Darüber hinaus wird die Kombination dieses Gradienten- und Grobkorrekturverfahrens mit dem randomisierten linken Vorkonditionierungsansatz analysiert. Das resultierende Schema ergibt ein flexibles, geteiltes vorkonditioniertes Gradientenverfahren. Eine numerische Untersuchung dieser flexiblen rechten und geteilten Vorkonditionierungsverfahren ist enthalten. Die Ergebnisse zeigen, dass die Kombination der Gradientenmethode mit einer Grobkorrektur zu einer schnelleren Reduktion der Kleinste-Quadrate-Zielfunktion in Bezug auf die Iterationen im Vergleich zur Standard-Gradientenmethode führt und dass das geteilte vorkonditionierte Gradientenverfahren sogar noch schneller konvergiert. Eine weitere effiziente Methode zur Lösung nichtlinearer Gleichungssysteme ist die Klasse der Quasi-Newton-Methoden, die flexible linkskonditionierte Gradientenverfahren darstellen. In diesem Zusammenhang wird eine Aktualisierungsformel für die Moore-Penrose-Inverse der durch die Broyden-Aktualisierung erhaltenen Jacobi-Approximationen für unterbestimmte Probleme entwickelt. Es wird ein halblokales Konvergenzergebnis für allgemeine Quasi-Newton-Verfahren bewiesen. Es werden hinreichende Bedingungen für die Konvergenz des Quasi-Newton-Verfahrens gegeben, das aus dem entwickelten neuen Aktualisierungsverfahren auf der Grundlage der Broyden-Aktualisierung resultiert. Diese Bedingungen werden auf den Kontext von quadratischen Datenanpassungsproblemen und das überwachte Training von flachen neuronalen Netzen übertragen. Ferner wird für die betrachteten regularisierten Probleme festgestellt, dass die durch das vorgeschlagene Quasi-Newton-Schema, das angewendet wird, um eine Nullstelle der regularisierten Restfunktionen zu finden, erhaltene Folge von Lösungen zu einer Lösung des ursprünglichen Problems konvergiert, wenn die Regularisierungsparameter auf Null sinken. Die Ergebnisse numerischer Experimente zu quadratischen Datenanpassungsproblemen, Eigenwertproblemen und überwachten Trainingsproblemen sind enthalten, um die theoretischen Erkenntnisse zu untermauern. Eine Beschreibung der Problemstellungen, der Spezifikationen der angewandten Algorithmen und des für die numerischen Experimente verwendeten Python-Programms ist ebenfalls enthalten.

I am exploring the new shapes in garments by using pieces of the quadrate shape, in contrast to the body shape, as a tool. By setting the amount of the pieces for each garment, new shapes occur because particular connecting techniques are used in order to join every piece to make a garment. The garments still look dynamic because of the visible seam allowances which creates lines all over. Moreover, the primary colours are scattered into many tones used in the collection. One tone is for one garment in an outfit. The materials are various. These make the expression energetic although the quadrilateral itself and the strong primary colours look quite static. / Program: Master Programme in Fashion and Textile Design

Der Begriff ¨Parameteridentifikation¨ bedeutet die Berechnung von Parametern eines (i. a. nichtlinearen) Modells eines physikalischen Prozesses durch Minimierung eines Fehlerquadratfunktionals aus gemessenen und mit Hilfe des Modells berechneten Vergleichswerten. Unter einer ¨Parameterschätzung¨ wird zusätzlich die Bestimmung von Konfidenzintervallen der optimalen Parameter und von Korrelationskoeffizienten der Parameter untereinander verstanden. In der vorliegenden Untersuchung wurde eine Parameterschätzung am Beispiel elastisch-plastischer Deformationsgesetze für kleine Verzerrungen vorgenommen, wobei als experimentelle Vergleichswerte sowohl lokale Größen (Spannungen) als auch globale Größen (Biegemoment und Längskraft) zur Verfügung standen. Die Integration des nichtlinearen Deformationsgesetzes erfolgte mit Hilfe des impliziten Euler-Verfahrens. Die Sensitivitätsanalyse zur Bestimmung der für die anschließende Optimierung benötigten Ableitungen der Vergleichsgrößen nach den Parametern ist eingebettet in den Integrationsalgorithmus. Zur Optimierung der Zielfunktion wurde das Levenberg-Marquardt-Verfahren verwendet. Anhand von Berechnungsergebnissen für unterschiedliche Modellfunktionen bei Einbeziehung verschiedenartiger Versuche werden Beispiele für erfolgreiche Parameterschätzungen sowie für das Auftreten systematischer Fehler und überparametrisierter Modelle angegeben. / The aim of the ``parameter identification'' is the calculation of parameters of a (generally nonlinear) model of a physical process by minimization of a least squares functional containing differences between measured and numerical calculated comparative quantities. ``Parameter estimation'' includes additionally the determination of confidence intervals of the optimal parameters and the calculation of correlation coefficients of the parameters to each other. The present investigation deals with the parameter estimation in case of an elastic-plastic deformation law for small strains considering both local quantities (stresses) and global quantities (bending moment and longitudinal force) as experimental values. The integration of the nonlinear deformation law has been done by the implicit Euler method. The sensitivity analysis to determine the derivatives of the comparative quantities with respect to the parameters needed for the optimization process is embedded into the integration algorithm.The optimization of the objective function has been carried out using the Levenberg-Marquardt algorithm. Numerical results of the successful parameter estimation in case of different models and analyzing various experiments are presented. Some examples detecting the occurance of systematic errors and overparameterized models are given.

Stuttgart, Univ., Diss., 2007.

Zugl.: Stuttgart, Univ., Diss., 2008. / Druckausg. beim Shaker Verl., Aachen erschienen.

Stuttgart, Univ., Diplomarb., 2003.

Diss. Univ. Bayreuth 2003.