Bundle adjustment is the process of simultaneously optimizing camera poses and 3D structure given image point tracks. In structure-from-motion, it is typically used as the final refinement step due to the nonlinearity of the problem, meaning that it requires sufficiently good initialization. Contrary to this belief, recent literature showed that useful solutions can be obtained even from arbitrary initialization for fixed-rank matrix factorization problems, including bundle adjustment with affine cameras. This property of wide convergence basin of high quality optima is desirable for any nonlinear optimization algorithm since obtaining good initial values can often be non-trivial. The aim of this thesis is to find the key factor behind the success of these recent matrix factorization algorithms and explore the potential applicability of the findings to bundle adjustment, which is closely related to matrix factorization. The thesis begins by unifying a handful of matrix factorization algorithms and comparing similarities and differences between them. The theoretical analysis shows that the set of successful algorithms actually stems from the same root of the optimization method called variable projection (VarPro). The investigation then extends to address why VarPro outperforms the joint optimization technique, which is widely used in computer vision. This algorithmic comparison of these methods yields a larger unification, leading to a conclusion that VarPro benefits from an unequal trust region assumption between two matrix factors. The thesis then explores ways to incorporate VarPro to bundle adjustment problems using projective and perspective cameras. Unfortunately, the added nonlinearity causes a substantial decrease in the convergence basin of VarPro, and therefore a bootstrapping strategy is proposed to bypass this issue. Experimental results show that it is possible to yield feasible metric reconstructions and pose estimations from arbitrary initialization given relatively clean point tracks, taking one step towards initialization-free structure-from-motion.

The zero coupon yield curve is one of the most fundamental tools in finance and is essential in the pricing of various fixed-income securities. Zero coupon rates are not observable in the market for a range of maturities. Therefore, an estimation methodology is required to derive the zero coupon yield curves from observable data. If we deal with approximations of empirical data to create yield curves it is necessary to choose suitable mathematical functions. We discuss the following methods: the methods based on cubic spline functions, methods employing linear combination of the Fourier or exponential basis functions and the parametric model of Nelson and Siegel. The current mathematical apparatus employed for this kind of approximation is outlined. In order to find parameters of the models we employ the least squares minimization of computed and observed prices. The theoretical background is applied to an estimation of the zero-coupon yield curves derived from the Czech coupon bond market. Application of proper smoothing functions and weights of bonds is crucial if we want to select a method which performs best according to given criteria. The best performance is obtained for Bspline models with smoothing.

Digital Particle Image Velocimetry (DPIV) is a planar measurement technique to measure the velocity within a fluid by correlating the motion of flow tracers over a sequence of images recorded with a camera-laser system. Sophisticated digital processing algorithms are required to provide a high enough accuracy for quantitative DPIV results. This study explores the potential of a variety of cross-correlation filters to improve the accuracy and robustness of the DPIV estimation. These techniques incorporate the use of the Phase Transform (PHAT) Generalized Cross Correlation (GCC) filter applied to the image cross-correlation. The use of spatial windowing is subsequently examined and shown to be ideally suited for the use of phase correlation estimators, due to their invariance to the loss of correlation effects. The Robust Phase Correlation (RPC) estimator is introduced, with the coupled use of the phase correlation and spatial windowing. The RPC estimator additionally incorporates the use of a spectral filter designed from an analytical decomposition of the DPIV Signal-to-Noise Ratio (SNR). This estimator is validated in a variety of artificial image simulations, the JPIV standard image project, and experimental images, which indicate reductions in error on the order of 50% when correlating low SNR images. Two variations of the RPC estimator are also introduced, the Gaussian Transformed Phase Correlation (GTPC): designed to optimize the subpixel interpolation, and the Spectral Phase Correlation (SPC): estimates the image shift directly from the phase content of the correlation. While these estimators are designed for DPIV, the methodology described here provides a universal framework for digital signal correlation analysis, which could be extended to a variety of other systems. / Master of Science

Este trabalho apresenta uma nova abordagem para a modelagem e resolução de problemas de fluxo de carga em sistemas elétricos de potência. O modelo proposto é formado simultaneamente pelo conjunto de equações não lineares que representam as restrições de carga do problema e por restrições de complementaridade associadas com as restrições de operação da rede, as quais propiciam o controle implícito das tensões nas barras com controle de geração. Também é proposta uma técnica para a obtenção dos valores discretos dos taps de tranformadores, de maneira que o ajuste dessas variáveis possa ser realizado em passos discretos. A metodologia desenvolvida consiste em tratar o sistema misto de equações e inequações não lineares como um problema de factibilidade não linear e transformá-lo em um problema de mínimos quadrados não lineares, o qual é resolvido por uma sequência de subproblemas linearizados dentro de uma região de confiança. Para a obtenção de soluções aproximadas desse subproblema foi adotado o método do gradiente conjugado de Steihaug, combinando estratégias de região de confiança e filtros multidimensionais para analisar a qualidade das soluções fornecidas. Foram realizados testes numéricos com os sistemas de 14, 30, 57, 118 e 300 barras do IEEE, e com um sistema brasileiro equivalente CESP 53 barras, os quais indicaram boa flexibilidade e robustez do método proposto. / This work presents a new approach to the load flow problem in electrical power systems and develops a methodology for its resolution. The proposed model is simultaneously composed by nonlinear equations and inequations which represent the load and operational restrictions of the system, where a set of complementarity constraints model the relationship between voltage and reactive power generation in controled buses. It is also proposed a new technique to obtaining a discrete solution for the transformer taps, allowing their discrete adjustment. The method developed treats the mixed system of equations and inequations of the load flow problem as a nonlinear feasibility problem and converts it in a nonlinear least squares problem, which is solved by minimizing a sequence of linearized subproblems, whitin a trust region. To obtain approximate solutions at every iteration, we use the Steihaug conjugate gradient method, combining trust region and multidimensional filters techniques to analyse the quality of the provided solution. Numerical results using 14, 30, 57, 118 and 300-bus IEEE power systems, and a real brazilian equivalent system CESP 53-bus, indicate the flexibility and robustness of the proposed method.

Este trabalho apresenta uma nova abordagem para a modelagem e resolução de problemas de fluxo de carga em sistemas elétricos de potência. O modelo proposto é formado simultaneamente pelo conjunto de equações não lineares que representam as restrições de carga do problema e por restrições de complementaridade associadas com as restrições de operação da rede, as quais propiciam o controle implícito das tensões nas barras com controle de geração. Também é proposta uma técnica para a obtenção dos valores discretos dos taps de tranformadores, de maneira que o ajuste dessas variáveis possa ser realizado em passos discretos. A metodologia desenvolvida consiste em tratar o sistema misto de equações e inequações não lineares como um problema de factibilidade não linear e transformá-lo em um problema de mínimos quadrados não lineares, o qual é resolvido por uma sequência de subproblemas linearizados dentro de uma região de confiança. Para a obtenção de soluções aproximadas desse subproblema foi adotado o método do gradiente conjugado de Steihaug, combinando estratégias de região de confiança e filtros multidimensionais para analisar a qualidade das soluções fornecidas. Foram realizados testes numéricos com os sistemas de 14, 30, 57, 118 e 300 barras do IEEE, e com um sistema brasileiro equivalente CESP 53 barras, os quais indicaram boa flexibilidade e robustez do método proposto. / This work presents a new approach to the load flow problem in electrical power systems and develops a methodology for its resolution. The proposed model is simultaneously composed by nonlinear equations and inequations which represent the load and operational restrictions of the system, where a set of complementarity constraints model the relationship between voltage and reactive power generation in controled buses. It is also proposed a new technique to obtaining a discrete solution for the transformer taps, allowing their discrete adjustment. The method developed treats the mixed system of equations and inequations of the load flow problem as a nonlinear feasibility problem and converts it in a nonlinear least squares problem, which is solved by minimizing a sequence of linearized subproblems, whitin a trust region. To obtain approximate solutions at every iteration, we use the Steihaug conjugate gradient method, combining trust region and multidimensional filters techniques to analyse the quality of the provided solution. Numerical results using 14, 30, 57, 118 and 300-bus IEEE power systems, and a real brazilian equivalent system CESP 53-bus, indicate the flexibility and robustness of the proposed method.

Tato práce se zaměřuje na datové struktury pro reprezentaci řídkých blokových matic a s nimi spojených výpočetních algoritmů, jež jsem navrhl. Řídké blokové matice se vyskytují při řešení mnoha dílčích problémů jako například při řešení metody nejmenších čtverců. Nelineární metoda nejmenších čtverců (NLS) je často aplikována v robotice pro řešení problému lokalizace robota (SLAM) nebo v příbuzných úlohách 3D rekonstrukce v počítačovém vidění (BA), (SfM). Problémy konečných elementů (FEM) a parciálních diferenciálních rovnic (PDE) v oboru fyzikálních simulací můžou také mít blokovou strukturu. Většina existujících implementací řídké lineární algebry používají řídké matice s granularitou jednotlivých elementů a jen několik málo podporuje řídké blokové matice. To může být způsobeno složitostí blokových formátů, jež snižuje rychlost výpočtů, pokud bloky nejsou dost velké. Některé ze specializovaných NLS optimalizátorů v robotice a počítačovém vidění používají blokové matice jako interní reprezentaci, aby snížily cenu sestavování řídkých matic, ale nakonec tuto reprezentaci převedou na elementovou řídkou matici pro implementaci k řešení systémů rovnic. Existující implementace pro řídké blokové matice se většinou soustředí na jedinou operaci, často násobení matice vektorem. Řešení navržené v této disertaci pokrývá širší spektrum funkcí: implementovány jsou funkce pro efektivní sestavení řídké blokové matice, násobení matice vektorem nebo jinou maticí a nechybí ani řešení trojúhelníkových systémů nebo Choleského faktorizace. Tyto funkce mohou být snadno použity ke řešení systémů lineárních rovnic pomocí analytických nebo iterativních metod nebo k výpočtu vlastních čísel. Jsou zde popsány rychlé algoritmy pro hlavní procesor (CPU) i pro grafické akcelerátory (GPU). Navrhované algoritmy jsou integrovány v knihovně SLAM++ , jež řeší problém nelineárních nejmenších čtverců se zaměřením na problémy v robotice a počítačovém vidění. Je provedeno vyhodnocení na standardních datasetech kde navrhované metody dosahují výrazně lepších výsledků než dosavadní metody popsané v literatuře -- a to bez kompromisů v přesnosti či obecnosti řešení.

Zur Simulation technischer Prozesse ist eine hinreichend genaue Beschreibung des Materialverhaltens notwendig. Die hierfür häufig verwendeten phänomenologischen Ansätze, wie im vorliegenden Fall die HILLsche Fließbedingung, enthalten materialspezifische Parameter, welche nicht direkt messbar sind. Die Identifikation dieser Materialparameter erfolgt in der Regel durch Minimierung eines Fehlerquadratfunktionals, welches Differenzen von Messwerten und zugehörigen numerisch berechneten Vergleichswerten enthält. In diesem Zusammenhang haben sich zur Lösung dieser Minimierungsaufgabe die Trust-Region Verfahren als gut geeignet herausgestellt. Die Aufgabe besteht darin, die verschiedenen Möglichkeiten zur Steuerung eines Trust-Region Verfahrens, im Hinblick auf die Eignung für das vorliegende Identifikationsproblem, zu untersuchen. Dazu werden die Quadratmittelprobleme und deren Lösungsverfahren überblicksmäßig betrachtet. Danach wird näher auf die Trust-Region Verfahren eingegangen, wobei sich im Weiteren auf Verfahren mit positiv definiten Ansätzen für die Hesse-Matrix, den Levenberg-Marquardt Verfahren, beschränkt wird. Danach wird ein solcher Levenberg-Marquardt Algorithmus in verschiedenen Ausführungen implementiert und an dem vorliegenden Identifikationsproblem getestet. Als Ergebnis stellt sich eine gute Kombination aus verschiedenen Teilalgorithmen des Levenberg-Marquardt Algorithmus mit einer hohen Konvergenzgeschwindigkeit heraus, welche für das vorliegende Problem gut geeignet ist.

SLAM (Simultaneous Localization And Mapping) has been a very active and almost ubiquitous problem in the field of mobile and autonomous robotics for over two decades. For many years, filter-based methods have dominated the SLAM literature, but a change of paradigms could be observed recently. Current state of the art solutions of the SLAM problem are based on efficient sparse least squares optimization techniques. However, it is commonly known that least squares methods are by default not robust against outliers. In SLAM, such outliers arise mostly from data association errors like false positive loop closures. Since the optimizers in current SLAM systems are not robust against outliers, they have to rely heavily on certain preprocessing steps to prevent or reject all data association errors. Especially false positive loop closures will lead to catastrophically wrong solutions with current solvers. The problem is commonly accepted in the literature, but no concise solution has been proposed so far. The main focus of this work is to develop a novel formulation of the optimization-based SLAM problem that is robust against such outliers. The developed approach allows the back-end part of the SLAM system to change parts of the topological structure of the problem\'s factor graph representation during the optimization process. The back-end can thereby discard individual constraints and converge towards correct solutions even in the presence of many false positive loop closures. This largely increases the overall robustness of the SLAM system and closes a gap between the sensor-driven front-end and the back-end optimizers. The approach is evaluated on both large scale synthetic and real-world datasets. This work furthermore shows that the developed approach is versatile and can be applied beyond SLAM, in other domains where least squares optimization problems are solved and outliers have to be expected. This is successfully demonstrated in the domain of GPS-based vehicle localization in urban areas where multipath satellite observations often impede high-precision position estimates.

SLAM (Simultaneous Localization And Mapping) has been a very active and almost ubiquitous problem in the field of mobile and autonomous robotics for over two decades. For many years, filter-based methods have dominated the SLAM literature, but a change of paradigms could be observed recently. Current state of the art solutions of the SLAM problem are based on efficient sparse least squares optimization techniques. However, it is commonly known that least squares methods are by default not robust against outliers. In SLAM, such outliers arise mostly from data association errors like false positive loop closures. Since the optimizers in current SLAM systems are not robust against outliers, they have to rely heavily on certain preprocessing steps to prevent or reject all data association errors. Especially false positive loop closures will lead to catastrophically wrong solutions with current solvers. The problem is commonly accepted in the literature, but no concise solution has been proposed so far. The main focus of this work is to develop a novel formulation of the optimization-based SLAM problem that is robust against such outliers. The developed approach allows the back-end part of the SLAM system to change parts of the topological structure of the problem\'s factor graph representation during the optimization process. The back-end can thereby discard individual constraints and converge towards correct solutions even in the presence of many false positive loop closures. This largely increases the overall robustness of the SLAM system and closes a gap between the sensor-driven front-end and the back-end optimizers. The approach is evaluated on both large scale synthetic and real-world datasets. This work furthermore shows that the developed approach is versatile and can be applied beyond SLAM, in other domains where least squares optimization problems are solved and outliers have to be expected. This is successfully demonstrated in the domain of GPS-based vehicle localization in urban areas where multipath satellite observations often impede high-precision position estimates.

Zur Simulation technischer Prozesse ist eine hinreichend genaue Beschreibung des Materialverhaltens notwendig. Die hierfür häufig verwendeten phänomenologischen Ansätze, wie im vorliegenden Fall die HILLsche Fließbedingung, enthalten materialspezifische Parameter, welche nicht direkt messbar sind. Die Identifikation dieser Materialparameter erfolgt in der Regel durch Minimierung eines Fehlerquadratfunktionals, welches Differenzen von Messwerten und zugehörigen numerisch berechneten Vergleichswerten enthält. In diesem Zusammenhang haben sich zur Lösung dieser Minimierungsaufgabe die Trust-Region Verfahren als gut geeignet herausgestellt. Die Aufgabe besteht darin, die verschiedenen Möglichkeiten zur Steuerung eines Trust-Region Verfahrens, im Hinblick auf die Eignung für das vorliegende Identifikationsproblem, zu untersuchen. Dazu werden die Quadratmittelprobleme und deren Lösungsverfahren überblicksmäßig betrachtet. Danach wird näher auf die Trust-Region Verfahren eingegangen, wobei sich im Weiteren auf Verfahren mit positiv definiten Ansätzen für die Hesse-Matrix, den Levenberg-Marquardt Verfahren, beschränkt wird. Danach wird ein solcher Levenberg-Marquardt Algorithmus in verschiedenen Ausführungen implementiert und an dem vorliegenden Identifikationsproblem getestet. Als Ergebnis stellt sich eine gute Kombination aus verschiedenen Teilalgorithmen des Levenberg-Marquardt Algorithmus mit einer hohen Konvergenzgeschwindigkeit heraus, welche für das vorliegende Problem gut geeignet ist.:1 Einleitung 8 2 Nichtlineare Quadratmittelprobleme 9 2.1 Herkunft der Residuen: Das Prinzip der kleinsten Fehlerquadrate 10 2.2 Auftretende Differentialmatrizen 11 2.2.1 Lipschitzbedingung für die Unterscheidung der Aufgabenklasse im Hinblick auf die Residuen 12 2.3 Aufgabenklassen 13 2.3.1 Kleine und Null-Residuen 13 2.3.2 Große Residuen 13 2.3.3 Große Probleme 14 2.4 Modellstufen für f(x) um eine lokale Konstellation xk 15 2.5 Eigenschaften der Gauß-Newton Approximation der Hesse-Matrix 16 3 Identifikation der Materialparameter der HILLschen Fließbedingung für die plastische Verformung anisotroper Werkstoffe 17 4 ¨Ubersicht über monoton fallende Optimierungsverfahren für nichtlineare Funktionen 19 4.1 Die Idee der Line-Search Verfahren 19 4.2 Die Idee der Trust-Region Verfahren 20 4.3 Übersichtstabelle Über die Verfahren zur unrestringierten Optimierung 21 4.4 Ermittlungsmethoden fÜr die Suchrichtung sk bei Line-Search Methoden 22 4.4.1 Gradientenverfahren 22 4.4.2 Das Newton Verfahren 22 4.4.3 Quasi-Newton Verfahren 23 4.4.4 Gauß-Newton Verfahren 24 4.4.5 Methode der konjugierten Gradienten 25 4.4.6 Koordinatenabstiegsmethode nach Ahlers,Schwartz,Waldmann [1] 25 4.5 Modelle für die Trust-Region Verfahren 26 4.5.1 Der Cauchy Punkt 26 4.5.2 Das Newton Trust-Region Verfahren 27 4.5.3 Quasi-Newton Trust-Region Verfahren 27 4.5.4 Gauß-Newton Trust-Region: Levenberg-Marquardt Verfahren 27 4.6 Vergleich der Hauptstrategien 27 5 Die Trust-Region Verfahren 29 5.1 Die Konvergenz des Trust-Region Algorithmus zu stationären Punkten 34 5.2 Die Berechnung des Trust-Region Schrittes 35 5.3 Der Cauchy Punkt 37 5.4 Die Lösungsverfahren 38 5.5 Nahezu exakte Lösung des Trust-Region Problems, Regularisierung . 38 5.6 Struktur und Lösung der nahezu exakten Methode für den Normalfall 42 5.6.1 Ermitteln des Minimums s( lambda) des aktuellen Modells 46 5.6.1.1 Lösung mittels Cholesky Faktorisierung 47 5.6.1.2 Lösung mittels QR-Faktorisierung 47 5.6.1.3 Lösung mittels Singulärwertzerlegung 47 5.6.2 Das Ermitteln des Regularisierungsparameters 48 5.6.3 Ermitteln der Ableitung 0i( ) 51 5.6.4 Abbruch der -Iteration 52 5.6.5 Absichern der -Iteration 52 5.6.6 Ermitteln des Verhältnisses k 52 5.6.7 Auffrischen der Schrittnebenbedingung k 53 5.6.8 Startwerte für den Trust-Region Algorithmus 56 5.6.8.1 Startwerte 0 für den Trust-Region Radius 56 5.6.8.2 Startwerte für den Regularisierungsparameter 0 56 5.6.9 Konvergenz von Algorithmen, basierend auf nahezu exakten Lösungen 57 5.7 Approximation des Trust-Region Problems 57 5.7.1 Die Dogleg Methode 58 5.7.2 Die zweidimensionale Unterraumminimierung 60 5.7.3 Das Steihaug Vorgehen 61 5.7.4 Konvergenz der Approximationsverfahren 62 6 Trust-Region Verfahren mit positiv definiter Approximation der Hesse-Matrix: Das Levenberg-Marquardt Verfahren 63 6.1 Vorhandene Matrizen und durchführbare Methoden 64 6.2 Lösen des Levenberg-Marquardt Problems 66 6.2.1 Ermitteln von s( ) 68 6.2.1.1 Cholesky Faktorisierung 68 6.2.1.2 QR-Faktorisierung 68 6.2.1.3 Singulärwertzerlegung 68 6.2.2 Ermittlung des Regularisierungsparameter 69 6.2.3 Absichern der -Iteration 71 6.2.3.1 Absichern für die Strategie von Hebden 71 6.2.3.2 Absichern für die Newtonmethode 72 6.2.4 Weitere Teilalgorithmen 73 6.3 Ein prinzipieller Levenberg-Marquardt Algorithmus 73 7 Skalierung der Zielparameter 74 8 Abbruchkriterien für die Optimierungsalgorithmen 76 8.1 Abbruchkriterien bei Erreichen eines lokalen Minimums 76 8.2 Abbruchkriterien bei Erreichen der Maschinengenauigkeit für Trust-Region Verfahren 77 9 Test der Implementation des Levenberg-Marquardt Verfahrens 78 9.1 Test der Leistung für einzelne Parameter 79 9.2 Test der Leistung für Optimierungen mit mehreren Parametern 80 9.3 Test des Moduls 1 80 9.4 Test Modul 2 und Modul 3 81 9.5 Test des Moduls 4 81 9.6 Test des Moduls 5 81 9.7 Test des Modul 6 82 9.8 Test des Modul 7 83 9.9 Test des Modul 8 84 9.10 Modul 9 und Modul 10 84 9.11 Test mit verschiedenen Verfahrensparametern 85 9.12 Optimale Konfiguration 86 10 Zusammenfassung 87 11 Ausblick 88 11.1 Weiterführendes zu dem bestehenden Levenberg-Marquardt Verfahren 88 11.2 Weiterführendes zu den Trust-Region Verfahren 88 11.3 Weiterführendes zu den Line-Search Verfahren 89 11.4 Weiterführendes zu den Gradientenverfahren 89 Literaturverzeichnis 93 A Implementation: Das skalierte Levenberg-Marquardt Verfahren 95 A.1 Modul 1.x: 0-Wahl 95 A.1.1 Modul 1.1 95 A.1.2 Modul 1.2 96 A.1.3 Modul 1.3 96 A.1.4 Programmtechnische Umsetzung Modul 1 96 A.2 Modul 2.x: Wahl der Skalierungsmatrix 96 A.2.1 Modul 2.1 96 A.2.2 Modul 2.2 97 A.2.3 Programmtechnische Umsetzung Modul 2 97 A.3 Modul 3.x: Wahl der oberen und unteren Schranke l0, u0 für die - Iteration 97 A.3.1 Modul 3.1 97 A.3.2 Modul 3.2 97 A.3.3 Programmtechnische Umsetzung Modul 3 98 A.4 Modul 4.x: Wahl des Startwertes für den Regularisierungsparameter 0 98 A.4.1 Modul 4.1 98 A.4.2 Modul 4.2 99 A.4.3 Modul 4.3 99 A.4.4 Modul 4.4 99 A.4.5 Programmtechnische Umsetzung Modul 4 100 A.5 Modul 5.x: Die abgesicherte -Iteration 100 A.5.1 Modul 5.1 Die Iteration nach dem Schema von Hebden für 1 101 A.5.2 Modul 5.2 Die abgesicherte Iteration mit dem Newtonverfahren für 2 101 A.5.3 Die abgesicherte Iteration mit dem Newtonverfahren für 2 mittels Cholesky Zerlegung 102 A.5.4 Programmtechnische Umsetzung Modul 5 102 A.6 Modul 6.x: Die Ermittlung des Verhältnisses k 103 A.6.1 Modul 6.1: Herkömmliche Ermittlung 103 A.6.2 Modul 6.2: Numerisch stabile Ermittlung 104 A.6.3 Programmtechnische Umsetzung Modul 6 104 A.7 Modul 7.x: Auffrischen der Schrittnebenbedingung 105 A.7.1 Modul 7.1: Einfache Wahl 105 A.7.2 Modul 7.2: Wahl mit Berücksichtigung von Werten k < 0 105 A.7.3 Modul 7.3: Wahl mit Approximation von ffl 105 A.7.4 Programmtechnische Umsetzung Modul 7 106 A.8 Modul 8.x: Entscheidung über Akzeptanz des nächsten Schrittes sk . 107 A.8.1 Modul 8.1: Eine Akzeptanzbedingung 107 A.8.2 Modul 8.2: Zwei Akzeptanzbedingungen 107 A.8.3 Programmtechnische Umsetzung Modul 8 107 A.9 Modul 9.x: Abbruchbedingungen für den gesamten Algorithmus 107 A.9.1 Programmtechnische Umsetzung Modul 9 108 A.10 Modul 10.x: Berechnung des Schrittes s( ) 108 A.10.1 Modul 10.1 108 A.10.2 Modul 10.2 108 A.10.3 Programmtechnische Umsetzung Modul 10 108 A.11 Benötigte Prozeduren 109 A.11.1 Vektormultiplikation 109 A.11.2 Matrixmultiplikation 109 A.11.3 Matrixaddition 109 A.11.4 Cholesky Faktorisierung 110 A.11.5 Transponieren einer Matrix 111 A.11.6 Invertieren einer Matrix 111 A.11.6.1 Determinante einer Matrix 111 A.11.7 Normen 112 A.11.7.1 Euklidische Vektornorm 112 A.11.7.2 Euklidische Matrixnorm 112 A.11.8 Ermittlung von 1 112 A.11.9 Ermittlung von 2 112 A.11.10Ermittlung von 01 112 A.11.11Ermittlung von 02 .112 A.11.12Ermittlung von mk(s) 113 A.12 Programmablauf 113 A.13 Fehlercodes 114 B Weiterführendes: Allgemeines 116 B.1 Total Least Squares, Orthogonal distance regression 116 B.2 Lipschitz Konstante und Lipschitz Stetigkeit in nichtlinearen Quadratmittelproblemen 116 B.3 Beweis für das Prinzip der kleinsten Fehlerquadrate als beste Möglichkeit der Anpassung von Modellgleichungen an Messwerte 117 B.4 Konvergenzraten 119 B.5 Betrachtung der Normalengleichung als äquivalente Extremalbedingung 119 B.6 Der Cauchy Punkt 120 B.7 Minimumbedingungen 122 C Weiterführendes: Matrizen 123 C.1 Reguläre und singuläre Matrizen 123 C.2 Rang einer Matrix 123 C.3 Definitheit von quadratischen Matrizen 124 C.4 Kondition einer Matrix 125 C.5 Spaltenorthonormale und orthogonale Matrizen 125 C.6 Singulärwertzerlegung einer Matrix, SVD 126 C.7 Der Lanczos Algorithmus 127 C.8 Die QR Zerlegung einer Matrix 127 C.8.1 Gram Schmidt Orthogonalisierung 127 C.8.2 Householder Orthogonalisierung 127 C.9 Die Cholesky Faktorisierung 130 C.10 Die LINPACK Technik 131 D Daten und Bilder zum Levenberg-Marquardt Verfahren 132 D.1 Wichtige Funktionsverläufe des LM-Verfahrens 134 D.2 Einzelne Parameteroptimierungen 136 D.3 Kombinierte Parameteroptimierungen, P1,P2,P3 139 D.4 Vergleich Ableitungsgüte, Konvergenzproblem 142 D.5 Test des Modul 1 145 D.6 Test Modul 4 und 5 146 D.7 Test des Modul 6 147 D.8 Test des Modul 7 148 D.9 Test des Modul 8 151 D.10 Test verschiedener Algorithmusparameter 152 D.11 Standartalgorithmus und Verbesserter 155