In this thesis we present research on mathematical properties of methods for solv- ing symmetric systems of linear equations that arise in various optimization problem formulations and in methods for solving such problems. In the first and third paper (Paper A and Paper C), we consider the connection be- tween the method of conjugate gradients and quasi-Newton methods on strictly convex quadratic optimization problems or equivalently on a symmetric system of linear equa- tions with a positive definite matrix. We state conditions on the quasi-Newton matrix and the update matrix such that the search directions generated by the corresponding quasi-Newton method and the method of conjugate gradients respectively are parallel. In paper A, we derive such conditions on the update matrix based on a sufficient condition to obtain mutually conjugate search directions. These conditions are shown to be equivalent to the one-parameter Broyden family. Further, we derive a one-to-one correspondence between the Broyden parameter and the scaling between the search directions from the method of conjugate gradients and a quasi-Newton method em- ploying some well-defined update scheme in the one-parameter Broyden family. In paper C, we give necessary and sufficient conditions on the quasi-Newton ma- trix and on the update matrix such that equivalence with the method of conjugate gra- dients hold for the corresponding quasi-Newton method. We show that the set of quasi- Newton schemes admitted by these necessary and sufficient conditions is strictly larger than the one-parameter Broyden family. In addition, we show that this set of quasi- Newton schemes includes an infinite number of symmetric rank-one update schemes. In the second paper (Paper B), we utilize an unnormalized Krylov subspace frame- work for solving symmetric systems of linear equations. These systems may be incom- patible and the matrix may be indefinite/singular. Such systems of symmetric linear equations arise in constrained optimization. In the case of an incompatible symmetric system of linear equations we give a certificate of incompatibility based on a projection on the null space of the symmetric matrix and characterize a minimum-residual solu- tion. Further we derive a minimum-residual method, give explicit recursions for the minimum-residual iterates and characterize a minimum-residual solution of minimum Euclidean norm. / I denna avhandling betraktar vi matematiska egenskaper hos metoder för att lösa symmetriska linjära ekvationssystem som uppkommer i formuleringar och metoder för en mängd olika optimeringsproblem. I första och tredje artikeln (Paper A och Paper C), undersöks kopplingen mellan konjugerade gradientmetoden och kvasi-Newtonmetoder när dessa appliceras på strikt konvexa kvadratiska optimeringsproblem utan bivillkor eller ekvivalent på ett symmet- risk linjärt ekvationssystem med en positivt definit symmetrisk matris. Vi ställer upp villkor på kvasi-Newtonmatrisen och uppdateringsmatrisen så att sökriktningen som fås från motsvarande kvasi-Newtonmetod blir parallell med den sökriktning som fås från konjugerade gradientmetoden. I den första artikeln (Paper A), härleds villkor på uppdateringsmatrisen baserade på ett tillräckligt villkor för att få ömsesidigt konjugerade sökriktningar. Dessa villkor på kvasi-Newtonmetoden visas vara ekvivalenta med att uppdateringsstrategin tillhör Broydens enparameterfamilj. Vi tar också fram en ett-till-ett överensstämmelse mellan Broydenparametern och skalningen mellan sökriktningarna från konjugerade gradient- metoden och en kvasi-Newtonmetod som använder någon väldefinierad uppdaterings- strategi från Broydens enparameterfamilj. I den tredje artikeln (Paper C), ger vi tillräckliga och nödvändiga villkor på en kvasi-Newtonmetod så att nämnda ekvivalens med konjugerade gradientmetoden er- hålls. Mängden kvasi-Newtonstrategier som uppfyller dessa villkor är strikt större än Broydens enparameterfamilj. Vi visar också att denna mängd kvasi-Newtonstrategier innehåller ett oändligt antal uppdateringsstrategier där uppdateringsmatrisen är en sym- metrisk matris av rang ett. I den andra artikeln (Paper B), används ett ramverk för icke-normaliserade Krylov- underrumsmetoder för att lösa symmetriska linjära ekvationssystem. Dessa ekvations- system kan sakna lösning och matrisen kan vara indefinit/singulär. Denna typ av sym- metriska linjära ekvationssystem uppkommer i en mängd formuleringar och metoder för optimeringsproblem med bivillkor. I fallet då det symmetriska linjära ekvations- systemet saknar lösning ger vi ett certifikat för detta baserat på en projektion på noll- rummet för den symmetriska matrisen och karaktäriserar en minimum-residuallösning. Vi härleder även en minimum-residualmetod i detta ramverk samt ger explicita rekur- sionsformler för denna metod. I fallet då det symmetriska linjära ekvationssystemet saknar lösning så karaktäriserar vi en minimum-residuallösning av minsta euklidiska norm. / <p>QC 20150519</p>

本論文係研究和發展平行疊代法（PARALLEL ITERATIVE METHOD ）以解決數學規劃（ MATHEMATICAL PROGRAMMING）中之互補問題（COMPLEMENTA-RITY PROBLEM）。互補問 題源自解決國防軍事、工程經濟及管理科學等領域之應用，而由於近年來各種超級或 平行電腦不斷地創新，使得發展平行演算法以充分並有效地應用超級或平行電腦來解 決大型科學計算的問題日趨重要。 在本篇論文中，我們分別探討線性互補問題以及非線性互補問題。首先我們發展出一 半非同步（SEMI-ASYNCHRONOUS ）法來解決線性互補問題，此法之特性在於其能大幅 地減低因同步法所造成處理機閒置（IDLING）之冗額成本（OVERHEAD）；同時，也放 寬了非同步法對問題所加諸之限制，因而擴大了半非同步法所能應用之範圍。我們也 建立了有關該法收斂性（CONVERGENCE ）之理論根據。此外，線性互補問題之探討， 實為進一步研究非線性互補問題之基礎。 其次，我們提出一個整體性之架構，探討平行牛頓法（NEWTON METHOD ）及其各種變 型（VARIATIONS）來解決各種非線性互補問題，比較並研究各種方法的特性、限制及 執行效率。 然後，針對上述各種演算法，我們在教育部電算中心之IBM ３０９０上發展並模擬各 該法之平行運算，經由廣泛地實驗測試，以獲得具體之數值結果，來檢驗其效率，並 比較研究各法之適用性與優劣。最後，我們也提出一些相關之問題，以供未來後續研 究之參考。

Optimal control problems for finite-strain elasticity are considered. An inner pressure or an inner fiber tension is acting as a driving force. Such internal forces are typical, for instance, for the motion of heliotropic plants, and for muscle tissue. Non-standard objective functions relevant for elasticity problems are introduced. Optimality conditions are derived on a formal basis, and a limited-memory quasi-Newton algorithm for their solution is formulated in function space. Numerical experiments confirm the expected mesh-independent performance.

Le travail présenté dans ce mémoire nous a permis d’étudier d’un point de vue théorique et numérique le transfert de chaleur couplé par rayonnement et conduction à travers un milieu semi-transparent, gris et non diffusant dans une géométrie multidimensionnelle 2D. Ces deux modes de transfert de chaleur sont décrits par un couplage non linéaire de l’équation de la chaleur non linéaire (CT) et de l’équation du transfert radiatif (ETR). Nous avons présenté des résultats d’existence, d’unicité locale de la solution pour le système couplé avec des conditions aux limites de type Dirichlet homogènes en utilisant le théorème du point fixe de Banach. Par ailleurs, les travaux réalisés nous ont permis de mettre au point un code de calcul qui permet de simuler la température. Nous avons utilisé la quadrature S_N pour la discrétisation angulaire de l’ETR. La discrétisationde l'ETR dans la variable spatiale est effectuée par la méthode de Galerkin discontinue (DG) et en éléments finis pour l'équation de la chaleur non linéaire. Nous avons démontré la convergence du schémanumérique couplé en utilisant la méthode du point fixe discret. Le modèle discret, sous la forme d’équations différentielles ordinairesnon linéaires obtenu après une approximation nous a permis de fairel’analyse et la synthèse d’estimateurs d’état et de lois de commandepour la stabilisation. Grâce à la structure particulière du modèle età l’aide du DMVT. Nous avons proposé un observateur d’ordre réduit.D’autre part nous avons réussi à construire une matrice de gain quiassure la stabilité de l’observateur proposé. Une extension au filtrage $\mathcal{H}_{\infty}$ est également proposée. Une nouvelleinégalité matricielle (LMI) est donnée dans le cas d’une commandebasée observateur. Nous avons étendu à l’approche d’ordre réduit dans le cas de la commande basée observateur et nous avons montré la stabilité sous l’action de la rétroaction. De même une extension au filtrage $\mathcal{H}_{\infty}$ est également proposée. Tous les résultats sont validés par des simulations numériques. / This thesis investigates the theoretical and numerical analysis of coupled radiative conductive heat transfer in a semi-transparent, gray and non-scattering 2D medium. This two heat transfer modes are described by the radiative transfer equation (RTE) and the nonlinear heat equation (NHE). We proved the existence and uniqueness of the solution of coupled systems with homogeneous Dirichlet boundary conditions using the fixed-point theorem. Moreover, we developed a useful algorithm to simulate the temperature in the medium. We used the quadrature $S_{N}$ for the angular discretization of the RTE. The spatial discretization of RTE was made by the discontinuous Galerkin method (DG) and the finite element method for the non-linear heat equation. We have shown the convergence and the stability of the coupled numerical scheme using the discrete fixed point. The discrète model obtained after an approximation allowed us to do the analysis and synthesis of state estimators and feedback control design for stabilization of the system. Thanks to the special structure of the model and using the Differential Mean Value Theorem (DMVT), we proposed a reduced order observer and we construct a gain matrix, which ensures the exponential stability of the proposed observer and guarantees the boundedness of the estimate vector. An extension to $\mathcal{H}_{\infty}$ filtering is also provided. We have extended the reduced order approach in the case of the observer-based controller and we proved the exponential stability under the control feedback law. Similarly, an extension to $\mathcal{H}_{\infty}$ filtering is also provided. The obtained results were validated through several numerical simulations.

Zusammenfassung Diese Arbeit ist ein Versuch, verschiedene klassische und neuere Methodender glatten bzw. nichtglatten Optimierung zu verallgemeinern und in ihrem Zusammenhang darzustellen. Als Hauptinstrument erweist sich dabei die sogenannte verallgemeinerte Kojima-Funktion. Neben reichlichen Beispielen setzen wir einen besonderen Akzent auf die Betrachtung von Variationsungleichungen, Komplementaritaetsaufgaben und der Standartaufgabeder mathematischen Programmierung. Unter natuerlichen Voraussetzungen an diese Probleme kann man u.a. Barriere-, Straf- und SQP-Typ-Methoden, die auf Newton-Verfahrenbasieren, aber auch Modelle, die sogenannte NCP-Funktionen benutzen, mittelsspezieller Stoerungen der Kojima-Funktion exakt modellieren. Daneben werdendurch explizite und natuerliche Wahl der Stoerungsparameter auch neue Methoden dieser Arten vorgeschlagen. Die Vorteile solcher Modellierungsind ueberzeugend vor allem wegen der direkt moeglichen (auf Stabilitaetseigenschaften der Kojima-Gleichung beruhendenden)Loesungsabschaetzungen und weil die entsprechenden Nullstellen ziemlich einfach als Loesungen bekannter Ersatzprobleme interpretiert werden koennen. Ein weiterer Aspekt der Arbeit besteht in der genaueren Untersuchungder "nichtglatten Faelle". Hier wird die Theorie von verschiedenen verallgemeinerten Ableitungen und dadurch entstehenden verallgemeinerten Newton-Verfahren, die im Buch "Nonsmooth Equations in Optimization" von B. Kummer und D. Klatte vorgeschlagen und untersucht wurde, intensiv benutzt. Entscheidend ist dabei, dass die benutzten verallgemeinerten Ableitungen auch praktisch angewandt werden koennen, da man sie exakt ausrechnen kann. / This work attempts to generalize various classical and new methods of smooth or nonsmooth optimization and to show them in their interrelation. The main tool for doing this is the so-called generalized Kojima-function. In addition to numerous examples we specialy emphasize the consideration of variational inequalities, complementarity problems and the standard problem of mathematical programming. Under natural assumptions on these problems we can model e.g. barrier-, penalty-, and SQP-Type-methods basing on Newton methods, and also methods using the so-called NCP-function exactly by means of special perturbations of the Kojima-function. Furthermore, by the explicit and natural choice of the perturbation parameters new methods of these kinds are introduced. The benefit of such a modelling is obvious, first of all due to the direct solution estimation (basing on stability properties of the Kojima-equation) and because the corresponding zeros can easily be interpreted as solutions of known subproblems. A further aspect considered in this paper is the detailed investigation of "nonsmooth cases". The theory of various generalized derivatives and resulting generalized Newton methods, which is introduced and investigated in the book "Nonsmooth Equations in Optimization" of B. Kummer and D. Klatte, is intensely used here. The crucial point is the applicability of the used generalized derivatives in practice, since they can be calculated exactly.

La caractérisation d’objets enfouis à partir de mesures d’ondes diffractées est un problème présent dans de nombreuses applications comme l’exploration géophysique, le contrôle non-destructif, l’imagerie médicale, etc. Elle peut être obtenue numériquement par la résolution d’un problème inverse. Néanmoins, c’est un problème non linéaire et mal posé, ce qui rend la tâche difficile. Une reconstruction précise nécessite un choix judicieux de plusieurs paramètres très différents, dépendant des données de la méthode numérique d’optimisation choisie.La contribution principale de cette thèse est une étude de la reconstruction complète d’obstacles élastiques immergés à partir de mesures du champ lointain diffracté. Les paramètres à reconstruire sont la frontière, les coefficients de Lamé, la densité et la position de l’obstacle. On établit tout d’abord des résultats d’existence et d’unicité pour un problème aux limites généralisé englobant le problème direct d’élasto-acoustique. On analyse la sensibilité du champ diffracté par rapport aux différents paramètres du solide, ce qui nous conduit à caractériser les dérivées partielles de Fréchet comme des solutions du problème direct avec des seconds membres modifiés. Les dérivées sont calculées numériquement grâce à la méthode de Galerkine discontinue avec pénalité intérieure et le code est validé par des comparaisons avec des solutions analytiques. Ensuite, deux méthodologies sont introduites pour résoudre le problème inverse. Toutes deux reposent sur une méthode itérative de type Newton généralisée et la première consiste à retrouver les paramètres de nature différente indépendamment, alors que la seconde reconstruit tous les paramètre en même temps. À cause du comportement différent des paramètres, on réalise des tests de sensibilité pour évaluer l’influence de ces paramètres sur les mesures. On conclut que les paramètres matériels ont une influence plus faible sur les mesures que les paramètres de forme et, ainsi, qu’une stratégie efficace pour retrouver des paramètres de nature distincte doit prendre en compte ces différents niveaux de sensibilité. On a effectué de nombreuses expériences à différents niveaux de bruit, avec des données partielles ou complètes pour retrouver certains paramètres, par exemple les coefficients de Lamé et les paramètres de forme, la densité, les paramètres de forme et la localisation. Cet ensemble de tests contribue à la mise en place d’une stratégie pour la reconstruction complète des conditions plus proches de la réalité. Dans la dernière partie de la thèse, on étend ces résultats à des matériaux plus complexes, en particulier élastiques anisotropes. / The characterization of hidden objects from scattered wave measurements arises in many applications such as geophysical exploration, non destructive testing, medical imaging, etc. It can be achieved numerically by solving an Inverse Problem. However, this is a nonlinear and ill-posed problem, thus a difficult task. A successful reconstruction requires careful selection of very different parameters depending on the data and the chosen optimization numerical method.The main contribution of this thesis is an investigation of the full reconstruction of immersed elastic scatterers from far-field pattern measurements. The sought-after parameters are the boundary, the Lamé coefficients, the density and the location of the obstacle. First, existence and uniqueness results of a generalized Boundary Value Problem including the direct elasto-acoustic problem are established. The sensitivity of the scattered field with respect to the different parametersdescribing the solid is analyzed and we end up with the characterization of the corresponding partial Fréchet derivatives as solutions to the direct problem with modified right-hand sides. These Fréchet derivatives are computed numerically thanks to the Interior Penalty Discontinuous Galerkin method and the code is validated thanks to comparison with analytical solutions. Then, two solution methodologies are introduced for solving the inverse problem. Both are based on an iterative regularized Newton-type methodology and the first one consists in retrieving the parameters of different nature independently, while the second one reconstructs all parameters together. Due to the different behavior of the parameters, sensitivity tests are performed to assess the impact of the parameters on the measurements. We conclude that material parameters have a weaker influence on the measurements than shape parameters, and therefore, a successful strategy to retrieve parameters of distinct nature should take into account these different levels of sensitivity. Various experiments at different noise levels and with full or limited aperture data are carried out to retrieve some of the physical properties, e.g. Lamé coefficients with shape parameters, density with shape parameters a, density, shape and location. This set of tests contributes to a final strategy for the full reconstruction and in more realistic conditions. In the final part of the thesis, we extend the results to more complex material parameters, in particular anisotropic elastic.

Cette thèse construit un modèle théorique qui renouvelle l’approche traditionnelle de l’équilibre du marché. En introduisant dans le paradigme néo-classique le principe de préférence pour la quantité, il génère de façon optimale des stocks dans un marché concurrentiel. Les résultats sont très importants, car ils expliquent à la fois l’émergence des invendus et l’existence de cycles économiques. En outre, il étudie le comportement optimal du monopole dont la puissance de marché dépend non seulement de la quantité de biens étalés, mais aussi de celle de biens achetés. Contrairement à l’hypothèse traditionnelle selon laquelle le monopoleur choisit le prix ou la quantité qui maximise son profit, il attire, via un indice de Lerner généralisé la demande à la fois par le prix et la quantité de biens exposés. Quelle que soit la structure du marché, le phénomène d’accumulation des stocks de biens apparaît dans l’économie. De plus, il a l’avantage d’expliquer explicitement les achats impulsifs non encore traités par la théorie économique. Pour vérifier la robustesse des résultats du modèle théorique, ils sont testés sur des données américaines. En raison de leur non-linéarité, la méthode de Gauss-Newton est appropriée pour analyser l’impact de la préférence pour la quantité sur la production et l’accumulation de biens, et par conséquent sur les prévisions de PIB. Enfin, cette thèse construit un modèle à générations imbriquées à deux pays qui étend l’équilibre dynamique à un gamma-équilibre dynamique sans friction. Sur la base de la contrainte de détention préalable d’encaisse, il ressort les conditions de sur-accumulation du capital et les conséquences de la mobilité du capital sur le bien-être dans un contexte d’accumulation du stock d’invendus / This thesis constructs a theoretical model that renews the traditional approach of the market equilibrium. By introducing into the neoclassical paradigm the principle of preference for quantity, it optimally generates inventories within a competitive market. The results are very important since they explain both the emergence of unsold goods and the existence of economic cycles. In addition, it studies the optimal behavior of a monopolist whose the market power depends not only on the quantity of displayed goods but also that of goods that the main consumer is willing to buy. Contrary to the traditional assumption that the monopolist chooses price or quantity that maximizes its profit, through a generalized Lerner index (GLI) it attracts customers’ demand by both the price and the quantity of displayed goods. Whatever the market structure, the phenomenon of inventory accumulation appears in the economy. Furthermore, it has the advantage of explicitly explaining impulse purchases untreated by economics. To check the robustness of the results,the theoretical model is fitted to U.S. data. Due to its nonlinearity, the Gauss-Newtonmethod is appropriate to highlight the impact of consumers’ preference for quantity on production and accumulation of goods and consequently GDP forecast. Finally, this thesis builds a two-country overlapping generations (OLG) model which extends the dynamic OLG equilibrium to a frictionless dynamic OLG gamma-equilibrium. Based on the cash-inadvance constraint, it highlights the conditions of over-accumulation of capital and welfare implications of capital mobility in a context of accumulation of stock of unsold goods.

In this thesis we consider constrained systems of equations. The focus is on local Newton-type methods for the solution of constrained systems which converge locally quadratically under mild assumptions implying neither local uniqueness of solutions nor differentiability of the equation function at solutions. The first aim of this thesis is to improve existing local convergence results of the constrained Levenberg-Marquardt method. To this end, we describe a general Newton-type algorithm. Then we prove local quadratic convergence of this general algorithm under the same four assumptions which were recently used for the local convergence analysis of the LP-Newton method. Afterwards, we show that, besides the LP-Newton method, the constrained Levenberg-Marquardt method can be regarded as a special realization of the general Newton-type algorithm and therefore enjoys the same local convergence properties. Thus, local quadratic convergence of a nonsmooth constrained Levenberg-Marquardt method is proved without requiring conditions implying the local uniqueness of solutions. As already mentioned, we use four assumptions for the local convergence analysis of the general Newton-type algorithm. The second aim of this thesis is a detailed discussion of these convergence assumptions for the case that the equation function of the constrained system is piecewise continuously differentiable. Some of the convergence assumptions seem quite technical and difficult to check. Therefore, we look for sufficient conditions which are still mild but which seem to be more familiar. We will particularly prove that the whole set of the convergence assumptions holds if some set of local error bound conditions is satisfied and in addition the feasible set of the constrained system excludes those zeros of the selection functions which are not zeros of the equation function itself, at least in a sufficiently small neighborhood of some fixed solution. We apply our results to constrained systems arising from complementarity systems, i.e., systems of equations and inequalities which contain complementarity constraints. Our new conditions are discussed for a suitable reformulation of the complementarity system as constrained system of equations by means of the minimum function. In particular, it will turn out that the whole set of the convergence assumptions is actually implied by some set of local error bound conditions. In addition, we provide a new constant rank condition implying the whole set of the convergence assumptions. Particularly, we provide adapted formulations of our new conditions for special classes of complementarity systems. We consider Karush-Kuhn-Tucker (KKT) systems arising from optimization problems, variational inequalities, or generalized Nash equilibrium problems (GNEPs) and Fritz-John (FJ) systems arising from GNEPs. Thus, we obtain for each problem class conditions which guarantee local quadratic convergence of the general Newton-type algorithm and its special realizations to a solution of the particular problem. Moreover, we prove for FJ systems of GNEPs that generically some full row rank condition is satisfied at any solution of the FJ system of a GNEP. The latter condition implies the whole set of the convergence assumptions if the functions which characterize the GNEP are sufficiently smooth. Finally, we describe an idea for a possible globalization of our Newton-type methods, at least for the case that the constrained system arises from a certain smooth reformulation of the KKT system of a GNEP. More precisely, a hybrid method is presented whose local part is the LP-Newton method. The hybrid method turns out to be, under appropriate conditions, both globally and locally quadratically convergent.

Zuweilen wird gefördertes Erdgas als eine Brückentechnologie noch eine Weile erhalten bleiben, aber unsere Gasnetzinfrastruktur hat auch in einer Ära post-fossiler Brennstoffe eine Zukunft, um Klima-neutral erzeugtes Methan, Ammoniak oder Wasserstoff zu transportieren. Damit die Dispatcher der Zukunft, in einer sich fortwährend dynamisierenden Marktsituation, mit sich beständig wechselnden Kleinstanbietern, auch weiterhin einen sicheren Gasnetzbetrieb ermöglichen und garantieren können, werden sie auf moderne, schnelle Simulations- sowie performante Optimierungstechnologie angewiesen sein. Der Schlüssel dazu liegt in einem besseren Verständnis zur numerischen Behandlung nicht differenzierbarer Funktionen und diese Arbeit möchte einen Beitrag hierzu leisten. Wir werden stückweise differenzierbare Funktionen in sog. Abs-Normalen Form betrachten. Durch einen Prozess, der Abs-Linearisierung genannt wird, können wir stückweise lineare Approximationsmodelle erster Ordnung, mittels Techniken der algorithmischen Differentiation erzeugen. Jene Modelle können über Matrizen und Vektoren mittels gängiger Software-Bibliotheken der numerischen linearen Algebra auf Computersystemen ausgedrückt, gespeichert und behandelt werden. Über die Generalisierung der Formel von Faà di Bruno können auch Splinefunktionen höherer Ordnung generiert werden, was wiederum zu Annäherungsmodellen mit besserer Güte führt. Darauf aufbauend lassen sich gemischte Taylor-Kollokationsmethoden, darunter die mit Ordnung zwei konvergente generalisierte Trapezmethode, zur Integration von Gasnetzen, in Form von nicht glatten Algebro-Differentialgleichungssystemen, definieren. Numerische Experimente demonstrieren das Potential. Da solche implizite Integratoren auch nicht lineare und in unserem Falle zugleich auch stückweise differenzierbare Gleichungssysteme erzeugen, die es als Unterproblem zu lösen gilt, werden wir uns auch die stückweise differenzierbare, sowie die stückweise lineare Newtonmethode betrachten. / As of yet natural gas will remain as a bridging technology, but our gas grid infrastructure does have a future in a post-fossil fuel era for the transportation of carbon-free produced methane, ammonia or hydrogen. In order for future dispatchers to continue to enable and guarantee safe gas network operations in a continuously changing market situation with constantly switching micro-suppliers, they will be dependent on modern, fast simulation as well as high-performant optimization technology. The key to such a technology resides in a better understanding of the numerical treatment of non-differentiable functions and this work aims to contribute here. We will consider piecewise differentiable functions in so-called abs-normal form. Through a process called abs-linearization, we can generate piecewise linear approximation models of order one, using techniques of algorithmic differentiation. Those models can be expressed, stored and treated numerically as matrices and vectors via common software libraries of numerical linear algebra. Generalizing the Faà di Bruno's formula yields higher order spline functions, which in turn leads to even higher order approximation models. Based on this, mixed Taylor-Collocation methods, including the generalized trapezoidal method converging with an order of two, can be defined for the integration of gas networks represented in terms of non-smooth system of differential algebraic equations. Numerical experiments will demonstrate the potential. Since those implicit integrators do generate non-linear and, in our case, piecewise differentiable systems of equations as sub-problems, it will be necessary to consider the piecewise differentiable, as well as the piecewise linear Newton method in advance.

Στην παρούσα διατριβή μελετάμε το πρόβλημα της βελτιστοποίησης μη γραμμικών συναρτήσεων πολλών μεταβλητών, όπου η αντικειμενική συνάρτηση είναι συνεχώς διαφορίσιμη σε ένα ανοιχτό υποσύνολο του Rn. Αναπτύσσουμε μαθηματικές μεθόδους βελτιστοποίησης αποσκοπώντας στην επίλυση προβλημάτων μεγάλης κλίμακας, δηλαδή προβλημάτων των οποίων οι μεταβλητές είναι πολλές χιλιάδες, ακόμα και εκατομμύρια. Η βασική ιδέα των μεθόδων που αναπτύσσουμε έγκειται στη θεωρητική μελέτη των χαρακτηριστικών μεγεθών των Quasi-Newton ενημερώσεων ελάχιστης και μικρής μνήμης. Διατυπώνουμε θεωρήματα αναφορικά με το χαρακτηριστικό πολυώνυμο, τον αριθμό των διακριτών ιδιοτιμών και των αντίστοιχων ιδιοδιανυσμάτων. Εξάγουμε κλειστούς τύπους για τον υπολογισμό των ανωτέρω ποσοτήτων, αποφεύγοντας τόσο την αποθήκευση όσο και την παραγοντοποίηση πινάκων. Τα νέα θεωρητικά απoτελέσματα εφαρμόζονται αφενός μεν στην επίλυση μεγάλης κλίμακας υποπροβλημάτων περιοχής εμπιστοσύνης, χρησιμοποιώντας τη μέθοδο της σχεδόν ακριβούς λύσης, αφετέρου δε, στην καμπυλόγραμμη αναζήτηση, η οποία χρησιμοποιεί ένα ζεύγος κατευθύνσεων μείωσης, την Quasi-Newton κατεύθυνση και την κατεύθυνση αρνητικής καμπυλότητας. Η νέα μέθοδος μειώνει δραστικά τη χωρική πολυπλοκότητα των γνωστών αλγορίθμων του μη γραμμικού προγραμματισμού, διατηρώντας παράλληλα τις καλές ιδιότητες σύγκλισής τους. Ως αποτέλεσμα, οι προκύπτοντες νέοι αλγόριθμοι έχουν χωρική πολυπλοκότητα Θ(n). Τα αριθμητικά αποτελέσματα δείχνουν ότι οι νέοι αλγόριθμοι είναι αποδοτικοί, γρήγοροι και πολύ αποτελεσματικοί όταν χρησιμοποιούνται στην επίλυση προβλημάτων με πολλές μεταβλητές. / In this thesis we study the problem of minimizing nonlinear functions of several variables, where the objective function is continuously differentiable on an open subset of Rn. We develop mathematical optimization methods for solving large scale problems, i.e., problems whose variables are many thousands, even millions. The proposed method is based on the theoretical study of the properties of minimal and low memory Quasi-Newton updates. We establish theorems concerning the characteristic polynomial, the number of distinct eigenvalues and corresponding eigenvectors. We derive closed formulas for calculating these quantities, avoiding both the storage and factorization of matrices. The new theoretical results are applied in the large scale trust region subproblem for calculating nearly exact solutions as well as in a curvilinear search that uses a Quasi-Newton and a negative curvature direction. The new method is drastically reducing the spatial complexity of known algorithms of nonlinear programming. As a result, the new algorithms have spatial complexity Θ(n), while they are maintaining good convergence properties. The numerical results show that the proposed algorithms are efficient, fast and very effective when used in solving large scale problems.