Made available in DSpace on 2015-03-03T15:32:44Z (GMT). No. of bitstreams: 1 ElvisNM_DISSERT.pdf: 1325328 bytes, checksum: 26a5738f48a900e63cafc3f1e0b1d776 (MD5) Previous issue date: 2014-04-22 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / Neste trabalho estudamos o problema n?o linear F(X) = 0, onde F ? continuamente diferenci?vel com F : Rn-> Rn. Para solucion?-lo empregamos o m?todo de Newton Inexato obtendo um sistema linearizado J(xk)sk =-F(xk), onde J(xk) representa a matriz Jacobiana no ponto xk e o passo iterativo sk ? calculado por meio do m?todo do Res?duo M?nimo Generalizado (GMRES), que pertence ? fam?lia dos m?todos de proje??o em subespa?os de Krylov. Afim de evitar de evitar o acr?scimo no custo computacional devido ao aumento a cada itera??o na dimens?o do subespa?o de Krylov utilizamos o GMRES com recome?os ou GMRES(m), o qual pode apresentar problemas de estagna??o (duas solu??es consecutivas iguais ou quase iguais). Uma das maneiras de contornar essa estagna??o est? no uso de precondicionadores no sistema inicial Ax = b, passando a um sistema equivalente do tipo M-1Ax = M-1b onde a matriz M ? chamada de precondicionador e tem o papel de facilitar a solu??o do sistema inicial. A escolha de precondicionadores ? uma ?rea de pesquisa que remete ao conhecimento espec?fico a priori do problema a ser resolvido e/ou da estrutura da matriz dos coeficientes A. Neste trabalho buscamos estudar o precondicionamento pela esquerda no m?todo do Newton Inexato - GMRES(m). Apresentamos tamb?m uma estrat?gia que permite a mudan?a entre 3 tipos de precondicionadores (Jacobi, ILU e SSOR) dependendo de informa??es advindas da aplica??o do GMRES(m) a cada itera??o do Newton Inexato, ou seja, a cada vez que se resolve o sistema linearizado precondicionado. Assim fazemos ao final uma compara??o entre nossas estrat?gias e o uso de precondicionadores fixos na resolu??o de problemas teste por meio do NI-GMRES

La solution numérique des systèmes dynamiques est un moyen efficace pour étudier des phénomènes physiques complexes. Cependant, dans un cadre à grande échelle, la dimension du système rend les calculs infaisables en raison des limites de mémoire et de temps, ainsi que le mauvais conditionnement. La solution de ce problème est la réduction de modèles. Cette thèse porte sur les méthodes de projection pour construire efficacement des modèles d'ordre inférieur à partir des systèmes linéaires dynamiques de grande taille. En particulier, nous nous intéressons à la projection sur la réunion de plusieurs sous-espaces de Krylov standard qui conduit à une classe de modèles d'ordre réduit. Cette méthode est connue par l'interpolation rationnelle. En se basant sur ce cadre théorique qui relie la projection de Krylov à l'interpolation rationnelle, quatre algorithmes de type Lanczos rationnel pour la réduction de modèles sont proposés. Dans un premier temps, nous avons introduit une méthode adaptative de type Lanczos rationnel par block pour réduire l'ordre des systèmes linéaires dynamiques de grande taille, cette méthode est basée sur l'algorithme de Lanczos rationnel par block et une méthode adaptative pour choisir les points d'interpolation. Une généralisation de ce premier algorithme est également donnée, où différentes multiplicités sont considérées pour chaque point d'interpolation. Ensuite, nous avons proposé une autre extension de la méthode du sous-espace de Krylov standard pour les systèmes à plusieurs-entrées plusieurs-sorties, qui est le sous-espace de Krylov global. Nous avons obtenu des équations qui décrivent cette procédure. Finalement, nous avons proposé une méthode de Lanczos étendu par block et nous avons établi de nouvelles propriétés algébriques pour cet algorithme. L'efficacité et la précision de tous les algorithmes proposés, appliqués sur des problèmes de réduction de modèles, sont testées dans plusieurs exemples numériques. / Numerical solution of dynamical systems have been a successful means for studying complex physical phenomena. However, in large-scale setting, the system dimension makes the computations infeasible due to memory and time limitations, and ill-conditioning. The remedy of this problem is model reductions. This dissertations focuses on projection methods to efficiently construct reduced order models for large linear dynamical systems. Especially, we are interesting by projection onto unions of Krylov subspaces which lead to a class of reduced order models known as rational interpolation. Based on this theoretical framework that relate Krylov projection to rational interpolation, four rational Lanczos-type algorithms for model reduction are proposed. At first, an adaptative rational block Lanczos-type method for reducing the order of large scale dynamical systems is introduced, based on a rational block Lanczos algorithm and an adaptive approach for choosing the interpolation points. A generalization of the first algorithm is also given where different multiplicities are consider for each interpolation point. Next, we proposed another extension of the standard Krylov subspace method for Multiple-Input Multiple-Output (MIMO) systems, which is the global Krylov subspace, and we obtained also some equations that describe this process. Finally, an extended block Lanczos method is introduced and new algebraic properties for this algorithm are also given. The accuracy and the efficiency of all proposed algorithms when applied to model order reduction problem are tested by means of different numerical experiments that use a collection of well known benchmark examples.

La performance d'un algorithme sur une architecture donnée dépend à la fois de la vitesse à laquelle le processeur effectue des opérations à virgule flottante (flops) et de la vitesse d'accès à la mémoire et au disque. Etant donné que le coût de la communication est beaucoup plus élevé que celui des opérations arithmétiques, celle-là forme un goulot d'étranglement dans les algorithmes numériques. Récemment, des méthodes de sous-espace de Krylov basées sur les méthodes 's-step' ont été développées pour réduire les communications. En effet, très peu de préconditionneurs existent pour ces méthodes, ce qui constitue une importante limitation. Dans cette thèse, nous présentons le préconditionneur nommé ''Communication-Avoiding ILU0'', pour la résolution des systèmes d’équations linéaires (Ax=b) de très grandes tailles. Nous proposons une nouvelle renumérotation de la matrice A ('alternating min-max layers'), avec laquelle nous montrons que le préconditionneur en question réduit la communication. Il est ainsi possible d’effectuer « s » itérations d’une méthode itérative préconditionnée sans communication. Nous présentons aussi deux nouvelles méthodes itératives, que nous nommons 'multiple search direction with orthogonalization CG' (MSDO-CG) et 'long recurrence enlarged CG' (LRE-CG). Ces dernières servent à la résolution des systèmes linéaires d’équations de très grandes tailles, et sont basées sur l’enrichissement de l’espace de Krylov par la décomposition du domaine de la matrice A. / The performance of an algorithm on any architecture is dependent on the processing unit’s speed for performing floating point operations (flops) and the speed of accessing memory and disk. As the cost of communication is much higher than arithmetic operations, and since this gap is expected to continue to increase exponentially, communication is often the bottleneck in numerical algorithms. In a quest to address the communication problem, recent research has focused on communication avoiding Krylov subspace methods based on the so called s-step methods. However there are very few communication avoiding preconditioners, and this represents a serious limitation of these methods. In this thesis, we present a communication avoiding ILU0 preconditioner for solving large systems of linear equations (Ax=b) by using iterative Krylov subspace methods. Our preconditioner allows to perform s iterations of the iterative method with no communication, by applying a heuristic alternating min-max layers reordering to the input matrix A, and through ghosting some of the input data and performing redundant computation. We also introduce a new approach for reducing communication in the Krylov subspace methods, that consists of enlarging the Krylov subspace by a maximum of t vectors per iteration, based on the domain decomposition of the graph of A. The enlarged Krylov projection subspace methods lead to faster convergence in terms of iterations and to parallelizable algorithms with less communication, with respect to Krylov methods. We discuss two new versions of Conjugate Gradient, multiple search direction with orthogonalization CG (MSDO-CG) and long recurrence enlarged CG (LRE-CG).

<p>This work explores how randomization can be exploited to deliver sophisticated</p><p>algorithms with provable bounds for: (i) The approximation of matrix functions, such</p><p>as the log-determinant and the Von-Neumann entropy; and (ii) The low-rank approximation</p><p>of matrices. Our algorithms are inspired by recent advances in Randomized</p><p>Numerical Linear Algebra (RandNLA), an interdisciplinary research area that exploits</p><p>randomization as a computational resource to develop improved algorithms for</p><p>large-scale linear algebra problems. The main goal of this work is to encourage the</p><p>practical use of RandNLA approaches to solve Big Data bottlenecks at industrial</p><p>level. Our extensive evaluation tests are complemented by a thorough theoretical</p><p>analysis that proves the accuracy of the proposed algorithms and highlights their</p><p>scalability as the volume of data increases. Finally, the low computational time and</p><p>memory consumption, combined with simple implementation schemes that can easily</p><p>be extended in parallel and distributed environments, render our algorithms suitable</p><p>for use in the development of highly efficient real-world software.</p>

Transiente Simulationen im Rahmen von Parameterstudien oder Optimierungsprozessen erfor-dern die Anwendung der Modellordnungsreduktion zur Minimierung der Berechnungs¬zeiten. Die aus der Wärmestrahlung resultierende Nichtlinearität bei der Analyse thermischer Felder wird hier als äußere Last betrachtet, wodurch die entkoppelte Ermittlung der strahlungs-beding¬ten Wärmeströme gelingt. Darüber hinaus ermöglichen die infolgedessen konstanten System¬matrizen die Reduktion des Temperaturvektors mit etablierten Verfahren für lineare Systeme, wie beispielsweise den Krylov-Unterraummethoden. Die aus der in der Regel großflächigen Verteilung der thermischen Lasten folgende hohe Anzahl von Systemeingängen limitiert allerdings die erzielbare reduzierte Dimension. Deshalb werden zustandsunabhängige, sich synchron verändernde Lasten zu einem Eingang zusammengefasst. Die aus der Strahlung resultierenden Wärmeströme sind im Gegensatz dazu durch die aktuelle Temperaturverteilung bestimmt und lassen sich nicht derart gruppieren. Vor diesem Hintergrund wird ein Ansatz basierend auf der Singulärwertzerlegung von aus Trai¬ningssimulationen gewonnenen Beispiellastvektoren vorgeschlagen. Auf diese Weise gelingt eine erhebliche Verringerung der Eingangsanzahl, sodass im reduzierten System ein sehr geringer Freiheitsgrad erreicht wird. Im Vergleich zur Proper Orthogonal Decomposition (POD) genügen dabei deutlich weniger Trainingsdaten, was den Rechenaufwand während der Offline-Phase erheblich vermindert. Darüber hinaus dehnt das entwickelte Verfahren die Gültigkeit des reduzierten Modells auf einen weiten Parameterbereich aus. Die Berechnung der strahlungsbedingten Wärmeströme in der Ausgangsdimension bestimmt dann den numerischen Aufwand. Mit der Discrete Empirical Interpolation Method (DEIM) wird die Auswertung der Nichtlinearität auf ausgewählte Modellknoten beschränkt. Schließlich erlaubt die Anwendung der POD auf die Wärmestrahlungsbilanz die schnelle Anpassung des Emissionsgrades. Somit hängt das reduzierte System nicht mehr vom ursprünglichen Freiheitsgrad ab und die Gesamt-simulationszeit verkürzt sich um mehrere Größenordnungen. / Transient simulations as part of parameter studies or optimization processes require the appli-cation of model order reduction to minimize computation times. Nonlinearity resulting from heat radiation in thermal analyses is considered here as an external load. Thereby, the determi-nation of the radiation-induced heat flows is decoupled from the temperature equation. Hence, the system matrices become invariant and established algorithms for linear systems, such as Krylov Subspace Methods, can be used for the reduction of the temperature vector. However, in general the achievable reduced dimension is limited as the thermal loads distributed over large parts of the surface lead to a high number of system inputs. Therefore, state-independent, synchronously changing loads are combined into one input. In contrast, the heat flows resulting from radiation are determined by the current temperature distribution and cannot be grouped in this way. Against this background, an approach based on the singular value decomposition of snapshots obtained from training simulations is proposed allowing a considerable decreased input number and a very low degree of freedom in the reduced system. Compared to Proper Orthogonal Decomposition (POD), significantly less training data is required reducing the computational costs during the offline phase. In addition, the developed method extends the validity of the reduced model to a wide parameter range. The computation of the radiation-induced heat flows, which is performed in the original dimension, then determines the numerical effort. The Discrete Empirical Interpolation Method (DEIM) restricts the evaluation of the nonlinearity to selected model nodes. Finally, the application of the POD to the heat radiation equation enables a rapid adjustment of the emissivity. Thus, the reduced system is no longer dependent on the original degree of freedom and the total simulation time is shortened by several orders of magnitude.

Symmetric generalized eigenvalue problems arise in many physical applications and frequently only a few of the eigenpairs are of interest. Typically, the problems are large and sparse, and therefore traditional methods such as the QZ algorithm may not be considered. Moreover, it may be impractical to apply shift-and-invert Lanczos, a favored method for problems of this type, due to difficulties in applying the inverse of the shifted matrix. With these difficulties in mind, Golub and Ye developed an inverse free Krylov subspace algorithm for the symmetric generalized eigenvalue problem. This method does not rely on shift-and-invert transformations for convergence acceleration, but rather a preconditioner is used. The algorithm suffers, however, in the presence of multiple or clustered eigenvalues. Also, it is only applicable to the location of extreme eigenvalues. In this work, we extend the method of Golub and Ye by developing a block generalization of their algorithm which enjoys considerably faster convergence than the usual method in the presence of multiplicities and clusters. Preconditioning techniques for the problems are discussed at length, and some insight is given into how these preconditioners accelerate the method. Finally we discuss a transformation which can be applied so that the algorithm extracts interior eigenvalues. A preconditioner based on a QR factorization with respect to the B-1 inner product is developed and applied in locating interior eigenvalues.

La complexification de la modélisation multi-physique conduit d'une part à devoir simuler des systèmes d'équations différentielles ordinaires et d'équations différentielles algébriques de plus en plus grands en nombre d'inconnues et sur des temps de simulation longs. D'autre part l'évolution des architectures de calcul parallèle nécessite d'autres voies de parallélisation que la décomposition de système en sous-systèmes. Dans ce travail, nous proposons de concevoir des méthodes de décomposition de domaine pour la résolution d'EDO en temps. Nous reformulons le problème à valeur initiale en un problème aux valeurs frontières sur l'intervalle de temps symétrisé, sous l'hypothèse de réversibilité du flot. Nous développons deux méthodes, la première apparentée à une méthode de complément de Schur, la seconde basée sur une méthode de type Schwarz dont nous montrons la convergence pouvant être accélérée par la méthode d'Aitken dans le cadre linéaire. Afin d'accélérer la convergence de cette dernière dans le cadre non-linéaire, nous introduisons les techniques d'extrapolation et d'accélération de la convergence des suites non-linéaires. Nous montrons les avantages et les limites de ces techniques. Les résultats obtenus nous conduisent à développer l'accélération de la méthode de type Schwarz par une méthode de Newton. Enfin nous nous intéressons à l'étude de conditions de raccord non-linéaires adaptées à la décomposition de domaine de problèmes non-linéaires. Nous nous servons du formalisme hamiltonien à ports, issu du domaine de l'automatique, pour déduire les conditions de raccord dans le cadre l'équation de Saint-Venant et de l'équation de la chaleur non-linéaire. Après une étude analytique de la convergence de la DDM associée à ces conditions de transmission, nous proposons et étudions une formulation de Lagrangien augmenté sous l'hypothèse de séparabilité de la contrainte.

By considering Krylov subspace methods in nonstandard inner products, we develop in this thesis new methods for solving large sparse linear systems and examine the effectiveness of existing preconditioners. We focus on saddle point systems and systems with a nonsymmetric, diagonalizable coefficient matrix. For symmetric saddle point systems, we present a preconditioner that renders the preconditioned saddle point matrix nonsymmetric but self-adjoint with respect to an inner product and for which scaling is not required to apply a short-term recurrence method. The robustness and effectiveness of this preconditioner, when applied to a number of test problems, is demonstrated. We additionally utilize combination preconditioning (Stoll and Wathen. SIAM J. Matrix Anal. Appl. 2008; 30:582-608) to develop three new combination preconditioners. One of these is formed from two preconditioners for which only a MINRES-type method can be applied, and yet a conjugate-gradient type method can be applied to the combination preconditioned system. Numerical experiments show that application of these preconditioners can result in faster convergence. When the coefficient matrix is diagonalizable, but potentially nonsymmetric, we present conditions under which the pseudospectra of a preconditioner and coefficient matrix are identical and characterize the pseudospectra when this condition is not exactly fulfilled. We show that when the preconditioner and coefficient matrix are self-adjoint with respect to nearby symmetric bilinear forms the convergence of a particular minimum residual method is bounded by a term that depends on the spectrum of the preconditioned coefficient matrix and a constant that is small when the symmetric bilinear forms are close. An iteration-dependent bound for GMRES in the Euclidean inner product is presented that shows precisely why a standard bound can be pessimistic. We observe that for certain problems known, effective preconditioners are either self-adjoint with respect to the same symmetric bilinear form as the coefficient matrix or one that is nearby.

Title: Analysis of Krylov subspace methods Author: Tomáš Gergelits Department: Department of Numerical Mathematics Supervisor: prof. Ing. Zdeněk Strakoš, DrSc. Abstract: After the derivation of the Conjugate Gradient method (CG) and the short review of its relationship with other fields of mathematics, this thesis is focused on its convergence behaviour both in exact and finite precision arith- metic. Fundamental difference between the CG and the Chebyshev semi-iterative method is described in detail. Then we investigate the use of the widespread lin- ear convergence bound based on Chebyshev polynomials. Through the example of the composite polynomial convergence bounds it is showed that the effects of rounding errors must be included in any consideration concerning the CG rate of convergence relevant to practical computations. Furthermore, the close corre- spondence between the trajectories of the CG approximations generated in finite precision and exact arithmetic is studied. The thesis is concluded with the discus- sion concerning the sensitivity of the closely related Gauss-Christoffel quadrature. The last two topics may motivate our further research. Keywords: Conjugate Gradient Method, Chebyshev semi-iterative method, fi- nite precision computations, delay of convergence, composite polynomial conver-...

Cette thèse porte sur la simulation numérique de modèles couplés pour l'écoulement et le transport dans les milieux poreux. Nous présentons une nouvelle méthode de couplage entre les réactions chimiques et le transport en utilisant une méthode de Newton-Krylov, et nous étudions également un modèle d'écoulement en milieu fracturé qui traite l'intersection des fractures par une méthode de décomposition de domaine. <br /> Ce travail est divisé en trois parties : la première partie contient une analyse de différents schémas numériques pour la discrétisation des problèmes d'advection-diffusion, notamment par une technique de séparation d'opérateurs, ainsi que leur mise en oeuvre informatique, dans un code industriel.<br /> La deuxième partie, qui est la contribution majeure de cette thèse, est consacrée à la modélisation et à l'implémentation d'une méthode de couplage globale pour le transport réactif. Le système couplé transport-chimie est décrit, après discrétisation en temps, par un système d'équations non linéaires. La taille du système sous-jacent, à savoir le nombre de points de grille multiplié par le nombre d'espèces chimiques, interdit la résolution du système linéaire par une méthode directe. Pour remédier à cette difficulté, nous utilisons une méthode de Newton-Krylov qui évite de former et de factoriser la matrice Jacobienne. <br /> Dans la dernière partie, nous présentons un modèle d'écoulement dans un milieu fracturé tridimensionnel, basé sur une méthode de décomposition de domaine, et qui traite l'intersection des fractures. Nous démontrons l'existence et l'unicité de la solution, et nous validons le modèle par des tests numériques.