Asynchronous iterative algorithms are parallel iterative algorithms in which communications and iterations are not synchronized among processors. Thus, as soon as a processing unit finishes its own calculations, it starts the next cycle with the latest data received during a previous cycle, without waiting for any other processing unit to complete its own calculation. These algorithms increase the number of updates in some processors (as compared to the synchronous case) but suppress most idle times. This usually results in a reduction of the (execution) time to achieve convergence. Optimized Schwarz methods (OSM) are domain decomposition methods in which the transmission conditions between subdomains contain operators of the form \linebreak $\partial/\partial \nu +\Lambda$, where $\partial/\partial \nu$ is the outward normal derivative and $\Lambda$ is an optimized local approximation of the global Steklov-Poincar\'e operator. There is more than one family of transmission conditions that can be used for a given partial differential equation (e.g., the $OO0$ and $OO2$ families), each of these families containing a particular approximation of the Steklov-Poincar\'e operator. These transmission conditions have some parameters that are tuned to obtain a fast convergence rate. Optimized Schwarz methods are fast in terms of iteration count and can be implemented asynchronously. In this thesis we analyze the convergence behavior of the synchronous and asynchronous implementation of OSM applied to solve partial differential equations with a shifted Laplacian operator in bounded rectangular domains. We analyze two cases. In the first case we have a shift that can be either positive, negative or zero, a one-way domain decomposition and transmission conditions of the $OO2$ family. In the second case we have Poisson's equation, a domain decomposition with cross-points and $OO0$ transmission conditions. In both cases we reformulate the equations defining the problem into a fixed point iteration that is suitable for our analysis, then derive convergence proofs and analyze how the convergence rate varies with the number of subdomains, the amount of overlap, and the values of the parameters introduced in the transmission conditions. Additionally, we find the optimal values of the parameters and present some numerical experiments for the second case illustrating our theoretical results. To our knowledge this is the first time that a convergence analysis of optimized Schwarz is presented for bounded subdomains with multiple subdomains and arbitrary overlap. The analysis presented in this thesis also applies to problems with more general domains which can be decomposed as a union of rectangles. / Mathematics

Une large classe de méthodes numériques possède une propriété d’échelonnabilité connue comme étant la loi d’Amdahl. Elle constitue l’inconvénient majeur limitatif du calcul parallèle, en ce sens qu’elle établit une borne supérieure sur le nombre d’unités de traitement parallèles qui peuvent être utilisées pour accélérer un calcul. Des activités de recherche sont donc largement conduites à la fois sur les plans mathématiques et informatiques, pour repousser cette limite afin d’être en mesure de tirer le maximum des machines parallèles. Les méthodes de décomposition de domaine introduisent une approche naturelle et optimale pour résoudre de larges problèmes numériques de façon distribuée. Elles consistent en la division du domaine géométrique sur lequel une équation est définie, puis le traitement itératif de chaque sous-domaine, séparément, tout en assurant la continuité de la solution et de sa dérivée sur leur interface de jointure. Dans le présent travail, nous étudions la suppression de la limite d’accélération en appliquant des itérations asynchrones dans différents cadres de décomposition, à la fois de domaines spatiaux et temporels. Nous couvrons plusieurs aspects du développement d’algorithmes asynchrones, de l’analyse théorique de convergence à la mise en oeuvre effective. Nous aboutissons ainsi à des méthodes asynchrones efficaces pour la décomposition de domaine, ainsi qu’à une nouvelle bibliothèque de communication pour l’expérimentation asynchrone rapide d’applications scientifiques existantes. / An important class of numerical methods features a scalability property well known as the Amdahl’s law, which constitutes the main limiting drawback of parallel computing, as it establishes an upper bound on the number of parallel processing units that can be used to speed a computation up. Extensive research activities are therefore conducted on both mathematical and computer science aspects to increase this bound, in order to be able to squeeze the most out of parallel machines. Domain decomposition methods introduce a natural and optimal approach to solve large numerical problems in a distributed way. They consist in dividing the geometrical domain on which an equation is defined, then iteratively processing each sub-domain separately, while ensuring the continuity of the solution and of its derivative across the junction interface between them. In the present work, we investigate the removal of the scalability bound by the application of the asynchronous iterations theory in various decomposition frameworks, both for space and time domains. We cover various aspects of the development of asynchronous iterative algorithms, from theoretical convergence analysis to effective parallel implementation. Efficient asynchronous domain decomposition methods are thus successfully designed, as well as a new communication library for the quick asynchronous experimentation of existing scientific applications.

Cette thèse propose un large éventail d'approches afin d'améliorer différents aspects de l'analyse des flux de puissance avec comme fils conducteur l'utilisation du processeurs graphiques (GPU). Si les GPU ont rapidement prouvés leurs efficacités sur des applications régulières pour lesquelles le parallélisme de données était facilement exploitable, il en est tout autrement pour les applications dites irrégulières. Ceci est précisément le cas de la plupart des algorithmes d'analyse de flux de puissance. Pour ce travail, nous nous inscrivons dans cette problématique d'optimisation de l'analyse de flux de puissance à l'aide de coprocesseur de type GPU. L'intérêt est double. Il étend le domaine d'application des GPU à une nouvelle classe de problème et/ou d'algorithme en proposant des solutions originales. Il permet aussi à l'analyse des flux de puissance de rester pertinent dans un contexte de changements continus dans les systèmes énergétiques, et ainsi d'en faciliter leur évolution. Nos principales contributions liées à la programmation sur GPU sont: (i) l'analyse des différentes méthodes de parcours d'arbre pour apporter une réponse au problème de la régularité par rapport à l'équilibrage de charge ; (ii) l'analyse de l'impact du format de représentation sur la performance des implémentations d'arithmétique floue. Nos contributions à l'analyse des flux de puissance sont les suivantes: (ii) une nouvelle méthode pour l'évaluation de l'incertitude dans l'analyse des flux de puissance ; (ii) une nouvelle méthode de point fixe pour l'analyse des flux de puissance, problème que l'on qualifie d'intrinsèquement parallèle. / This thesis addresses the utilization of Graphics Processing Units (GPUs) for improving the Power Flow (PF) analysis of modern power systems. Currently, GPUs are challenged by applications exhibiting an irregular computational pattern, as is the case of most known methods for PF analysis. At the same time, the PF analysis needs to be improved in order to cope with new requirements of efficiency and accuracy coming from the Smart Grid concept. The relevance of GPU-enhanced PF analysis is twofold. On one hand, it expands the application domain of GPU to a new class of problems. On the other hand, it consistently increases the computational capacity available for power system operation and design. The present work attempts to achieve that in two complementary ways: (i) by developing novel GPU programming strategies for available PF algorithms, and (ii) by proposing novel PF analysis methods that can exploit the numerous features present in GPU architectures. Specific contributions on GPU computing include: (i) a comparison of two programming paradigms, namely regularity and load-balancing, for implementing the so-called treefix operations; (ii) a study of the impact of the representation format over performance and accuracy, for fuzzy interval algebraic operations; and (iii) the utilization of architecture-specific design, as a novel strategy to improve performance scalability of applications. Contributions on PF analysis include: (i) the design and evaluation of a novel method for the uncertainty assessment, based on the fuzzy interval approach; and (ii) the development of an intrinsically parallel method for PF analysis, which is not affected by the Amdahl's law.