Dans le domaine aéronautique, la dernière décennie a été marquée par une augmentation constante et progressive du taux d’électrification des systèmes embarqués. L’avion plus électrique est aujourd’hui vu comme un axe d’amélioration majeure pour l’industrie aéronautique permettant d’atteindre des objectifs toujours plus ambitieux : réduction de l’impact environnemental, rationalisation des coûts de maintenance… Dans ce contexte, le réseau de distribution électrique joue un rôle majeur. Les architectes doivent imaginer de nouveaux concepts architecturaux afin d’assurer le « service » de fourniture d’électricité tout en minimisant la masse et le coût. Ainsi les travaux de cette thèse proposent des méthodes d’aide à la conception pour les architectes de réseau. Le manuscrit se divise en 2 parties pouvant être vues comme 2 études distinctes et qui sont introduites dans le chapitre 1.La 1ère partie, traitée dans les chapitres 2 et 3, développe des méthodes et outils afin de résoudre de manière automatique et optimale 2 tâches de l’architecte : la définition des reconfigurations du réseau et l’identification de l’allocation des charges. La formalisation de ces 2 problématiques met en lumière une caractéristique commune : l’explosion combinatoire. Ainsi les résolutions sont réalisées à l’aide de méthodes issues de la recherche opérationnelle. Un processus général est défini afin de traiter les 2 tâches de manière consistante. Les aspects liés à la reconfiguration sont traités à l’aide de : la théorie des graphes pour modéliser la connectivité du réseau, un système expert capturant les règles métiers et la programmation linéaire sélectionnant les reconfigurations les plus performantes. La méthode a été appliquée avec succès sur des réseaux avions existants (A400M et A350) ainsi que sur des réseaux plus électriques prospectifs. La deuxième tâche consistant en l’allocation des charges a été résolue à l’aide de méthodes stochastiques. L’algorithme génétique utilisant une méthode de nichage se révèle être le plus performant en proposant à l’architecte réseau des solutions performantes et variées. La 2ème partie, traitée dans le chapitre 4, s’intéresse à un nouveau concept le « cœur électronique modulaire et mutualisé ». Cet organe de distribution, étroitement lié à l’avion plus électrique, se caractérise par la mutualisation de « m » modules électronique de puissance pour « c » charges électriques. Les méthodes développées dans le chapitre 4 vise à concevoir de manière optimale ce nouveau cœur en ayant 2 degrés de liberté : le nombre « m » de modules et les reconfigurations entre les « m » modules et les « c » charges. De nouveau, la formalisation du problème met en évidence l’explosion combinatoire à laquelle est confronté le concepteur. Le principal objectif de cette étude est de proposer un cadre méthodologique pour la résolution de ce problème de conception. Ainsi une heuristique a été développée pour résoudre ce problème combinatoire. Une attention particulière a été portée pour développer des modèles de composants simples et génériques dans une procédure générale organisée. Enfin une cartographie a été réalisée afin de dégager d’une part les formes de solutions les plus performantes et d’identifier les éléments ayant les impacts les plus significatifs sur la masse du système complet. / In the aeronautics field, the last decade has been marked by a constant and gradual increase of the electrification rate of the embedded systems. Today, the More Electric Aircraft (MEA) is seen as a major axis of improvement for the aviation industry to achieve increasingly ambitious objectives: reducing environmental impact, rationalisation of maintenance costs...In the more electrical aircraft concept, the electrical network plays a major role. Today engineers must imagine new architectural solutions to ensure the electricity supply while minimizing weight and cost. In this context, the PhD work consists in providing new methods to support the design of electrical network architectures. The PhD work is divided into 2 parts which can be seen as 2 separate studies which are introduced in the chapter 1.The 1st part, treated in the chapters 2 and 3, develops methods and tools to solve problems automatically for 2 architecture tasks: the definition of the network reconfiguration and the identification of the electrical load allocation on busbars. The formalization of these two issues highlights a common characteristic: the combinatorial explosion. As the consequence, methods from operational research area are selected to solve the 2 tasks in the frame of a general and consistent design process. The reconfiguration aspects are solved by a methodology coupling together: graph theory to model the network connectivity, an expert system capturing know-how rules and linear programming selecting the most efficient reconfiguration. The approach was successfully applied on existing aircraft electrical networks (A400M and A350) and on future architectures. The second task, related to the electrical load allocation, is solved using stochastic methods. The genetic algorithm using a niching method is the best assessed optimization method. It provides good and diversified load allocations to the electrical network architect. The 2nd part, treated in the chapter 4, focuses on a new technological concept the « modular and mutualised power electronics center ». This distribution system, closely linked to the more electrical aircraft, aims at sharing « m » power electronics modules to « c » electrical loads. The methods developed in this PhD aim at carrying out an optimal design of this new power center with 2 design variables: the number « m » of modules and the reconfigurations between the « m » modules and the « c » loads. Again, the formalization of the problem highlights that the designer must deal with a combinatorial explosion. The main objective of this study is to propose a methodological framework for solving this design problem. A heuristic-based algorithm is developed to solve this combinatorial optimization problem. A particular attention is paid to develop an organized weight estimation procedure using generic sizing models. Finally a mapping is performed to identify the best solutions and to highlight the technological elements having the most significant impact on the complete system weight

Évaluer la vulnérabilité des réseaux est un enjeu de plus en plus critique. Dans ce mémoire, nous nous penchons sur une approche étudiant la défense d’infrastructures stratégiques contre des attaques malveillantes au travers de problèmes d'optimisations multiniveaux. Plus particulièrement, nous analysons un jeu séquentiel en trois étapes appelé le « Multilevel Critical Node problem » (MCN). Ce jeu voit deux joueurs s'opposer sur un graphe: un attaquant et un défenseur. Le défenseur commence par empêcher préventivement que certains nœuds soient attaqués durant une phase de vaccination. Ensuite, l’attaquant infecte un sous ensemble des nœuds non vaccinés. Finalement, le défenseur réagit avec une stratégie de protection. Dans ce mémoire, nous fournissons les premiers résultats de complexité pour MCN ainsi que ceux de ses sous-jeux. De plus, en considérant les différents cas de graphes unitaires, pondérés ou orientés, nous clarifions la manière dont la complexité de ces problèmes varie. Nos résultats contribuent à élargir les familles de problèmes connus pour être complets pour les classes NP, $\Sigma_2^p$ et $\Sigma_3^p$. Motivés par l’insolubilité intrinsèque de MCN, nous concevons ensuite une heuristique efficace pour le jeu. Nous nous appuyons sur les approches récentes cherchant à apprendre des heuristiques pour des problèmes d’optimisation combinatoire en utilisant l’apprentissage par renforcement et les réseaux de neurones graphiques. Contrairement aux précédents travaux, nous nous intéressons aux situations dans lesquelles de multiples joueurs prennent des décisions de manière séquentielle. En les inscrivant au sein du formalisme d’apprentissage multiagent, nous concevons un algorithme apprenant à résoudre des problèmes d’optimisation combinatoire multiniveaux budgétés opposant deux joueurs dans un jeu à somme nulle sur un graphe. Notre méthode est basée sur un simple curriculum : si un agent sait estimer la valeur d’une instance du problème ayant un budget au plus B, alors résoudre une instance avec budget B+1 peut être fait en temps polynomial quelque soit la direction d’optimisation en regardant la valeur de tous les prochains états possibles. Ainsi, dans une approche ascendante, nous entraînons notre agent sur des jeux de données d’instances résolues heuristiquement avec des budgets de plus en plus grands. Nous rapportons des résultats quasi optimaux sur des graphes de tailles au plus 100 et un temps de résolution divisé par 185 en moyenne comparé au meilleur solutionneur exact pour le MCN. / Evaluating the vulnerability of networks is a problem which has gain momentum in recent decades. In this work, we focus on a Multilevel Programming approach to study the defense of critical infrastructures against malicious attacks. We analyze a three-stage sequential game played in a graph called the Multilevel Critical Node problem (MCN). This game sees two players competing with each other: a defender and an attacker. The defender starts by preventively interdicting nodes from being attacked during what is called a vaccination phase. Then, the attacker infects a subset of non-vaccinated nodes and, finally, the defender reacts with a protection strategy. We provide the first computational complexity results associated with MCN and its subgames. Moreover, by considering unitary, weighted, undirected and directed graphs, we clarify how the theoretical tractability or intractability of those problems vary. Our findings contribute with new NP-complete, $\Sigma_2^p$-complete and $\Sigma_3^p$-complete problems. Motivated by the intrinsic intractability of the MCN, we then design efficient heuristics for the game by building upon the recent approaches seeking to learn heuristics for combinatorial optimization problems through graph neural networks and reinforcement learning. But contrary to previous work, we tackle situations with multiple players taking decisions sequentially. By framing them in a multi-agent reinforcement learning setting, we devise a value-based method to learn to solve multilevel budgeted combinatorial problems involving two players in a zero-sum game over a graph. Our framework is based on a simple curriculum: if an agent knows how to estimate the value of instances with budgets up to B, then solving instances with budget B+1 can be done in polynomial time regardless of the direction of the optimization by checking the value of every possible afterstate. Thus, in a bottom-up approach, we generate datasets of heuristically solved instances with increasingly larger budgets to train our agent. We report results close to optimality on graphs up to 100 nodes and a 185 x speedup on average compared to the quickest exact solver known for the MCN.

The Master Thesis deals with the design of hardware component interconnection inference algorithm that is supposed to be used in the FPGA schema editor that was integrated into educational integrated development environment VLAM IDE. The aim of the algorithm is to support user by finding an optimal interconnection of two given components. The editor and the development environment are implemented as an Eclipse plugin using GMF framework. A brief description of this technologies and the embedded systems design are followed by the design of the inference algorithm. This problem is a topic of combinatorial optimization, related to the bipartite matching and assignment problem. After this, the implementation of the algorithm is described, followed by tests and a summary of achieved results.

NP-hard problems of higher-dimensional orthogonal packing are considered. We look closer at their logical structure and show that they can be decomposed into problems of a smaller dimension with a special contiguous structure. This decomposition influences the modeling of the packing process, which results in three new solution approaches. Keeping this decomposition in mind, we model the smaller-dimensional problems in a single position-indexed formulation with non-overlapping inequalities serving as binding constraints. Thus, we come up with a new integer linear programming model, which we subject to polyhedral analysis. Furthermore, we establish general non-overlapping and density inequalities and prove under appropriate assumptions their facet-defining property for the convex hull of the integer solutions. Based on the proposed model and the strong inequalities, we develop a new branch-and-cut algorithm. Being a relaxation of the higher-dimensional problem, each of the smaller-dimensional problems is also relevant for different areas, e.g. for scheduling. To tackle any of these smaller-dimensional problems, we use a Gilmore-Gomory model, which is a Dantzig-Wolfe decomposition of the position-indexed formulation. In order to obtain a contiguous structure for the optimal solution, its basis matrix must have a consecutive 1's property. For construction of such matrices, we develop new branch-and-price algorithms which are distinguished by various strategies for the enumeration of partial solutions. We also prove some characteristics of partial solutions, which tighten the slave problem of column generation. For a nonlinear modeling of the higher-dimensional packing problems, we investigate state-of-the-art constraint programming approaches, modify them, and propose new dichotomy and intersection branching strategies. To tighten the constraint propagation, we introduce new pruning rules. For that, we apply 1D relaxation with intervals and forbidden pairs, an advanced bar relaxation, 2D slice relaxation, and 1D slice-bar relaxation with forbidden pairs. The new rules are based on the relaxation by the smaller-dimensional problems which, in turn, are replaced by a linear programming relaxation of the Gilmore-Gomory model. We conclude with a discussion of implementation issues and numerical studies of all proposed approaches. / Es werden NP-schwere höherdimensionale orthogonale Packungsprobleme betrachtet. Wir untersuchen ihre logische Struktur genauer und zeigen, dass sie sich in Probleme kleinerer Dimension mit einer speziellen Nachbarschaftsstruktur zerlegen lassen. Dies beeinflusst die Modellierung des Packungsprozesses, die ihreseits zu drei neuen Lösungsansätzen führt. Unter Beachtung dieser Zerlegung modellieren wir die Probleme kleinerer Dimension in einer einzigen positionsindizierten Formulierung mit Nichtüberlappungsungleichungen, die als Bindungsbedingungen dienen. Damit entwickeln wir ein neues Modell der ganzzahligen linearen Optimierung und unterziehen dies einer Polyederanalyse. Weiterhin geben wir allgemeine Nichtüberlappungs- und Dichtheitsungleichungen an und beweisen unter geeigneten Annahmen ihre facettendefinierende Eigenschaft für die konvexe Hülle der ganzzahligen Lösungen. Basierend auf dem vorgeschlagenen Modell und den starken Ungleichungen entwickeln wir einen neuen Branch-and-Cut-Algorithmus. Jedes Problem kleinerer Dimension ist eine Relaxation des höherdimensionalen Problems. Darüber hinaus besitzt es Anwendungen in verschiedenen Bereichen, wie zum Beispiel im Scheduling. Für die Behandlung der Probleme kleinerer Dimension setzen wir das Gilmore-Gomory-Modell ein, das eine Dantzig-Wolfe-Dekomposition der positionsindizierten Formulierung ist. Um eine Nachbarschaftsstruktur zu erhalten, muss die Basismatrix der optimalen Lösung die consecutive-1’s-Eigenschaft erfüllen. Für die Konstruktion solcher Matrizen entwickeln wir neue Branch-and-Price-Algorithmen, die sich durch Strategien zur Enumeration von partiellen Lösungen unterscheiden. Wir beweisen auch einige Charakteristiken von partiellen Lösungen, die das Hilfsproblem der Spaltengenerierung verschärfen. Für die nichtlineare Modellierung der höherdimensionalen Packungsprobleme untersuchen wir moderne Ansätze des Constraint Programming, modifizieren diese und schlagen neue Dichotomie- und Überschneidungsstrategien für die Verzweigung vor. Für die Verstärkung der Constraint Propagation stellen wir neue Ablehnungskriterien vor. Wir nutzen dabei 1D Relaxationen mit Intervallen und verbotenen Paaren, erweiterte Streifen-Relaxation, 2D Scheiben-Relaxation und 1D Scheiben-Streifen-Relaxation mit verbotenen Paaren. Alle vorgestellten Kriterien basieren auf Relaxationen durch Probleme kleinerer Dimension, die wir weiter durch die LP-Relaxation des Gilmore-Gomory-Modells abschwächen. Wir schließen mit Umsetzungsfragen und numerischen Experimenten aller vorgeschlagenen Ansätze.

Indiana University-Purdue University Indianapolis (IUPUI) / Evolutionary testing (ET) techniques (e.g., mutation, crossover, and natural selection) have been applied successfully to many areas of software engineering, such as error/fault identification, data mining, and software cost estimation. Previous research has also applied ET techniques to performance testing. Its application to performance testing, however, only goes as far as finding the best and worst case, execution times. Although such performance testing is beneficial, it provides little insight into performance characteristics of complex functions with multiple branches. This thesis therefore provides two contributions towards performance testing of software systems. First, this thesis demonstrates how ET and genetic algorithms (GAs), which are search heuristic mechanisms for solving optimization problems using mutation, crossover, and natural selection, can be combined with a constraint solver to target specific paths in the software. Secondly, this thesis demonstrates how such an approach can identify local minima and maxima execution times, which can provide a more detailed characterization of software performance. The results from applying our approach to example software applications show that it is able to characterize different execution paths in relatively short amounts of time. This thesis also examines a modified exhaustive approach which can be plugged in when the constraint solver cannot properly provide the information needed to target specific paths.

In the building automation domain, there are gaps among various tasks related to design engineering. As a result created system designs must be adapted to the given requirements on system functionality, which is related to increased costs and engineering effort than planned. For this reason standards are prepared to enable a coordination among these tasks by providing guidelines and unified artifacts for the design. Moreover, a huge variety of prefabricated devices offered from different manufacturers on the market for building automation that realize building automation functions by preprogrammed software components. Current methods for design creation do not consider this variety and design solution is limited to product lines of a few manufacturers and expertise of system integrators. Correspondingly, this results in design solutions of a limited quality. Thus, a great optimization potential of the quality of design solutions and coordination of tasks related to design engineering arises. For given design requirements, the existence of a high number of devices that realize required functions leads to a combinatorial explosion of design alternatives at different price and quality levels. Finding optimal design alternatives is a hard problem to which a new solution method is proposed based on heuristical approaches. By integrating problem specific knowledge into algorithms based on heuristics, a promisingly high optimization performance is achieved. Further, optimization algorithms are conceived to consider a set of flexibly defined quality criteria specified by users and achieve system design solutions of high quality. In order to realize this idea, optimization algorithms are proposed in this thesis based on goal-oriented operations that achieve a balanced convergence and exploration behavior for a search in the design space applied in different strategies. Further, a component model is proposed that enables a seamless integration of design engineering tasks according to the related standards and application of optimization algorithms.:1 Introduction 17 1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3 Goals and Use of the Thesis . . . . . . . . . . . . . . . . . . . . . 21 1.4 Solution Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.5 Organization of the Thesis . . . . . . . . . . . . . . . . . . . . . . 24 2 Design Creation for Building Automation Systems 25 2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2 Engineering of Building Automation Systems . . . . . . . . . . . 29 2.3 Network Protocols of Building Automation Systems . . . . . . . 33 2.4 Existing Solutions for Design Creation . . . . . . . . . . . . . . . 34 2.5 The Device Interoperability Problem . . . . . . . . . . . . . . . . 37 2.6 Guidelines for Planning of Room Automation Systems . . . . . . 38 2.7 Quality Requirements on BAS . . . . . . . . . . . . . . . . . . . 41 2.8 Quality Requirements on Design . . . . . . . . . . . . . . . . . . 42 2.8.1 Quality Requirements Related to Project Planning . . . . 42 2.8.2 Quality Requirements Related to Project Implementation 43 2.9 Quality Requirements on Methods . . . . . . . . . . . . . . . . . 44 2.10 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3 The Design Creation Task 47 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2 System Design Composition Model . . . . . . . . . . . . . . . . . 49 3.2.1 Abstract and Detailed Design Model . . . . . . . . . . . . 49 3.2.2 Mapping Model . . . . . . . . . . . . . . . . . . . . . . . . 51 3.3 Formulation of the Problem . . . . . . . . . . . . . . . . . . . . . 53 3.3.1 Problem properties . . . . . . . . . . . . . . . . . . . . . . 54 3.3.2 Requirements on Algorithms . . . . . . . . . . . . . . . . 56 3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4 Solution Methods for Design Generation and Optimization 59 4.1 Combinatorial Optimization . . . . . . . . . . . . . . . . . . . . . 59 4.2 Metaheuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.3 Examples for Metaheuristics . . . . . . . . . . . . . . . . . . . . . 62 4.3.1 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . 62 4.3.2 Tabu Search . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.3.3 Ant Colony Optimization . . . . . . . . . . . . . . . . . . 65 4.3.4 Evolutionary Computation . . . . . . . . . . . . . . . . . 66 4.4 Choice of the Solver Algorithm . . . . . . . . . . . . . . . . . . . 69 4.5 Specialized Methods for Diversity Preservation . . . . . . . . . . 70 4.6 Approaches for Real World Problems . . . . . . . . . . . . . . . . 71 4.6.1 Component-Based Mapping Problems . . . . . . . . . . . 71 4.6.2 Network Design Problems . . . . . . . . . . . . . . . . . . 73 4.6.3 Comparison of Solution Methods . . . . . . . . . . . . . . 74 4.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5 Automated Creation of Optimized Designs 79 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 5.2 Design Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 79 5.3 Component Model . . . . . . . . . . . . . . . . . . . . . . . . . . 81 5.3.1 Presumptions . . . . . . . . . . . . . . . . . . . . . . . . . 85 5.3.2 Integration of Component Model . . . . . . . . . . . . . . 87 5.4 Design Generation . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.4.1 Component Search . . . . . . . . . . . . . . . . . . . . . . 88 5.4.2 Generation Approaches . . . . . . . . . . . . . . . . . . . 100 5.5 Design Improvement . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.5.1 Problems and Requirements . . . . . . . . . . . . . . . . . 107 5.5.2 Variations . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 5.5.3 Application Strategies . . . . . . . . . . . . . . . . . . . . 121 5.6 Realization of the Approach . . . . . . . . . . . . . . . . . . . . . 122 5.6.1 Objective Functions . . . . . . . . . . . . . . . . . . . . . 122 5.6.2 Individual Representation . . . . . . . . . . . . . . . . . . 123 5.7 Automated Design Creation For A Building . . . . . . . . . . . . 124 5.7.1 Room Spanning Control . . . . . . . . . . . . . . . . . . . 124 5.7.2 Flexible Rooms . . . . . . . . . . . . . . . . . . . . . . . . 125 5.7.3 Technology Spanning Designs . . . . . . . . . . . . . . . . 129 5.7.4 Preferences for Mapping of Function Blocks to Devices . . 132 5.8 Further Uses and Applicability of the Approach . . . . . . . . . . 133 5.9 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 6 Validation and Performance Analysis 137 6.1 Validation Method . . . . . . . . . . . . . . . . . . . . . . . . . . 137 6.2 Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . 137 6.3 Example Abstract Designs and Performance Tests . . . . . . . . 139 6.3.1 Criteria for Choosing Example Abstract Designs . . . . . 139 6.3.2 Example Abstract Designs . . . . . . . . . . . . . . . . . . 140 6.3.3 Performance Tests . . . . . . . . . . . . . . . . . . . . . . 142 6.3.4 Population Size P - Analysis . . . . . . . . . . . . . . . . 151 6.3.5 Cross-Over Probability pC - Analysis . . . . . . . . . . . 157 6.3.6 Mutation Probability pM - Analysis . . . . . . . . . . . . 162 6.3.7 Discussion for Optimization Results and Example Designs 168 6.3.8 Resource Consumption . . . . . . . . . . . . . . . . . . . . 171 6.3.9 Parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . 172 6.4 Optimization Framework . . . . . . . . . . . . . . . . . . . . . . . 172 6.5 Framework Design . . . . . . . . . . . . . . . . . . . . . . . . . . 174 6.5.1 Components and Interfaces . . . . . . . . . . . . . . . . . 174 6.5.2 Workflow Model . . . . . . . . . . . . . . . . . . . . . . . 177 6.5.3 Optimization Control By Graphical User Interface . . . . 180 6.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 7 Conclusions 185 A Appendix of Designs 189 Bibliography 201 Index 211

<p>High-performance computing (HPC) and machine learning (ML) have been widely adopted by both academia and industries to address enormous data problems at extreme scales. While research has reported on the interactions of HPC and ML, achieving high performance and scalability for parallel and distributed ML algorithms is still a challenging task. This dissertation first summarizes the major challenges for applying HPC to ML applications: 1) poor performance and scalability, 2) loss of the convergence rate, 3) lower quality of the trained model, and 4) a lack of performance optimization techniques designed for specific applications. Researchers can address the four challenges in new ML applications. This dissertation shows how to solve them for two specific applications: 1) a clustering algorithm and 2) graph optimization algorithms that use reinforcement learning (RL).</p> <p>As to the clustering algorithm, we first propose an algorithm called the simulated-annealing clustering algorithm. By combining a blocked data layout and asynchronous local optimization within each thread, the simulated-annealing enhanced clustering algorithm has a convergence rate that is comparable to the K-means algorithm but with much higher performance. Experiments with synthetic and real-world datasets show that the simulated-annealing enhanced clustering algorithm is significantly faster than the MPI K-means library using up to 1024 cores. However, the optimization costs (Sum of Square Error (SSE)) of the simulated-annealing enhanced clustering algorithm became higher than the original costs. To tackle this problem, we devise a new algorithm called the full-step feel-the-way clustering algorithm. In the full-step feel-the-way algorithm, there are L local steps within each block of data points. We use the first local step’s results to compute accurate global optimization costs. Our results show that the full-step algorithm can significantly reduce the global number of iterations needed to converge while obtaining low SSE costs. However, the time spent on the local steps is greater than the benefits of the saved iterations. To improve this performance, we next optimize the local step time by incorporating a sampling-based method called reassignment-history-aware sampling. Extensive experiments with various synthetic and real world datasets (e.g., MNIST, CIFAR-10, ENRON, and PLACES-2) show that our parallel algorithms can outperform the fastest open-source MPI K-means implementation by up to 110% on 4,096 CPU cores with comparable SSE costs.</p> <p>Our evaluations of the sampling-based feel-the-way algorithm establish the effectiveness of the local optimization strategy, the blocked data layout, and the sampling methods for addressing the challenges of applying HPC to ML applications. To explore more parallel strategies and optimization techniques, we focus on a more complex application: graph optimization problems using reinforcement learning (RL). RL has proved successful for automatically learning good heuristics to solve graph optimization problems. However, the existing RL systems either do not support graph RL environments or do not support multiple or many GPUs in a distributed setting. This has compromised RL’s ability to solve large scale graph optimization problems due to the lack of parallelization and high scalability. To address the challenges of parallelization and scalability, we develop OpenGraphGym-MG, a high performance distributed-GPU RL framework for solving graph optimization problems. OpenGraphGym-MG focuses on a class of computationally demanding RL problems in which both the RL environment and the policy model are highly computation intensive. In this work, we distribute large-scale graphs across distributed GPUs and use spatial parallelism and data parallelism to achieve scalable performance. We compare and analyze the performance of spatial and data parallelism and highlight their differences. To support graph neural network (GNN) layers that take data samples partitioned across distributed GPUs as input, we design new parallel mathematical kernels to perform operations on distributed 3D sparse and 3D dense tensors. To handle costly RL environments, we design new parallel graph environments to scale up all RL-environment-related operations. By combining the scalable GNN layers with the scalable RL environment, we are able to develop high performance OpenGraphGym-MG training and inference algorithms in parallel.</p> <p>To summarize, after proposing the major challenges for applying HPC to ML applications, this thesis explores several parallel strategies and performance optimization techniques using two ML applications. Specifically, we propose a local optimization strategy, a blocked data layout, and sampling methods for accelerating the clustering algorithm, and we create a spatial parallelism strategy, a parallel graph environment, agent, and policy model, and an optimized replay buffer, and multi-node selection strategy for solving large optimization problems over graphs. Our evaluations prove the effectiveness of these strategies and demonstrate that our accelerations can significantly outperform the state-of-the-art ML libraries and frameworks without loss of quality in trained models.</p>

La conception de réseaux est un riche sous-domaine de l'optimisation combinatoire ayant de nombreuses applications pratiques. Du point de vue méthodologique, la plupart des problèmes de cette classe sont notoirement difficiles en raison de leur nature combinatoire et de l'interdépendance des décisions qu'ils impliquent. Ce mémoire aborde deux problèmes de conception de réseaux dont les structures respectives posent des défis bien distincts. Tout d'abord, nous examinons un problème déterministe dans lequel un client doit acquérir au prix minimum un certain nombre d'unités d'un produit auprès d'un ensemble de fournisseurs proposant différents coûts fixes et unitaires, et dont les stocks sont limités. Ensuite, nous étudions un problème probabiliste dans lequel une entreprise entrant sur un marché existant cherche, en ouvrant un certain nombre d'installations parmi un ensemble de sites disponibles, à maximiser sa part espérée d'un marché composé de clients maximisant une fonction d'utilité aléatoire. Ces deux problèmes, soit le problème de transport à coût fixe à un puits et le problème d'emplacement d'installations compétitif basé sur les choix, sont étroitement liés au problème du sac à dos et au problème de couverture maximale, respectivement. Nous introduisons de nouvelles reformulations prenant avantage de ces connexions avec des problèmes classiques d'optimisation combinatoire. Dans les deux cas, nous exploitons ces reformulations pour démontrer de nouvelles propriétés théoriques et développer des méthodes de résolution efficaces. Notre nouvel algorithme pour le problème de transport à coûts fixes à un puits domine les meilleurs algorithmes de la littérature, réduisant le temps de résolution des instances de grande taille jusqu'à quatre ordres de grandeur. Une autre contribution notable de ce mémoire est la démonstration que la fonction objectif du problème d'emplacement d'installations compétitif basé sur les choix est sous-modulaire sous n'importe quel modèle de maximisation d’utilité aléatoire. Notre méthode de résolution basée sur la simulation exploite cette propriété et améliore l'état de l'art pour plusieurs groupes d'instances. / Network design is a rich subfield of combinatorial optimization with wide-ranging real-life applications. From a methodological standpoint, most problems in this class are notoriously difficult due to their combinatorial nature and the interdependence of the decisions they involve. This thesis addresses two network design problems whose respective structures pose very distinct challenges. First, we consider a deterministic problem in which a customer must acquire at the minimum price a number of units of a product from a set of vendors offering different fixed and unit costs and whose supply is limited. Second, we study a probabilistic problem in which a firm entering an existing market seeks, by opening a number of facilities from a set of available locations, to maximize its expected share in a market composed of random utility-maximizing customers. These two problems, namely the single-sink fixed-charge-transportation problem and the choice-based competitive facility location problem, are closely related to the knapsack problem and the maximum covering problem, respectively. We introduce novel model reformulations that leverage these connections to classical combinatorial optimization problems. In both cases, we exploit these reformulations to prove new theoretical properties and to develop efficient solution methods. Our novel algorithm for the single-sink fixed-charge-transportation problem dominates the state-of-the-art methods from the literature, reducing the solving time of large instances by up to four orders of magnitude. Another notable contribution of this thesis is the demonstration that the objective function of the choice-based competitive facility location problem is submodular under any random utility maximization model. Our simulation-based method exploits this property and achieves state-of-the-art results for several groups of instances.

Les problèmes d’optimisation combinatoire sont devenus la cible de nombreuses recherches scientifiques pour leur importance dans la résolution de problèmes académiques et de problèmes réels rencontrés dans le domaine de l’ingénierie et dans l’industrie. La résolution de ces problèmes par des méthodes exactes ne peut être envisagée à cause des délais de traitement souvent exorbitants que nécessiteraient ces méthodes pour atteindre la (les) solution(s) optimale(s). Dans cette thèse, nous nous sommes intéressés au contexte algorithmique de résolution des problèmes combinatoires, et au contexte de modélisation de ces problèmes. Au niveau algorithmique, nous avons appréhendé les méthodes hybrides qui excellent par leur capacité à faire coopérer les méthodes exactes et les méthodes approchées afin de produire rapidement des solutions. Au niveau modélisation, nous avons travaillé sur la spécification et la résolution exacte des problématiques complexes de fouille des ensembles de motifs en étudiant tout particulièrement le passage à l’échelle sur des bases de données de grande taille. D'une part, nous avons proposé une première parallélisation de l'algorithme DGVNS, appelée CPDGVNS, qui explore en parallèle les différents clusters fournis par la décomposition arborescente en partageant la meilleure solution trouvée sur un modèle maître-travailleur. Deux autres stratégies, appelées RADGVNS et RSDGVNS, ont été proposées qui améliorent la fréquence d'échange des solutions intermédiaires entre les différents processus. Les expérimentations effectuées sur des problèmes combinatoires difficiles montrent l'adéquation et l'efficacité de nos méthodes parallèles. D'autre part, nous avons proposé une approche hybride combinant à la fois les techniques de programmation linéaire en nombres entiers (PLNE) et la fouille de motifs. Notre approche est complète et tire profit du cadre général de la PLNE (en procurant un haut niveau de flexibilité et d’expressivité) et des heuristiques spécialisées pour l’exploration et l’extraction de données (pour améliorer les temps de calcul). Outre le cadre général de l’extraction des ensembles de motifs, nous avons étudié plus particulièrement deux problèmes : le clustering conceptuel et le problème de tuilage (tiling). Les expérimentations menées ont montré l’apport de notre proposition par rapport aux approches à base de contraintes et aux heuristiques spécialisées. / Combinatorial optimization problems have become the target of many scientific researches for their importance in solving academic problems and real problems encountered in the field of engineering and industry. Solving these problems by exact methods is often intractable because of the exorbitant time processing that these methods would require to reach the optimal solution(s). In this thesis, we were interested in the algorithmic context of solving combinatorial problems, and the modeling context of these problems. At the algorithmic level, we have explored the hybrid methods which excel in their ability to cooperate exact methods and approximate methods in order to produce rapidly solutions of best quality. At the modeling level, we worked on the specification and the exact resolution of complex problems in pattern set mining, in particular, by studying scaling issues in large databases. On the one hand, we proposed a first parallelization of the DGVNS algorithm, called CPDGVNS, which explores in parallel the different clusters of the tree decomposition by sharing the best overall solution on a master-worker model. Two other strategies, called RADGVNS and RSDGVNS, have been proposed which improve the frequency of exchanging intermediate solutions between the different processes. Experiments carried out on difficult combinatorial problems show the effectiveness of our parallel methods. On the other hand, we proposed a hybrid approach combining techniques of both Integer Linear Programming (ILP) and pattern mining. Our approach is comprehensive and takes advantage of the general ILP framework (by providing a high level of flexibility and expressiveness) and specialized heuristics for data mining (to improve computing time). In addition to the general framework for the pattern set mining, two problems were studied: conceptual clustering and the tiling problem. The experiments carried out showed the contribution of our proposition in relation to constraint-based approaches and specialized heuristics.