Un double constat motive ce travail: la demande en calcul haute performance des chercheurs et la faible utilisation moyenne de la puissance des ressources pédagogiques. Le problème a été de répondre à cette demande, tout en préservant les ressources pédagogiques pour les enseignements. Une solution simple et transparente pour les utilisateurs finaux a été recherchée. Les besoins des utilisateurs ont mené à un cahier des charges dont la plupart des contraintes sont satisfaites par l'utilisation d'une pile logicielle judicieuse. D'autres ne peuvent être résolues par la seule utilisation de solutions existantes et définissent un problème d'ordonnancement, où il faut répartir les processus soumis sur les ressources des salles de TPs. Plusieurs heuristiques ont été proposées pour le résoudre. Elles ont été comparées à l'aide d'un simulateur, puis implémentée sur une plateforme expérimentale. / Two facts are motivating this work: the demand for High Performance Computing of researchers and the low usage of the computing power of the pedagogic ressources. This thesis aims at giving an answer to the demand for HPC, while preserving the pedagogic ressources for the teaching. This work looked for a solution that would be simple and straightforward for the final users. Their needs and wishes lead to the definition of some specifications, in which most of the constraints could be satisfied with the use of a well designed software stack. Some others, however, cannot be satisfied with the use of existing solutions only, they define a new scheduling problem, in which the goal is to schedule the processes on the available ressources. This problem was studied and solved with various heurisitcs, which performances were compared with a simulator before being implemented in an experimental setup.

La conception d’un entrepôt de données parallèle consiste à choisir l’architecture matérielle,à fragmenter le schéma d’entrepôt de données, à allouer les fragments générés, à répliquer les fragments pour assurer une haute performance du système et à définir la stratégie de traitement et d’équilibrage de charges. L’inconvénient majeur de ce cycle de conception est son ignorance de l’interdépendance entre les sous-problèmes liés à la conception d’un EDP et l’utilisation des métriques hétérogènes pour atteindre le même objectif. Notre première proposition définie un modèle de coût analytique pour le traitement parallèle des requêtes OLAP dans un environnement cluster. Notre deuxième proposition prend en considération l’interdépendance existante entre la fragmentation et l’allocation. Dans ce contexte, nous avons proposé une nouvelle approche de conception d’un EDP sur un cluster de machine. Durant le processus de fragmentation, notre approche décide si le schéma de fragmentation généré est pertinent pour le processus d’allocation. Les résultats obtenus sont très encourageant et une validation est faite sur Teradata. Notre troisième proposition consiste à présenter une méthode de conception qui est une extension de notre travail. Dans cette phase, une méthode de réplication originale, basée sur la logique floue, est intégrée. / Designing a parallel data warehouse consists of choosing the hardware architecture, fragmenting the data warehouse schema, allocating the generated fragments, replicating fragments to ensure high system performance and defining the treatment strategy and load balancing.The major drawback of this design cycle is its ignorance of the interdependence between subproblems related to the design of PDW and the use of heterogeneous metrics to achieve thesame goal. Our first proposal defines an analytical cost model for parallel processing of OLAP queries in a cluster environment. Our second takes into account the interdependence existing between fragmentation and allocation. In this context, we proposed a new approach to designa PDW on a cluster machine. During the fragmentation process, our approach determines whether the fragmentation pattern generated is relevant to the allocation process or not. The results are very encouraging and validation is done on Teradata. For our third proposition, we presented a design method which is an extension of our work. In this phase, an original method of replication, based on fuzzy logic is integrated.

Architectures hétérogènes sont largement utilisées dans le domaine de calcul haute performance. Cependant, le développement d'applications sur des architectures hétérogènes est indéniablement fastidieuse et sujette à erreur pour un programmeur même expérimenté. Pour passer une application aux architectures multi-cœurs hétérogènes, les développeurs doivent décomposer les données de l'entrée, gérer les échanges de valeur intermédiaire au moment d’exécution et garantir l'équilibre de charge de système. L'objectif de cette thèse est de proposer une solution de programmation parallèle pour les programmeurs novices, qui permet de faciliter le processus de codage et garantir la qualité de code. Nous avons comparé et analysé les défauts de solutions existantes, puis nous proposons un nouvel outil de programmation STEPOCL avec un nouveau langage de domaine spécifique qui est conçu pour simplifier la programmation sur les architectures hétérogènes. Nous avons évalué la performance de STEPOCL sur trois cas d'application classiques : un stencil 2D, une multiplication de matrices et un problème à N corps. Le résultat montre que : (i) avec l'aide de STEPOCL, la performance d'application varie linéairement selon le nombre d'accélérateurs, (ii) la performance de code généré par STEPOCL est comparable à celle de la version manuscrite. (iii) les charges de travail, qui sont trop grandes pour la mémoire d'un seul accélérateur, peuvent être exécutées en utilisant plusieurs accélérateurs. (iv) grâce à STEPOCL, le nombre de lignes de code manuscrite est considérablement réduit. / Heterogeneous architectures have been widely used in the domain of high performance computing. However developing applications on heterogeneous architectures is time consuming and error-prone because going from a single accelerator to multiple ones indeed requires to deal with potentially non-uniform domain decomposition, inter-accelerator data movements, and dynamic load balancing. The aim of this thesis is to propose a solution of parallel programming for novice developers, to ease the complex coding process and guarantee the quality of code. We lighted and analysed the shortcomings of existing solutions and proposed a new programming tool called STEPOCL along with a new domain specific language designed to simplify the development of an application for heterogeneous architectures. We evaluated both the performance and the usefulness of STEPOCL. The result show that: (i) the performance of an application written with STEPOCL scales linearly with the number of accelerators, (ii) the performance of an application written using STEPOCL competes with an handwritten version, (iii) larger workloads run on multiple devices that do not fit in the memory of a single device, (iv) thanks to STEPOCL, the number of lines of code required to write an application for multiple accelerators is roughly divided by ten.

L'équilibrage de charge est une étape importante conditionnant les performances des applications parallèles. Dans le cas où la charge varie au cours de la simulation, il est important de redistribuer régulièrement la charge entre les différents processeurs. Dans ce contexte, il peut s'avérer pertinent d'adapter le nombre de processeurs au cours d'une simulation afin d'obtenir une meilleure efficacité, ou de continuer l'exécution quand toute la mémoire des ressources courantes est utilisée. Contrairement au cas où le nombre de processeurs ne varie pas, le rééquilibrage dynamique avec un nombre variable de processeurs est un problème peu étudié que nous abordons ici.Cette thèse propose différentes méthodes basées sur le repartitionnement de graphe pour rééquilibrer la charge tout en changeant le nombre de processeurs. Nous appelons ce problème « repartitionnement M x N ». Ces méthodes se décomposent en deux grandes étapes. Dans un premier temps, nous étudions la phase de migration et nous construisons une « bonne » matrice de migration minimisant plusieurs critères objectifs comme le volume total de migration et le nombre total de messages échangés. Puis, dans un second temps, nous utilisons des heuristiques de partitionnement de graphe pour calculer une nouvelle distribution optimisant la migration en s'appuyant sur les résultats de l'étape précédente. En outre, nous proposons un algorithme de partitionnement k-aire direct permettant d'améliorer le partitionnement biaisé. Finalement, nous validons cette thèse par une étude expérimentale en comparant nos méthodes aux partitionneursactuels. / Load balancing is an important step conditioning the performance of parallel programs. If the workload varies drastically during the simulation, the load must be redistributed regularly among the processors. Dynamic load balancing is a well studied subject but most studies are limited to an initially fixed number of processors. Adjusting the number of processors at runtime allows to preserve the parallel code efficiency or to keep running the simulation when the memory of the current resources is exceeded.In this thesis, we propose some methods based on graph repartitioning in order to rebalance the load while changing the number of processors. We call this problem \M x N repartitioning". These methods are split in two main steps. Firstly, we study the migration phase and we build a \good" migration matrix minimizing several metrics like the migration volume or the number of exchanged messages. Secondly, we use graph partitioning heuristics to compute a new distribution optimizing the migration according to the previous step results. Besides, we propose a direct k-way partitioning algorithm that allows us to improve our biased partitioning. Finally, an experimental study validates our algorithms against state-of-the-art partitioning tools.

Un réseau sans fil multi-saut est un ensemble d'entités mobiles et/ou fixes formant un réseau dynamique temporaire avec ou sans l'aide de toute administration centralisée. Cette particularité rend le routage problématique en cas d'instabilité des éléments qui composent les communications non directes. Afin de palier ces problèmes, de nouvelles formes de routage sont utilisées comme le routage multi-chemin (MC). Le routage MC permet d'envoyer les données sur des chemins multiples et semble être une solution efficace pour ces réseaux. Le but de cette thèse est d'étudier les techniques de routage MC dans un contexte sans fil multi-saut en vue d'obtenir de meilleures performances. Nous avons choisi pour notre étude une extension MC du protocole OLSR, appelée MP-OLSR. Nous évaluons ses performances sous divers scénarios sous NS-2. Ces tests d'évaluation nous ont amenés à mettre en 'evidence deux problèmes dans MP-OLSR : la réactivité du protocole de routage MC suite à des ruptures de route et la stratégie de répartition des données sur les chemins multiples. Nous avons étudié la réactivité de tels mécanismes dans MP-OLSR. Nous avons proposé trois nouvelles techniques de réparation de pannes qui diminuent les temps de rétablissement d'une route et réduisent le taux de perte des flux transmis. Nous proposons aussi un mécanisme qui détecte la dégradation de la qualité des liens durant le transfert d'un trafic de données. Les informations déduites de ce mécanisme servent à adapter la proportion de trafic à affecter à chaque chemin selon les conditions réseaux. Cette nouvelle variante du protocole MP-OLSR est évaluée par simulation.

Dans le contexte du calcul scientique, l'équilibrage de la charge est un problème crucial qui conditionne la performance des simulations numériques parallèles. L'objectif est de répartir la charge de travail entre un nombre de processeurs donné, afin de minimiser le temps global d'exécution. Une stratégie populaire pour résoudre ce problème consiste à modéliser la simulation à l'aide d'un graphe et à appliquer des algorithmes de partitionnement. En outre, les simulations numériques tendent à se complexifier, notamment en mixant plusieurs codes représentant des physiques différentes ou des échelles différentes. On parle alors de couplage de codes multi-physiques ou multi-échelles. Dans ce contexte, le problème de l'équilibrage de charge devient également plus difficile, car il ne s'agit plus d'équilibrer chacun des codes séparément, mais l'ensemble de ces codes pris dans leur globalité. Dans ce travail, on propose de resoudre ce problème en utilisant le modèle de partitionnement à sommets fixes qui pourrait représenter efficacement les contraintes supplémentaires imposées par les codes couplés (co-partitionnement). Nous avons donc développé un algorithme direct de partitionnement de graphe qui gère des sommets fixes. L'algorithme a été implémenté dans le partitionneur Scotch et une série d'expériences ont été menées sur la collection des graphes DIMACS. Ensuite nous avons proposé trois algorithmes de co-partitionnement qui respectent les contraintes issues des codes couplés respectifs. Nous avons egalement validé nos algorithmes par une étude expérimentale en comparant nos méthodes aux strategies actuelles sur des cas artificiels ainsi que sur des codes réels couplés. / Load balancing is an important step conditioning the performance of parallel applications. The goal is to distribute roughly equal amounts of computational load across a number of processors, while minimising interprocessor communication. A common approach to model the problem is based on graph structures and graph partitioning algorithms. Moreover, new challenges involve the simulation of more complex physical phenomena, where different parts of the computational domain exhibit different physical behavior. Such simulations follow the paradigm of multi-physics or multi-scale modeling approaches. Combining such different models in massively parallel computations is still a challenge to reach high performance. Additionally, traditional load balancing algorithms are often inadequate, and more sophisticated solutions should be explored. In this thesis, we propose new graph partitioning algorithms that balance the load of such simulations, refered to as co-partitioning. We formulate this problem with the use of graph partitioning with initially fixed vertices which we believe represents efficiently the additional constraints of coupled simulations. We have therefore developed a direct algorithm for graph partitioning that manages successfully problems with fixed vertices. The algorithm is implemented inside Scotch partitioner and a series of experiments were carried out on the DIMACS graph collection. Moreover we proposed three copartitioning algorithms that respect the constraints of the respective coupled codes. We finally validated our algorithms by an experimental study comparing our methods with current strategies on artificial cases and on real-life coupled simulations.

Les progrès technologiques réalisés ces dernières années ont permis le développement de nouveaux types de capteurs dotés de moyens de communication sans fil, peu onéreux et pouvant être configurés pour former des réseaux autonomes. Les domaines d'application sont nombreux : domotique, santé, domaine militaire ou bien encore surveillance de phénomènes environnementaux. Les limites imposées sont la limitation des capacités de traitement, de stockage et surtout d'énergie. La liberté laissée à l'implantation est forte et impose de concevoir complètement l'infrastructure, les mécanismes et les protocoles en fonction de l'application visée. Dans cette thèse, nous nous sommes tout d'abord focalisés sur des réseaux de petites tailles. Nous avons conçu une solution protocolaire "Placide" pour le suivi de la chaîne du froid proposée dans le cadre du projet ANR-CAPTEURS. L'originalité première de la solution repose sur l'absence d'infrastructure et de Station de Base. Elle est composée de protocoles performants fondés sur la formation d'un anneau virtuel entre les noeuds, auto-organisants et très économes en énergie. Le second axe est dédié à une étude expérimentale de la qualité du lien.L'objectif est double. Nous souhaitions tout d'abord étayer certaines hypothèses effectuées dans la première partie du travail. Il s'agissait ensuite de proposer des protocoles et des algorithmes fondés sur la qualité du lien. Nous nous sommes focalisés sur la variation de la qualité du lien en fonction de la distance entre les noeuds et de la puissance de transmission. Par la suite, l'impact de la qualité du lien sur la topologie du réseau a été étudiée. Les retours d'expérience sont importants quant à la compréhension des facteurs affectant la durée de vie du réseau. La dernière contribution concerne l'exploitation de ces observations en proposant des stratégies de partage decharge. Notre idée est que des protocoles très réduits et des mécanismes simples peuvent être mis en oeuvre pour le routage. Nous illustrons ces principes au travers d'exemples pour lesquels nous montrons la supériorité de ces solutions par rapport à des routages de type plus court chemin. / Technological advances during the last few years allowed the development of new and cheap sensors equiped with wireless communication which can be configured to form autonomous networks. The application areas for wireless sensor networks (WSN) are various: home automations, health care services, military domain, and environment monitoring. The imposed constraints are limited capacity of processing, storage, and especially energy. In addition, implementing WSN solutions is highly open and requires that the infrastructure, the mechanisms and the protocols should be completely designed based on each specific application.In this thesis, we first focused on small networks. We designed « Placide », a protocol stack solution for cold chain monitoring proposed within the ANR-CAPTEURS project. The first originality of this solution is based on the absence of infrastructure and base stations. « Placide » is composed of self-organizing and energy-efficient protocols based on a virtual ring construction between nodes. The second topic is devoted to an experimental study on Link Quality Indicator (LQI). There are two main objectives. Firstly, we want to endorse our precise assumptions of the first part of the work. Secondly, our poposed link quality based protocols and algorithms willbe described. We focused on LQI variations according to distance between nodes and transmission power.Thereafter, the impact of LQI on the network topology has been studied. Feedbacks are important to understand which factors affect the network lifetime. The last contribution relates to the use of these observations by proposing load balancing strategies. Our idea is that very reduced protocols and simple mechanisms can be used in routing protocols. We illustrate these principles through simple examples where we show the superiority of these solutions compared to standard routing like shortest path for example.

Les grilles et les clouds sont deux types aujourd'hui largement répandus de systèmes informatiques distribués (en anglais DCS). Ces DCS sont des systèmes complexes au sens où leur comportement global émergent résulte de l'interaction décentralisée de ses composants, et n'est pas guidée directement de manière centralisée. Dans notre étude, nous présentons un modèle de système complexe qui gère de manière la plus efficace possible les ressources d'un DCS. Les entités d'un DCS réagissent à l'instabilité du système et s'ajustent aux conditions environnementales pour optimiser la performance du système. La structure des réseaux d'interaction qui permettent un accès rapide et sécurisé aux ressources disponibles est étudiée, et des améliorations proposées. / Grids and clouds are types of currently widely known distributed computing systems or DCSs. DCSs are complex systems in the sense that their emergent global behavior results from decentralized interaction of its parts and is not guided directly from a central point. In our study, we present a complex system model that efficiently manages the ressources of a DCS. The entities of the DCS react to system instability and adjust their environmental condtions for optimizing system performance. The structure of the interaction networks that allow fast and reliable access to available resources is studied and improvements ar proposed.

Le SDN (Software-Defined Networking) émerge comme une nouvelle architecture pour la programmation des réseaux. A l'origine, l'idée du SDN est de déplacer le plan de contrôle à l'extérieur des équipements, et de permettre ainsi un contrôle déporté de l'ensemble depuis une entité logicielle logique nommée "contrôleur". Le principal avantage d'une telle approche est de centraliser donc toute l'intelligence de gestion du réseau dans le contrôleur, qui s'appuie pour cela sur des protocoles standard et assure par ce biais la reprogrammation de la totalité de la partie du réseau sous son contrôle. L'évolution technologique vers le SDN est toujours en cours dans des scénarios de déploiement programmable et flexible des réseaux mobiles. Le NFV (Network Function Virtualization) est le processus de déplacement ou de migration des fonctions réseau d'un équipement dédié de réseau vers des serveurs génériques dans le Cloud. Les SDN et NFV sont deux technologies étroitement liées qui sont souvent utilisées ensemble. Le couplage fort entre les plans de contrôle et de données, ainsi que les limitations en matière de passage à l'échelle et de flexibilité, font que la virtualisation des réseaux mobiles actuels nécessite non seulement l'utilisation du Cloud Computing mais aussi les récentes innovations telles que SDN et NFV pour pouvoir permettre un déploiement à la demande des services réseaux (Network-as-a-Service) aux utilisateurs. Les lignes de recherche globales de cette thèse s'inscrivent dans deux principaux cas d'utilisation. Ces cas d'utilisation, bien qu'appelés de la "prochaine génération de réseaux mobiles", sont le "Telco" et le "Vertical", qui apparaissent ici couplés, les deux étant traditionnellement complètement séparés. Dans les cas d'utilisation de "télécommunications", nous exploitons les avantages de SDN pour avoir un cadre de contrôle flexible pour les réseaux d'auto-organisation (SON) et la division de traitement dynamique des utilisateurs. Dans le cas d'utilisation de "verticale", nous appliquons divers avantages du protocole SDN et OpenFlow pour utiliser efficacement les ressources radio du réseau de backhaul dans le système de communication train-sol. Notre cadre d'étude du SDN, en général, peut être une solution efficace et alternative pour la gestion RAN (Radio Access Network), c'est-à-dire pour des objectives comme l'optimisation des ressources radio, l'optimisation du réseau, la gestion de la mobilité et l'équilibrage de la charge, peuvent être atteint avec ce cadre. Grâce à l'analyse et l'expérimentation concrète des SDN et NFV pour le RAN, nous montrons que les solutions proposées dans ce travail peuvent apporter un faisceau d'avantages évidents aux réseaux mobiles tels que la flexibilité, la programmabilité, la gestion unifiée et la mise en œuvre de nouveaux services / Software-Defined Networking (SDN) has emerged as a new intelligent architecture for network programmability. The primary idea behind SDN is to move the control-plane outside the switches and enable external control of data-plane through a logical software entity called controller. Such approach benefits mobile network management by brining complete intelligence to the logically centralized controller. Network Function Virtualization (NFV) is the process of relocating or migrating network functions from dedicated hardware to generic servers. SDN and NFV are two closely related technologies that are often used together. The traditional mobile network architecture due to its strongest coupling between control and data planes along with limitations in scalability and flexibility requires the usage of cloud computing along with the recent revolutionary approaches in networking such as SDN and NFV to have an architecture that deploys on demand "Network-as-a-Service" for users. The global research focus of this thesis falls in to two main use cases of next generation mobile networks such as Telco and Vertical. In the telco use cases, we exploit the advantages of SDN to have flexible control framework for both Self-Organizing Networks (SON) and dynamic user processing split. In vertical use case, we apply various advantages of SDN and OpenFlow protocol to efficiently utilize the scare radio resources of wireless backhaul network in the train-to-ground communication system. Our SDN framework in general can be an efficient and alternative solution for RAN management i.e. Radio Optimization, Network Optimization, Mobility Management and Load Balancing can be achieved with such framework. Through analysis and experimentation of SDN frameworks for RAN, we shows that the proposed solutions can bring set of advantages to wireless networks such as flexibility, programmability, unified management, and enables new services

Un réseau sans fil multi-saut est un ensemble d’entités mobiles et/ou fixes formant un réseau dynamique temporaire avec ou sans l’aide de toute administration centralisée. Cette particularité rend le routage problématique en cas d’instabilité des éléments qui composent les communications non directes. Afin de palier ces problèmes, de nouvelles formes de routage sont utilisées comme le routage multi-chemin (MC). Le routage MC permet d’envoyer les données sur des chemins multiples et semble être une solution efficace pour ces réseaux. Le but de cette thèse est d’étudier les techniques de routage MC dans un contexte sans fil multi-saut en vue d’obtenir de meilleures performances. Nous avons choisi pour notre étude une extension MC du protocole OLSR, appelée MP-OLSR. Nous évaluons ses performances sous divers scénarios sous NS-2. Ces tests d’évaluation nous ont amenés à mettre en ´evidence deux problèmes dans MP-OLSR : la réactivité du protocole de routage MC suite à des ruptures de route et la stratégie de répartition des données sur les chemins multiples. Nous avons étudié la réactivité de tels mécanismes dans MP-OLSR. Nous avons proposé trois nouvelles techniques de réparation de pannes qui diminuent les temps de rétablissement d’une route et réduisent le taux de perte des flux transmis. Nous proposons aussi un mécanisme qui détecte la dégradation de la qualité des liens durant le transfert d’un trafic de données. Les informations déduites de ce mécanisme servent à adapter la proportion de trafic à affecter à chaque chemin selon les conditions réseaux. Cette nouvelle variante du protocole MP-OLSR est évaluée par simulation. / Wireless multi-hop networks consist of a collection of mobile and/or fixed nodes which dynamically exchange data with (or without) reliance on a (any) centralized administration. They are by definition self-organized. The frequent topological changes make multi-hop routing a crucial issue for these networks. To overcome these problems, new forms of routing schemes are used as the multipath routing (MP). MP routing uses multiple paths to send data and can be regarded as an effective solution for these networks. The purpose of this PhD thesis is to study the MP routing techniques in a wirelessmulti-hop context for better performance. We choose for our study a MP extension of OLSR, called MP-OLSR. We evaluate its performance under various scenarios in NS-2. These tests have led us to highlight two problems in MP-OLSR : the long recovery delays when facing network failure situations and the allocation strategy of data on multiple paths. We define and seek to evaluate the latency introduced by both protocols OLSR and MP-OLSR to find a new path after a link failure. We propose three new different recovery schemes and accordingly extend these original protocols in order to decrease theexpected latency and reduce the packet loss rate of transmitted flow. We also propose a mechanism which is able to detect the deterioration of the link quality during the transfer of data traffic. The information derived from this mechanism is used to adjust the proportion of traffic to be assigned to each path according to network conditions. This new version of MP-OLSR protocol is evaluated by simulation.