La simulation est un outil puissant pour étudier les systèmes distribués. Elle permet aux chercheurs d’évaluer différents scénarios de manière reproductible, ce qui est impossible à travers des expériences réelles. Cependant, les simulations reposent souvent sur des modèles simplifiés, dont le réalisme est trop rarement étudié dans la littérature. Ceci mène à une pertinence et une applicabilité discutables des résultats obtenus. Dans ce contexte, l'objectif principal de notre travail est d'améliorer le réalisme de la simulation en mettant l'accent sur le transfert de fichiers dans un système distribué à large échelle, tel que l’infrastructure de production EGI. Le réalisme de la simulation est étudié ici au travers de deux aspects principaux : le simulateur et le modèle de plate-forme (l’infrastructure distribuée). Ensuite, à partir de simulations réalistes, nous proposons des recommandations fiables pour améliorer la gestion des fichiers à travers des portails scientifiques, tels que la plate-forme d'imagerie virtuelle (VIP). Afin de reproduire de manière réaliste les comportements du système réel en simulation, nous devons en obtenir une vue de l'intérieur. Par conséquent, nous recueillons et analysons un ensemble de traces d’exécutions d'une application particulière exécutée sur EGI via VIP. En plus des traces, nous identifions et examinons les composants du système réel à reproduire de manière réaliste en simulation. Il s’agit, par exemple, des algorithmes utilisés pour la sélection d’un réplica dans le système de production. Nous simulons ensuite ces composants en utilisant les mécanismes mis à disposition par SimGrid. Nous construisons, à partir des traces, un modèle de plate-forme réaliste essentiel à la simulation des transferts des fichiers. La précision de notre modèle de plate-forme est évaluée en confrontant les résultats de simulations avec la vérité terrain des transferts réels. Nous montrons que le modèle proposé surpasse largement le modèle issu de l’état de l’art pour reproduire la variabilité réelle des transferts de fichiers sur EGI. Ce modèle est ensuite enrichi pour permettre l’analyse de nouveaux scénarios, au-delà de la reproduction des traces d’exécution en production. Enfin, nous évaluons différentes stratégies de réplication de fichiers par simulation en utilisant deux modèles différents: un modèle issu de l’état de l’art amélioré et notre modèle de plate-forme construit à partir des traces. Les résultats de simulations montrent que les deux modèles conduisent à des décisions de réplication différentes, même s’ils reflètent une topologie de réseau hiérarchique similaire. Ceci montre que le réalisme du modèle de plateforme utilisé en simulation est essentiel pour produire des résultats pertinents et applicables aux systèmes réels. / Simulation is a powerful tool to study distributed systems. It allows researchers to evaluate different scenarios in a reproducible manner, which is hardly possible in real experiments. However, the realism of simulations is rarely investigated in the literature, leading to a questionable accuracy of the simulated metrics. In this context, the main aim of our work is to improve the realism of simulations with a focus on file transfer in a large distributed production system (i.e., the EGI federated e-Infrastructure (EGI)). Then, based on the findings obtained from realistic simulations, we can propose reliable recommendations to improve file management in the Virtual Imaging Platform (VIP). In order to realistically reproduce certain behaviors of the real system in simulation, we need to obtain an inside view of it. Therefore, we collect and analyze a set of execution traces of one particular application executed on EGI via VIP. The realism of simulations is investigated with respect to two main aspects in this thesis: the simulator and the platform model. Based on the knowledge obtained from traces, we design and implement a simulator to provide a simulated environment as close as possible to the real execution conditions for file transfers on EGI. A complete description of a realistic platform model is also built by leveraging the information registered in traces. The accuracy of our platform model is evaluated by confronting the simulation results with the ground truth of real transfers. Our proposed model is shown to largely outperform the state-of-the-art model to reproduce the real-life variability of file transfers on EGI. Finally, we cross-evaluate different file replication strategies by simulations using an enhanced state-of-the-art model and our platform model built from traces. Simulation results highlight that the instantiation of the two models leads to different qualitative decisions of replication, even though they reflect a similar hierarchical network topology. Last but not least, we find that selecting sites hosting a large number of executed jobs to replicate files is a reliable recommendation to improve file management of VIP. In addition, adopting our proposed dynamic replication strategy can further reduce the duration of file transfers except for extreme cases (very poorly connected sites) that only our proposed platform model is able to capture.

De nombreuses applications peuvent être formulées en termes de systèmes distribués que ce soit une nécessité face à une distribution physique des entités (réseaux, robotique mobile) ou un moyen adopté face à la complexité d'appréhender un problème de manière globale. A travers l'utilisation conjointe de méthodes dites d'apprentissage par renforcement et des systèmes multi-agents, des agents autonomes coopératifs peuvent apprendre à résoudre de manière décentralisée des problèmes complexes en s'adaptant à ceux-ci afin de réaliser un objectif commun. Les méthodes d'apprentissage par renforcement ne nécessitent aucune connaissance a priori sur la dynamique du système, celui-ci pouvant être stochastique et non-linéaire. Cependant, afin d'améliorer la vitesse d'apprentissage, des méthodes d'injection de connaissances pour les problèmes de plus court chemin stochastique sont étudiées et une fonction d'influence générique est proposée. Nous nous intéressons ensuite au cas d'agents indépendants situés dans des jeux de Markov d'équipe. Dans ce cadre, les agents apprenant par renforcement doivent surmonter plusieurs enjeux tels que la coordination ou l'impact de l'exploration. L'étude de ces enjeux permet tout d'abord de synthétiser les caractéristiques des méthodes décentralisées d'apprentissage par renforcement existantes. Ensuite, au vu des difficultés rencontrées par ces approches, deux algorithmes sont proposés. Le premier est le Q-learning hystérétique qui repose sur des agents "à tendance optimiste réglable ". Le second est le Swing between Optimistic or Neutral (SOoN) qui permet à des agents indépendants de s'adapter automatiquement à la stochasticité de l'environnement. Les expérimentations sur divers jeux de Markov d'équipe montrent notamment que le SOoN surmonte les principaux facteurs de non-coordination et est robuste face à l'exploration des autres agents. Une extension de ces travaux à la commande décentralisée d'un système distribué de micromanipulation (smart surface) dans un cas partiellement observable est enfin exposée.

Plusieurs applications scientifiques effectuent des calculs sur des matrices creuses de grandes tailles. Pour des raisons d'efficacité en temps et en espace lors du traitement de ces matrices, elles sont stockées selon des formats compressés adéquats. D'un autre coté, la plupart des calculs scientifiques creux se ramènent aux deux problèmes fondamentaux d'algèbre linéaire i.e. la résolution de systèmes linéaires et le calcul d'éléments (valeurs/vecteurs) propres de matrices. Nous étudions dans ce mémoire la distribution, au sein d'un Système Distribué à Grande Echelle (SDGE), des calculs dans des méthodes itératives de résolution de systèmes linéaires et de calcul d'éléments propres et ce, dans le cas creux. Le produit matricevecteur creux (PMVC) constitue le noyau de base pour la plupart de ces méthodes. Notre problématique se ramène en fait à l'étude de la distribution du PMVC sur un SDGE. Généralement, trois étapes sont nécessaires pour accomplir cette tâche, à savoir, (i) le prétraitement, (ii) le traitement et (iii) le post-traitement. Dans la première étape, nous procédons d'abord à l'optimisation de quatre versions de l'algorithme du PMVC correspondant à quatre formats de compression spécifiques de la matrice, puis étudions leurs performances sur des machines cibles séquentielles. Nous nous focalisons de plus sur l'étude de l'équilibrage des charges pour la distribution des données traitées (se ramenant en fait aux lignes de la matrice creuse) sur un SDGE. Concernant l'étape de traitement, elle a consisté à valider l'étude précédente par une série d'expérimentations réalisées sur une plate-forme gérée par l'intergiciel XtremWeb-CH. L'étape de post-traitement, quant à elle, a consisté à analyser et interpréter les résultats expérimentaux obtenus au niveau de l'étape précédente et ce, afin d'en tirer des conclusions adéquates.

L´objectif pour ce travail est de proposer une solution de sécurité pour contrôler des flux d´information, spécifiquement par un mécanisme de contrôle d´accès et de flux. L´objectif vise les applications réparties en utilisant les objets actifs avec des communications asynchrones. Il inclut une politique de sécurité et les mécanismes qui imposeront les règles présentes dans de telles politiques. <br />La confidentialité des données et des flux d´information sécurisés est fournie par une vérification dynamique des communications. Tandis que les flux d´information sont généralement vérifiés statiquement, notre attention est concentrée sur des vérifications dynamiques. Pour la réaliser, le modèle proposé a une politique de contrôle de l´information qui inclut des règles discrétionnaires, et comme ces règles sont dynamiquement exécutables, il est possible de tirer profit des contrôles dynamiques pour effectuer en même temps tous les contrôles obligatoires. Les autres avantages de cette approche font que: les contrôles dynamiques n´exigent pas la modification des compilateurs, ne changent pas le langage de programmation, n´exigent pas des modifications aux codes sources existants, et fournissent une flexibilité au moment d´exécution. Ainsi, les contrôles dynamiques sont bien adaptés pour être inclus dans une couche logiciel de type middleware, qui, d´une façon non-intrusive, fournit et assure des services de sécurité aux applications de niveau supérieur. Le modèle de programmation fondamental est basé sur les objets actifs, les communications asynchrones, et les synchronisations de flux de données.

Nous présentons dans ces travaux une contribution concernant la distribution de simulations de système complexe dans des environnements distribués ouverts. Nous considérons ces environnements comme des écosystèmes computationnels, dont nous décrivons les propriétés et les caractéristiques, dans lesquels évoluent, de par leur exécution, les simulations. Elles sont modélisées sous la forme d'un réseau d'interactions représenté à l'aide d'un graphe dynamique. En considérant les différentes dynamiques possibles, nous proposons un formalisme général représentant ces graphes, ainsi qu'une interface de programmation, GraphStream, permettant de les manipuler et de les étudier.Le graphe dynamique est alors un sujet d'étude dans lequel nous recherchons des organisations, que nous suivons dans le temps, afin de minimiser les coûts de communication entre les machines et d'équilibrer la charge de calcul. Nous apportons une amélioration visant à réduire les oscillations des résultats de l'algorithme AntCo2 utilisant des colonies de fourmis numériques qui, grâce à des mécanismes de compétition et de collaboration, détecte des organisations. La stabilité de ces dernières est déterminée par l'intermédiaire d'une heuristique de recherche distribuée et dynamique de centroïdes.Un intergiciel est proposé permettant de distribuer de manière décentralisée et dynamique les simulations dans un écosystème computationnel en favorisant les organisations et en respectant l'équilibrage de charge.

Ce mémoire décrit la conception, la modélisation et la commande d'un manipulateur pneumatique, fondé sur un principe de traction aérodynamique original. De puissants jets d'air verticaux permettent de créer un flux d'air horizontal pour manipuler des objets sans contact. Les objets sont maintenus en constante lévitation sur la surface grâce à un coussin d'air, et peuvent être positionnés selon trois degrés de liberté du plan, grâce à la combinaison adéquate et distribuée de jets d'air verticaux. Nous détaillons la conception d'un prototype original de manipulateur exploitant ce principe fluidique. Ce prototype a été intégré dans une plate-forme expérimentale afin de valider le principe de manipulation : le système permet de déplacer des objets à une vitesse atteignant 180 mm/s. Nous avons modélisé le fonctionnement de la surface selon plusieurs méthodes. Un premier modèle comportemental, fondé sur des données expérimentales, a été établi. Il permet de simuler l'évolution de la position d'un objet sur la surface, selon un degré de liberté. Deux modèles de connaissance, fondés sur une étude aérodynamique fondamentale, donnent l'évolution de la position de l'objet selon respectivement deux et trois degrés de liberté du plan. Chacun des modèles a été validé expérimentalement. Nous avons synthétisé différents contrôleurs afin d'asservir la position de l'objet : un premier, de type PID, et un second, de type robuste (méthode H1). La commande de un, puis deux degrés de liberté du système, a permis d'atteindre de bonnes performances : temps de réponse d'environ 2 s et dépassement souvent inférieur 'a 5%. Nous avons également étudié un micro-manipulateur pneumatique permettant de déplacer des objets de taille millimétrique selon deux directions, grâce à des jets d'air inclinés. Ces objets peuvent atteindre des vitesses de 123 mm/s. La résolution du positionnement est inférieure 'a 0.4 μm.

Les architectures distribuées sont fréquemment utilisées pour le calcul haute performance (HPC). Afin de réduire la consommation énergétique, certains fabricants de processeurs sont passés d’architectures multi-cœurs en mémoire partagée aux MPSoC. Les MPSoC (Multi-Processor System On Chip) sont des architectures incluant un système distribué dans une puce.La programmation des architectures distribuées est plus difficile que pour les systèmes à mémoire partagée, principalement à cause de la nature distribuée de la mémoire. Une famille d’outils nommée DSM (Distributed Shared Memory) a été développée pour simplifier la programmation des architectures distribuées. Cette famille inclut les architectures NUMA, les langages PGAS, et les supports d’exécution distribués pour graphes de tâches. La stratégie utilisée par les DSM est de créer un espace d’adressage global pour les objets du programme, et de faire automatiquement les transferts réseaux nécessaires lorsque ces objets sont utilisés. Les systèmes DSM sont très variés, que ce soit par l’interface fournie, les fonctionnalités, la sémantique autour des objets globalement adressables, le type de support (matériel ou logiciel), ...Cette thèse présente un nouveau système DSM à support logiciel appelé Givy. Le but de Givy est d’exécuter sur des MPSoC (MPPA) des programmes sous la forme de graphes de tâches dynamiques, avec des dépendances de flot de données (data-flow ). L’espace d’adressage global (GAS) de Givy est indexé par des vrais pointeurs, contrairement à de nombreux autres systèmes DSM à support logiciel : les pointeurs bruts du langage C sont valides sur tout le système distribué. Dans Givy, les objets globaux sont les blocs de mémoire fournis par malloc(). Ces blocs sont répliqués entre les nœuds du système distribué, et sont gérés par un protocole de cohérence de cache logiciel nommé Owner Writable Memory. Le protocole est capable de déplacer ses propres métadonnées, ce qui devrait permettre l’exécution efficace de programmes irréguliers. Le modèle de programmation impose de découper le programme en tâches créées dynamiquement et annotées par leurs accès mémoire. Ces annotations sont utilisées pour générer les requêtes au protocole de cohérence, ainsi que pour fournir des informations à l’ordonnanceur de tâche (spatial et temporel).Le premier résultat de cette thèse est l’organisation globale de Givy. Une deuxième contribution est la formalisation du protocole Owner Writable Memory. Le troisième résultat est la traduction de cette formalisation dans le langage d’un model checker (Cubicle), et les essais de validation du protocole. Le dernier résultat est la réalisation et explication détaillée du sous-système d’allocation mémoire : le choix de pointeurs bruts en tant qu’index globaux nécessite une intégration forte entre l’allocateur mémoire et le protocole de cohérence de cache. / Distributed systems are widely used in HPC (High Performance Computing). Owing to rising energy concerns, some chip manufacturers moved from multi-core CPUs to MPSoC (Multi-Processor System on Chip), which includes a distributed system on one chip.However distributed systems – with distributed memories – are hard to program compared to more friendly shared memory systems. A family of solutions called DSM (Distributed Shared Memory) systems has been developed to simplify the programming of distributed systems. DSM systems include NUMA architectures, PGAS languages, and distributed task runtimes. The common strategy of these systems is to create a global address space of some kind, and automate network transfers on accesses to global objects. DSM systems usually differ in their interfaces, capabilities, semantics on global objects, implementation levels (hardware / software), ...This thesis presents a new software DSM system called Givy. The motivation of Givy is to execute programs modeled as dynamic task graphs with data-flow dependencies on MPSoC architectures (MPPA). Contrary to many software DSM, the global address space of Givy is indexed by real pointers: raw C pointers are made global to the distributed system. Givy global objects are memory blocks returned by malloc(). Data is replicated across nodes, and all these copies are managed by a software cache coherence protocol called Owner Writable Memory. This protocol can relocate coherence metadata, and thus should help execute irregular applications efficiently. The programming model cuts the program into tasks which are annotated with memory accesses, and created dynamically. Memory annotations are used to drive coherence requests, and provide useful information for scheduling and load-balancing.The first contribution of this thesis is the overall design of the Givy runtime. A second contribution is the formalization of the Owner Writable Memory coherence protocol. A third contribution is its translation in a model checker language (Cubicle), and correctness validation attempts. The last contribution is the detailed allocator subsystem implementation: the choice of real pointers for global references requires a tight integration between memory allocator and coherence protocol.

La programmation distribuée est une tâche difficile. Elle a énormément gagné en importance avec le développement des réseaux qui supportent un nombre croissant exponentiellement d’applications. Les systèmes distribués fournissent des fonctionnalités assurées par les noeuds qui forment un réseau et échangent des données et services, éventuellement par le biais de messages. La provenance du service n’est souvent pas pertinente, alors que sa fiabilité est essentielle. Notre objectif est de fournir un nouveau modèle de communication qui permet de spécifier intentionnellement lequel service est demandé, et non les noeuds qui le fournissent. Cette spécification intentionnelle des échanges offre un potentiel pour faciliter la programmation distribuée, garantir la persistance des données dans les messages et la résilience des systèmes, qui constituent le sujet de cette thèse. Nous proposons donc un cadre qui supporte des messages avec destinations intentionnelles, qui sont évaluées uniquement à la volée au fur et à mesure du déplacement des messages. Nous introduisons un langage, Questlog, qui gère les destinations intentionnelles. Contrairement aux langages à base de règles existants pour les réseaux, comme Datalog, qui suivent le mode push, Questlog permet d’exprimer des stratégies complexes afin de récupérer de manière récursive des données distribuées en mode pull. Le langage fonctionne sur une machine virtuelle qui s’appuie sur un SGBD. Nous démontrons l’approche avec des exemples pris dans deux domaines: (i) les architectures orientées données, où une classe restreinte d’applications client-serveur sont distribuées de manière transparente sur les systèmes pair-à-pair basés sur une DHT, (ii) les réseaux de capteurs sans fil, où un protocole de groupement des noeuds en clusters virtuels est proposé pour agréger les données. Dans ce protocole, les chefs des clusters sont élus à l’aide des destinations intentionnelles. Nos simulations sur la plate-forme QuestMonitor montre que cette approche offre une simplicité, une modularité aux protocoles, ainsi qu’une fiabilité accrue. / Distributed programming is a challenging task. It has tremendously gained importance with the wide development of networks, which support an exponentially increasing number of applications. Distributed systems provide functionalities that are ensured by nodes which form a network and exchange data and services possibly through messages. The provenance of the service is often not relevant, while its reliability is essential. Our aim is to provide a new communication model which allows to specify intensionally what service is needed as opposed to which nodes provide it. The intensional specification of exchanges offers a potential to facilitate distributed programming, to provide persistence of data in messages and resilience of systems, that constitute the topic of this thesis. We propose a framework that supports messages with intensional destinations, which are evaluated only on the fly while the messages are traveling. We introduce a rule-based language, Questlog, to handle the intensional destinations. In contrast to existing network rule-based languages, which like Datalog follow the push mode, Questlog allows to express complex strategies to recursively retrieve distributed data in pull mode. The language runs over a virtual machine which relies on a DBMS. We demonstrate the approach with examples taken from two domains: (i) data-centric architectures, where a class of restricted client-server applications are seamlessly distributed over peer-to-peer systems based on a DHT, and (ii) wireless sensor networks, where a virtual clustering protocol is proposed to aggregate data, in which cluster heads are elected using intensional destinations. Our simulations on the QuestMonitor platform demonstrates that this approach offers simplicity and modularity to protocols, as well as an increased reliability.

Ce mémoire décrit et évalue un système de module qui améliore la migration de code dans le langage de programmation distribuée Termite Scheme. Ce système de module a la possibilité d’être utilisé dans les applications qu’elles soient distribuées ou pas. Il a pour but de faciliter la conception des programmes dans une structure modulaire et faciliter la migration de code entre les nœuds d’un système distribué. Le système de module est conçu pour le système Gambit Scheme, un compilateur et interprète du langage Scheme utilisé pour implanter Termite. Le système Termite Scheme est utilisé pour implémenter les systèmes distribués. Le problème qui est résolu est la diffusion de code compilé entre les nœuds d’un système distribué quand le nœud destination n’a aucune connaissance préalable du code qu’il reçoit. Ce problème est difficile car les nœuds sont hétérogènes, ils ont différentes architectures (x86, ARM). Notre approche permet d’identifier les modules de façon unique dans un contexte dis- tribué. La facilité d’utilisation et la portabilité ont été des facteurs importants dans la conception du système de module. Le mémoire décrit la structure des modules, leur implémentation dans Gambit et leur application. Les qualités du système de module sont démontrées par des exemples et la performance est évaluée expérimentallement. / This thesis presents a module system for Termite Scheme that supports distributed computing. This module system facilitates application modularity and eases code migration between the nodes of a distributed system. This module system also works for developing non-distributed applications. The Gambit Scheme system is used to implement the distributed Termite and the Module system. The problem that is solved is the migration of compiled code between nodes of a distributed system when the receiving node has no prior knowledge of the code. This is a challenging problem because the nodes are not homogenous, they have different architectures (ARM, x86). Our approach uses a naming model for the modules that uniquely identifies them in a distributed context. Both ease of use and portability were important factors in the design of the module system. The thesis describes a module system and how it was integrated into Gambit. The system allows developing distributed modular systems. The features of this system are shown through application examples and the performance is evaluated experimentally.

L'évolution des technologies de l'information ainsi que la miniaturisation constante des composants électroniques de ces dernières décennies ont permis de doter les objets de la vie de tous les jours de capacités de calcul et de communication. Ces objets connectés sont disséminés dans l'environnement de l'utilisateur et coopèrent les uns avec les autres afin de fournir à l'utilisateur des services intelligents de manière totalement transparente et non intrusive. Ces environnements sont caractérisés par une grande hétérogénéité ainsi qu'une grande dynamicité. Les intégrations dites verticales (les données des capteurs sont externalisées sur les serveurs d'une entreprise) permettent certes une interopérabilité plus importante, mais engendrent des problèmes de saturation des canaux de communication, ainsi que des questionnements sur la sécurité et la confidentialité de des informations. Pour pallier ces problèmes, les intégrations dites horizontales (les entités matérielles sont mises en relation directement au sein de l'infrastructure) sont encouragées. Dans cette thèse, nous adressons le problème du déploiement et de la configuration automatique d'applications au sein de tels environnements ambiants. Nous proposons des mécanismes permettant, à partir d'une description de l'environnement ambiant, la sélection et la configuration d'entités matérielles qui supporteront l'exécution des applications. Ces mécanismes ont été encapsulé dans un intergiciel basé sur le paradigme Multi-agents dans lequel les différents agents logiciels du système collaborent afin de sélectionner les entités de l'infrastructure respectant les besoins et les contraintes des applications à déployer. / Research domains like Ambient Intelligence or Internet of Things came up in the early 2000’s with the technologic improvement and the ongoing miniaturization of electronic devices. These electronic and information devices are scattered in the user’s environment, can communicate and exchange data more and more easily to provide intelligent and non-intrusive services to the users. However, it is difficult to have generic implementations of these applications. These difficulties are due the the high heterogeneity and dynamicity of the ambient environments. Vertical integrations of connected devices (data exchanges from the devices to external servers) allow more interoperability but generate overloads of the communication channels and privacy concerns. To prevent these problems, horizontal approaches (connected devices communicate directly together through the hardware infrastructure) have to be encouraged. In this thesis work, we address the problem of the automatic deployment and configuration of distributed applications in these ambient environments. We propose mechanisms that allow, from a description of the environment, the selection and the configuraion of the hardware entities that will support the execution of applications. These mechanisms are encapsulated in a middleware based on the multi-agent paradigm. The different agents of the system cooperate in order to select the right hardware entities that respects the requirements and the constraints of the applications we want to deploy.