La difficulté de programmation des architectures parallèles à mémoire distribuée est un obstacle à l'exploitation de leur puissance de calcul potentielle. Parmi les différentes approches proposées pour pallier à cette difficulté, celle de la compilation dirigée par les données semble prometteuse, notamment dans le domaine du calcul scientifique. Le programme source, exprimé par exemple en HPF, est un programme séquentiel impératif dans lequel il est précisé comment sont réparties les données sur les processeurs ; le compilateur dérive un code parallèle en distribuant le contrôle d'après la distribution des données. La mise en oeuvre de cette approche nécessite le développement d'environnements complets. Cette thèse présente le travail réalisé dans le cadre d'un environnement de ce type : l'environnement Pandore. Nous nous sommes intéressés à la conception et la réalisation d'un exécutif portable et efficace qui doit être associé au compilateur ainsi qu'à l'évaluation des performances des programmes générés. Après avoir situé l'approche de la compilation par distribution de données dansle contexte plus large de la programmation des machines parallèles à mémoire distribuée, nous définissons des opérations de haut niveau qui permettent la description des schémas de compilation et la prise en compte des optimisations. Deux types de machines cibles sont considérés, d'une part des machines à messages et d'autre part des machines disposant d'un mécanisme de mémoire virtuelle partagée. Les points clés de la mise en oeuvre des opérations dans le compilateur et l'exécutif sont abordés. Nous insistons plus particulièrement sur la gestion des données distribuées et sur les optimisations des communications à l'exécution. Une mise en oeuvre réalisée dans l'environnement Pandore est ensuite détaillée. L'évaluation des performances des programmes est également étudiée, dans un premier temps par une série d'expérimentations sur plusieurs applications et dans un deuxième temps par la définition d'outils de mesure et de visualisation adaptés à la compilation par distribution de données.

La société de l'information demande un accès efficace à un ensemble d'informations qui sont souvent hétérogènes et distribuées. Dans le but d'un partage efficace de cette information, plusieurs solutions techniques ont été proposées. L'infrastructure Pair-à-Pair (P2P) est un paradigme émergent et offrant de nouvelles opportunités pour la mise en place de systèmes distribués à grande échelle. D'autre part, le concept de base de données distribuée a été introduit dans le but d'organiser une collection multiple de bases de données logiquement liées et distribuées sur un réseau d'ordinateurs. Récemment, les systèmes P2P de gestion de données communément appelés PDMS (Peer Data Management System) ont vu le jour. Ils combinent les avantages des systèmes P2P avec ceux des bases de données distribuées. Dans le but de contribuer à la recherche sur la gestion de données dans un contexte P2P, nous proposons le PDMS SenPeer. SenPeer suit une topologie super-pair basée sur l'organisation des pairs en communautés sémantiques en fonction de leur thème d'intérêt. Pour faciliter l'échange de données entre pairs nous établissons des processus de découverte de correspondances sémantiques et de reformulation de requêtes en présence de plusieurs modèles de données. Ces correspondances sémantiques, en combinaison avec les schémas des pairs sont à la base d'une topologie sémantique au dessus du réseau physique et utilisée pour un routage efficace des requêtes. Les requêtes sont échangées à travers un format commun d'échange de requête et un processus d'optimisation distribué permet de choisir le meilleur plan d'exécution de la requête en fonction des caractéristiques du PDMS. Une validation expérimentale par la mise en place d'un simulateur permet d'affirmer l'utilité et la performance des techniques proposées.

L'objectif de la thèse est d'étudier un système d'antennes distribuées radio sur fibre pour le WLAN IEEE802.11g OFDM à 2.45 GHz. A partir de modèles et de caractéristiques de la chaîne optique, nous avons déduit les limitations d'un tel système pour en déduire des solutions techniques. Le niveau du facteur de bruit de la liaison est élevé, tout comme son point de compression est assez faible, et cela entraîne une dynamique assez faible. Compte tenu que nous maîtrisons les niveaux des signaux, le lien descendant se comporte correctement. Pour le lien montant, et avec des circuits optoélectroniques disponibles, la dynamique du récepteur est fortement affectée. Compte tenu de la dynamique des signaux reçus, la norme radio ne peut être respectée sans un contrôle automatique de gain. Par simulation et mesure, nous avons analysé les performances du point d'accès ainsi amélioré, en étudiant la dynamique et l'EVM. Nous avons ensuite regardé l'effet de plusieurs antennes sur le système. De nouveau c'est le lien montant qui est pénalisant. Pour plusieurs architectures, nous avons étudié les performances et dimensionné le système total en fonction du nombre d'antennes à distribuer par fibres optiques. La sélection d'une antenne parmi toute semble nécessaire.

La génomique comparée est essentiellement une forme de fouille de données dans des grandes collections de relations n-aires. La croissance du nombre de génomes sequencés créé un stress sur la génomique comparée qui croit, au pire géométriquement, avec la croissance en données de séquence. Aujourd'hui même des laboratoires de taille modeste obtient, de façon routine, plusieurs génomes à la fois - et comme des grands consortia attend de pouvoir réaliser des analyses tout-contre-tout dans le cadre de ses stratégies multi-génomes. Afin d'adresser les besoins à tous niveaux il est nécessaire de repenser les cadres algorithmiques et les technologies de stockage de données utilisés pour la génomique comparée. Pour répondre à ces défis de mise à l'échelle, dans cette thèse nous développons des méthodes originales basées sur les technologies NoSQL et MapReduce. À partir d'une caractérisation des sorts de données utilisés en génomique comparée et d'une étude des utilisations typiques, nous définissons un formalisme pour le Big Data en génomique, l'implémentons dans la plateforme NoSQL Cassandra, et évaluons sa performance. Ensuite, à partir de deux analyses globales très différentes en génomique comparée, nous définissons deux stratégies pour adapter ces applications au paradigme MapReduce et dérivons de nouveaux algorithmes. Pour le premier, l'identification d'événements de fusion et de fission de gènes au sein d'une phylogénie, nous reformulons le problème sous forme d'un parcours en parallèle borné qui évite la latence d'algorithmes de graphe. Pour le second, le clustering consensus utilisé pour identifier des familles de protéines, nous définissons une procédure d'échantillonnage itérative qui converge rapidement vers le résultat global voulu. Pour chacun de ces deux algorithmes, nous l'implémentons dans la plateforme MapReduce Hadoop, et évaluons leurs performances. Cette performance est compétitive et passe à l'échelle beaucoup mieux que les algorithmes existants, mais exige un effort particulier (et futur) pour inventer les algorithmes spécifiques.

Les réseaux mobiles ont un modèle en couches, avec: (1) un réseau d'accès IP offrant une connectivité IP aux utilisateurs; (2) une couche de contrôle de service, l'IMS; (3) une couche d'interaction pour le contrôle des politiques réseau, le PCC. Ce modèle, centralisé et hiérarchique, serait à l'origine de problèmes de passage à l'échelle et de qualité de service en cas d'explosion du volume de trafic de données à transporter. Dans cette thèse, un nouveau modèle pour les réseaux mobiles du futur est proposé: Ultra Flat Architecture (UFA). UFA utilise l'IMS pour le contrôle de tout type d'applications. UFA est dite plate car elle réduit le nombre de types de nœuds réseau à 2 principalement: (1) une Gateway UFA regroupant à la fois l'ensemble des fonctionnalités du réseau d'accès IP, de l'IMS et du PCC; (2) le terminal. Après la conception de l'architecture, nous avons spécifié et évalué trois procédures réseau principales pour UFA : l'enregistrement/authentification, l'établissement de service et la mobilité. Nous avons optimisé les deux premières procédures par rapport aux procédures standardisées de l'IMS. Par exemple, la procédure d'établissement de service présente un délai réduit et permet une configuration du service ou de la couche de transport selon les ressources disponibles dans le réseau. Nous avons développé une procédure de mobilité pour UFA, se basant sur le transfert, d'une Gateway UFA à une autre, des contextes de toutes les couches OSI liés au terminal, et sur la détermination proactive par la Gateway UFA des paramètres de toutes les couches du terminal. Tous les résultats obtenus montrent le grand intérêt d'UFA et des architectures plates plus généralement.

Une vallée hydroélectrique est constituée d'un nombre important de centrales interconnectées du fait de l'utilisation de la même ressource en eau. Pour pouvoir optimiser en temps réel sa production, il a été proposé dans cette thèse d'utiliser les méthodes associées aux systèmes à grande échelle pour développer les outils nécessaires. Cette étude de la commande globale du système a été orientée vers l'utilisation des méthodes de décomposition-coordination. Ces méthodes ont été examinées et appliquées à un cas d'étude simplifié (une partie de la vallée hydraulique) mis à disposition par EDF. Plus particulièrement, les méthodes de décomposition-coordination par les prix, ou encore par les prédictions des interactions, s'appuyant sur des commandes MPC, ont été considérées et comparées avec une commande centralisée. En vue d'une implémentation temps-réel, nous nous sommes intéressés à exprimer les problèmes d'optimisation comme des problèmes QP, pour ensuite obtenir des solutions explicites en utilisant une méthodologie de caractérisation géométrique. Nous avons proposé des formulations complètement explicites (niveau coordinateur et sous-systèmes) pour les deux méthodes. Des résultats de simulation avec des données réelles mises à disposition par EDF sont présentés. Afin de valider les méthodes conçues, une première phase d'implantation sur la plate-forme Supervision NG d'EDF permettant la communication avec un modèle de la vallée hydroélectrique (basé sur les équations de Saint Venant et la bathymétrie de la rivière), est enfin incluse dans ce mémoire.

Les systèmes distribués sont au cœur des technologies de l'information. Il est devenu classique de s'appuyer sur multiples unités distribuées pour améliorer la performance d'une application, la tolérance aux pannes, ou pour traiter problèmes dépassant les capacités d'une seule unité de traitement. La conception d'algorithmes adaptés au contexte distribué est particulièrement difficile en raison de l'asynchronisme et du non-déterminisme qui caractérisent ces systèmes. La simulation offre la possibilité d'étudier les performances des applications distribuées sans la complexité et le coût des plates-formes d'exécution réelles. Par ailleurs, le model checking permet d'évaluer la correction de ces systèmes de manière entièrement automatique. Dans cette thèse, nous explorons l'idée d'intégrer au sein d'un même outil un model checker et un simulateur de systèmes distribués. Nous souhaitons ainsi pouvoir évaluer la performance et la correction des applications distribuées. Pour faire face au problème de l'explosion combinatoire des états, nous présentons un algorithme de réduction dynamique par ordre partiel (DPOR), qui effectue une exploration basée sur un ensemble réduit de primitives de réseau. Cette approche permet de vérifier les programmes écrits avec n'importe laquelle des interfaces de communication proposées par le simulateur. Nous avons pour cela développé une spécification formelle complète de la sémantique de ces primitives réseau qui permet de raisonner sur l'indépendance des actions de communication nécessaire à la DPOR. Nous montrons au travers de résultats expérimentaux que notre approche est capable de traiter des programmes C non triviaux et non modifiés, écrits pour le simulateur SimGrid. Par ailleurs, nous proposons une solution au problème du passage à l'échelle des simulations limitées pour le CPU, ce qui permet d'envisager la simulation d'applications pair-à-pair comportant plusieurs millions de nœuds. Contrairement aux approches classiques de parallélisation, nous proposons une parallélisation des étapes internes de la simulation, tout en gardant l'ensemble du processus séquentiel. Nous présentons une analyse de la complexité de l'algorithme de simulation parallèle, et nous la comparons à l'algorithme classique séquentiel pour obtenir un critère qui caractérise les situations où un gain de performances peut être attendu avec notre approche. Un résultat important est l'observation de la relation entre la précision numérique des modèles utilisés pour simuler les ressources matérielles, avec le degré potentiel de parallélisation atteignables avec cette approche. Nous présentons plusieurs cas d'étude bénéficiant de la simulation parallèle, et nous détaillons les résultats d'une simulation à une échelle sans précédent du protocole pair-à-pair Chord avec deux millions de nœuds, exécutée sur une seule machine avec un modèle précis du réseau.

Les systèmes multiprocesseurs sur puce (MPSoC) mis en oeuvre dans les architecturesmulti-tuiles fournissent des solutions prometteuses pour exécuter des applicationssophistiquées et modernes. Une tuile contient au moins un processeur, unemémoire principale privée et des périphériques nécessaires associés à un dispositifchargé de la communication inter-tuile. Cependant, la fiabilité de ces systèmesest toujours un problème. Une réponse possible à ce problème est la migrationde tâches. Le transfert de l’exécution d’une tâche d’une tuile à l’autre permet degarder une fiabilité acceptable de ces systèmes. Nous proposons dans ce travail unetechnique de migration de tâches basée sur des agents. Cette technique vise lesapplications de flot de données en cours d’exécution sur des architectures multituiles.Une couche logicielle “middleware” est conçue pour supporter les agentsde migration. Cette couche rend la solution transparente pour les programmeursd’applications et facilite sa portabilité sur architectures multi-tuiles différentes. Afinque cette solution soit évolutive, une chaîne d’outils de génération automatique estconçue pour générer les agents de migration. Grâce à ces outils, ces informationssont extraites automatiquement des graphes de tâches et du placement optimisésur les tuiles du système. L’algorithme de migration est aussi détaillé, en montrantles phases successives et les transferts d’information nécessaires. La chaîne d’outilsest capable de générer du code pour les architectures ARM et x86. Cette techniquede migration de tâche peut être déployée sur les systèmes d’exploitation quine supportent ni chargement dynamique ni unité de gestion mémoire MMU. Lesrésultats expérimentaux sur une plateforme x86 matérielle et une plateforme ARMde simulation montrent peu de surcoût en terme de mémoire et de performance, cequi rend cette solution efficace. / Fully distributed memory multi-processors (MPSoC) implemented in multi-tiled architectures are promising solutions to support modern sophisticated applications, however, reliability of such systems is always an issue. As a result, a system-level solution like task migration keeps its importance. Transferring the execution of a task from one tile to another helps keep acceptable reliability of such systems. A tile contains at least one processor, private main memory and associated peripherals with a communication device responsible for inter-tile communications. We propose in this work an agent based task migration technique that targets data-flow applications running on multi-tiled architectures. This technique uses a middleware layer that makes it transparent to application programmers and eases its portability over different multi-tiled architectures. In order for this solution to be scalable to systems with more tiles, an automatic generation tool-chain is designed to generate migration agents and provide them with necessary information enabling them to execute migration processes properly. Such information is extracted automatically from application(s) task graphs and mapping on the system tiles. We show how agents are placed with applications and how such necessary information is generated and linked with them. The tool-chain is capable of generating code for ARM and x86 architectures. This task migration technique can be deployed on small operating systems that support neither MMU nor dynamic loading for task code. We show that this technique is operational on x86 based real hardware platform as well as on an ARM based simulation platform. Experimental results show low overhead both in memory and performance. Performance overhead due to migration of a task in a typical small application where it has one predecessor and one successor is 18.25%.

Les travaux de cette thèse s'intéressent aux problèmes de performance et de coût des architectures MPSoC à base de NoC, en tirant parti des possibilités offertes par les technologies d'intégration 3D. Plusieurs contributions originales sont proposées. Tout d'abord, une étude approfondie à propos des différentes granularités de partitionnement au sein des circuits 3D est réalisée. En se basant sur cette analyse, ce travail de thèse est orienté aux architectures 3D partitionnées au niveau des blocs macroscopiques. Ainsi, la contribution de l'intégration 3D est limitée aux interconnexions verticales inter-blocs. Afin d'améliorer les performances de ces interconnexions, une topologie hiérarchique de NoC est proposée pour diminuer la latence et augmenter le débit des communications au sein des architectures 3D partitionnées au niveau des macro-blocs. D'autre part, un modèle au niveau du système est présenté pour évaluer et comparer les coûts des différentes options technologiques de l'intégration 3D. Partant de cette évaluation, nous proposons une architecture multiprocesseur reconfigurable empilable pour les applications de télécommunication 4G, en tenant compte des problèmes de coût. / This PhD research is intended to deal with cost and performance issues of NoC-based MPSoC architectures by taking advantage of the opportunities offered by 3D integration technologies. Several original contributions are proposed. First, a deep investigation of the different partitioning granularities within 3D circuits is performed. Based on this analysis, this PhD work is oriented to focus on core-level partitioned 3D architectures, and then to restrict the contribution of 3D stacking to the global inter-block vertical interconnections. To enhance the performance of global interconnect architectures, a hierarchical NoC topology is proposed to improve communication latency and throughput within core-partitioned 3D architectures. On the other hand, a system-level cost analysis model is presented to assess and compare several 3D integration technology options. Based on this evaluation, we propose a cost-aware stackable reconfigurable multiprocessor NoC-based architecture to address the requirement of 4G telecom applications.

Une vallée hydroélectrique est constituée d'un nombre important de centrales interconnectées du fait de l'utilisation de la même ressource en eau. Pour pouvoir optimiser en temps réel sa production, il a été proposé dans cette thèse d'utiliser les méthodes associées aux systèmes à grande échelle pour développer les outils nécessaires. Cette étude de la commande globale du système a été orientée vers l'utilisation des méthodes de décomposition-coordination. Ces méthodes ont été examinées et appliquées à un cas d'étude simplifié (une partie de la vallée hydraulique) mis à disposition par EDF. Plus particulièrement, les méthodes de décomposition-coordination par les prix, ou encore par les prédictions des interactions, s'appuyant sur des commandes MPC, ont été considérées et comparées avec une commande centralisée. En vue d'une implémentation temps-réel, nous nous sommes intéressés à exprimer les problèmes d'optimisation comme des problèmes QP, pour ensuite obtenir des solutions explicites en utilisant une méthodologie de caractérisation géométrique. Nous avons proposé des formulations complètement explicites (niveau coordinateur et sous-systèmes) pour les deux méthodes. Des résultats de simulation avec des données réelles mises à disposition par EDF sont présentés. Afin de valider les méthodes conçues, une première phase d'implantation sur la plate-forme Supervision NG d'EDF permettant la communication avec un modèle de la vallée hydroélectrique (basé sur les équations de Saint Venant et la bathymétrie de la rivière), est enfin incluse dans ce mémoire. / This study is mainly about the hydroelectric production problem. What we aim to do, is to develop optimization tools for a chain of hydroelectric plants, using appropriate control methodologies. A hydroelectric valley is a large scale system, made up of interconnected plants. The study of the global control system has been focused to the use of decomposition-coordination methods. Those methods have been examined and applied to a simplified case study (a part of a hydroelectric valley) given by EDF. To be more specific, the price decomposition - coordination method and the interactions prediction method, based on MPC controls, have been considered and compared to a centralized control. Because of the need of implementation in real time, we have expressed the optimization problems as QP problems, so as to obtain explicit solutions using the geometric characterization methodology. We have proposed a completely explicit formulation (both at the coordinator level and at the subsystems level) for both methods. Simulation results with real data information given by EDF are also presented. To verify and validate the designed methods, a first step of implementation on the supervision platform NG by EDF, that allows the communication with a model of the hydroelectric valley (based on the equations of Saint Venant and on the river bathymetry) is finally also included in this thesis.