• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 6
  • 2
  • Tagged with
  • 8
  • 8
  • 5
  • 3
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 1
  • 1
  • 1
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
1

Next generation state-machine replication protocols for data centers / Protocoles de réplication de machines à états de prochaine génération pour les centres de données

Nehme, Mohamad Jaafar 05 December 2017 (has links)
De nombreux protocoles Total Order Broadcast uniformes ont été conçus au cours des 30 dernières années. Ils peuvent être classés en deux catégories: ceux qui visent une faible latence, et ceux qui visent à haut débit. Latence mesure le temps nécessaire pour effectuer un seul message diffusé sans prétention, alors que le débit mesure le nombre d'émissions que les processus peuvent compléter par unité de temps quand il y a discorde. Tous les protocoles qui ont été conçus pour autant faire l'hypothèse que le réseau sous-jacent ne sont pas partagées par d'autres applications en cours d'exécution. Ceci est une préoccupation majeure à condition que dans les centres de données modernes (aka Clouds), l'infrastructure de mise en réseau est partagée par plusieurs applications. La conséquence est que, dans de tels environnements, le total des protocoles afin de diffusion uniformes présentent des comportements instables.Dans cette thèse, j'ai conçu et mis en œuvre un nouveau protocole pour la Total Order Broadcast uniforme qui optimise la performance lorsqu'il est exécuté dans des environnements multi-Data Centers et le comparer avec plusieurs algorithmes de l'état de l'art.Dans cette thèse, je présente deux contributions. La première contribution est MDC-Cast un nouveau protocole pour Total Order Broadcast dans lesquelles il optimise les performances des systèmes distribués lorsqu'ils sont exécutés dans des environnements multi-centres de données. MDC-Cast combine les avantages de la multidiffusion IP dans les environnements de cluster et unicast TCP/IP pour obtenir un algorithme hybride qui fonctionne parfaitement entre les centres de données.La deuxième contribution est un algorithme conçu pour déboguer les performances dans les systèmes distribués en boîte noire. L'algorithme n'est pas encore publié car il nécessite plus de tests pour une meilleure généralisation. / Many uniform total order broadcast protocols have been designed in the last 30 years. They can be classified into two categories: those targeting low latency, and those targeting high throughput. Latency measures the time required to complete a single message broadcast without contention, whereas throughput measures the number of broadcasts that the processes can complete per time unit when there is contention. All the protocols that have been designed so far make the assumption that the underlying network is not shared by other applications running. This is a major concern provided that in modern data centers (aka Clouds), the networking infrastructure is shared by several applications. The consequence is that, in such environments, uniform total order broadcast protocols exhibit unstable behaviors.In this thesis, I provide two contributions. The first contribution is MDC-Cast a new protocol for total order broadcasts in which it optimizes the performance of distributed systems when executed in multi-data center environments. MDC-Cast combines the benefits of IP-multicast in cluster environments and TCP/IP unicast to get a hybrid algorithm that works perfectly in between datacenters.The second contribution is an algorithm designed for debugging performance in black-box distributed systems. The algorithm is not published yet due to the fact that it needs more tests for a better generalization.
2

Network architectures and energy efficiency for high performance data centers / Architectures réseaux et optimisation d'énergie pour les centres de données massives

Baccour, Emna 30 June 2017 (has links)
L’évolution des services en ligne et l’avènement du big data ont favorisé l’introduction de l’internet dans tous les aspects de notre vie : la communication et l’échange des informations (exemple, Gmail et Facebook), la recherche sur le web (exemple, Google), l’achat sur internet (exemple, Amazon) et le streaming vidéo (exemple, YouTube). Tous ces services sont hébergés sur des sites physiques appelés centres de données ou data centers qui sont responsables de stocker, gérer et fournir un accès rapide à toutes les données. Tous les équipements constituants le système d’information d’une entreprise (ordinateurs centraux, serveurs, baies de stockage, équipements réseaux et de télécommunications, etc) peuvent être regroupés dans ces centres de données. Cette évolution informatique et technologique a entrainé une croissance exponentielle des centres de données. Cela pose des problèmes de coût d’installation des équipements, d’énergie, d’émission de chaleur et de performance des services offerts aux clients. Ainsi, l’évolutivité, la performance, le coût, la fiabilité, la consommation d’énergie et la maintenance sont devenus des défis importants pour ces centres de données. Motivée par ces défis, la communauté de recherche a commencé à explorer de nouveaux mécanismes et algorithmes de routage et des nouvelles architectures pour améliorer la qualité de service du centre de données. Dans ce projet de thèse, nous avons développé de nouveaux algorithmes et architectures qui combinent les avantages des solutions proposées, tout en évitant leurs limitations. Les points abordés durant ce projet sont: 1) Proposer de nouvelles topologies, étudier leurs propriétés, leurs performances, ainsi que leurs coûts de construction. 2) Conception des algorithmes de routage et des modèles pour réduire la consommation d’énergie en prenant en considération la complexité, et la tolérance aux pannes. 3) Conception des protocoles et des systèmes de gestion de file d’attente pour fournir une bonne qualité de service. 4) Évaluation des nouveaux systèmes en les comparants à d’autres architectures et modèles dans des environnements réalistes. / The increasing trend to migrate applications, computation and storage into more robust systems leads to the emergence of mega data centers hosting tens of thousands of servers. As a result, designing a data center network that interconnects this massive number of servers, and providing efficient and fault-tolerant routing service are becoming an urgent need and a challenge that will be addressed in this thesis. Since this is a hot research topic, many solutions are proposed like adapting new interconnection technologies and new algorithms for data centers. However, many of these solutions generally suffer from performance problems, or can be quite costly. In addition, devoted efforts have not focused on quality of service and power efficiency on data center networks. So, in order to provide a novel solution that challenges the drawbacks of other researches and involves their advantages, we propose to develop new data center interconnection networks that aim to build a scalable, cost-effective, high performant and QoS-capable networking infrastructure. In addition, we suggest to implement power aware algorithms to make the network energy effective. Hence, we will particularly investigate the following issues: 1) Fixing architectural and topological properties of the new proposed data centers and evaluating their performances and capacities of providing robust systems under a faulty environment. 2) Proposing routing, load-balancing, fault-tolerance and power efficient algorithms to apply on our architectures and examining their complexity and how they satisfy the system requirements. 3) Integrating quality of service. 4) Comparing our proposed data centers and algorithms to existing solutions under a realistic environment. In this thesis, we investigate a quite challenging topic where we intend, first, to study the existing models, propose improvements and suggest new methodologies and algorithms.
3

Contributions à la mise en place d'une infrastructure de Cloud Computing à large échelle / Contributions to massively distributed Cloud Computing infrastructures

Pastor, Jonathan 18 October 2016 (has links)
La croissance continue des besoins en puissance de calcul a conduit au triomphe du modèle de Cloud Computing. Des clients demandeurs en puissance de calcul vont s’approvisionner auprès de fournisseurs d’infrastructures de Cloud Computing, mises à disposition via Internet. Pour réaliser des économies d’échelles, ces infrastructures sont toujours plus grandes et concentrées en quelques endroits, conduisant à des problèmes tels que l’approvisionnement en énergie, la tolérance aux pannes et l’éloignement des utilisateurs. Cette thèse s’est intéressée à la mise en place d’un système d’IaaS massivement distribué et décentralisé exploitant un réseau de micros centres de données déployés sur la dorsale Internet, utilisant une version d’OpenStack revisitée pendant cette thèse autour du support non intrusif de bases de données non relationnelles. Des expériences sur Grid’5000 ont montré des résultats intéressants sur le plan des performances, toutefois limités par le fait qu’OpenStack ne tirait pas avantage nativement d’un fonctionnement géographiquement réparti. Nous avons étudié la prise en compte de la localité réseau pour améliorer les performances des services distribués en favorisant les collaborations proches. Un prototype de l’algorithme de placement de machines virtuelles DVMS, fonctionnant sur une topologie non structurée basée sur l’algorithme Vivaldi, a été validé sur Grid’5000. Ce prototype a fait l’objet d’un prix scientifique lors de l’école de printemps Grid’50002014. Enfin, ces travaux nous ont amenés à participer au développement du simulateur VMPlaceS. / The continuous increase of computing power needs has favored the triumph of the Cloud Computing model. Customers asking for computing power will receive supplies via Internet resources hosted by providers of Cloud Computing infrastructures. To make economies of scale, Cloud Computing that are increasingly large and concentrated in few attractive places, leading to problems such energy supply, fault tolerance and the fact that these infrastructures are far from most of their end users. During this thesis we studied the implementation of an fully distributed and decentralized IaaS system operating a network of micros data-centers deployed in the Internet backbone, using a modified version of OpenStack that leverages non relational databases. A prototype has been experimentally validated onGrid’5000, showing interesting results, however limited by the fact that OpenStack doesn’t take advantage of a geographically distributed functioning. Thus, we focused on adding the support of network locality to improve performance of Cloud Computing services by favoring collaborations between close nodes. A prototype of the DVMS algorithm, working with an unstructured topology based on the Vivaldi algorithm, has been validated on Grid’5000. This prototype got the first prize at the large scale challenge of the Grid’5000 spring school in 2014. Finally, the work made with DVMS enabled us to participate at the development of the VMPlaceS simulator.
4

Network-Layer Protocols for Data Center Scalability / Protocoles de couche réseau pour l’extensibilité des centres de données

Desmouceaux, Yoann 10 April 2019 (has links)
Du fait de la croissance de la demande en ressources de calcul, les architectures de centres de données gagnent en taille et complexité.Dès lors, cette thèse prend du recul par rapport aux architectures réseaux traditionnelles, et montre que fournir des primitives génériques directement à la couche réseau permet d'améliorer l'utilisation des ressources, et de diminuer le trafic réseau et le surcoût administratif.Deux architectures réseaux récentes, Segment Routing (SR) et Bit-Indexed Explicit Replication (BIER), sont utilisées pour construire et analyser des protocoles de couche réseau, afin de fournir trois primitives: (1) mobilité des tâches, (2) distribution fiable de contenu, et (3) équilibre de charge.Premièrement, pour la mobilité des tâches, SR est utilisé pour fournir un service de migration de machine virtuelles sans perte.Cela ouvre l'opportunité d'étudier comment orchestrer le placement et la migration de tâches afin de (i) maximiser le débit inter-tâches, tout en (ii) maximisant le nombre de nouvelles tâches placées, mais (iii) minimisant le nombre de tâches migrées.Deuxièmement, pour la distribution fiable de contenu, BIER est utilisé pour fournir un protocole de multicast fiable, dans lequel les retransmissions de paquets perdus sont ciblés vers l'ensemble précis de destinations n'ayant pas reçu ce packet : ainsi, le surcoût de trafic est minimisé.Pour diminuer la charge sur la source, cette approche est étendue en rendant possible des retransmissions par des pairs locaux, utilisant SR afin de trouver un pair capable de retransmettre.Troisièmement, pour l'équilibre de charge, SR est utilisé pour distribuer des requêtes à travers plusieurs applications candidates, chacune prenant une décision locale pour accepter ou non ces requêtes, fournissant ainsi une meilleure équité de répartition comparé aux approches centralisées.La faisabilité d'une implémentation matérielle de cette approche est étudiée, et une solution (utilisant des canaux cachés pour transporter de façon invisible de l'information vers l'équilibreur) est implémentée pour une carte réseau programmable de dernière génération.Finalement, la possibilité de fournir de l'équilibrage automatique comme service réseau est étudiée : en faisant passer (avec SR) des requêtes à travers une chaîne fixée d'applications, l'équilibrage est initié par la dernière instance, selon son état local. / With the development of demand for computing resources, data center architectures are growing both in scale and in complexity.In this context, this thesis takes a step back as compared to traditional network approaches, and shows that providing generic primitives directly within the network layer is a great way to improve efficiency of resource usage, and decrease network traffic and management overhead.Using recently-introduced network architectures, Segment Routing (SR) and Bit-Indexed Explicit Replication (BIER), network layer protocols are designed and analyzed to provide three high-level functions: (1) task mobility, (2) reliable content distribution and (3) load-balancing.First, task mobility is achieved by using SR to provide a zero-loss virtual machine migration service.This then opens the opportunity for studying how to orchestrate task placement and migration while aiming at (i) maximizing the inter-task throughput, while (ii) maximizing the number of newly-placed tasks, but (iii) minimizing the number of tasks to be migrated.Second, reliable content distribution is achieved by using BIER to provide a reliable multicast protocol, in which retransmissions of lost packets are targeted towards the precise set of destinations having missed that packet, thus incurring a minimal traffic overhead.To decrease the load on the source link, this is then extended to enable retransmissions by local peers from the same group, with SR as a helper to find a suitable retransmission candidate.Third, load-balancing is achieved by way of using SR to distribute queries through several application candidates, each of which taking local decisions as to whether to accept those, thus achieving better fairness as compared to centralized approaches.The feasibility of hardware implementation of this approach is investigated, and a solution using covert channels to transparently convey information to the load-balancer is implemented for a state-of-the-art programmable network card.Finally, the possibility of providing autoscaling as a network service is investigated: by letting queries go through a fixed chain of applications using SR, autoscaling is triggered by the last instance, depending on its local state.
5

Protection de ressources dans des centres de données d'entreprise: Architectures et Protocoles

Jarma, Yesid 24 January 2012 (has links) (PDF)
Au cours des dernières années, l'apparition de l'Internet a changé la façon dont les affaires sont menées partout dans le monde. Pour rester compétitives, les entreprises ont déployé du support informatique pour les processus métiers au fil des années. Dans ce contexte, les architectures orientées service (SOA) ont émergé comme la solution principale pour l'intégration des systèmes patrimoniaux avec les nouvelles technologies au coeur des grandes organisations. Les centres de traitement de données d'entreprise qui implémentent les concepts et solutions des SOA sont normalement déployés en suivant une architecture à deux niveaux où, pour libérer les serveurs de services des tâches computationnelles intensives (e.g., l'analyse syntaxique de documents XML) et pour effectuer de la protection de ressources, ces fonctions sont déchargées dans un cluster d'appliances qui implémentent des fonctions des réseaux orientées service (SON). Dans les centres de traitement, l'accès aux services est gouverné par des contrats de garantie de services (SLA), dont le but est de protéger les ressources du centre de traitement. Actuellement, les appliances SON sont utilisées pour protéger les ressources du centre de traitement en limitant l'accès (e.g., en contrôlant le trafic) aux services. Le provisionnement et l'optimisation de ressources sont des problèmes classiques de la gestion de la QoS. En outre, le contrôle de trafic est un problème très connu de l'ingénierie de trafic. Cependant, dans les centres de traitement orientés service le problème est fondamentalement diffèrent. Dans les réseaux classiques, les ressources protégée par la fonction de mise en conformité sont normalement la bande passante et la taille des mémoires tampon, dont les unités de mesure sont clairement définies et mesurées avec précision. Dans un centre de traitement, les métriques des ressources sont comprises pour la plupart dans un des types suivants: puissance de calcul et mémoire des serveurs d'application (CPU et RAM), capacité de stockage des serveurs de stockage (espace en disque dur), et la bande passante du réseau interne du centre de traitement. Une autre différence fondamentale est que, dans les réseaux dits "classiques", le contrôle de trafic a une étendue locale, puisque le trafic prend la conformité d'une connexion simple. Dans un centre de traitement, les clients de service accèdent aux services à partir de multiples points d'entrée (p.ex., un cluster d'appliances SON). Ainsi, l'effet désiré est une mise en conformité "globale" du trafic. Le défi est donc faire respecter les contrats de service en agissant localement dans chaque point d'entrée. Cette thèse apporte trois contributions. D'abord nous proposons DoWSS, un algorithme dynamique basé sur des crédits pour la mise en conformité de trafic multipoint-à-point. À la différence des approches existantes basées sur des crédits, notre approche utilise une stratégie doublement pondérée pour l'affectation de crédits, en utilisant des poids basés sur la taille des requêtes de service. L'évaluation de DoWSS montre que ses performances sont optimales puisqu'il limite le nombre de requêtes au maximum permis par le contrat de service. Par la suite, nous affirmons que les appliances SON actuelles présentent des limitations architecturales qui les empêchent d'être utilisées efficacement pour la mise en conformité de trafic en présence d'hôtes de service multiples. Pour palier à ce problème, nous proposons MuST, une architecture interne pour les appliances SON appropriée pour la mise en conformité de trafic multi-service. L'évaluation des performances de notre approche montre qu'elle résout le problème de la mise en conformité de trafic multipoint-à-multipoint tout en poussant le système à être utilisé à sa capacité maximale. Finalement, actuellement les applications sont souvent déployées dans des centres de données géographiquement distribués. Les approches existantes pour la mise en conformité de trafic, lesquelles ont étés conçues spécifiquement pour des centres de données aménagés sur un même site, présentent des problèmes liés aux latences réseau quand ils sont utilisés dans des environnements géographiquement distribués. Pour palier à ce problème, nous proposons GeoDS, un approche pour la mise en conformité du trafic géographiquement distribué qui considère les délais de communication entre les entités qui forment le système. L'évaluation de ses performances montre qu'il est capable de résoudre efficacement le problème de la mise en conformité du trafic dans les environnements géographiquement distribués.
6

La réduction des impacts environnementaux des technologies de l’information par le droit

Catto, Lionel 08 1900 (has links)
Loin d’être des produits immatériels, les technologies de l’information et de la communication (TIC) ont un réel impact environnemental tout au long de leur cycle de vie. L’Éco-TIC est le point de rencontre entre le développement durable et les TIC. Le droit de l'Éco-TIC est l’ensemble des règles de droit régissant les rapports entre les technologies de l’information et le domaine environnemental. Ce mémoire a pour objectif d’examiner les normes juridiques, notamment en Europe et en Amérique du Nord, qui permettent de limiter l’impact environnemental des technologies de l’information lors des trois phases du cycle de vie des TIC. Tout d’abord, nous nous penchons sur l’étape de la conception des TIC. À cette étape, les réglementations en matière d’écoconception, l’utilisation des terres rares et l’interdiction de l’obsolescence programmée sont particulièrement pertinentes. Ensuite, nous examinons comment les entreprises tentent de réduire la consommation énergétique des TIC lors de la phase d’utilisation, notamment par le biais de la responsabilité sociétale de l’entreprise (RSE). Nous verrons également que les centres de données se multiplient afin de répondre à une demande toujours plus forte. Enfin, nous traitons de la fin de vie des TIC, phase pour laquelle l’Union européenne a créé des directives en matière de réutilisation, réduction et recyclage qui influent sur le plan international. / Information and communication technologies (ICT) are far from being intangible goods and do have an environmental impact during their entire life cycle. Green IT stands at the crossroads of sustainable development and ICT. Green IT law consists of a set of rules governing the relations between information technologies and environment. The purpose of this thesis is to investigate the European and North American legal standards regulating the environment impacts of ICT throughout the three phases of their life cycle. In the first part, the design phase of ICT is examined. At this stage, existing regulations on eco-design, the use of rare earth elements, and the interdiction of planned obsolescence are of particular relevance. The thesis then studies how companies are trying to reduce the use-phase energy consumption of ICT, notably through the Corporate Social Responsability. The issue of the multiplication of data centres, due to an ever-growing demand, is also discussed. In the end, the thesis considers the end-of-life phase of ICT and the directives created by the European Union that affect recycling and waste reduction management at an international level.
7

Data center optical networks : short- and long-term solutions / Réseaux optiques pour les centres de données : solutions à court et long terme

Mestre Adrover, Miquel Angel 21 October 2016 (has links)
Les centres de données deviennent de plus en plus importants, allant de petites fermes de serveurs distribuées à des grandes fermes dédiées à des tâches spécifiques. La diffusion de services "dans le nuage" conduit à une augmentation incessante de la demande de trafic dans les centres de données. Dans cette thèse, nous étudions l'évolution des réseaux dans les centres de données et proposons des solutions à court et à long terme pour leur intra-connexion physique. Aujourd'hui, la croissance de la demande de trafic met en lumière la nécessité urgente d’interfaces à grande vitesse capables de faire face à la bande passante exigeant de nouvelles applications. Ainsi, à court terme, nous proposons de nouveaux transpondeurs optiques à haut débit, mais à faible coût, permettant la transmission de 200 Gb /s utilisant des schémas de modulation en intensité et à détection directe. Plusieurs types de modulations d’impulsions en amplitude avancées sont explorés, tout en augmentant la vitesse à des débits symboles allant jusqu’à 100 GBd. La génération électrique à haute vitesse est réalisé grâce à un nouveau convertisseur analogique-numérique intégré, capable de doubler les vitesses des entrées et de générer des signaux à plusieurs niveaux d’amplitude. Cependant, le trafic continuera sa croissance. Les centres de données actuels reposent sur plusieurs niveaux de commutateurs électroniques pour construire un réseau d'interconnexion capable de supporter une telle grande quantité de trafic. Dans une telle architecture, la croissance du trafic est directement liée à une augmentation du nombre des composants du réseau, y-compris les commutateurs avec plus de ports, les interfaces et les câbles. Le coût et la consommation d'énergie qui peut être attendus à l'avenir est intenable, ce qui appelle à une réévaluation du réseau. Par conséquent, nous présentons ensuite un nouveau concept fondé sur la commutation de "slots" optiques (Burst Optical Slot Switching, i.e. BOSS) dans lequel les serveurs sont connectés via des nœuds BOSS à travers des anneaux de fibres multiplexé en longueur d'onde et en temps, et organisés dans une topologie en tore. Au cours de cette thèse, nous étudions la mise en œuvre des nœuds BOSS; en particulier, la matrice de commutation et les transpondeurs optiques. L'élément principal au sein de la matrice de commutation est le bloqueur de slots, qui est capable d'effacer n’importe quel paquet (slot) sur n’importe quelle longueur d'onde en quelques nanosecondes seulement. D'une part, nous explorons l'utilisation d'amplificateurs optiques à semi-conducteurs comme portes optiques à utiliser dans le bloqueur des slots, et étudier leur cascade. D'autre part, nous développons un bloqueur de slots intégré monolithiquement capable de gérer jusqu'à seize longueurs d'onde avec la diversité de polarisation. Ensuite, nous présentons plusieurs architectures de transpondeur et nous étudions leur performance. La signalisation des transpondeurs doit répondre à deux exigences principales: le fonctionnement en mode paquet et la résistance au filtrage serré. D'abord, nous utilisons des transpondeurs élastiques qui utilisent des modulations Nyquist N-QAM, et qui adaptent le format de modulation en fonction du nombre de nœuds à traverser. Ensuite, nous proposons l'utilisation du multiplexage par répartition orthogonale de la fréquence en cohérence optique (CO-OFDM). Avec une structure de paquet inhérente et leur grande adaptabilité fréquentielle, nous démontrons que les transpondeurs CO-OFDM offrent une capacité plus élevée et une meilleure portée que leurs homologues Nyquist. Finalement, nous comparons notre solution BOSS avec la topologie Clos replié utilisée aujourd'hui. Nous montrons que notre architecture BOSS nécessite 400 fois moins de transpondeurs et de câbles que les réseaux de commutation électronique d'aujourd'hui, ce qui ouvre la voie à des centres de données hautement évolutifs et durables / Data centers are becoming increasingly important and ubiquitous, ranging from large server farms dedicated to various tasks such as data processing, computing, data storage or the combination thereof, to small distributed server farms. The spread of cloud services is driving a relentless increase of traffic demand in datacenters, which is doubling every 12 to 15 months. Along this thesis we study the evolution of data center networks and present short- and long-term solutions for their physical intra-connection. Today, rapidly-growing traffic in data centers spotlights the urgent need for high-speed low-cost interfaces capable to cope with hungry-bandwidth demanding new applications. Thereby, in the short-term we propose novel high-datarate low-cost optical transceivers enabling up to 200 Gb/s transmission using intensity-modulation and direct-detection schemes. Several advanced pulse amplitude modulation schemes are explored while increasing speeds towards record symbol-rates, as high as 100 GBd. High-speed electrical signaling is enabled by an integrated selector-power digital-to- analog converter, capable of doubling input baud-rates while outputting advance multi-level pulse amplitude modulations. Notwithstanding, data centers’ global traffic will continue increasing incessantly. Current datacenters rely on high-radix all-electronic Ethernet switches to build an interconnecting network capable to pave with such vast amount of traffic. In such architecture, traffic growth directly relates to an increase of networking components, including switches with higher port-count, interfaces and cables. Unsustainable cost and energy consumption that can be expected in the future calls for a network reassessment. Therefore, we subsequently present a novel concept for intra-datacenter networks called burst optical slot switching (BOSS); in which servers are connected via BOSS nodes through wavelength- and time-division multiplexed fiber rings organized in a Torus topology. Along this thesis we investigate on the implementation of BOSS nodes; in particular, the switching fabric and the optical transceivers. The main element within the switching fabric is the slot blocker, which is capable of erasing any packet of any wavelength in a nanosecond time-scale. On the one hand, we explore the use of semiconductor optical amplifiers as means of gating element to be used within the slot blocker and study their cascadability. On the other hand we develop a monolithically integrated slot blocker capable of handling up to sixteen wavelength channels with dual-polarization diversity. Then we present several transceiver architectures and study their performances. Transceivers’ signaling needs to fulfill two main requirements: packet-mode operation, i.e. being capable of recovering few microsecond –long bursts; and resiliency to tight filtering, which occurs when cascading many nodes (e.g. up to 100). First we build packet-mode Nyquist-pulse-shaped N-QAM transceivers, which adapt the modulation format as a function of the number of nodes to traverse. Later we propose the use of coherent-optical orthogonal frequency division multiplexing (CO-OFDM). With inherent packet structure and high spectral tailoring capabilities, we demonstrate that CO-OFDM-based transceivers offer higher capacity and enhanced reach than its Nyquist counterpart. Finally, we compare our BOSS solution to today’s Folded Clos topology, and show that our BOSS architecture requires x400 fewer transponders and cables than today’s electronic switching networks, which paves the way to highly scalable and sustainable datacenters
8

Efficient placement design and storage cost saving for big data workflow in cloud datacenters / Conception d'algorithmes de placement efficaces et économie des coûts de stockage pour les workflows du big data dans les centres de calcul de type cloud

Ikken, Sonia 14 December 2017 (has links)
Les workflows sont des systèmes typiques traitant le big data. Ces systèmes sont déployés sur des sites géo-distribués pour exploiter des infrastructures cloud existantes et réaliser des expériences à grande échelle. Les données générées par de telles expériences sont considérables et stockées à plusieurs endroits pour être réutilisées. En effet, les systèmes workflow sont composés de tâches collaboratives, présentant de nouveaux besoins en terme de dépendance et d'échange de données intermédiaires pour leur traitement. Cela entraîne de nouveaux problèmes lors de la sélection de données distribuées et de ressources de stockage, de sorte que l'exécution des tâches ou du job s'effectue à temps et que l'utilisation des ressources soit rentable. Par conséquent, cette thèse aborde le problème de gestion des données hébergées dans des centres de données cloud en considérant les exigences des systèmes workflow qui les génèrent. Pour ce faire, le premier problème abordé dans cette thèse traite le comportement d'accès aux données intermédiaires des tâches qui sont exécutées dans un cluster MapReduce-Hadoop. Cette approche développe et explore le modèle de Markov qui utilise la localisation spatiale des blocs et analyse la séquentialité des fichiers spill à travers un modèle de prédiction. Deuxièmement, cette thèse traite le problème de placement de données intermédiaire dans un stockage cloud fédéré en minimisant le coût de stockage. A travers les mécanismes de fédération, nous proposons un algorithme exacte ILP afin d’assister plusieurs centres de données cloud hébergeant les données de dépendances en considérant chaque paire de fichiers. Enfin, un problème plus générique est abordé impliquant deux variantes du problème de placement lié aux dépendances divisibles et entières. L'objectif principal est de minimiser le coût opérationnel en fonction des besoins de dépendances inter et intra-job / The typical cloud big data systems are the workflow-based including MapReduce which has emerged as the paradigm of choice for developing large scale data intensive applications. Data generated by such systems are huge, valuable and stored at multiple geographical locations for reuse. Indeed, workflow systems, composed of jobs using collaborative task-based models, present new dependency and intermediate data exchange needs. This gives rise to new issues when selecting distributed data and storage resources so that the execution of tasks or job is on time, and resource usage-cost-efficient. Furthermore, the performance of the tasks processing is governed by the efficiency of the intermediate data management. In this thesis we tackle the problem of intermediate data management in cloud multi-datacenters by considering the requirements of the workflow applications generating them. For this aim, we design and develop models and algorithms for big data placement problem in the underlying geo-distributed cloud infrastructure so that the data management cost of these applications is minimized. The first addressed problem is the study of the intermediate data access behavior of tasks running in MapReduce-Hadoop cluster. Our approach develops and explores Markov model that uses spatial locality of intermediate data blocks and analyzes spill file sequentiality through a prediction algorithm. Secondly, this thesis deals with storage cost minimization of intermediate data placement in federated cloud storage. Through a federation mechanism, we propose an exact ILP algorithm to assist multiple cloud datacenters hosting the generated intermediate data dependencies of pair of files. The proposed algorithm takes into account scientific user requirements, data dependency and data size. Finally, a more generic problem is addressed in this thesis that involve two variants of the placement problem: splittable and unsplittable intermediate data dependencies. The main goal is to minimize the operational data cost according to inter and intra-job dependencies

Page generated in 0.4878 seconds