Spelling suggestions: "subject:"cassage à échelle"" "subject:"assage à échelle""
1 |
Declarative parallel query processing on large scale astronomical databases / Traitement parallèle et déclaratif de requêtes sur des masses de données issues d'observations astronomiquesMesmoudi, Amin 03 December 2015 (has links)
Les travaux de cette thèse s'inscrivent dans le cadre du projet Petasky. Notre objectif est de proposer des outils permettant de gérer des dizaines de Peta-octets de données issues d'observations astronomiques. Nos travaux se focalisent essentiellement sur la conception des nouveaux systèmes permettant de garantir le passage à l'échelle. Dans cette thèse, nos contributions concernent trois aspects : Benchmarking des systèmes existants, conception d'un nouveau système et optimisation du système. Nous avons commencé par analyser la capacité des systèmes fondés sur le modèle MapReduce et supportant SQL à gérer les données LSST et leurs capacités d'optimisation de certains types de requêtes. Nous avons pu constater qu'il n'y a pas de technique « magique » pour partitionner, stocker et indexer les données mais l'efficacité des techniques dédiées dépend essentiellement du type de requête et de la typologie des données considérées. Suite à notre travail de Benchmarking, nous avons retenu quelques techniques qui doivent être intégrées dans un système de gestion de données à large échelle. Nous avons conçu un nouveau système de façon à garantir la capacité dudit système à supporter plusieurs mécanismes de partitionnement et plusieurs opérateurs d'évaluation. Nous avons utilisé BSP (Bulk Synchronous Parallel) comme modèle de calcul. Les données sont représentées logiquement par des graphes. L'évaluation des requêtes est donc faite en explorant le graphe de données en utilisant les arcs entrants et les arcs sortants. Les premières expérimentations ont montré que notre approche permet une amélioration significative des performances par rapport aux systèmes Map/Reduce / This work is carried out in framework of the PetaSky project. The objective of this project is to provide a set of tools allowing to manage Peta-bytes of data from astronomical observations. Our work is concerned with the design of a scalable approach. We first started by analyzing the ability of MapReduce based systems and supporting SQL to manage the LSST data and ensure optimization capabilities for certain types of queries. We analyzed the impact of data partitioning, indexing and compression on query performance. From our experiments, it follows that there is no “magic” technique to partition, store and index data but the efficiency of dedicated techniques depends mainly on the type of queries and the typology of data that are considered. Based on our work on benchmarking, we identified some techniques to be integrated to large-scale data management systems. We designed a new system allowing to support multiple partitioning mechanisms and several evaluation operators. We used the BSP (Bulk Synchronous Parallel) model as a parallel computation paradigm. Unlike MapeReduce model, we send intermediate results to workers that can continue their processing. Data is logically represented as a graph. The evaluation of queries is performed by exploring the data graph using forward and backward edges. We also offer a semi-automatic partitioning approach, i.e., we provide the system administrator with a set of tools allowing her/him to choose the manner of partitioning data using the schema of the database and domain knowledge. The first experiments show that our approach provides a significant performance improvement with respect to Map/Reduce systems
|
2 |
Convergence of web and communication services / Convergence du web et des services de communicationShanmugalingam, Sivasothy 30 April 2012 (has links)
Les services de communication, du courrier postal à la téléphonie, en passant par la voix et la vidéo sur IP (Internet Protocol), la messagerie électronique, les salons de discussion sur Internet, les visioconférences ou les télécommunications immersives ont évolué au fil du temps. Un système de communication voix-vidéo sur IP est réalisé grâce à deux couches architecturales fondamentales : la couche de signalisation et la couche média. Le protocole de signalisation est utilisé pour créer, modifier et terminer des sessions multimédias entre des participants. La couche de signalisation est divisée en deux sous-couches - la couche de service et celle de contrôle - selon la spécification de l’IP Multimedia Subsystem (IMS). Deux systèmes de communication largement utilisés sont l’IMS et SIP Pair-à- Pair (P2P SIP). Les fournisseurs de services, qui se comportent en tant qu’intermédiaires entre appelants et appelés, implémentent les systèmes de communication, contrôlant strictement la couche signalisation. Or ces fournisseurs de services ne prennent pas en compte la diversité des utilisateurs. Cette thèse identifie trois barrières technologiques dans les systèmes de communication actuels et plus précisément concernant la couche de signalisation. I. Un manque d’ouverture et de flexibilité dans la couche de signalisation pour les utilisateurs. II. Un développement difficile des services basés sur le réseau et les sessions. III. Une complexification du la couche de signalisation lors d’un très grand nombre d’appels. Ces barrières technologiques gênent l’innovation des utilisateurs avec ces services de communication. Basé sur les barrières technologiques listées cidessus, le but initial de cette thèse est de définir un concept et une architecture de système de communication dans lequel chaque individu devient un fournisseur de service. Le concept, "My Own Communication Service Provider" (MOCSP) et le système MOCSP sont proposés, accompagné d’un diagramme de séquence. Ensuite, la thèse fournit une analyse qui compare le système MOCSP avec les systèmes de communication existants en termes d’ouverture et de flexibilité. La seconde partie de la thèse présente des solutions pour les services basés sur le réseau ou les sessions, mettant en avant le système MOCSP proposé. Deux services innovants, user mobility et partial session transfer/retrieval (PSTR) sont pris comme exemples de services basés sur le réseau ou les sessions. Les services basés sur un réseau ou des sessions interagissent avec une session ou sont exécutés dans une session. Dans les deux cas, une seule entité fonctionnelle entre l’appelant et l’appelé déclenche le flux multimédia pendant l’initialisation de l’appel et/ou en cours de communication. De plus, la coopération entre le contrôle d’appel réseau et les différents pairs est facilement réalisé. La dernière partie de la thèse est dédiée à l’extension de MOCSP en cas de forte densité d’appels, elle inclut une analyse comparative. Cette analyse dépend de quatre facteurs - limite de passage à l’échelle, niveau de complexité, ressources de calcul requises et délais d’établissement de session - qui sont considérés pour évaluer le passage à l’échelle de la couche de signalisation. L’analyse comparative montre clairement que la solution basée sur MOCSP est simple et améliore l’usage effectif des ressources de calcul par rapport aux systèmes de communication traditionnels / Different communication services from delivery of written letters to telephones, voice/video over Internet Protocol(IP), email, Internet chat rooms, and video/audio conferences, immersive communications have evolved over time. A communication system of voice/video over IP is the realization of a two fundamental layered architecture, signaling layer and media layer. The signaling protocol is used to create, modify, and terminate media sessions between participants. The signaling layer is further divided into two layers, service layer and service control layer, in the IP Multimedia Subsystem (IMS) specification. Two widely used communication systems are IMS, and Peer-to-Peer Session Initiation Protocol (P2P SIP). Service providers, who behave as brokers between callers and callees, implement communication systems, heavily controlling the signaling layer. These providers do not take the diversity aspect of end users into account. This dissertation identifies three technical barriers in the current communication systems especially in the signaling layer. Those are: I. lack of openness and flexibility in the signaling layer for end users. II. difficulty of development of network-based, session-based services. III. the signaling layer becomes complex during the high call rate. These technical barriers hinder the end-user innovation with communication services. Based on the above listed technical barriers, the first part of this thesis defines a concept and architecture for a communication system in which an individual user becomes the service provider. The concept, My Own Communication Service Provider (MOCSP) and MOCSP system is proposed and followed by a call flow. Later, this thesis provides an analysis that compares the MOCSP system with existing communication systems in terms of openness and flexibility. The second part of this thesis presents solutions for network-based, session based services, leveraging the proposed MOCSP system. Two innovative services, user mobility and partial session transfer/retrieval are considered as examples for network-based, session-based services. The network-based, sessionbased services interwork with a session or are executed within a session. In both cases, a single functional entity between caller and callee consistently enables the media flow during the call initiation and/or mid-call. In addition, the cooperation of network call control and end-points is easily achieved. The last part of the thesis is devoted to extending the MOCSP for a high call rate and includes a preliminary comparative analysis. This analysis depends on four factors - scalability limit, complexity level, needed computing resources and session setup latency - that are considered to specify the scalability of the signaling layer. The preliminary analysis clearly shows that the MOCSP based solution is simple and has potential for improving the effective usage of computing resources over the traditional communication systems
|
Page generated in 0.0576 seconds