Context. Scalability and bittrate is an large concern when build-ing infrastructure and application for video content delivery. Manyresearch and companies have for a long time looked at peer to peertechnology as a way of solving the issue by utilizing the clients capac-ity.Objectives. The first objectives is to see if Dat protocol would be agood fit for video file delivery. Comparing with the widely used HTTPtoo see the differences in scalability and bitrate. The challenges withimplementing such a solution and tactic for the future if choosing to.Methods. In order to achieve the objectives of our research a compar-ing network experiment in similar manners and with the same clientbase was conducted.Conclusions. The Dat protocol show good scalability and perfor-mance especially on larger number of clients. Some future works suchas peer-selecting and load balancing are needed before Dat can be usedas protocol for video delivery on commerical sites.Keywords:P2P, Decentralized, Video, conten

Le protocole Pastry réalise une table de hachage distribué sur un réseau pair à pair organisé en un anneau virtuel de noeuds. Alors qu'il existe plusieurs implémentations de Pastry, il n'y a pas encore eu de travaux pour décrire formellement l'algorithme ou vérifier son bon fonctionnement. Intégrant des structures de données complexes et de la communication asynchrone entre des noeuds qui peuvent rejoindre ou quitter le réseau, ce protocole représente un intérêt certain pour la vérification formelle. La thèse se focalise sur le protocole Join de Pastry qui permet à un noeud de rejoindre le réseau. Les noeuds ayant intégré le réseau doivent avoir une vue du voisinage cohérente entre eux. La propriété principale de correction, appelée CorrectDelivery, assure qu'à tout moment il y a au plus un noeud capable de répondre à une requête pour une clé, et que ce noeud est le noeud le plus proche numériquement à ladite clé. Il n'est pas trivial de maintenir cette propriété en présence de churn. Ce travail nous a permis de découvrir des violations inattendues de la propriété dans les versions publiées de l'algorithme. Sur la base de cette analyse, le protocole IdealPastry est conçu et vérifié en utilisant l'assistant interactif à la preuve TLAPS pour TLA+. Le protocole LuPastry est obtenu en assouplissant certaines hypothèses de IdealPastry. Il est montré formellement que LuPastry vérifie CorrectDelivery sous l'hypothèse qu'aucun noeud ne quitte le réseau. Cette hypothèse ne peut être relâchée à cause du risque de perte de connexion du réseau dans le cas où plusieurs noeuds quittent le réseau en même temps / Pastry is a structured P2P algorithm realizing a Distributed Hash Table over an underlying virtual ring of nodes. Several implementations of Pastry are available, but no attempt has so far been made to formally describe the algorithm or to verify its properties. Since Pastry combines complex data structures, asynchronous communication, and concurrency in the presence of spontaneous join and departure of nodes, it makes an interesting target for verification. This thesis focuses on the Join protocol of Pastry that integrates new nodes into the ring. All member nodes must have a consistent key mapping among each other. The main correctness property, named CorrectDelivery, states that there is always at most one node that can deliver an answer to a lookup request for a key and this node is the numerically closest member node to that key. This property is non-trivial to preserve in the presence of churn. In this thesis, unexpected violations of CorrectDelivery in the published versions of Pastry are discovered and analyzed using the TLA+ model checker TLC. Based on the analysis, the protocol IdealPastry is designed and verified using the interactive theorem prover TLAPS for TLA+. By relaxing certain hypotheses, IdealPastry is further improved to LuPastry, which is again formally proved correct under the assumption that no nodes leave the network. This hypothesis cannot be relaxed in general due to possible network separation when particular nodes simultaneously leave the network

O objetivo geral desta tese é a detecção, o gerenciamento e a consulta às réplicas e às versões de documentos XML. Denota-se por réplica uma cópia idêntica de um objeto do mundo real, enquanto versão é uma representação diferente, mas muito similar, deste objeto. Trabalhos prévios focam em gerenciamento e consulta a versões conhecidas, e não no problema da detecção de que dois ou mais objetos, aparentemente distintos, são variações (versões) do mesmo objeto. No entanto, o problema da detecção é crítico e pode ser observado em diversos cenários, tais como detecção de plágio, ranking de páginas Web, identificação de clones de software e busca em sistemas peer-to-peer (P2P). Nesta tese assume-se que podem existir diversas réplicas de um documento XML. Documentos XML também podem ser modificados ao longo do tempo, ocasionando o surgimento de versões. A detecção de réplicas é relativamente simples e pode ser feita através do uso de funções hash. Já a detecção de versões engloba conceitos de similaridade, a qual pode ser medida por várias métricas, tais como similaridade de conteúdo, de estrutura, de assunto, etc. Além da análise da similaridade entre os arquivos também se faz necessária a definição de um mecanismo de detecção de versões. O mecanismo deve possibilitar o gerenciamento e a posterior consulta às réplicas e às versões detectadas. Para que o objetivo da tese fosse alcançado foram definidos um conjunto de funções de similaridade para arquivos XML e o mecanismo de detecção de réplicas e de versões. Também foi especificado um framework onde tal mecanismo pode ser inserido e os seus respectivos componentes, que possibilitam o gerenciamento e a consulta às réplicas e às versões detectadas. Foi realizado um conjunto de experimentos que validam o mecanismo proposto juntamente com a implementação de protótipos que demonstram a eficácia dos componentes do framework. Como diferencial desta tese, o problema de detecção de versões é tratado como um problema de classificação, para o qual o uso de limiares não é necessário. Esta abordagem é alcançada pelo uso da técnica baseada em classificadores Naïve Bayesianos. Resultados demonstram a boa qualidade obtida com o mecanismo proposto na tese. / The overall goals of this thesis are the detection, management and querying of replicas and versions of XML documents. We denote by replica an identical copy of a real-world object, and by version a different but very similar representation of this object. Previous works focus on version management and querying rather than version detection. However, the version detection problem is critical in many scenarios, such as plagiarism detection, Web page ranking, software clone identification, and peer-to-peer (P2P) searching. In this thesis, we assume the existence of several replicas of a XML document. XML documents can be modified over time, causing the creation of versions. Replica detection is relatively simple and can be achieved by using hash functions. The version detection uses similarity concepts, which can be assessed by some metrics such as content similariy, structure similarity, subject similarity, and so on. Besides the similarity analysis among files, it is also necessary to define the version detection mechanism. The mechanism should allow the management and the querying of the detected replicas and versions. In order to achieve the goals of the thesis, we defined a set of similarity functions for XML files, the replica and version detection mechanism, the framework where such mechanism can be included and its components that allow managing and querying the detected replicas and versions. We performed a set of experiments for evaluating the proposed mechanism and we implemented tool prototypes that demonstrate the accuracy of some framework components. As the main distinguishing point, this thesis considers the version detection problem as a classification problem, for which the use of thresholds is not necessary. This approach is achieved by using Naïve Bayesian classifiers.

La quantité importante de ressources offertes par les grilles de calcul permet d'envisager la résolution de problèmes de plus en plus complexes. La programmation simple et efficace de tels environnements est un véritable défi. La plupart des travaux réalisés dans ce domaine ont visé à élaborer des modèles de programmation offrant une gestion efficace et transparente de la puissance de calcul offerte par les grilles de calcul. Toutefois, la gestion des données dans de telles infrastructures est comparativement rudimentaire. Elle reste à la charge des développeurs d'applications sur de nombreux aspects: localisation des données, cohérence, tolérance aux fautes, etc. La contribution de ce travail de doctorat est de spécifier le concept de service de partage de données pour grilles, afin d'intégrer aux modèles de programmation actuels un modèle d'accès transparent aux données. Notre proposition s'inspire essentiellement des systèmes à mémoire virtuellement partagée (MVP) et des systèmes pair-à-pair (P2P). Cette approche hybride a pour objectif de conserver les points forts des systèmes à MVP (transparence et gestion de la cohérence) grâce à une organisation fondée sur les points forts des systèmes P2P (passage à l'échelle et tolérance aux fautes). Afin de valider notre concept de service de partage de données, nous proposons une architecture appelée JuxMem (pour Juxtaposted Memory) ainsi qu'une implémentation s'appuyant sur la spécification P2P JXTA. Cette mise en oeuvre a été validée par son intégration dans deux modèles de programmation, utilisés pour concevoir les applications s'exécutant sur les grilles de calcul: le modèle Grid-RPC et les modèles à base de composants logiciels. Les bénéfices de notre approche ont été évalués à grande échelle sur la grille expérimentale Grid'5000. Ce manuscrit décrit également deux autres contributions qui se situent dans le contexte de l'utilisation de techniques P2P, pour la construction d'intergiciels destinés aux grilles de calcul. Au-delà de notre objectif premier, qui a été d'adapter JXTA pour permettre une mise en oeuvre efficace de notre service, ces contributions ont une portée plus générale. Elles concernent d'une part l'utilisation de la plate-forme P2P jxta sur les grilles de calcul et d'autre part à l'optimisation de ses couches de communication dans ce contexte particulier d'exécution.

Ce travail a origine dans le contexte du projet européen Napa-Wine et son premier but est de rendre les applications pair-a-pair conscientes du réseau qui est au dessous. Cette information (e.g. capacité du chemin, latence, etc.) aide a optimiser le trafic P2P et ses bénéfices sont duplices : d'un coté les operateurs peuvent limiter le trafic sur les " peering links " en le confinant dans leur Autonomous System. De l'autre coté les utilisateurs peuvent connaître une meilleure qualité du service due à la proximité des autres noeds. Pour maitriser le problème, nous analysons les applications existantes d'abord, et nous évaluons leur niveau de conscience du réseau : comme plusieurs systèmes sont " closed source ", nous les étudions comme des boites noires au moyen d'une analyse purement passive, puis nous mettons en place un banc d'essai complètement contrôlé et finalement nous utilisons des sondes actives en parallèle pour déduire les propriétés dynamiques du voisinage. Dans une seconde étape, nous vérifions l'état de l'art des algorithmes de diffusion des morceaux vidéo dans un simulateur réaliste où nous modelons latences et débit d'accès selon résultats académiques. Dans un tel scenario, nous étudions comment la diffusion des morceaux vidéo subit une dégradation de performance en présence d'erreurs de mesure et une connaissance obsolète de l'état du système. Finalement nous développons un scenario d'émulation dans lequel nous pouvons tester des vraies applications. Notre banc d'essai peut gérer jusqu'à 200 instances d'applications réelles et émuler la topologie du réseau de recherche existant Abilene ; il permet aussi de exécuter algorithmes d'ingénierie du trafic que nous exploitons pour analyser phénomènes de couplage entre couche IP et routage applicatif.

<p>As the development of context aware applications has evolved, there has been a corresponding increase in need for more sophisticated system. The aim for this thesis is the development of a dynamical P2P network system which is based on locations. The P2P network is self organizing and in a lightweight format. Modern technical solutions including   AGPS have facilitated the work associated with the ability to position users and modern mathematical solutions such as spherical trigonometry provides the P2P system with the necessary accuracy even for short distances. The P2P system works on different Java platforms including JSE, JME and Android. Unfortunately the 3G network distributor has not yet solved a NAT traversal problem, which means that the P2P network self organization and architecture has only been proved by means of simulations. Another problem is that certain mathematical formulas are required for the spherical trigonometry and the limitation for JME is that it is unable to handle inverse trigonometry. However, the Android and JSE versions can form a correct P2P network, under the condition that the Android device uses a WIFI connection point outside the 3G distributor network system. This thesis reports the successful testing of the locations-based P2P network.</p> / MediaSense

Les travaux décrits dans ce mémoire portent sur la supervision du trac dans le c÷ur de réseau, au niveau de la couche applicative. Nous illustrons l'intérêt de la supervision dans la couche 7 grâce à trois études qui montrent les bénéces obtenus pour la sécurité et pour l'évaluation de modications d'architecture du réseau. La première étude utilise l'épidémiologie, la science qui étudie les causes et la propagation des maladies. L'épidémiologie fournit des concepts et des mé- thodes pour analyser à quels risques potentiels d'infection les PC des clients ADSL sont exposés. En particulier, nous voulons analyser les risques par rapport aux applications utilisées par les clients. Grâce à la supervision applicative du trac d'un large échantillon de clients ADSL dans le c÷ur de réseau, nous construisons un prol d'utilisation du réseau pour chaque client et nous détectons ceux qui génèrent du trac malveillant. A partir de ces données, nous étudions le lien entre certaines caractéristiques des clients avec leurs risques d'être infecté. Nous mettons en évidence deux applications et un syst ème d'exploitation qui constituent des facteurs de risque. Nous en déduisons un prol de client pour lequel existe un risque important de se voir infecter par un virus informatique. La deuxième étude porte sur l'opportunité pour un opérateur d'installer des caches P2P dans son réseau. Mettre les contenus P2P en cache pourrait être un bon moyen de réduire la charge dans le réseau. Cependant, les performances des caches sont aectées par de nombreux facteurs, en relation avec les caches eux-mêmes, mais également avec les propriétés de l'overlay, les contenus P2P et la localisation du cache. Dans le but d'évaluer l'utilité potentielle des caches P2P, nous eectuons la supervision à grande échelle du trac P2P, dans le réseau opérationnel de France Télécom. Après avoir étudié certaines propriétés du trac observé, nous simulons le fonctionnement d'un cache en nous basant sur les données recueillies pendant 10 mois. Nous sommes alors en mesure d'évaluer les performances d'un cache, en termes d'économie de bande passante si un cache était réellement déployé au moment de la capture de nos traces. De plus, nous étudions l'impact sur la performance de paramètres tels que les caractéristiques du cache et de mani ère plus importante le nombre de clients servis par le cache. Les résultats montrent que l'on pourrait réduire le trac P2P d'échange de chiers de 23% avec un cache passif. Enn, la troisème étude porte sur l'opportunité pour un opérateur de réseau de coopérer avec les réseaux P2P à travers une interface de type P4P. L'approche P4P permet aux clients P2P d'améliorer leur sélection de pairs dans l'overlay. Le trac P2P représente une proportion importante du volume du trac dans les réseaux. Cependant, les systèmes P2P les plus couramment utilisés à l'heure actuelle ne tiennent pas compte de l'infrastructure réseau sous-jacente. Grâce à la supervision applicative, nous déterminons les béné- ces de P4P, d'une part pour les applications P2P et d'autre part pour les opérateurs. Les résultats de cette expérimentation indiquent que les applications P2P ont besoin de plus d'informations que seulement l'AS de provenance des sources potentielles pour améliorer leurs performances. De plus nous montrons que le trac P2P inter-domaines pourrait être réduit d'au moins 72% grâce à P4P. Nous montrons donc dans ces travaux que la supervision applicative permet : d'analyser des phénomènes complexes liés à l'usage qui est fait du ré- seau, tels que la contamination par un ver ou un virus informatique ; d'évaluer, de manière précise et quantitative, l'impact de certaines modi cations d'architecture sur le trac opérationnel. D'une manière plus générale, nous illustrons l'importance du rôle de l'opé- rateur de réseau dans le déploiement et l'exploitation des services Internet, toujours plus gourmands en bande passante, que nous ne manquerons pas de voir apparaître à l'avenir. En eet la supervision applicative est un outil essentiel pour l'évaluation des protocoles et architectures mis en ÷uvre dans les services Internet, complémentaire des autres outils dans ce domaine.

Depuis quelques décennies, la quantité d'information numérique produite ne cesse de croître exponentiellement, ce qui soulève des difficultés de plus en plus critiques en terme de stockage, d'accessibilité et de disponibilité de cette information. Les architectures logicielles et matérielles construites autour du modèle pair-à-pair (P2P) semblent répondre globalement aux exigences liées au stockage de l'information mais montrent leurs limites en ce qui concerne les exigences d'accessibilité et de disponibilité de l'information. Nous présentons dans cette thèse différents apports concernant les architectures P2P pour la gestion de grands volumes d'information. Les stratégies algorithmiques que nous proposons exploitent des topologies virtuelles dédiées sur lesquelles nous développons des protocoles de maintenance et de gestion du réseau efficaces. En particulier, pour assurer le passage à grande échelle, nous proposons des solutions pour lesquelles les coûts des opérations de maintenance et de gestion des topologies virtuelles sont constants en moyenne pour chaque noeud du réseau, et ceci, quelle que soit la taille du réseau. Nous analysons les principaux paradigmes de la répartition d'information sur un réseau P2P, en considérant successivement, le problème de l'accès à de l'information typée (semi-structurée) et le cas général qui dissocie entièrement la nature des requêtes du placement de l'information. Nous proposons une méthode d'aiguillage de requêtes portant sur la structure et le contenu de documents semi-structurés ainsi qu'une technique plus générale dans le cas le plus défavorable où aucune connaissance n'est disponible a priori sur la nature des informations stockées ou sur la nature des requêtes. Dans l'optique de la gestion d'une qualité de service (qui s'exprime en terme de rapidité et de fiabilité), nous nous intéressons également au problème de la disponibilité pérenne de l'information sous l'angle de la réplication des données stockées dans le réseau. Nous proposons une approche originale exploitant une mesure locale de densité de réplicas estimée sur une topologie virtuelle dédiée.

In this paper, we present the design and evaluation of CQ-Buddy, a peer-to-peer (p2p) continuous query (CQ) processing system that is distributed, and highly-scalable. CQ-Buddy exploits the differences in capabilities (processing and memory) of peers and load-balances the tasks across powerful and weak peers. Our main contributions are as follows: First, CQ-Buddy introduces the notion of pervasive continuous queries to tackle the frequent disconnected problems common in a peer-to-peer environment. Second, CQ-Buddy allows for inter-sharing and intra-sharing in the processing of continuous queries amongst peers. Third, CQ-Buddy peers perform query-centric load balancing for overloaded data source providers by acting as proxies. We have conducted extensive studies to evaluate CQ-Buddy’s performance. Our results show that CQ-Buddy is highly scalable, and is able to process continuous queries in an effective and efficient manner. / Singapore-MIT Alliance (SMA)

XML distribuées basées sur les réseaux pair-à-pair. Notre approche est unique parce qu'elle est axée sur le traitement global du langage XQuery plutôt que l'étude d'un langage réduit spécifique aux index utilisés. Le système XQ2P présenté dans cette thèse intègre cette architecture ; il se présente comme une collection complète de blocs de logiciels fondamentaux pour développer des applications similaires. L'aspect pair-à-pair est fourni par P2PTester, un " framework " fournissant des modules pour les fonctionnalités P2P de base et un système distribué pour des tests et simulations. Une version de l'algorithme TwigStack adapté au P2P, utilisant un index structurel basé sur le numérotage des noeuds, y est intégré. Avec le concours d'un système de pré-traitement des requêtes il permet à XQ2P l'évaluation efficace des requêtes structurelles sur la base de données distribuée. Une version alternative du même algorithme est aussi utilisée pour l'évaluation efficace de la plupart des requêtes en langage XQuery. L'une des nouveautés majeures de XQuery 3.0 est l'étude des séries temporelles. Nous avons défini un modèle pour traiter ce type de données, utilisant le modèle XML comme représentation des valeurs et des requêtes XQuery 3.0 pour les manipuler. Nous ajoutons à XQ2P un index adapté à ce modèle ; le partitionnement horizontal des longues séries de données chronologiques, des opérateurs optimisés et une technique d'évaluation parallèle des sous-expressions permettent l'exécution efficace d'opérations avec des volumes de données importants.