Η τεχνολογία ‘p2p’ είναι μια αρκετά υποσχόμενη τεχνολογία που έχει τραβήξει το ενδιαφέρον των ερευνητών της Πληροφορικής τα τελευταία χρόνια. Σε μεγάλο βαθμό το έναυσμα έδωσε η δημοφιλής εφαρμογή ‘Napster’ διαμοίρασης αρχείων μουσικής στο Διαδίκτυο (1999). Σήμερα τα συστήματα που έχουν αναπτυχθεί τόσο εμπορικά όσο και ακαδημαϊκά, καλύπτουν εύρος εφαρμογών όπως συνεργατικότητα, βιοπληροφορική, διαχείρηση περιεχομένου, εταιρική διαχείριση δεδομένων και είναι αρκετά πιο πολύπλοκα. Τα συστήματα αυτά μπορούν να διακριθούν κατά κύριο λόγο σε αδόμητα και δομημένα. Τα αδόμητα αποτελούν την πρώτη γενιά και τα δομημένα τη δεύτερη γενιά συστημάτων p2p. Η βασική διαφορά των δύο κατηγοριών είναι ότι στα δομημένα συστήματα, το δίκτυο επικάλυψης (overlay network) που αυτά υλοποιούν, επιβάλει μια εικονική τοπολογία των κόμβων του δικτύου πάνω από τη φυσική. Μέσω της εικονικής τοπολογίας υλοποιείται συνήθως μια κατανεμημένη δομή δεικτοδότητησης. Το βασικό όφελος των δομημένων συστημάτων είναι το φραγμένο κόστος στην εκτέλεση των λειτουργιών της δομής το οποίο μετράται ως ο αριθμός των βημάτων που εκτελούνται στην εικονική τοπολογία. Αντίθετα στα αδόμητα συστήματα p2p ένας κόμβος εισάγεται τυχαία και οι λειτουργίες του δικτύου εκτελούνται συνήθως με πρωτόκολλα πλημμυρίδας μικρής εμβέλειας ή τυχαίους περιπάτους. Δημοφιλή συστήματα δομημένων συστημάτων είναι τα ακόλουθα: Chord, Can, Pastry, Tapestry, Kademlia, Koorde, Baton*, Skip Graphs, Family Trees. Ωστόσο τα περισσότερα συστήματα p2p αγνοούν την υπάρχουσα φυσική τοπολογία με αποτέλεσμα να μην υπάρχουν εγγυήσεις ως προς την πραγματική καθυστέρηση. Στην παρούσα μεταπτυχιακή εργασία μελετώνται και αξιολογούνται μηχανισμοί ενσωμάτωσης της πληροφορίας της φυσικής τοπολογίας για τα τρέχοντα δομημένα δίκτυα p2p πάνω από το Διαδίκτυο καθώς και νέα συστήματα προσανατολισμένα προς την εκμετάλλευση της φυσικής πληροφορίας (τρίτη γενιά). Επιπλέον στο πλαίσιο της εργασίας αυτής προτείνεται ένα νέο, δομημένο σύστημα p2p βασισμένο τον πλήρη γράφο μεταθέσεων. Το σύστημα υλοποιήθηκε και αξιολογήθηκε ως προς την απόδοση του. / Peer-to-peer technology is a very promising technology which has drawn the interest of the research community for the past few years. The major cause for the boost of this research area was Napster (1999), a popular music file-sharing application. Today p2p systems, both commercial and academic, are rather complicated and implement various applications such as bioinformatics, content management, collaboration etc. There are to major categories of p2p systems: unstructured and structured p2p systems. Unstructured p2p systems constitute the first generation of p2p systems while structured p2p systems constitute the second one. The difference of these two categories is that structured p2p systems implement a virtual overlay network which imposes a virtual topology over the physical network topology. Based on this topology structured p2p systems implement a distributed indexing structure. The advantage of the structured p2p systems is that the indexing structure exhibits bounded cost for its operations. In contrast to structured p2p systems, in unstructured p2p systems, network operations are executed by flooding protocols or random walks. Widely known structured p2p systems are the following: Chord, Can, Pastry, Tapestry, Kademlia, Koorde, Baton*, Skip-Graphs, Family Trees. However, most p2p systems ignore the underlying physical topology. Consequently, p2p systems give no guaranties for the actual network delay. In this thesis we investigate mechanisms for the exploitation of the information of the physical topology in current p2p systems over the Internet. Moreover, we present recent systems that embed in their design the information of the physical topology (third generation of p2p systems). Finally, we present a novel structured p2p system based on the full transposition graph. Our system was both implemented and evaluated for its performance.

Η ραγδαία ανάπτυξη του διαδικτύου και των τεχνολογιών που το υποστηρίζουν έχει οδηγήσει στην ραγδαία αύξηση των εφαρμογών διαμοίρασης δεδομένων. Ταυτόχρονα, οι ανάγκες για ταχεία μεταφορά δεδομένων γίνονται ολοένα και μεγαλύτερες. Μία από τις πιο απαιτητικές κατηγορίες εφαρμογών που διανέμουν πληροφορία είναι οι εφαρμογές πολλαπλής αποστολής δεδομένων. Σε αυτές τις εφαρμογές, ένας αποστολέας θέλει να στείλει δεδομένα σε μία ομάδα παραληπτών, οι οποίοι στη γενική περίπτωση είναι γεωγραφικά κατανεμημένοι. Είναι προφανές ότι ο αποστολέας δεν μπορεί να στείλει τα δεδομένα σε όλους τους παραλήπτες ταυτόχρονα, γιατί το έυρος ζώνης που διαθέτει είναι περιορισμένο, ενώ οι παραλήπτες μπορεί να είναι χιλιάδες. Έτσι, υιοθετείται συνήθως η τακτική δημιουργίας ενός δέντρου διανομής, όπου ο αρχικός κόμβος στέλνει σε μερικούς μόνο παραλήπτες, οι οπόιοι προωθούν το μήνυμα στα παιδιά τους κ.ο.κ. Το δέντρο διανομής συνήθως κατασκευάζεται πάνω από ένα δομημένο δίκτυο ομοτίμων (p2p networks) και πιο συγκεκριμένα πάνω από ένα δίκτυο βασισμένο σε Κατανεμημένους Πίνακες Κατακερματισμού (Distributed Hash Tables - DHT). Αυτή η τεχνική, αν και λύνει το πρόβλημα της πολλαπλής αποστολής, αντιμετωπίζει όμως κάποια προβλήματα. Πιο συγκεκριμένα, το δέντρο διανομής είναι στατικό, δηλαδή δεν μπορεί να μεταβληθούν οι συνδέσεις μεταξύ των κόμβων αν αλλάξουν οι συνθήκες του υφιστάμενου δικτύου. Ακόμα, δεν υπάρχει κάποιος έλεγχος για τις δυνατότητες των κόμβων που βρίσκονται στα υψηλότερα επίπεδα του δέντρου. Αυτό έχει σαν αποτέλεσμα το δέντρο να χάνει μεγάλο μέρος από την αποδοτικότητά του. Στα πλαίσια της εργασίας αυτής, μελετάμε τη δημιουργία ενός δυναμικού δέντρου διανομής, το οποίο μπορεί να αναπροσαρμόζεται στις εκάστοτε συνθήκες, αυξάνοντας έτσι σημαντικά τη συνολική αποδοτικότητα. Πιο συγκεκριμένα, η βασική μετρική είναι το εύρος ζώνης που παρατηρούν οι χρήστες κατα τη διάρκεια μιας αποστολής δεδομένων. Παρουσιάζουμε διάφορα στατιστικά στοιχεία που δείχνουν τη δραστική βελτίωση που επιτυγχάνουμε με τη χρήση του συγκεκριμένου αλγορίθμου. Ακόμα, μελετάμε τη δημιουργία ενός δέντρου διανομής που θα εκμεταλλεύεται τη δομή των DHT δίκτύων και θα μπορεί να διανέμει την πληροφορία αξιόπιστα (με χρήση erasure coding τεχνικών) ενώ θα εγγυάται ένα λογαριθμικό μέσο αριθμό βημάτων για την αποστολή των δεδομένων. Ταυτόχρονα, το σύστημα προσπαθεί να ισοκατανείμει το φόρτο προώθησης των μηνυμάτων σε όλους τους κόμβους του δικτύου. Και τα δύο συστήματα έχουν υλοποιηθέι και αξιολογηθεί χρησιμοποιώντας το DHT σύστημα Pastry και την υλοποίησή του σε Java (FreePastry). / The rapid evolution of the Internet and network technologies has led to an equally rapid increase in data dissemination applications. At the same time, the need for quick data transfer increase daily. One of the most demanding categories of information disseminating applications are file sharing applications. In these applications, one transmitter wants to send data to a group of receivers, that are geographically distributed. It is obvious that the transmitter can not send the data to all receivers simultaneously, because his bandwidth is limited , while the receivers may be hundreds or even thousands. Therefore, the most common method is that of the creation of a dissemination tree, where the initial node forwards the information to some recipients and they forward it to their children, etc. The dissemination tree is usually constructed over a peer-to-peer network, and specifically over a Distributed Hash Table (DHT) network. This method, although solves the problem of multicasting, faces some problems. First, the dissemination tree is static, which means that the connections between the nodes can not be rearranged, if the conditions of the underlying network change. Moreover, there is no control over the efficiency of the nodes in the highest levels of the tree. This leads to a significant drop in tree efficiency. In this thesis, we study the creation of a dynamic dissemination tree, which can adapt to the network conditions, thereby increasing the tree performance. Specifically, the basic evaluation metric is the bandwidth that end users perceive. We present evidence that shows the improvement that our algorithm imposes. We also study the creation of a dissemination tree that uses the existing DHT structure to efficiently and reliably (using erasure coding techniques) disseminate information and guarantees a logarithmic number of hops for message delivery. At the same time, the system tries to balance the load among all network nodes. Both systems were implemented and evaluated using the Pastry system and its implementation in Java (FreePastry).

Πρόσφατα η ιντερνετική κοινότητα έστρεψε την προσοχή και το ενδιαφέρον της στα peer-to-peer συστήματα, όπου οι χρήστες προσφέρουν τους πόρους τους (αποθηκευτικό χώρο, υπολογιστικό χρόνο) και περιεχόμενο (αρχεία) στην διάθεση της κοινότητας. Οι χρήστες θεωρούνται ίσοι μεταξύ τους και ο καθένας συμμετέχει με διπλό ρόλο, τόσο σαν πελάτης, όσο και σαν εξυπηρετητής. Με αυτό τον τρόπο δημιουργούνται κοινότητες με αποκεντρωμένο έλεγχο, ευελιξία, σταθερότητα, κλιμάκωση, ανωνυμία κι αντοχή στην λογοκρισία. Ενώ όμως οι δυνατότητες αυτών των συστημάτων είναι ποικίλες, την μεγαλύτερη αποδοχή έχουν γνωρίσει τα συστήματα ανταλλαγής αρχείων όπως το Napster, Kazaa, Gnutella, eDonkey, BitTorrent. Το ενδιαφέρον των ερευνητών δεν έχει περιοριστεί μόνο στην ανταλλαγή δεδομένων μιας και η ανοιχτή φύση των peer-to-peer συστημάτων προσφέρει πολύ περισσότερες προκλήσεις. Ένα ενδιαφέρον πεδίο έρευνας είναι αυτό των τεχνικών εξισορρόπησης φόρτου. Η έρευνα που διεξάγεται μπορεί να χωριστεί σε δύο κατηγορίες. Στην μια κατηγορία μπορούμε να εντάξουμε τεχνικές για την καλύτερη κατανομή των αντικειμένων στον χώρο ονομάτων για βελτιστοποιήσεις στην απόδοση της δρομολόγησης και αναζήτησης [Pastry, Tapestry, Chord]. Στην δεύτερη μπορούμε να εντάξουμε τεχνικές για την κατανομή αντιγράφων των αντικειμένων στους κόμβους του δικτύου, για βελτιστοποίηση του ρυθμού εξυπηρέτησης των χρηστών και της ποιότητας υπηρεσίας που τους προσφέρει το σύστημα, η οποία μπορεί άμεσα να συσχετιστεί με την διαθεσιμότητα. Ενώ η δεύτερη κατηγορία μπορούμε να πούμε ότι φαίνεται να είναι πιο ενδιαφέρουσα από την σκοπιά του τελικού χρήστη, η έρευνα στον τομέα αυτό δεν φαίνεται να λαμβάνει υπόψη της έναν ρεαλιστικό υπολογισμό του κόστους εφαρμογής των προτεινομένων τεχνικών. Έτσι κάποιες εργασίες δεν υπολογίζουν καθόλου το κόστος δημιουργίας αντιγράφων, ενώ κάποιες άλλες το θεωρούν σταθερό και ανεξάρτητο από το μέγεθος των αντικειμένων και τη σύνδεση των δυο κόμβων μεταξύ των οποίων γίνεται η επικοινωνία. Κάποιες λιγότερο ή περισσότερο προχωρούν λίγο παραπέρα και ορίζουν το κόστος να είναι ανάλογο του απαιτούμενου αποθηκευτικού χώρου. Η διαφορά με την παρούσα εργασία είναι ότι δεν εμπεριέχουν την έννοια της εξισορρόπησης του φόρτου των κόμβων μεταξύ τους. Σε αυτή την εργασία προσπαθήσαμε να καθορίσουμε ένα σύνολο μετρικών απόδοσης μέσα από ένα πλαίσιο εργασίας για έναν όσο το δυνατόν περισσότερο ρεαλιστικό τρόπο υπολογισμού τους. Για να το πετύχουμε αυτό, καταρχήν σχεδιάσαμε ένα p2p σύστημα διαμοίρασης αρχείων με αρχιτεκτονική που βασίζεται στην οργάνωση των κόμβων σε ομάδες, ενώ στη συνέχεια ορίζοντας την έννοια του φόρτου υλοποιήσαμε τεχνικές για την εξισορρόπησή του. Για την αξιολόγηση των τεχνικών, ορίστηκε ένα σύνολο μετρικών οι οποίες καταγράφουν την απόδοση του συστήματος τόσο από την οπτική γωνία του συστήματος (επιθυμητή η δίκαιη κατανομή του φόρτου και η βέλτιστη χρήση των πόρων όπως κυρίως η διαθέσιμη χωρητικότητα των συνδέσεων των κόμβων μεταξύ τους), όσο κι από την οπτική γωνία του χρήστη (καλύτερη «ποιότητα υπηρεσίας» με το ελάχιστο δυνατό κόστος). Η πειραματική αξιολόγηση των τεχνικών έγινε μέσα σε ένα περιβάλλον προσομοίωσης, το οποίο υλοποιήθηκε από μηδενική βάση, έπειτα από μια μελέτη παρόμοιων συστημάτων. Τα κύρια χαρακτηριστικά του περιβάλλοντος αυτού είναι α) η επεκτασιμότητα κι ευχρηστία του, β) απλή και ρεαλιστική βάση προσομοίωσης, γ) ύπαρξη πληθώρας παραμέτρων της προσομοίωσης που δίνονται σαν είσοδος από τον χρήστη και δ) δυνατότητα προσομοίωσης μεγάλου μεγέθους συστημάτων. / Recently the internet community has focused its interest on peer-to-peer systems, where users contribute their resources (storage space, computation time) and content (documents, files) to the community. The users are considered equivalent, each one participating with a dual role, both as a client and server. The communities formed under this simple peer-to-peer paradigm are characterized by the decentralized control, robustness, stability, scaling, anonymity and resistance to censorship. While there are various potential application domains of peer-to-peer systems, depending on the type of shared resources, the file sharing systems, such as Napster, Kazaa, Gnutella, eDonkey, BitTorrent, has known the greater acceptance. The “open nature” of peer-to-peer systems offers a wider area of research interest and much more challenges than just content sharing; interesting research domains include infrastructure, collaboration, searching, routing, load balancing, security etc Load balancing is a very interesting domain on such systems. The carried out research in this domain may be categorized in two categories. In the first, one can include techniques for better item distribution in the name space so as improvements in routing and searching can be accomplished [ref2 Pastry, Tapestry, Chord]. In the second, one can include techniques for items’ replicas placement to the network nodes, for improving the throughput and the Quality of Service provided to the users. The QoS can be straightforward related to the availability While the second category seems to be more interesting from the user’s perspective, the research in this domain does not seem to take into account a realistic cost evaluation of the proposed techniques. Some research studies just ignore it, while some others consider it constant and irrelative to the objects’ size and the connection between the two nodes where the object transfer occurs. Some others (less) (or more) get a little further and define the cost to be proportional to the needed storage capacity. The difference with our study is that the previous studies do not comprise the notion of load balancing among users as well as evaluate the cost under different assumptions. With our work we try to define a set of performance metrics through a framework based on a measurement as realistic as possible. To accomplish this, at first we designed a cluster based file sharing p2p system, then we defined the notion of load and finally implemented load balancing techniques. To evaluate these techniques we defined a set of metrics that record the system’s performance both from the system’s perspective (desirable the fair load distribution and the optimum use of resources like the available bandwidth of nodes’ connections) and the user’s (better “quality of service” with the least cost). For the experimental evaluation of these techniques we developed from scratch a simulation environment, after we studied similar systems. The main characteristics of this simulator are a) extensibility and usability, b) simple and realistic simulation base, c) availability of plenty simulation parameters given as input from the user d) scalability to simulate large scale systems.

Στο πλαίσιο της διδακτορικής διατριβής αυτής προσπαθήσαμε να δώσουμε λύση στο κεντρικό πρόβλημα του σχεδιασμού και της υλοποίησης κατανεμημένων αρχιτεκτονικών συστήματος, πρωτοκόλλων και αλγορίθμων που παρέχουν την αναγκαία υποδομή για τον υπολογισμό ορισμένων βασικών καθολικών ιδιοτήτων και μεταβλητών της κατάστασης ενός Δικτύου Ομοτίμων Εταίρων (ΔΟΕ). Μπορούμε να διακρίνουμε δύο κύριες διαστάσεις καθολικών ιδιοτήτων: (α) ιδιότητες που αναφέρονται στους κόμβους του δικτύου και τα ιδιαίτερα χαρακτηριστικά τους (υπολογιστική ισχύ, συμπεριφορά, κτλ.) και (β) ιδιότητες και μεταβλητές των αντικειμένων/δεδομένων που χειρίζεται το ΔΟΕ. Για το σκοπό αυτό, κινηθήκαμε προς δύο αλληλοσυμπληρούμενες κατευθύνσεις: (α) ποσοτικοποίηση και εκμετάλλευση της ετερογένειας των κόμβων ενός ΔΟΕ, και (β) υπολογισμός εκτιμήσεων καθολικών μεταβλητών του συστήματος, με απώτερο στόχο την υποστήριξη επεξεργασίας πολύπλοκων ερωτημάτων σε συστήματα διαχείρισης δεδομένων Διαδικτυακής κλίμακας. Στο πρώτο μέρος της διατριβής αυτής, ασχοληθήκαμε με το πρόβλημα της ετερογένειας στις υπολογιστικές δυνατότητες και στις συμπεριφορές των κόμβων ενός ΔΟΕ, καθ'οδόν προς ένα πιό αποδοτικό και ανθεκτικό περιβάλλον δρομολόγησης μηνυμάτων και επεξεργασίας ερωτημάτων, σε σχέση με τα κλασσικά υπάρχοντα δομημένα δικτυακά υποστρώματα ΔΟΕ Κατανεμημένων Πινάκων Κατακερματισμού. Έτσι, πρώτα παρουσιάζουμε ένα νέο παράδειγμα αρχιτεκτονικής δόμησης των ΔΟΕ, το οποίο ονομάζουμε AESOP. Ακόμα, ασχολούμαστε με το πρόβλημα της αποδοτικής επεξεργασίας ερωτημάτων εύρους σε ΔΟΕ βασισμένα σε DHT. Η καινοτομία της προτεινόμενης προσέγγισης βρίσκεται σε αρχιτεκτονικές, αλγορίθμους και πρωτόκολλα ταυτοποίησης και κατάλληλης εκμετάλλευσης δυνατών κόμβων του δικτύων αυτών. Στο δεύτερο μέρος της διατριβής αυτής, ασχολούμστε με την κατανεμημένη εκτίμηση καθολικών μεταβλητών συστημάτων ΔΟΕ, όπως ο πληθάριθμος κατανεμημένων πολυσυνόλων, η επεξεργασία καθολικών συναθροιστικών ερωτημάτων και η διατήρηση ιστογραμμάτων επί δεδομένων κατανεμημένων σε όλους του κόμβους του ΔΟΕ, ώστε να επιτρέψουμε την μεταφορά τεχνικών βελτιστοποίησης ερωτημάτων από τα κεντρικοποιημένα περιβάλλοντα στον ευρέος κατανεμημένο χώρο των συστημάτων διαχείρισης δεδομένων Διαδικτυακής κλίμακας. / As part of this doctoral thesis we tried to solve the central problem of the design and implementation of distributed system architectures, protocols and algorithms that provide the infrastructure necessary to calculate some basic global properties and variables of a peer-to-peer network. We can distinguish two main dimensions of such properties: (a) properties pertaining to the nodes of the network and their particular characteristics (computing power, behavior, etc.) and (b) properties of objects and variables/data managed by the P2P network. For this purpose, we moved in two complementary directions: (a) quantification and exploitation of heterogeneity of nodes in P2P networks, and (b) calculation of estimates of global variables, with a view to support complex query processing in Internet-scale data management systems. First, we dealt with the problem of heterogeneity in computing capabilities and behaviour patterns of the nodes in a P2P network, en route to a more efficient and fault resilient routing and query processing infrastructure compared to classic structure DHT-based data networks. So, first we present a new architecture paradigm, called AESOP. We then use this architecture to tackle the problem of efficient range query processing in DHT-based data management systems. The innovation of the proposed approach lies in architectures, algorithms and protocols for identification and proper exploitation of the powerful nodes of these networks. Then we deal with the distributed estimation of global system variables in P2P networks, such as the cardinality of distributed multisets, distributed aggregate query processing, and the maintenance of distributed histograms over data stored across all nodes of the P2P overlay, so as to allow the porting of query processing and optimization techniques from centralized environments to the widely distributed field of Internet-scale data management systems.

Τα κατανεμημένα δίκτυα κλίμακας Ίντερνετ και κυρίως τα δίκτυα ομοτίμων εταίρων, γνωστά και ως peer-to-peer (p2p), που αποτελούν το πιο αντιπροσωπευτικό παράδειγμά τους, προσελκύουν τα τελευταία χρόνια μεγάλο ενδιαφέρον από τους ερευνητές και τις επιχειρήσεις λόγω των ιδιόμορφων χαρακτηριστικών τους, όπως ο πλήρης αποκεντρωτικός χαρακτήρας, η αυτονομία των κόμβων, η ικανότητα κλιμάκωσης, κ.λπ. Αρχικά σχεδιασμένα να υποστηρίζουν εφαρμογές διαμοιρασμού αρχείων με βασική υπηρεσία την επεξεργασία απλών ερωτημάτων, σύντομα εξελίχτηκαν σε ένα καινούργιο μοντέλο κατανεμημένων συστημάτων, με μεγάλες και αυξανόμενες δυνατότητες για διαδικτυακές εφαρμογές, υποστηρίζοντας πολύπλοκες εφαρμογές διαμοιρασμού δομημένων και σημασιολογικά προσδιορισμένων δεδομένων. Η προσέγγισή μας στην περιοχή αυτή γίνεται προς δύο βασικές κατευθύνσεις: (α) την επεξεργασία πολύπλοκων ερωτημάτων και (β) την εκτίμηση των ανομοιομορφιών των διαφόρων κατανομών που συναντάμε στα δίκτυα αυτά (π.χ. φορτίου, προσφοράς ή κατανάλωσης ενός πόρου, τιμών των δεδομένων των κόμβων, κ.λπ.), που εκτός των άλλων αποτελεί ένα σημαντικό εργαλείο στην υποστήριξη πολύπλοκων ερωτημάτων. Συγκεκριμένα, ασχολούμαστε και επιλύουμε τρία βασικά ανοικτά προβλήματα. Το πρώτο ανοικτό πρόβλημα είναι η επεξεργασία ερωτημάτων εύρους τιμών σε ομότιμα συστήματα κατανεμημένου πίνακα κατακερματισμού, με ταυτόχρονη εξασφάλιση της εξισορρόπησης του φορτίου των κόμβων και της ανοχής σε σφάλματα. Προτείνουμε μια αρχιτεκτονική επικάλυψης, που ονομάζουμε Saturn, που εφαρμόζεται πάνω από ένα δίκτυο κατανεμημένου πίνακα κατακερματισμού. Η αρχιτεκτονική Saturn χρησιμοποιεί: (α) μια πρωτότυπη συνάρτηση κατακερματισμού που τοποθετεί διαδοχικές τιμές δεδομένων σε γειτονικούς κόμβους, για την αποδοτική επεξεργασία των ερωτημάτων εύρους τιμών και (β) την αντιγραφή, για την εξασφάλιση της εξισορρόπησης του φορτίου προσπελάσεων (κάθετη, καθοδηγούμενη από το φορτίο αντιγραφή) και της ανοχής σε σφάλματα (οριζόντια αντιγραφή). Μέσα από μια εκτεταμένη πειραματική αξιολόγηση του Saturn και σύγκριση με δύο βασικά δίκτυα κατανεμημένου πίνακα κατακερματισμού (Chord και OP-Chord) πιστοποιούμε την ανωτερότητα του Saturn να αντιμετωπίζει και τα τρία ζητήματα που θέσαμε, αλλά και την ικανότητά του να συντονίζει το βαθμό αντιγραφής ώστε να ανταλλάζει ανάμεσα στο κόστος αντιγραφής και στο βαθμό εξισορρόπησης του φορτίου. Το δεύτερο ανοικτό πρόβλημα που αντιμετωπίζουμε αφορά την έλλειψη κατάλληλων μετρικών που να εκφράζουν τις ανομοιομορφίες των διαφόρων κατανομών (όπως, για παράδειγμα, το βαθμό δικαιοσύνης μιας κατανομής φορτίου) σε κατανεμημένα δίκτυα κλίμακας Ίντερνετ και την μη αποτελεσματική ή δυναμική εκμετάλλευση μετρικών ανομοιομορφίας σε συνδυασμό με αλγορίθμους διόρθωσης (όπως ο αλγόριθμος εξισορρόπησης φορτίου). Το πρόβλημα είναι σημαντικό γιατί η εκτίμηση των κατανομών συντελεί στην ικανότητα κλιμάκωσης και στην επίδοση αυτών των δικτύων. Αρχικά, προτείνουμε τρεις μετρικές ανομοιομορφίας (το συντελεστή του Gini, τον δείκτη δικαιοσύνης και το συντελεστή διασποράς) μετά από μια αναλυτική αξιολόγηση μεταξύ γνωστών μετρικών εκτίμησης ανομοιομορφίας και στη συνέχεια, αναπτύσσουμε τεχνικές δειγματοληψίας (τρεις γνωστές τεχνικές και τρεις προτεινόμενες) για τη δυναμική εκτίμηση αυτών των μετρικών. Με εκτεταμένα πειράματα αξιολογούμε συγκριτικά τους προτεινόμενους αλγορίθμους εκτίμησης και τις τρεις μετρικές και επιδεικνύουμε πώς αυτές οι μετρικές και ειδικά, ο συντελεστής του Gini, μπορούν να χρησιμοποιηθούν εύκολα και δυναμικά από υψηλότερου επιπέδου αλγορίθμους, οι οποίοι μπορούν τώρα να ξέρουν πότε να επέμβουν για να διορθώσουν τις άδικες κατανομές. Το τρίτο και τελευταίο ανοικτό πρόβλημα αφορά την εκτίμηση του μεγέθους αυτοσύνδεσης μιας σχέσης όπου οι πλειάδες της είναι κατανεμημένες σε κόμβους δεδομένων που αποτελούν ένα ομότιμο δίκτυο επικάλυψης. Το μέγεθος αυτοσύνδεσης έχει χρησιμοποιηθεί εκτεταμένα σε συγκεντρωτικές βάσεις δεδομένων για τη βελτιστοποίηση ερωτημάτων και υποστηρίζουμε ότι μπορεί να χρησιμοποιηθεί και σε ένα πλήθος άλλων εφαρμογών, ειδικά στα ομότιμα δίκτυα (π.χ. συσταδοποίηση του Ιστού, αναζήτηση στον Ιστό, κ.λπ.). Η συνεισφορά μας περιλαμβάνει, αρχικά, τις προσαρμογές πέντε γνωστών συγκεντρωτικών τεχνικών εκτίμησης του μεγέθους αυτοσύνδεσης (συγκεκριμένα, σειριακή, ετεροδειγματοληπτική, προσαρμοστική και διεστιακή δειγματοληψία και δειγματοληψία με μέτρηση δείγματος) στο περιβάλλον ομοτίμων εταίρων και η ανάπτυξη μια πρωτότυπης τεχνικής εκτίμησης του μεγέθους αυτοσύνδεσης, βασισμένη στο συντελεστή του Gini. Με μαθηματική ανάλυση δείχνουμε ότι οι εκτιμήσεις του συντελεστή του Gini μπορούν να οδηγήσουν σε εκτιμήσεις των υποκείμενων κατανομών δεδομένων, όταν αυτά ακολουθούν το νόμο της δύναμης ή το νόμο του Zipf και αυτές, με τη σειρά τους, σε εκτιμήσεις του μεγέθους αυτοσύνδεσης των σχέσεων των δεδομένων. Μετά από αναλυτική πειραματική μελέτη και σύγκριση όλων των παραπάνω τεχνικών αποδεικνύουμε ότι η καινούργια τεχνική που προτείνουμε είναι πολύ αποτελεσματική ως προς την ακρίβεια, την πιστότητα και την απόδοση έναντι των άλλων πέντε μεθόδων. / The distributed, Internet-scale networks, and mainly, the peer-to-peer networks (p2p), that constitute their most representative example, recently attract a great interest from the researchers and the industry, due to their outstanding properties, such as full decentralization, autonomy of nodes, scalability, etc. Initially designed to support file sharing applications with simple lookup operations, they soon developed in a new model of distributed systems, with many and increasing possibilities for Internet applications, supporting complex applications of structured and semantically rich data. Our research to the area has two basic points of view: (a) complex query processing and (b) estimation of skewness in various distributions existing in these networks (e.g. load distribution, distribution of offer, or consumption of resources, data value distributions, etc), which, among others, it is an important tool to complex query processing support. Specifically, we deal with and solve three basic open problems. The first open problem is range query processing in p2p systems based on distributed hash tables (DHT), with simultaneous guarantees of access load balancing and fault tolerance. We propose an overlay DHT architecture, coined Saturn. Saturn uses a novel order-preserving hash function that places consecutive data values in successive nodes to provide efficient range query processing, and replication to guarantee access load balancing (vertical, load-driven replication) and fault tolerance (horizontal replication). With extensive experimentation, we evaluate and compare Saturn with two basic DHT networks (Chord and OP - Chord), and certify its superiority to cope with the three above requirements, but also its ability to tune the degree of replication to trade off replication costs for access load balancing. The second open problem that we face concerns the lack of appropriate metrics to express the degree of skewness of various distributions (for example, the fairness degree of load balancing) in p2p networks, and the inefficient and offline-only exploitation of metrics of skewness, which does not enable any cooperation with corrective algorithms (for example, load balancing algorithms). The problem is important because estimation of distribution fairness contributes to system scalability and efficiency. First, after a comprehensive study and evaluation of popular metrics of skewness, we propose three of them (the coefficient of Gini, the fairness index, and the coefficient of variation), and, then, we develop sampling techniques (three already known techniques, and three novel ones) to dynamically estimate these metrics. With extensive experimentation, which comparatively evaluates both the various proposed estimation algorithms and the three metrics we propose, we show how these three metrics, and especially, the coefficient of Gini, can be easily utilized online by higher-level algorithms, which can now know when to best intervene to correct unfairness. The third and last open problem concerns self-join size estimation of a relation whose tuples are distributed over data nodes which comprise an overlay network. Self-join size has been extensively used in centralized databases for query optimization purposes, and we support that it can also be used in various other applications, specifically in p2p networks (e.g. web clustering, web searching, etc). Our contribution first includes the adaptations of five well-known self-join size estimation, centralized techniques (specifically, sequential sampling, cross-sampling, adaptive and bifocal sampling, and sample-count) to the p2p environment and a novel estimation technique which is based on the Gini coefficient. With mathematical analysis we show that, the estimates of the Gini coefficient can lead to estimates of the degree of skewness of the underlying data distribution, when these follow the power, or Zipf’s law, and these estimates can lead to self-join size estimates of those data relations. With extensive experimental study and comparison of all above techniques, we prove that the proposed technique is very efficient in terms of accuracy, precision, and cost of estimation against the other five methods.

Η διπλωματική εργασία διαπραγματεύεται την εφαρμοσιμότητα του peer-to-peer υπολογισμού και τεχνικών στα ασύρματα κινητά ad-hoc δίκτυα και στα δίκτυα αισθητήρων. Παρουσιάζεται μια παραλλαγή ενός νέου P2P πρωτοκόλλου (Energy Level Distributed Tree) που σαν κύρια λειτουργία του έχει την αύξηση του προσδόκιμου λειτουργίας ενός δικτύου αισθητήρων. Επίσης, γίνεται αναφορά στα πιο δημοφιλή εργαλεία προσομοίωσης για P2P πρωτόκολλα δρομολόγησης και παρουσιάζεται ένα νέο εργαλείο, d-p2p-sim, με δυνατότητα προσομοίωσης εκατομμυρίων κόμβων. Τέλος, εξετάζουμε την απόδοση ενός νέου P2P πρωτοκόλλου δρομολόγησης, του Nested Balanced Distributed Tree, που απαντά με βέλτιστο τρόπο ερωτήμα ακριβούς ταιριάσματος και ερωτήματα διαστήματος παρουσιάζοντας παράλληλα δύο νέους αλγορίθμους αναζήτησης για αυτό. / In this master thesis we study the applicability of the peer-to-peer computing and techniques on wireless ad-hoc networks and sensor-nets. We propose a simplified mapping of an optimal P2P protocol (NBDT) onto sensor-nets, the so called Energy Level Distributed Tree (ELDT), which has one main operation: the life expectancy of a sensor-net. Furthermore, are examined the most popular Peer-to-Peer simulators and is presented a new distributed simulator for P2P routing algorithms. The key feature of the proposed simulator is the ability to simulate millions of peers. Finally, is presented a revised version of the NBDT protocol which is hot-spot free and achieves a better load distribution introducing a negligible routing overhead.