No description available.

Submitted by Maria Cristina (library@lncc.br) on 2015-10-08T18:10:26Z No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) / Approved for entry into archive by Maria Cristina (library@lncc.br) on 2015-10-08T18:10:39Z (GMT) No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) / Made available in DSpace on 2015-10-08T18:10:48Z (GMT). No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) Previous issue date: 2015-05-08 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / High Performance Distributed Computing is essential to improve scientific progress in many areas of science and to efficiently deploy a number of complex scientific applications. These applications have different characteristics that require distinct computational resources too. However, it is very difficult for many research groups to evaluate these HPDC infrastructures and arrive at the best configuration to run their scientific applications. Usually, optimal configurations are searched by executing one of the existing benchmark suites, widely used for performance evaluation. Benchmarks are good for comparisons between computational architectures, but they are not the best approach for evaluating if an architecture is adequate for a set of scientific applications. In this work we propose a systematic methodology for performance evaluation. The focus of our methodology begins on scientific application characteristics, and then considers how these characteristics interact with the problem size, with the programming language and finally with a specific computational architecture. The computational experiments and a case study developed highlight this model of evaluation and indicate that optimal performance can be found when we evaluate a combination of application class, program language, problem size and architecture model. / A Computação Massivamente Paralela e Distribuída é fundamental para alavancar o progresso científico em inúmeras áreas da ciência. Porém, cada domínio de investigação tem aplicações com diferentes requisitos computacionais, os quais dependem da definição adequada desses sistemas de alto desempenho para se obter a eficácia e eficiência na resolução dos seus problemas. Assim, o pesquisador se depara com decisões complexas sobre a escolha da melhor infraestrutura para a execução do seu conjunto de aplicações científicas. Além disso, os métodos tradicionais de avaliação de desempenho por meio da execução de benchmarks possuem inúmeras limitações. Com o objetivo de superar essas dificuldades e limitações é que este trabalho apresenta uma metodologia que orienta pesquisadores e técnicos na aquisição e manutenção de equipamentos de computação de alto desempenho, voltados aos requisitos das suas aplicações. Foram investigados os comportamentos e requisitos computacionais exigidos para diferentes aplicações e sua combinação com arquiteturas, modelos de programação, tamanhos de problema e as relações com o desempenho. O conhecimento obtido viabilizou o desenvolvimento da metodologia, que foi avaliada por meio de um estudo de caso, no qual suas contribuições foram mensuradas.

This master thesis is the result of a collaborative work between EMBRAER and the Escola Politécnica da USP for the study of structural health monitoring (SHM) techniques using sensors applied to aircraft structures. The goal was to develop classification techniques to discriminate between different events arising in the aircraft structure during tests; in the short term, improving the current SHM system used by EMBRAER, based on acoustic emission and, in the long term, fostering the development of a fully distributed system. As a result of studying classification methods for immediate use, we developed two techniques: the Spectral Similarity and a Support Vector Machines (SVM) classifier. Both are unsupervised solutions, due to the unlabeled nature of the data provided. The two solutions were delivered as a final product to EMBRAER for prompt use in the existing SHM system. By studying distributed solutions for future implementations, we developed a detection algorithm based on adaptive techniques. The main result was a special initialization for a maximum likelihood (ML) detector that yields an exponential decay rate in the error probability to a nonzero steady state, using adaptive diffusion estimation in a distributed sensor network. The nodes that compose the network must decide, locally, between two concurrent hypotheses concerning the environment state where they are inserted, using local measurements and shared estimates coming from their neighbors. The exponential performance does not depend on the adaptation step size value, provided it is sufficiently small. The results concerning this distributed detector were published in the journal IEEE Signal Processing Letters. / Esta dissertação de mestrado é o resultado de um trabalho colaborativo entre a EMBRAER e a Escola Politécnica da USP no estudo de técnicas de monitoramento do estado de saúde de estruturas (Structural Health Monitoring - SHM) utilizando sensores em estruturas aeronáuticas. O objetivo foi desenvolver técnicas de classificação para discriminar entre diferentes eventos que surgem em estruturas aeronáuticas durante testes; para o curto prazo, aperfeiçoando o atual sistema de SHM utilizado pela EMBRAER, baseado em emissão acústica e, no longo prazo, fomentando o desenvolvimento de um sistema completamente distribuído. Como resultado do estudo de métodos de classificação para uso imediato, desenvolvemos duas técnicas: a Similaridade Espectral e um classificador que utiliza Support Vector Machines (SMV). Ambas as técnicas são soluções não-supervisionadas, devido a natureza não rotulada dos dados fornecidos. As duas soluções foram entregues como um produto final para a EMBRAER para pronta utilização em seu atual sistema de SHM. Ao estudar soluções completamente distribuídas para futuras implementações, desenvolvemos um algoritmo de detecção baseado em técnicas adaptativas. O principal resultado foi uma inicialização especial para um detector de máxima verossimilhança (maximum likelihood - ML) que possui uma taxa de decaimento exponencial na probabilidade de erro até um valor não nulo em regime estacionário, utilizando estimação adaptativa em uma rede distribuída. Os nós que compõem a rede devem decidir, localmente, entre duas hipóteses concorrentes com relação ao estado do ambiente onde eles estão inseridos, utilizando medidas locais e estimativas compartilhadas vindas de nós vizinhos. O desempenho exponencial não depende do valor do passo de adaptação, se este for suficientemente pequeno. Os resultas referentes a este detector distribuído foram publicados na revista internacional IEEE Signal Processing Letters.

This master thesis is the result of a collaborative work between EMBRAER and the Escola Politécnica da USP for the study of structural health monitoring (SHM) techniques using sensors applied to aircraft structures. The goal was to develop classification techniques to discriminate between different events arising in the aircraft structure during tests; in the short term, improving the current SHM system used by EMBRAER, based on acoustic emission and, in the long term, fostering the development of a fully distributed system. As a result of studying classification methods for immediate use, we developed two techniques: the Spectral Similarity and a Support Vector Machines (SVM) classifier. Both are unsupervised solutions, due to the unlabeled nature of the data provided. The two solutions were delivered as a final product to EMBRAER for prompt use in the existing SHM system. By studying distributed solutions for future implementations, we developed a detection algorithm based on adaptive techniques. The main result was a special initialization for a maximum likelihood (ML) detector that yields an exponential decay rate in the error probability to a nonzero steady state, using adaptive diffusion estimation in a distributed sensor network. The nodes that compose the network must decide, locally, between two concurrent hypotheses concerning the environment state where they are inserted, using local measurements and shared estimates coming from their neighbors. The exponential performance does not depend on the adaptation step size value, provided it is sufficiently small. The results concerning this distributed detector were published in the journal IEEE Signal Processing Letters. / Esta dissertação de mestrado é o resultado de um trabalho colaborativo entre a EMBRAER e a Escola Politécnica da USP no estudo de técnicas de monitoramento do estado de saúde de estruturas (Structural Health Monitoring - SHM) utilizando sensores em estruturas aeronáuticas. O objetivo foi desenvolver técnicas de classificação para discriminar entre diferentes eventos que surgem em estruturas aeronáuticas durante testes; para o curto prazo, aperfeiçoando o atual sistema de SHM utilizado pela EMBRAER, baseado em emissão acústica e, no longo prazo, fomentando o desenvolvimento de um sistema completamente distribuído. Como resultado do estudo de métodos de classificação para uso imediato, desenvolvemos duas técnicas: a Similaridade Espectral e um classificador que utiliza Support Vector Machines (SMV). Ambas as técnicas são soluções não-supervisionadas, devido a natureza não rotulada dos dados fornecidos. As duas soluções foram entregues como um produto final para a EMBRAER para pronta utilização em seu atual sistema de SHM. Ao estudar soluções completamente distribuídas para futuras implementações, desenvolvemos um algoritmo de detecção baseado em técnicas adaptativas. O principal resultado foi uma inicialização especial para um detector de máxima verossimilhança (maximum likelihood - ML) que possui uma taxa de decaimento exponencial na probabilidade de erro até um valor não nulo em regime estacionário, utilizando estimação adaptativa em uma rede distribuída. Os nós que compõem a rede devem decidir, localmente, entre duas hipóteses concorrentes com relação ao estado do ambiente onde eles estão inseridos, utilizando medidas locais e estimativas compartilhadas vindas de nós vizinhos. O desempenho exponencial não depende do valor do passo de adaptação, se este for suficientemente pequeno. Os resultas referentes a este detector distribuído foram publicados na revista internacional IEEE Signal Processing Letters.

Avec le développement de l'IoT, des Smart Cities, et d'autres systèmes large-échelle extrêmement hétérogènes, les systèmes distribués deviennent à la fois plus complexes et plus omniprésents de jour en jour et seront bientôt difficiles à gérer avec les approches courantes. Pour masquer cette difficulté croissante et faciliter leur gestion à tous les stages de leur cycle de vie, cette thèse soutient qu'une approche holistique est nécessaire, où la fonction d'un système est considérée comme un tout, et qui se détache du comportement des composants individuels. En parallèle à cette montée en abstraction, les blocs de base doivent devenir plus autonomes, capable de réagir aux circonstances et d'automatiser la plupart des tâches de bas niveau. Nous proposons trois contributions vers cette vision : 1) Pleiades : une approche holistique pour construire des structures complexes par assemblage, facile à programmer et soutenue par un moteur d'exécution auto-organisant et efficace, basé sur des protocoles épidémiques. 2) Mind-the-Gap : un protocole épidémique de détection des partitions dans les MANETs, grâce à des agrégations opportunistes et à une représentation stochastique compacte du réseau. 3) HyFN: une extension des protocoles épidémiques traditionnels, capable de résoudre efficacement le problème des k-plus-lointains-voisins, ce dont les méthodes standards s'étaient révélées incapables jusqu'à maintenant. Nous considérons que ces trois contributions montrent que notre vision est réaliste, et mettent en valeur ses qualités. / With the advent of the IoT, Smart Cities, and other large-scale extremely heterogeneous systems, distributed systems are becoming both more complex and pervasive every day and will soon be intractable with current approaches. To hide this growing complexity and facilitate the management of distributed systems at all stages of their life-cycle, this thesis argues for a holistic approach, where the function of a system is considered as a whole, moving away from the behavior of individual components. In parallel to this rise in abstraction levels, basic building blocks need to become more autonomous and able to react to circumstances, to alleviate developers and automate most of the low level operations. We propose three contributions towards this vision : 1) Pleiades: a holistic approach to build complex structures by assembly, easily programmable and supported by an efficient, self-organizing gossip-based run-time engine. 2) Mind-the-Gap: a gossip-based protocol to detect partitions and other large connectivity changes in MANETs, thanks to periodic opportunistic aggregations and a stochastic representation of the network membership. 3) HyFN: an extension to traditional gossip protocols that is able to efficiently solve the k-Furthest-Neighbors problem, which standard methods have been unable to up to now. We believe these three contributions demonstrate our vision is realistic and highlight its attractive qualities.

This dissertation deals with the distributed processing techniques for parameter estimation and efficient data-gathering in wireless communication and sensor networks. With the aim of enabling an energy aware and low-complexity distributed implementation of the estimation task, several useful optimization techniques that generally yield linear estimators were derived in the literature. Up to now, most of the works considered that the nodes are interested in estimating the same vector of global parameters. This scenario can be viewed as a special case of a more general problem where the nodes of the network have overlapped but different estimation interests. Motivated by this fact, this dissertation states a new Node-Specific Parameter Estimation (NSPE) formulation where the nodes are interested in estimating parameters of local, common and/or global interest. We consider a setting where the NSPE interests are partially overlapping, while the non-overlapping parts can be arbitrarily different. This setting can model several applications, e.g., cooperative spectrum sensing in cognitive radio networks, power system state estimation in smart grids etc. Unsurprisingly, the effectiveness of any distributed adaptive implementation is dependent on the ways cooperation is established at the network level, as well as the processing strategies considered at the node level. At the network level, this dissertation is concerned with the incremental and diffusion cooperation schemes in the NSPE settings. Under the incremental mode, each node communicates with only one neighbor, and the data are processed in a cyclic manner throughout the network at each time instant. On the other hand, in the diffusion mode at each time step each node of the network cooperates with a set of neighboring nodes. Based on Least-Mean Squares (LMS) and Recursive Least-Squares (RLS) learning rules employed at the node level, we derive novel distributed estimation algorithms that undertake distinct but coupled optimization processes in order to obtain adaptive solutions of the considered NSPE setting. The detailed analyses of the mean convergence and the steady-state mean-square performance have been provided. Finally, different performance gains have been illustrated in the context of cooperative spectrum sensing in cognitive radio networks. Another fundamental problem that has been considered in this dissertation is the data-gathering problem, sometimes also named as the sensor reachback, that arises in Wireless Sensor Networks (WSN). In particular, the problem is related to the transmission of the acquired observations to a data-collecting node, often termed to as sink node, which has increased processing capabilities and more available power as compared to the other nodes. Here, we focus on WSNs deployed for structural health monitoring. In general, there are several difficulties in the sensor reachback problem arising in such a network. Firstly, the amount of data generated by the sensor nodes may be immense, due to the fact that structural monitoring applications need to transfer relatively large amounts of dynamic response measurement data. Furthermore, the assumption that all sensors have direct, line-of-sight link to the sink does not hold in the case of these structures. To reduce the amount of data required to be transmitted to the sink node, the correlation among measurements of neighboring nodes can be exploited. A possible approach to exploit spatial data correlation is Distributed Source Coding (DSC). A DSC technique may achieve lossless compression of multiple correlated sensor outputs without establishing any communication links between the nodes. Other approaches employ lossy techniques by taking advantage of the temporal correlations in the data and/or suitable stochastic modeling of the underlying processes. In this dissertation, we present a channel-aware lossless extension of sequential decoding based on cooperation between the nodes. Next, we also present a cooperative communication protocol based on adaptive spatio-temporal prediction. As a more practical approach, it allows a lossy reconstruction of transmitted data, while offering considerable energy savings in terms of transmissions toward the sink. / Η παρούσα διατριβή ασχολείται με τεχνικές κατανεμημένης επεξεργασίας για εκτίμηση παραμέτρων και για την αποδοτική συλλογή δεδομένων σε ασύρματα δίκτυα επικοινωνιών και αισθητήρων. Το πρόβλημα της εκτίμησης συνίσταται στην εξαγωγή ενός συνόλου παραμέτρων από χρονικές και χωρικές θορυβώδεις μετρήσεις που συλλέγονται από διαφορετικούς κόμβους οι οποίοι παρακολουθούν μια περιοχή ή ένα πεδίο. Ο στόχος είναι να εξαχθεί μια εκτίμηση που θα είναι τόσο ακριβής όσο αυτή που θα πετυχαίναμε εάν κάθε κόμβος είχε πρόσβαση στην πληροφορία που έχει το σύνολο του δικτύου. Στο πρόσφατο σχετικά παρελθόν έγιναν διάφορες προσπάθειες που είχαν ως σκοπό την ανάπτυξη ενεργειακά αποδοτικών και χαμηλής πολυπλοκότητας κατανεμημένων υλοποίησεων του εκτιμητή. Έτσι, υπάρχουν πλέον στη βιβλιογραφία διάφορες ενδιαφέρουσες τεχνικές βελτιστοποίησης που οδηγούν σε γραμμικούς, κυρίως, εκτιμητές. Μέχρι τώρα, οι περισσότερες εργασίες θεωρούσαν ότι οι κόμβοι ενδιαφέρονται για την εκτίμηση ενός κοινού διανύσματος παραμέτρων, το οποίο είναι ίδιο για όλο το δίκτυο. Αυτό το σενάριο μπορεί να θεωρηθεί ως μια ειδική περίπτωση ενός γενικότερου προβλήματος, όπου οι κόμβοι του δικτύου έχουν επικαλυπτόμενα αλλά διαφορετικά ενδιαφέροντα εκτίμησης. Παρακινημένη από αυτό το γεγονός, αυτή η Διατριβή ορίζει ένα νέο πλαίσιο της Κόμβο-Ειδικής Εκτίμησης Παραμέτρων (ΚΕΕΠ), όπου οι κόμβοι ενδιαφέρονται για την εκτίμηση των παραμέτρων τοπικού ενδιαφέροντος, των παραμέτρων που είναι κοινές σε ένα υποσύνολο των κόμβων ή/και των παραμέτρων που είναι κοινές σε όλο το δίκτυο. Θεωρούμε ένα περιβάλλον όπου η ΚΕΕΠ αναφέρεται σε ενδιαφέροντα που αλληλεπικαλύπτονται εν μέρει, ενώ τα μη επικαλυπτόμενα τμήματα μπορούν να είναι αυθαίρετα διαφορετικά. Αυτό το πλαίσιο μπορεί να μοντελοποιήσει διάφορες εφαρμογές, π.χ., συνεργατική ανίχνευση φάσματος σε γνωστικά δίκτυα ραδιοεπικοινωνιών, εκτίμηση της κατάστασης ενός δικτύου μεταφοράς ενέργειας κλπ. Όπως αναμένεται, η αποτελεσματικότητα της οποιασδήποτε κατανεμημένης προσαρμοστικής τεχνικής εξαρτάται και από τον συγκεκριμένο τρόπο με τον οποίο πραγματοποιείται η συνεργασία σε επίπεδο δικτύου, καθώς και από τις στρατηγικές επεξεργασίας που χρησιμοποιούνται σε επίπεδο κόμβου. Σε επίπεδο δικτύου, αυτή η διατριβή ασχολείται με τον incremental (κυκλικά εξελισσόμενο) και με τον diffusion (διαχεόμενο) τρόπο συνεργασίας στο πλαίσιο της ΚΕΕΠ. Στον incremental τρόπο, κάθε κόμβος επικοινωνεί μόνο με ένα γείτονα, και τα δεδομένα από το δίκτυο υποβάλλονται σε επεξεργασία με ένα κυκλικό τρόπο σε κάθε χρονική στιγμή. Από την άλλη πλευρά, στον diffusion τρόπο σε κάθε χρονική στιγμή κάθε κόμβος του δικτύου συνεργάζεται με ένα σύνολο γειτονικών κόμβων. Με βάση τους αλγορίθμους Ελαχίστων Μέσων Τετραγώνων (ΕΜΤ) και Αναδρομικών Ελαχίστων Τετραγώνων (ΑΕΤ) οι οποίοι χρησιμοποιούνται ως κανόνες μάθησης σε επίπεδο κόμβου, αναπτύσσουμε νέους κατανεμημένους αλγόριθμους για την εκτίμηση οι οποίοι αναλαμβάνουν ευδιακριτές, αλλά συνδεδεμένες διαδικασίες βελτιστοποίησης, προκειμένου να αποκτηθούν οι προσαρμοστικές λύσεις της εξεταζόμενης ΚΕΕΠ. Οι λεπτομερείς αναλύσεις για τη σύγκλιση ως προς τη μέση τιμή και για τη μέση τετραγωνική απόδοση σταθερής κατάστασης έχουν επίσης εξαχθεί στο πλαίσιο αυτής της Διατριβής. Τέλος, όπως αποδεικνύεται, η εφαρμογή των προτεινόμενων τεχνικών εκτίμησης στο πλαίσιο της συνεργατικής ανίχνευσης φάσματος σε γνωστικές ραδιοεπικοινωνίες, οδηγεί σε αισθητά κέρδη απόδοσης. Ένα άλλο βασικό πρόβλημα που έχει μελετηθεί στην παρούσα εργασία είναι το πρόβλημα συλλογής δεδομένων, επίσης γνωστό ως sensor reachback, το οποίο προκύπτει σε ασύρματα δίκτυα αισθητήρων (ΑΔΑ). Πιο συγκεκριμένα, το πρόβλημα σχετίζεται με την μετάδοση των λαμβανόμενων μετρήσεων σε έναν κόμβο συλλογής δεδομένων, που ονομάζεται sink node, ο οποίος έχει αυξημένες δυνατότητες επεξεργασίας και περισσότερη διαθέσιμη ισχύ σε σύγκριση με τους άλλους κόμβους. Εδώ, έχουμε επικεντρωθεί σε ΑΔΑ που έχουν αναπτυχθεί για την παρακολούθηση της υγείας κατασκευών. Σε γενικές γραμμές, σε ένα τέτοιο δίκτυο προκύπτουν πολλές δυσκολίες σε ότι αφορά το sensor reachback προβλήμα. Πρώτον, η ποσότητα των δεδομένων που παράγονται από τους αισθητήρες μπορεί να είναι τεράστια, γεγονός που οφείλεται στο ότι για την παρακολούθηση της υγείας κατασκευών είναι απαραίτητο να μεταφερθούν σχετικά μεγάλες ποσότητες μετρήσεων δυναμικής απόκρισης. Επιπλέον, η υπόθεση ότι όλοι οι αισθητήρες έχουν απευθείας μονοπάτι μετάδοσης, με άλλα λόγια ότι βρίσκονται σε οπτική επαφή με τον sink node, δεν ισχύει στην περίπτωση των δομών αυτών. Για να μειωθεί η ποσότητα των δεδομένων που απαιτούνται για να μεταδοθούν στον sink node, αξιοποιείται η συσχέτιση μεταξύ των μετρήσεων των γειτονικών κόμβων. Μία πιθανή προσέγγιση για την αξιοποίηση της χωρικής συσχέτισης μεταξύ δεδομένων σχετίζεται με την Κατανεμημένη Κωδικοποίηση Πηγής (ΚΚΠ). Η τεχνική ΚΚΠ επιτυγχάνει μη απωλεστική συμπίεση των πολλαπλών συσχετιζόμενων μετρήσεων των κόμβων χωρίς να απαιτεί την οποιαδήποτε επικοινωνία μεταξύ των κόμβων. Άλλες προσεγγίσεις χρησιμοποιούν απωλεστικές τεχνικές συμπίεσης εκμεταλλευόμενες τις χρονικές συσχετίσεις στα δεδομένα ή / και κάνοντας μία κατάλληλη στοχαστική μοντελοποίηση των σχετικών διαδικασιών. Σε αυτή τη Διατριβή, παρουσιάζουμε μία επέκταση της διαδοχικής αποκωδικοποίησης χωρίς απώλειες λαμβάνοντας υπόψιν το κανάλι και βασιζόμενοι σε κατάλληλα σχεδιασμένη συνεργασία μεταξύ των κόμβων. Επιπρόσθετα, παρουσιάζουμε ενα συνεργατικό πρωτόκολλο επικοινωνίας που στηρίζεται σε προσαρμοστική χωρο-χρονική πρόβλεψη. Ως μια πιο πρακτική προσέγγιση, το πρωτόκολλο επιτρέπει απώλειες στην ανακατασκευή των μεταδιδόμενων δεδομένων, ενώ προσφέρει σημαντική εξοικονόμηση ενέργειας μειώνοντας των αριθμό των απαιτούμενων μεταδόσεων προς τον sink node.

The network coding is a new paradigm that has been shown to improve throughput, fault tolerance, and other quality of service parameters in communication networks. The basic idea of the network coding techniques is to relish the "mixing" nature of the information flows, i.e., many algebraic operations (e.g., addition, subtraction etc.) can be performed over the data packets. Whereas traditionally information flows are treated as physical commodities (e.g., cars) over which algebraic operations can not be performed. In this dissertation we answer some of the important open questions related to the network coding. Our work can be divided into four major parts. Firstly, we focus on network code design for the dynamic networks, i.e., the networks with frequently changing topologies and frequently changing sets of users. Examples of such dynamic networks are content distribution networks, peer-to-peer networks, and mobile wireless networks. A change in the network might result in infeasibility of the previously assigned feasible network code, i.e., all the users might not be able to receive their demands. The central problem in the design of a feasible network code is to assign local encoding coefficients for each pair of links in a way that allows every user to decode the required packets. We analyze the problem of maintaining the feasibility of a network code, and provide bounds on the number of modifications required under dynamic settings. We also present distributed algorithms for the network code design, and propose a new path-based assignment of encoding coefficients to construct a feasible network code. Secondly, we investigate the network coding problems in wireless networks. It has been shown that network coding techniques can significantly increase the overall throughput of wireless networks by taking advantage of their broadcast nature. In wireless networks each packet transmitted by a device is broadcasted within a certain area and can be overheard by the neighboring devices. When a device needs to transmit packets, it employs the Index Coding that uses the knowledge of what the device's neighbors have heard in order to reduce the number of transmissions. With the Index Coding, each transmitted packet can be a linear combination of the original packets. The Index Coding problem has been proven to be NP-hard, and NP-hard to approximate. We propose an efficient exact, and several heuristic solutions for the Index Coding problem. Noting that the Index Coding problem is NP-hard to approximate, we look at it from a novel perspective and define the Complementary Index Coding problem, where the objective is to maximize the number of transmissions that are saved by employing coding compared to the solution that does not involve coding. We prove that the Complementary Index Coding problem can be approximated in several cases of practical importance. We investigate both the multiple unicast and multiple multicast scenarios for the Complementary Index Coding problem for computational complexity, and provide polynomial time approximation algorithms. Thirdly, we consider the problem of accessing large data files stored at multiple locations across a content distribution, peer-to-peer, or massive storage network. Parts of the data can be stored in either original form, or encoded form at multiple network locations. Clients access the parts of the data through simultaneous downloads from several servers across the network. For each link used client has to pay some cost. A client might not be able to access a subset of servers simultaneously due to network restrictions e.g., congestion etc. Furthermore, a subset of the servers might contain correlated data, and accessing such a subset might not increase amount of information at the client. We present a novel efficient polynomial-time solution for this problem that leverages the matroid theory. Fourthly, we explore applications of the network coding for congestion mitigation and over flow avoidance in the global routing stage of Very Large Scale Integration (VLSI) physical design. Smaller and smarter devices have resulted in a significant increase in the density of on-chip components, which has given rise to congestion and over flow as critical issues in on-chip networks. We present novel techniques and algorithms for reducing congestion and minimizing over flows.

Τα κατανεμημένα δίκτυα κλίμακας Ίντερνετ και κυρίως τα δίκτυα ομοτίμων εταίρων, γνωστά και ως peer-to-peer (p2p), που αποτελούν το πιο αντιπροσωπευτικό παράδειγμά τους, προσελκύουν τα τελευταία χρόνια μεγάλο ενδιαφέρον από τους ερευνητές και τις επιχειρήσεις λόγω των ιδιόμορφων χαρακτηριστικών τους, όπως ο πλήρης αποκεντρωτικός χαρακτήρας, η αυτονομία των κόμβων, η ικανότητα κλιμάκωσης, κ.λπ. Αρχικά σχεδιασμένα να υποστηρίζουν εφαρμογές διαμοιρασμού αρχείων με βασική υπηρεσία την επεξεργασία απλών ερωτημάτων, σύντομα εξελίχτηκαν σε ένα καινούργιο μοντέλο κατανεμημένων συστημάτων, με μεγάλες και αυξανόμενες δυνατότητες για διαδικτυακές εφαρμογές, υποστηρίζοντας πολύπλοκες εφαρμογές διαμοιρασμού δομημένων και σημασιολογικά προσδιορισμένων δεδομένων. Η προσέγγισή μας στην περιοχή αυτή γίνεται προς δύο βασικές κατευθύνσεις: (α) την επεξεργασία πολύπλοκων ερωτημάτων και (β) την εκτίμηση των ανομοιομορφιών των διαφόρων κατανομών που συναντάμε στα δίκτυα αυτά (π.χ. φορτίου, προσφοράς ή κατανάλωσης ενός πόρου, τιμών των δεδομένων των κόμβων, κ.λπ.), που εκτός των άλλων αποτελεί ένα σημαντικό εργαλείο στην υποστήριξη πολύπλοκων ερωτημάτων. Συγκεκριμένα, ασχολούμαστε και επιλύουμε τρία βασικά ανοικτά προβλήματα. Το πρώτο ανοικτό πρόβλημα είναι η επεξεργασία ερωτημάτων εύρους τιμών σε ομότιμα συστήματα κατανεμημένου πίνακα κατακερματισμού, με ταυτόχρονη εξασφάλιση της εξισορρόπησης του φορτίου των κόμβων και της ανοχής σε σφάλματα. Προτείνουμε μια αρχιτεκτονική επικάλυψης, που ονομάζουμε Saturn, που εφαρμόζεται πάνω από ένα δίκτυο κατανεμημένου πίνακα κατακερματισμού. Η αρχιτεκτονική Saturn χρησιμοποιεί: (α) μια πρωτότυπη συνάρτηση κατακερματισμού που τοποθετεί διαδοχικές τιμές δεδομένων σε γειτονικούς κόμβους, για την αποδοτική επεξεργασία των ερωτημάτων εύρους τιμών και (β) την αντιγραφή, για την εξασφάλιση της εξισορρόπησης του φορτίου προσπελάσεων (κάθετη, καθοδηγούμενη από το φορτίο αντιγραφή) και της ανοχής σε σφάλματα (οριζόντια αντιγραφή). Μέσα από μια εκτεταμένη πειραματική αξιολόγηση του Saturn και σύγκριση με δύο βασικά δίκτυα κατανεμημένου πίνακα κατακερματισμού (Chord και OP-Chord) πιστοποιούμε την ανωτερότητα του Saturn να αντιμετωπίζει και τα τρία ζητήματα που θέσαμε, αλλά και την ικανότητά του να συντονίζει το βαθμό αντιγραφής ώστε να ανταλλάζει ανάμεσα στο κόστος αντιγραφής και στο βαθμό εξισορρόπησης του φορτίου. Το δεύτερο ανοικτό πρόβλημα που αντιμετωπίζουμε αφορά την έλλειψη κατάλληλων μετρικών που να εκφράζουν τις ανομοιομορφίες των διαφόρων κατανομών (όπως, για παράδειγμα, το βαθμό δικαιοσύνης μιας κατανομής φορτίου) σε κατανεμημένα δίκτυα κλίμακας Ίντερνετ και την μη αποτελεσματική ή δυναμική εκμετάλλευση μετρικών ανομοιομορφίας σε συνδυασμό με αλγορίθμους διόρθωσης (όπως ο αλγόριθμος εξισορρόπησης φορτίου). Το πρόβλημα είναι σημαντικό γιατί η εκτίμηση των κατανομών συντελεί στην ικανότητα κλιμάκωσης και στην επίδοση αυτών των δικτύων. Αρχικά, προτείνουμε τρεις μετρικές ανομοιομορφίας (το συντελεστή του Gini, τον δείκτη δικαιοσύνης και το συντελεστή διασποράς) μετά από μια αναλυτική αξιολόγηση μεταξύ γνωστών μετρικών εκτίμησης ανομοιομορφίας και στη συνέχεια, αναπτύσσουμε τεχνικές δειγματοληψίας (τρεις γνωστές τεχνικές και τρεις προτεινόμενες) για τη δυναμική εκτίμηση αυτών των μετρικών. Με εκτεταμένα πειράματα αξιολογούμε συγκριτικά τους προτεινόμενους αλγορίθμους εκτίμησης και τις τρεις μετρικές και επιδεικνύουμε πώς αυτές οι μετρικές και ειδικά, ο συντελεστής του Gini, μπορούν να χρησιμοποιηθούν εύκολα και δυναμικά από υψηλότερου επιπέδου αλγορίθμους, οι οποίοι μπορούν τώρα να ξέρουν πότε να επέμβουν για να διορθώσουν τις άδικες κατανομές. Το τρίτο και τελευταίο ανοικτό πρόβλημα αφορά την εκτίμηση του μεγέθους αυτοσύνδεσης μιας σχέσης όπου οι πλειάδες της είναι κατανεμημένες σε κόμβους δεδομένων που αποτελούν ένα ομότιμο δίκτυο επικάλυψης. Το μέγεθος αυτοσύνδεσης έχει χρησιμοποιηθεί εκτεταμένα σε συγκεντρωτικές βάσεις δεδομένων για τη βελτιστοποίηση ερωτημάτων και υποστηρίζουμε ότι μπορεί να χρησιμοποιηθεί και σε ένα πλήθος άλλων εφαρμογών, ειδικά στα ομότιμα δίκτυα (π.χ. συσταδοποίηση του Ιστού, αναζήτηση στον Ιστό, κ.λπ.). Η συνεισφορά μας περιλαμβάνει, αρχικά, τις προσαρμογές πέντε γνωστών συγκεντρωτικών τεχνικών εκτίμησης του μεγέθους αυτοσύνδεσης (συγκεκριμένα, σειριακή, ετεροδειγματοληπτική, προσαρμοστική και διεστιακή δειγματοληψία και δειγματοληψία με μέτρηση δείγματος) στο περιβάλλον ομοτίμων εταίρων και η ανάπτυξη μια πρωτότυπης τεχνικής εκτίμησης του μεγέθους αυτοσύνδεσης, βασισμένη στο συντελεστή του Gini. Με μαθηματική ανάλυση δείχνουμε ότι οι εκτιμήσεις του συντελεστή του Gini μπορούν να οδηγήσουν σε εκτιμήσεις των υποκείμενων κατανομών δεδομένων, όταν αυτά ακολουθούν το νόμο της δύναμης ή το νόμο του Zipf και αυτές, με τη σειρά τους, σε εκτιμήσεις του μεγέθους αυτοσύνδεσης των σχέσεων των δεδομένων. Μετά από αναλυτική πειραματική μελέτη και σύγκριση όλων των παραπάνω τεχνικών αποδεικνύουμε ότι η καινούργια τεχνική που προτείνουμε είναι πολύ αποτελεσματική ως προς την ακρίβεια, την πιστότητα και την απόδοση έναντι των άλλων πέντε μεθόδων. / The distributed, Internet-scale networks, and mainly, the peer-to-peer networks (p2p), that constitute their most representative example, recently attract a great interest from the researchers and the industry, due to their outstanding properties, such as full decentralization, autonomy of nodes, scalability, etc. Initially designed to support file sharing applications with simple lookup operations, they soon developed in a new model of distributed systems, with many and increasing possibilities for Internet applications, supporting complex applications of structured and semantically rich data. Our research to the area has two basic points of view: (a) complex query processing and (b) estimation of skewness in various distributions existing in these networks (e.g. load distribution, distribution of offer, or consumption of resources, data value distributions, etc), which, among others, it is an important tool to complex query processing support. Specifically, we deal with and solve three basic open problems. The first open problem is range query processing in p2p systems based on distributed hash tables (DHT), with simultaneous guarantees of access load balancing and fault tolerance. We propose an overlay DHT architecture, coined Saturn. Saturn uses a novel order-preserving hash function that places consecutive data values in successive nodes to provide efficient range query processing, and replication to guarantee access load balancing (vertical, load-driven replication) and fault tolerance (horizontal replication). With extensive experimentation, we evaluate and compare Saturn with two basic DHT networks (Chord and OP - Chord), and certify its superiority to cope with the three above requirements, but also its ability to tune the degree of replication to trade off replication costs for access load balancing. The second open problem that we face concerns the lack of appropriate metrics to express the degree of skewness of various distributions (for example, the fairness degree of load balancing) in p2p networks, and the inefficient and offline-only exploitation of metrics of skewness, which does not enable any cooperation with corrective algorithms (for example, load balancing algorithms). The problem is important because estimation of distribution fairness contributes to system scalability and efficiency. First, after a comprehensive study and evaluation of popular metrics of skewness, we propose three of them (the coefficient of Gini, the fairness index, and the coefficient of variation), and, then, we develop sampling techniques (three already known techniques, and three novel ones) to dynamically estimate these metrics. With extensive experimentation, which comparatively evaluates both the various proposed estimation algorithms and the three metrics we propose, we show how these three metrics, and especially, the coefficient of Gini, can be easily utilized online by higher-level algorithms, which can now know when to best intervene to correct unfairness. The third and last open problem concerns self-join size estimation of a relation whose tuples are distributed over data nodes which comprise an overlay network. Self-join size has been extensively used in centralized databases for query optimization purposes, and we support that it can also be used in various other applications, specifically in p2p networks (e.g. web clustering, web searching, etc). Our contribution first includes the adaptations of five well-known self-join size estimation, centralized techniques (specifically, sequential sampling, cross-sampling, adaptive and bifocal sampling, and sample-count) to the p2p environment and a novel estimation technique which is based on the Gini coefficient. With mathematical analysis we show that, the estimates of the Gini coefficient can lead to estimates of the degree of skewness of the underlying data distribution, when these follow the power, or Zipf’s law, and these estimates can lead to self-join size estimates of those data relations. With extensive experimental study and comparison of all above techniques, we prove that the proposed technique is very efficient in terms of accuracy, precision, and cost of estimation against the other five methods.