El presente trabajo de investigación analiza los programas de noticieros de la televisión peruana, los cuales, actualmente, están explorando el mundo digital. Estos programas transmiten algunos de sus contenidos en las redes sociales más populares o masivas, que son utilizadas por el público peruano en general. Asimismo, los programas de noticieros están usando las herramientas que brindan las redes sociales como la transmisión de video en vivo. De igual manera, el contenido de este proyecto de investigación busca obtener un análisis sobre los contenidos que muestran en sus redes sociales los programas de noticieros de la televisión peruana. / This research work analyzes the Peruvian television news programs, which are currently exploring the digital world. These programs transmit some of their content on the most popular or massive social networks, which are used by the Peruvian public in general. Also, news programs are using tools provided by social media such as live video streaming. Likewise, the content of this research project seeks to obtain an analysis of the content shown on Peruvian social networks by the news programs on Peruvian television. / Trabajo de investigación

Aujourd'hui, de nombreux appareils sont capables de capturer des vidéos en Full HD et d'utiliser une connexion réseau pour accéder à Internet. La popularisation des dispositifs et les efforts continus pour améliorer la qualité du réseau ont apporté un environnement propice à l'essor de la diffusion en direct. De par la grande quantité de contenu généré par les utilisateurs, la diffusion de flux en direct présente de nouveaux défis. Dans cette thèse, nous nous intéressons à la distribution et au transcodage des systèmes de diffusion en direct. Pour étudier les différent aspects des systèmes de diffusion en direct nous avons besoin de les caractériser et d'évaluer les solutions proposées avec des traces pertinentes. Par conséquent, notre première contribution est un ensemble de données et son analyse, contenant trois mois de traces de deux services de streaming en direct. Ensuite, nous avons exploré et développé des solutions pour la distribution du contenu produit par ces platesformes. L'un des défis est l'hétérogénéité de popularité des flux. Ceci implique généralement un surdimensionnement des services et par conséquent un gaspillage de ressources. Enfin, nous nous sommes focalisés sur les difficultés posées par le transcodage des flux en direct. Les opérations de transcodage sont coûteuses en ressources CPU et sont des étapes clés pour le Streaming à Débit Adaptatif (SDA). Nous montrons que le SDA est capable de réduire le coût en bande passante pour la distribution et d'augmenter la qualité d'expérience des téléspectateurs en échange d'un coût en ressources CPU. Pour comprendre le compromis entre les avantages et les coûts, nous formulons deux problèmes de gestion. / Today many devices are capable to capture full HD videos and to use its network connection to access Internet. The popularization of devices and continuous efforts to increase network quality has brought a proper environment for the rise of live streaming. Associated to the large scale of Users Generated Content (UGC), live streaming presents new challenges. In this thesis we target the delivery and transcoding of live streaming systems.First, to study the aspects we target of live streaming systems we need to characterize them and evaluate the proposed solutions with relevant traces. Therefore our first contribution is a data set, and its analysis, containing three months traces of two UGC live streaming services.Second, we explored and developed solutions for the delivery of the content produced by these platforms. One of the challenges is the heterogeneity among streams popularity, which generally implies over-provisioning and consequently resource waste. We show that there is a trade-off between the number of servers involved to broadcast the streams and the bandwidth usage among the servers. We also stress the importance to predict streams popularity in order to efficiently place them on the servers.Lastly, we target the difficulties concerning transcoding of live streams. The transcoding operations over streams are computing consuming and are key operations on adaptive bit rate streaming. We show that adaptive streaming is able to reduce the delivery bandwidth cost and to increase viewer quality of experience at the cost of computing resources. We formulate two management problems to address the trade-off between benefits and costs.

No description available.

Användningen och behovet av rekommendationssystem i digitala tjänster har växt i takt med att utbudet i dessa blivit allt större och svårare för användare att navigera i. Rekommendationssystem används idag i allt ifrån E-handel till musikoch filmstreaming. För att förse användare med rekommendationer på objekt används en mängd olika väl beprövade algoritmer, filtreringsmetoder och datainsamlingsmetoder. Att applicera dessa i livestreamingtjänster ställer nya krav på systemen eftersom innehållet byts ut mer frekvent, helt nytt innehåll tillkommer regelbundet och explicit data samt metadata är sällan tillräcklig för att ta fram träffsäkra rekommendationer. I en fallstudie med företaget Liveguide undersöks hur rekommendationssystem kan appliceras i livestreamingtjänster med avseende på de utmaningar och krav som finns. Metoder presenteras där aktuella lösningar testas, utvärderas och anpassas till att fungera bra i livestreamingsammanhang. Slutligen föreslås tre modeller för rekommendationssystem som tagits fram utifrån det resultat metoderna leder till. För att tillfredsställa de identifierade utmaningarna inom området visade sig hybrida, mångsidiga modeller fördelaktiga i livestreaming. / The usage and demand of recommender systems in digital services has increased in line with their huge range of products, making it more difficult for users to navigate through the content. Recommender systems are used in a wide scope of digital services ranging from E-commerce to music and film streaming. In order to provide users with recommendations on objects, a variety of algorithms, filtering methods and methods of data collections are being used. Applying these in live streaming services puts new demands on such systems since the content is replaced frequently and new objects added regularly. Furthermore, livestreaming services often lack explicit data and metadata, making recommendations less accurate. In a case study with Liveguide, recommender systems are evaluated, focusing on whether they are applicable to live streaming services, respecting requirements and demands on such systems. Methods are presented which tests, evaluates and adapts existing solutions to fit in well in context of live streaming. Finally, three models for recommender systems are suggested, based on the methods result. In order to satisfy the identified challenges, hybrid models turned out to be preferable in the context.

no / Peer-to-Peer (P2P) has become a popular live streaming delivery technology owing to its scalability and low cost. P2P streaming systems often employ multi-channels to deliver streaming to users simultaneously, which leads to a great challenge of allocating server resources among these channels appropriately. Most existing P2P systems resort to over-allocating server resources to different channels, which results in low-efficiency and high-cost. To allocate server resources to different channels efficiently, we propose a dynamic resource allocation algorithm based on a streaming quality model for P2P live streaming systems. This algorithm can improve the channel streaming quality for multi-channel P2P live streaming system and also guarantees the streaming quality of the channels under extreme Internet conditions. In an experiment, the proposed algorithm is validated by the trace data.

Pulse63 is a live streaming and projection mapping installation at architectural scale developed for Moogfest 2018, in Durham, NC. The project explores the relationship between telepresence and "superarchitecture". This paper will consider the artistic aspects of these terms through the work of Eduardo Kac, Pipilotti Rist, Doug Aitken, and others. The intent is to create a visual installation at Moogfest that works as a monolithic visual signifier by applying artistically mediated telepresence and "superarchitecture." / Master of Fine Arts

This thesis focuses on the phenomenon of live-streaming of computer games in the Czech Republic. This thesis is based on an approach of online ethnography and tries to describe what meaning do the producers of content (who are labeled as performers in this thesis) ascribe to streaming, what are their motivations to stream, how they present themselves on the streams and what is the content of those streams. The live-streaming of computer games in this thesis is put into context of user-generated content. The main part of this thesis is a qualitative research realized through an online observations of streams and through interviews with the performers, who stream on the streaming service Twitch. The findings show that streaming is entertaining and time passing activity for the performers, but also a form of a social contact. Some motivations of the performers include the satisfaction of their viewers and recurring contact with them. There were no financial motivations involved among the performers. Performers mostly do not stylize themselves into any specific role, however some of them do take on themselves the roles of teachers, who teach their viewers to be a better gamer, or the roles of entertainers. During the stream the performers mostly put their attention to only a single game and also to an...

Existe um interesse crescente do mercado por aplicações de multimídia em streaming via rede. Particularmente, as aplicações de live streaming que utilizam a tecnologia de redes P2P para a disseminação de conteúdo têm sido alvo de grande atenção. Aplicações como PPLive e PPStream provam que as aplicações de live streaming em redes P2P são uma realidade com relação à tecnologia atual. Os sistemas de live streaming fornecem um serviço de multicast no nível de aplicação para transmissões ao vivo na Internet. Essas aplicações de live streaming, quando executadas em redes P2P, têm potencial para serem altamente robustas, escaláveis e adaptativas devido à redundância e não dependência de recursos particulares dentre os nodos participantes. Porém, para fazer uso de todas as vantagens disponíveis, a aplicação deve contornar alguns desafios: i) manter a qualidade de playback mesmo com a inerente dinamicidade das redes P2P; ii) impedir que nodos incorretos escondam ações maliciosas atrás do anonimato que existe em P2P; iii) manter a taxa de upload dos nodos participantes da aplicação em um nível aceitável. A taxa de upload dos nodos é muito importante porque a aplicação de live streaming em P2P é uma aplicação cooperativa. Desta forma, esperase que todo novo usuário ajude a aplicação retransmitindo pacotes para outros usuários, mantendo, desta forma, a capacidade global de upload do sistema. Infelizmente, manter a cooperação em live streaming não é uma tarefa trivial, visto que cada nodo enfrenta o dilema social do interesse próprio (individualmente é melhor explorar a cooperação dos outros usuários sem reciprocidade) versus a cooperação para com o grupo. A principal contribuição deste trabalho consiste na apresentação de um modelo matemático baseado em Teoria dos Jogos Evolucionários, cujo objetivo é ajudar a compreender as aplicações de live streaming em redes P2P e os fatores que influenciam o seu correto funcionamento. Como contribuição secundária, este trabalho fornece uma análise estatística do comportamento do download e upload observado nestas aplicações. A análise estatística mostra que existe um decaimento da variância temporal de download e upload nas aplicações de live streaming, e que tal decaimento segue uma lei de potência. Os resultados evolucionários do modelo indicam que, se a queda do índice de satisfação dos usuários com a taxa de download for suave, e se a redução da satisfação devido ao custo de upload for insignificante, então existe um ambiente propício para que a cooperação entre os nodos cresça. De forma inversa, se a queda do índice de satisfação dos usuários com a taxa de download for abrupta, e a redução da satisfação devido ao custo de upload for significativa, então existe um ambiente propício para proliferação de nodos oportunistas. A realização e descrição desta pesquisa é composta de quatro etapas principais: i) a delimitação do cenário de live streaming e a definição do jogo para modelagem; ii) a definição do conjunto de estratégias e da função de utilidade; iii) a criação do modelo; iv) a análise do modelo e a apresentação dos resultados de simulação. A análise do modelo abrange três fases: i) análise estatística e comparação das características de download e upload dos dois simuladores utilizados; ii) avaliação do modelo de Teoria dos Jogos Evolucionários através de simulações; e iii) análise dos resultados evolucionários gerados pelo simulador de Teoria dos Jogos Evolucionários. / There is a growing interest in the market for networked multimedia applications. Live streaming applications that use the technology of P2P networks for distribution of live content have specially been the subject of great attention. Applications such as PPLive and PPStrem demonstrate that P2P live streaming applications are already possible with our present technology. Live streaming systems provide a multicast service in the application level for live broadcasts to users through the Internet. These systems executing in P2P networks have the potential to be highly robust, scalable and adaptive due to the characteristics of these scenarios. However, to take advantage of these potential properties, they must overcome some challenges: i) to maintain the playback quality even with the inherent dynamics of P2P networks; ii) to prevent that incorrect peers hide malicious behavior behind their anonymity; iii) to maintain the upload contribution of peers at acceptable levels. The upload contribution of peers is highly important because live streaming applications are cooperative applications. Therefore, every new user must help the application forwarding packets to other users, thereby maintaining the global upload capacity of the system. Unfortunately, the maintenance of cooperation in live streaming system is not a trivial task, since each node faces the social dilemma of self-interest (individually is always better to explore the cooperation of other users without reciprocity) versus cooperation to the group. The main contribution of this dissertation is the presentation of a mathematical model based on Evolutionary Game Theory, whose goal is to help understanding live streaming P2P applications and the factors that influence their correct operation. As a secondary contribution, this work provides a statistical analysis of download and upload behaviors of peers in live streaming P2P systems. The statistical analysis indicates that there is a decay in the download and upload variances, and that this decay follows a power law. The evolutionary results of the model indicate that, if the satisfaction of users with the download rate is smooth, and the reduction of satisfaction due to the upload cost is negligible, then there is a favorable environment for the growth of cooperation. Conversely, if the satisfaction of users with the download rate is abrupt, and the reduction of satisfaction due to the upload cost is significant, then there is a favorable environment to the proliferation of opportunistic nodes. The realization and description of this research is composed of four main steps: i) the definition of the live streaming scenario and the definition of the game to model this scenario; ii) the definition of the strategy set and of the utility function; iii) the suggestion of a model; iv) the analysis of the proposed model and the presentation of obtained results. The model analysis comprehends three phases: i) the statistical analysis and the comparison of the characteristics of download and upload of the two simulators used in this work; ii) the evaluation of the Evolutionary Game Theory model through simulation; and iii) the analysis of the results generated by the Evolutionary Game Theory simulator.

Sensors are widely deployed in our environment, and their number is increasing rapidly. In the near future, billions of devices will all be connected to each other, creating an Internet of Things. Furthermore, computational intelligence is needed to make applications involving these devices truly exciting. In IoT, however, the vast amounts of data will not be statically prepared for batch processing, but rather continually produced and streamed live to data consumers and intelligent algorithms. We refer to applications that perform live analysis on live data streams, bringing intelligence to IoT, as the Analysis of Things. However, the Analysis of Things also comes with a new set of challenges. The data sources are not collected in a single, centralized location, but rather distributed widely across the environment. AoT applications need to be able to access (consume, produce, and share with each other) this data in a way that is natural considering its live streaming nature. The data transport mechanism must also allow easy access to sensors, actuators, and analysis results. Furthermore, analysis applications require computational resources on which to run. We claim that system support for AoT can reduce the complexity of developing and executing such applications. To address this, we make the following contributions: - A framework for systems support of Live Streaming Analysis in the Internet of Things, which we refer to as the Analysis of Things (AoT), including a set of requirements for system design - A system implementation that validates the framework by supporting Analysis of Things applications at a local scale, and a design for a federated system that supports AoT on a wide geographical scale - An empirical system evaluation that validates the system design and implementation, including simulation experiments across a wide-area distributed system We present five broad requirements for the Analysis of Things and discuss one set of specific system support features that can satisfy these requirements. We have implemented a system, called \textsubscript{SS}IoTa, that implements these features and supports AoT applications running on local resources. The programming model for the system allows applications to be specified simply as operator graphs, by connecting operator inputs to operator outputs and sensor streams. Operators are code components that run arbitrary continuous analysis algorithms on streaming data. By conforming to a provided interface, operators may be developed that can be composed into operator graphs and executed by the system. The system consists of an Execution Environment, in which a Resource Manager manages the available computational resources and the applications running on them, a Stream Registry, in which available data streams can be registered so that they may be discovered and used by applications, and an Operator Store, which serves as a repository for operator code so that components can be shared and reused. Experimental results for the system implementation validate its performance. Many applications are also widely distributed across a geographic area. To support such applications, \textsubscript{SS}IoTa must be able to run them on infrastructure resources that are also distributed widely. We have designed a system that does so by federating each of the three system components: Operator Store, Stream Registry, and Resource Manager. The Operator Store is distributed using a distributed hast table (DHT), however since temporal locality can be expected and data churn is low, caching may be employed to further improve performance. Since sensors exist at particular locations in physical space, queries on the Stream Registry will be based on location. We also introduce the concept of geographical locality. Therefore, range queries in two dimensions must be supported by the federated Stream Registry, while taking advantage of geographical locality for improved average-case performance. To accomplish these goals, we present a design sketch for SkipCAN, a modification of the SkipNet and Content Addressable Network DHTs. Finally, the fundamental issue in the federated Resource Manager is how to distributed the operators of multiple applications across the geographically distributed sites where computational resources can execute them. To address this, we introduce DistAl, a fully distributed algorithm that assigns operators to sites. DistAl also respects the system resource constraints and application preferences for performance and quality of results (QoR), using application-specific utility functions to allow applications to express their preferences. DistAl is validated by simulation results.

Αντικείμενο αυτής της διδακτορικής διατριβής είναι η μελέτη και η υλοποίηση ενός ολοκληρωμένου κατανεμημένου συστήματος διανομής δεδομένων σε πραγματικό χρόνο. Η ταχεία ανάπτυξη του Διαδικτύου και η πολυπλοκότητα των υπηρεσιών που προσφέρονται μέσα από αυτό έχει εξαντλήσει τα περιθώρια- όρια της κλασικής αρχιτεκτονικής του εξυπηρετητή και του πελάτη , καθώς, ο συνεχώς αυξανόμενος αριθμός χρηστών που ζητούν διάφορες υπηρεσίες δημιουργούν ένα τεράστιο φορτίο στους εξυπηρετητές, το οποίο δεν είναι σε θέση πια να ικανοποιήσουν. Η αρχιτεκτονική των διομότιμων συστημάτων αποτελεί σήμερα τον πιο υποσχόμενο αντικαταστάτη της αρχιτεκτονικής του εξυπηρετητή-πελάτη για την παροχή υπηρεσιών μέσω του Διαδικτύου. Η υπόθεση αυτή δικαιολογείται, αφού αξιοποιώντας τους πόρους των ίδιων των χρηστών, που αποτελούν πλέον ενεργό κομμάτι του συστήματος, η συγκεκριμένη αρχιτεκτονική μπορεί να εξασφαλίσει κλιμάκωση των συστημάτων αυτών σε αριθμό χρηστών αλλά και σε πόρους, του οποίους και αυτό-διαχειρίζονται για την παροχή οποιασδήποτε υπηρεσίας. Η ανάπτυξη, όμως, διομότιμων συστημάτων προϋποθέτει την επίλυση ενός συνόλου προβλημάτων που προκύπτουν από την κατανεμημένη φύση τους και την πολυπλοκότητα τους. Τα τελευταία χρόνια, η επιστημονική κοινότητα έχει ασχοληθεί εκτενώς με τα συστήματα αυτά και έχει προτείνει τρόπους επίλυσης των προβλημάτων που εμφανίζουν, οι οποίες όμως επικεντρώνονται σε συγκεκριμένες πτυχές τους, με αποτέλεσμα να μην προσφέρουν ακόμα δυνατότητες επαρκούς αξιοποίησης των πλεονεκτημάτων τους. Στην παρούσα διδακτορική διατριβή μελετήθηκαν η ανάπτυξη και η υλοποίηση ενός ολοκληρωμένου κατανεμημένου συστήματος διαμοιρασμού δεδομένων σε πραγματικό χρόνο. Το σύστημα αυτό αποτελείται από τρία διακριτά υποσυστήματα: 1. Ένα διομότιμο σύστημα για το διαμοιρασμό δεδομένων σε πραγματικό χρόνο. Το υποσύστημα αυτό αποτελείται από το γράφο διασύνδεσης των κόμβων που το συγκροτούν και το χρονοπρογραμματιστή που εκτελείται σε κάθε κόμβο. 2. Ένα σύστημα υποστήριξης, το οποίο είναι υπεύθυνο για την παρακολούθηση της λειτουργίας του υποσυστήματος διαμοιρασμού και την παροχή επιπλέον εύρους ζώνης, στην περίπτωση που δεν επαρκούν οι πόροι του πρώτου. 3. Ένα διομότιμο σύστημα για την αποθήκευση και την εύρεση των αντικειμένων που είναι διαθέσιμα προς διανομή μέσω του πρώτου υποσυστήματος. Για την ανάπτυξη του πρώτου υποσυστήματος, αρχικά διερευνήθηκε η φύση της εφαρμογής και ορίστηκαν τα επιθυμητά χαρακτηριστικά. Αυτά είναι ο μικρός χρόνος στησίματος, η ανοχή του σε δυναμικά φαινόμενα, όπως είναι η δυναμική συμπεριφορά των χρηστών και του φυσικού δικτύου, η ικανότητα κλιμάκωσης ως προς τον αριθμό των κόμβων και η ικανότητα για διαμοιρασμό δεδομένων με το μεγαλύτερο δυνατό ρυθμό υπό τον περιορισμό του μέσου εύρους ζώνης των κόμβων που αποτελούν το σύστημα. Στη συνέχεια ακολούθησε η μοντελοποίηση της λειτουργίας των συστημάτων κατανεμημένου διαμοιρασμού μέσα από την οποία προέκυψε η κατάλληλη αρχιτεκτονική ενός τέτοιου συστήματος που εγγυάται τη βέλτιστη εκπλήρωση των παραπάνω χαρακτηριστικών. Η προσφορά της παρούσας διατριβής στην έρευνα του επιστημονικού πεδίου των διομότιμων συστημάτων διαμοιρασμού δεδομένων σε πραγματικό χρόνο συνοψίζεται στα παρακάτω σημεία/συμπεράσματα : • Αντίθετα με τη μέχρι τώρα πρακτική που εφαρμόζεται στα συστήματα κατανεμημένου διαμοιρασμού, είναι αναγκαία η παράλληλη ανάπτυξη του γράφου διασύνδεσης και του χρονοπρογραμματιστή έτσι ώστε να μπορεί το κάθε υποσύστημα να χρησιμοποιήσει με βέλτιστο τρόπο τα χαρακτηριστικά του άλλου. • Ο γράφος διασύνδεσης πρέπει να αντικατοπτρίζει τη θέση των κόμβων στο φυσικό υποδίκτυο και να μπορεί να αυτό-οργανώνεται στις δυναμικές αλλαγές του δικτύου ή του πληθυσμού των κόμβων. • Η λειτουργία του χρονοπρογραμματιστή γίνεται πιο αποτελεσματική όταν διαχωρίζεται σε τρεις διαφορετικούς μηχανισμούς. Στο μηχανισμό δημιουργίας κουπονιών, στο μηχανισμό προ-ενεργής αίτησης πακέτου και στο μηχανισμό απόφασης επόμενου κόμβου προς αποστολή πακέτου. Τέλος, υλοποιήθηκαν κατανεμημένοι αλγόριθμοι για τη δημιουργία και την αυτό-οργάνωση του γράφου διασύνδεσης καθώς και οι απαραίτητοι αλγόριθμοι για την υλοποίηση του χρονοπρογραμματιστή. Οι αλγόριθμοι αυτοί σχεδιάστηκαν με τέτοιο τρόπο έτσι ώστε να χρησιμοποιούν ένα ελάχιστο ποσοστό του εύρους ζώνης των κόμβων χωρίς να συμβιβάζουν την αποτελεσματικότητα και την ταχύτητα σύγκλισής τους. Το δεύτερο ζήτημα που μελετήθηκε είναι η βοηθητική χρήση εξυπηρετητών με στόχο την αδιάλειπτη διάθεση απαραίτητων δικτυακών πόρων (εύρος ζώνης) που απαιτούνται από το σύστημα για τον πλήρη και συνεχή διαμοιρασμό του αντικειμένου. Αναλυτικότερα, ο σύγχρονος διαμοιρασμός βίντεο μέσω διομότιμων συστημάτων απαιτεί τη συνεχή ύπαρξη μέσου εύρους ζώνης συμμετεχόντων κόμβων μεγαλύτερο από το ρυθμό αναπαραγωγής του αντικειμένου που διαμοιράζεται. Αντιθέτως, λόγω της δυναμικής συμπεριφοράς των χρηστών και του απρόβλεπτου μέσου όρου εύρους ζώνης που διατίθεται από τους κόμβους οδηγούμαστε συχνά στη μη ομαλή λειτουργία του συστήματος ή/και στο διαμοιρασμό ενός αντικειμένου με μικρό ρυθμό αναπαραγωγής. Η επίλυση αυτού του προβλήματος απαιτεί την εξασφάλιση του ακριβούς και σε πραγματικό χρόνο υπολογισμού των διαθέσιμων πόρων του συστήματος. Επιπλέον, προϋποθέτει το σχεδιασμό μιας αρχιτεκτονικής που είναι κλιμακούμενη, δηλαδή επιτρέπει την παρακολούθηση συστημάτων στα οποία συμμετέχει πολύ μεγάλος αριθμός χρηστών. Παράλληλα, το προτεινόμενο σύστημα παρακολούθησης και ελέγχου του εύρους ζώνης πρέπει να εισάγει στο σύστημα όσο το δυνατόν μικρότερη κατανάλωση πόρων. Ομοίως, το εύρος ζώνης που συνεισφέρουν οι εξυπηρετητές πρέπει να ελαχιστοποιείται με στόχο την ελαχιστοποίηση του κόστους λειτουργίας. Τέλος, οι συνδέσεις που δημιουργούνται μεταξύ εξυπηρετητών και κόμβων πρέπει να εισάγουν με τη σειρά τους ελάχιστο φορτίο στο δίκτυο του προτεινόμενου συστήματος. Εκμεταλλευόμενοι, λοιπόν, τις ιδιότητες του χρονοπρογραμματιστή που αναπτύχθηκε είμαστε σε θέση μετρώντας ένα μικρό μόνο υποσύνολο κόμβων να εκτιμήσουμε γρήγορα και με ακρίβεια το συνολικό διαθέσιμο εύρος ζώνης του συστήματος. Επιπλέον, μετρώντας κάποιες παραμέτρους του χρονοπρογραμματιστή ανταλλαγής μπλοκ εκτιμούμε δυναμικά το φορτίο που αυτός εισάγει για διαμοιρασμό ανάλογα με τις επικρατούσες συνθήκες. Ο αριθμός των κόμβων αυτών είναι αρκετά μικρός και ανεξάρτητος από τον αριθμό των συμμετεχόντων κόμβων καθιστώντας το προτεινόμενο σύστημα ικανό για εξαιρετική κλιμάκωση. Με τις μετρήσεις αυτές γίνεται εφικτός ο υπολογισμός του εύρους ζώνης που απαιτείται από τους εξυπηρετητές για την ομαλή λειτουργία του συστήματος διαμοιρασμού. Τέλος, με τη βοήθεια ενός δυναμικά προσαρμόσιμου στο δίκτυο γράφου διασύνδεσης επιτυγχάνεται η μέγιστη εκμετάλλευση του εύρους ζώνης που συνεισφέρουν οι εξυπηρετητές και ο διαμοιρασμός του σε κόμβους με τη μικρότερη δυνατή δικτυακή καθυστέρηση. Το προτεινόμενο σύστημα αξιολογήθηκε σε κάθε είδους κατάσταση όπως: αυξομειούμενο μέσο εύρος ζώνης, γρήγορες μεταβολές στο μέσο εύρος ζώνης, μέσο εύρος ζώνης μεγαλύτερο και μικρότερο από το ρυθμό αναπαραγωγής. Η αξιολόγηση απέδειξε ότι ο πλήρης διαμοιρασμός του αντικειμένου, η ελαχιστοποίηση του εύρους ζώνης που συνεισφέρουν οι εξυπηρετητές μέσω της ακριβούς εκτίμησης των διαθέσιμων πόρων και η δυνατότητα εκτίμησης μέσω ενός μικρού υποσυνόλου συμμετεχόντων κόμβων είναι εφικτά κάτω από οποιεσδήποτε συνθήκες. Ο τρίτος στόχος που επιδιώξαμε να εκπληρώσουμε είναι η δημιουργία ενός κατανεμημένου συστήματος αποθήκευσης δεδομένων. Αυτό το σύστημα βασίστηκε στους Κατανεμημένους Πίνακες Κατακερματισμού (ΚΠΚ). Σκοπός αυτού του συστήματος είναι η δημιουργία ενός κατανεμημένου αποθηκευτικού χώρου, αποτελούμενου από πόρους των συμμετεχόντων κόμβων, για την αποθήκευση και ανάκτηση δεδομένων που πρόκειται να διαμοιραστούν. Οι απαιτήσεις ενός τέτοιου συστήματος περιλαμβάνουν την γρήγορη αναζήτηση δεδομένων, τη χρησιμοποίηση του μικρότερου δυνατού ποσοστού εύρος ζώνης για τη δρομολόγηση των αναζητήσεων, τη δυνατότητα εκτέλεσης σύνθετων αναζητήσεων και τη συμμέτοχη των κόμβων στο σύστημα ανάλογα με τους διαθέσιμους πόρους τους. Οι παραπάνω απαιτήσεις είναι αδύνατον να ικανοποιηθούν από έναν μόνο γράφο διασύνδεσης, καθώς προϋποθέτουν ετερόκλητα χαρακτηριστικά από το γράφο. Προκειμένου να είναι εφικτή η γρήγορη δρομολόγηση ο γράφος πρέπει να αντανακλά τη θέση των κόμβων στο φυσικό δίκτυο συνεπώς η εισαγωγή των κόμβων στον γράφο πρέπει επίσης να βασίζεται σε αυτό το χαρακτηριστικό. Η δυνατότητα για σύνθετες αναζητήσεις και η συμμετοχή των κόμβων ανάλογα με τους διαθέσιμους πόρους τους προϋποθέτει την μη ομοιόμορφη κατανομή των δεδομένων στο γράφο καθώς και επίσης και την εισαγωγή των κόμβων σε αυτόν ανάλογα με τους πόρους τους και τα δεδομένα που επιθυμούν να αποθηκεύσουν στο δίκτυο. Στα πλαίσια αυτής της διδακτορικής διατριβής προτείνεται ένα σύστημα κατανεμημένης αποθήκευσης το οποίο αποτελείται από δύο συνδεόμενους γράφους διασύνδεσης και μπορεί να ικανοποιήσει τις απαιτήσεις που έχουν τεθεί. Αυτοί οι δύο γράφοι είναι: • Ο γράφος διασύνδεσης και δρομολόγησης ο οποίος είναι υπεύθυνος για τη δρομολόγηση των αιτήσεων αναζήτησης. Οι κόμβοι εισέρχονται σε αυτόν ανάλογα με τη θέση τους στο φυσικό δίκτυο. Η παραπάνω συνθήκη συντελεί στην ταχύτατη δρομολόγηση των αιτήσεων αναζήτησης και τη χρησιμοποίηση ελάχιστου εύρους ζώνης για την εκτέλεσή τους. Για τη δημιουργία αυτού του γράφου αναπτύχτηκαν/σχεδιάστηκαν δύο κατανεμημένοι αλγόριθμοι. Ο πρώτος είναι υπεύθυνος για την εισαγωγή ενός κόμβου στο γράφο ανάλογα με τη θέση του στο φυσικό δίκτυο. Ο δεύτερος είναι υπεύθυνος για τη βελτιστοποίηση και προσαρμοστικότητα του γράφου στις δυναμικές αλλαγές των ιδιοτήτων του φυσικού δικτύου ή του πληθυσμού των συμμετεχόντων κόμβων. • Ο γράφος αποθήκευσης δεδομένων. Αυτός ο γράφος είναι υπεύθυνος για την αποθήκευση των δεδομένων στους κόμβους του συστήματος με τέτοιο τρόπο ώστε να είναι δυνατή η σύνθετη αναζήτησή τους καθώς επίσης και η αποθήκευσή τους ανάλογα με τους διαθέσιμους πόρους κάθε κόμβου. Η αξιολόγηση του συστήματος αυτού απέδειξε ότι ο διαχωρισμός της διαδικασίας δρομολόγησης από τη διαδικασία αποθήκευσης δεδομένων με την δημιουργία δύο ξεχωριστών γράφων διασύνδεσης εξασφαλίζει την εκπλήρωση όλων των απαιτήσεων ενός τέτοιου συστήματος. / The subject of this phd thesis is the study and development of a complete distributed system for real time data distribution. The rapid growth of the Internet and the complexity of the provided services, renders the investigation for a new architectural paradigm necessary, since classic server-client architecture has reached its full potential. The main reason for the above is that the continuously increasing number of users demanding a diversity of services generates an enormous overhead on the servers, that can’t be dealt with efficiently. Today, Peer-to-Peer architecture is considered to be the most promising replacement for client-server architecture for providing such services via the Internet. This assumption can be easily justified since, taking advantage of users resources, who now become active members of the system, peer-to-peer architecture can guarantee the scalability of these systems in respect to the number of participating users as well as the amount of data that they can manage. The development, however, of peer-to-peer systems requires the clarification of a set of problems which stem from their distributed nature and their complexity. In recent years, scientific community has been focusing on these systems suggesting a number of solutions, which, however, deal with certain only aspects of them, thus are unable to provide a holistic approach that could benefit from their numerous advantages. The complete distributed system for the real time distribution of data developed in the current dissertation thesis consists of three discrete subsystems: • a peer-to-peer live streaming system. This subsystem consists of an overlay, for the interconnection of peers, and a scheduler, which runs in every peer. • a supporting system, responsible for the monitoring of live streaming system and the supply of extra bandwidth in cases when peers’ aggregated resources are insufficient to sustain the streaming process • a peer-to-peer system for the storage and query of objects available for streaming, aided by the first subsystem described above. For the development of the first subsystem initially we investigated the nature of the application and defined the required characteristics. Those are the small setup time values, the tolerance of the system in dynamic conditions, like the dynamic behavior of the participating users and the dynamic conditions of the underlying network, the increased scalability concerning the number of supported users, and the ability to support streaming rates as high as possible having as constrain the aggregated upload bandwidth of the participating peers. The contribution of the present dissertation in the research of the scientific field of P2P real time data distribution systems is summarized below: 1. in contrast to contemporary practices regarding distributed live streaming systems the parallel development of the overlay and scheduler are necessary in order for the systems to be able to benefit from each other characteristics 2. the overlay should reflect the locations of the peers in the underlying network and be able to self-organize in response to dynamic changes of the peer population and the network conditions 3. the performance of the scheduler is enhanced when it comprises of three different mechanisms: the token generation algorithm, the mechanism of pro-active block request and the mechanism for selecting the next peer for packet transmitting. At last, distributed algorithms for the realization and self-organization of the overlay along with the necessary algorithms for the actualization of the scheduler were developed. These algorithms were designed in a way that allows for the usage of a small percentage of the nodes’ upload capacities without compromising the efficiency and the speed of their convergence A second subject that was studied was the use of supporting servers for the continuous provision of the required resources (upload bandwidth) for the complete and uninterrupted delivery of a stream. In more detail, peer-to-peer live streaming requires the constant presence of aggregated upload bandwidth greater than the rate of the stream being delivered. In contrast, the dynamic behavior of peers and the unpredictable upload bandwidth of nodes and of the conditions of the underlying network, often result in the disturbance of the streaming process and/or the delivery of a stream with low rate. Solving the above problems requires precise and real time monitoring of participating peers’ resources. Moreover, it assumes the development of an architecture which is scalable, allowing for the monitoring of systems with large peers number. Additionally, the proposed monitoring and bandwidth control system should introduce as little overhead as possible to the system, meaning that the amount of bandwidth used by the servers should be the minimum required to support peer-to-peer streaming system. Finally, connections established between servers and nodes should introduce, in their turn, the least possible overhead. Benefitting from the properties of our proposed peer-to-peer live streaming system’s scheduler we manage, by monitoring a small subset of participating peers, to measure with accuracy and in real time the aggregated upload bandwidth of the total participating peers. In addition, by measuring some parameters of the scheduler of bloc exchange we can dynamically estimate the overhead introduced for the distribution depending on the present conditions. The number of nodes is quite small and independent of the number of participant nodes allowing for the exceptional scalability of the proposed system. Because of these measurements the approximation of the bandwidth necessary for the successful performance of the distribution system becomes feasible. The evaluation process proved that the complete distribution of data, the minimization of the available servers bandwidth through the precise estimation of the available resources as well as the potential for estimation of a small subset of participating nodes are possible under any given circumstances. The third goal we tried to achieve is the development of a distributed data storage system. This system is based on DHTs. It aims to create a distributed storage space that consists of resources belonging to participating nodes, for the storage and retrieval of data about to be distributed. The prerequisites of such a system include: - fast routing process - usage of the smallest possible percentage of bandwidth for the querying process - the potential for execution of complex queries and - the participation of nodes in the system depending on their available recourses The above prerequisites can not be met by one only overlay, since they require diverse characteristics/ from the overlay. In order to achieve fast queries the overlay should reflect the location of all nodes in the physical network, therefore the introduction of nodes in the overlay should also rely on the above feature. The potential for complex queries and the participation of nodes depending on their available resources assumes a non-uniform node distribution in the overlay as well as the introduction of nodes in the system depending on their resources and the data needed to be stored in the network. In this work we propose a system for distributed storage that comprises of two interconnected overlays and can achieve all the demands set. The two overlays are described below: - LCAN is responsible for the routing process. Nodes enter this overlay in terms of their location on the physical network. The condition above leads to the fast routing of queries and the usage of the least possible bandwidth for their execution. In order to design this overlay the development of two distributed algorithms was necessary. The first one performs the introduction of nodes in the overlay according to their location in the network. The second distributed algorithm is responsible for the optimization and the adjustability of the overlay to the dynamic changes of the physical network properties or the participating nodes population. - VCAN. This is responsible for the storage of data in the nodes of the system in a way their storage according to each node’s available resources becomes feasible, while complex queries can be performed. The evaluation of the system has proved that the separation of the routing process from the data storage process with the creation of two separate overlays can result in the successful achievement of all prerequisites set by a distributed data storage system.