Blockchain technology has become an appealing concept in Distributed Systems because it enables a distributed storage of information, replacing a central database [1]. In addition, Blockchains promise to address inherent and difficult issues in distributed systems such as a) proving the provenance of information, i.e., the documentation where pieces of data comes from (including their the processing), and b) that the information has not been changed, i.e., the integrity of the information has not been corrupted. The data in a Blockchain is said to be immutable. In this thesis, we apply Blockchain technology as a concept in Distributed Systems for securely collecting and storing data from distributed cloud resources that must be intact over a longer amount of time, such as the amount of consumed cloud resources characterized by CPU load or energy usage. In particular, this work considers a peer-to-peer energy use case where virtual energy resources are monitored. The focus of this thesis is on a) how a Blockchain for a distributed Cloud monitoring can be implemented, b) how the workload can be characterized and c) how the Blockchain system’s performance can be observed and what performance can be achieved. Therefore, the work defines an initial system model, provide an implementation, and carries out experiments in order to understand the impact of the design factors and the system input to the capabilities and performance of the system. The results of the experiments, the workload characterization and performance analysis, are analysed by statistical means and provided as graphs. The choices of system models, Blockchain technology (Hyperledger Fabric), and other parameters, are based on the literature review. The experimental implementation is, in turn, based on the selected system model, where we want to experimentally identify limitations and bottlenecks of the performance.

Das Internet of Things (IoT) ist aktuell ein junger Wachstumsmarkt, dessen Bedeutung für unsere Gesellschaft in naher Zukunft vielen Menschen erst noch wirklich bewusst werden wird. Die Subdomänen Smart-Home, Smart-Grid, Smart-Mobility, Industrie 4.0, Smart-Health und viele mehr sind wichtig für unsere zukünftige Wettbewerbsfähigkeit, die Herausforderungen zur Bewältigung des Klimawandels, unsere Gesundheit, aber auch für trivialere Dinge wie Komfort. Andererseits ergibt sich hierbei bereits dasselbe große Problem, das in einer ähnlichen Form schon bei klassischem Cloud-Computing bekannt ist: Vendor-Silos, die keinen hersteller- oder anbieterübergreifenden Austausch von Gerätedaten ermöglichen, verhindern eine schnelle Verbreitung dieser neuen Technologie. Diensteanbieter müssen ihre Produkte aufwendig für unzählige Technologien bereitstellen, was die Entwicklung von Diensten unnötig teuer macht und letztendlich das Dienstangebot insgesamt einschränkt. Cloud-Computing wird dabei in Zukunft eine wichtige Rolle spielen. Die Dissertation beschäftigt sich daher mit dem Problem IoT-Gerätedaten an IoT-Clouds plattformübergreifend und anbieterübergreifend nutzbar zu machen. Die Motivation und die adressierte Forschungslücke zeigen die Notwendigkeit der Beschäftigung mit dem Thema auf. Ausgehend davon, wird das Konzept einer dezentral organisierten IoT-Intercloud vorgeschlagen, welches in der Lage ist heterogene IoT-Clouds zu integrieren. Die Analyse des Standes der Technik zeigt, das IoT-Clouds genügend Eigenschaften teilen, um in Zukunft eine Adaption zu einer einheitlichen Schnittstelle für die IoT-Intercloud zu schaffen. Das Konzept umfasst zunächst die Komponentenarchitektur eines Intercloud-Brokers zur Etablierung einer IoT-Intercloud. Ausgehend davon wird in vertiefenden Teilkonzepten ein Discovery-Service zum Finden von Gerätedaten und einem Push-Stream-Provider, für die Zustellung von IoT-Event-Notifications in Echtzeit, behandelt. Eine Evaluation zeigt letztlich die praxistaugliche Realisierbarkeit, Skalierbarkeit und Performance der Konzeption und des implementierten Prototyps.:1 Einleitung 1.1 Problemstellung und Motivation 1.2 Ziele der Dissertation 1.2.1 Thesen 1.2.2 Forschungsfragen 1.3 Aufbau der Dissertation 2 Grundlagen zu Cloud-Computing im Internet of Things 2.1 Definition von Cloud-Computing 2.1.1 Generelle Eigenschaften 2.1.2 Architekturschichten 2.1.3 Einsatzformen 2.2 Internet of Things 2.2.1 Middleware im IoT 2.3 Architekturen verteilter Systeme zur Bereitstellung der IoT-Middleware 2.3.1 Geräte-zentrische IoT-Architektur 2.3.2 Gateway-zentrische IoT-Architektur 2.3.3 Cloud-zentrische IoT-Architektur 2.3.4 Zusammenfassung 2.4 Eigenschaften von verteilten Event-basierten Systemen 2.4.1 Interaktionsmodelle 2.4.2 Filtermodelle von Subscriptions 2.4.3 Verteiltes Notfication-Routing 2.5 Discovery im IoT 2.5.1 Grundlegende Begrifflichkeiten 2.5.2 Topologien von Discovery-Services 2.5.3 Funktionale Anforderungen für Discovery-Services im IoT 2.5.4 Ausgewählte Ansätze von Discovery-Services im IoT 3 Stand der Technik 3.1 Device-as-a-Service-Schnittstellen von IoT-Clouds 3.1.1 Gerätedatenmodell 3.1.2 Datenabruf mit Pull-Semantik 3.1.3 Datenabruf mit Push-Semantik 3.1.4 Steuerung von Gerätedaten 3.1.5 Datenzugriff durch Drittparteien 3.2 Analyse der DaaS-Schnittstellen verschiedener IoT-Clouds 3.2.1 Google Nest 3.2.2 Samsung Artik 3.2.3 AWS IoT 3.2.4 Microsoft Azure IoT Suite 3.2.5 Kiwigrid IoT-Plattform 3.2.6 Digi Device Cloud 3.2.7 DeviceHive 3.2.8 Eurotech Everyware Cloud 3.3 Zusammenfassung und Diskussion des Standes der Technik 4 Intercloud-Computing für das IoT 4.1 Intercloud-Computing nach Toosi 4.1.1 Ansätze zur Interoperabilität 4.1.2 Szenarien zur Cloud-übergreifenden Interoperabilität 4.1.3 Herausforderungen für Komponenten 4.2 Intercloud-Computing nach Grozev 4.2.1 Klassifikation der Architekturen 4.2.2 Klassifikation des Brokering-Mechanismus 4.2.3 Klassifikation verteilter Cloudanwendungen 4.3 Verwandte Arbeiten 4.3.1 Intercloud-Architekturen außerhalb der IoT-Domäne 4.3.2 Intercloud-Architekturen für das IoT 4.4 Analyse der verwandten Arbeiten 4.4.1 Systematik zur Bewertung 4.4.2 Bewertung und Abgrenzung 5 Anforderungsanalyse 5.1 Akteure in einer IoT-Intercloud 5.1.1 Menschliche Akteure 5.1.2 Systemakteure 5.2 Anwendungsfälle 5.2.1 Anwendungsfälle von IoT-Diensten 5.2.2 Anwendungsfälle von IoT-Clouds 5.2.3 Anwendungsfälle von IoT-Geräten 5.2.4 Anwendungsfälle von Intercloud-Brokern 5.3 Anforderungen 5.4 Ausschlusskriterien 6 Intercloud-Architektur für das IoT 6.1 Systemmodell einer IoT-Intercloud 6.1.1 IoT-Datenmodell für die Intercloud 6.1.2 Etablierung einer Vertrauensbeziehung zwischen zwei Clouds 6.2 Komponentenarchitektur des Intercloud-Brokers 6.2.1 Service-Connector, IC-DaaS-IF und Service-Protocol 6.2.2 Intercloud-Proxy, ICC-IF und Protokoll 6.2.3 Cloud-Adapter und IC-DaaS-Adapter-IF 6.3 Zusammenfassung 7 Verteilter Discovery-Service 7.1 Problembeschreibung 7.1.1 Topologie des Discovery-Service 7.2 Einfache Cloud-Discovery mit Broadcasting-Weiterleitung 7.2.1 Schnittstelle und Protokoll des einfachen Discovery-Service 7.2.2 Diskussion des einfachen Discovery-Service 7.3 Cloud-Discovery mit Geräteverzeichnis und Multicast-Weiterleitung 7.3.1 Geeignete Geräteinformationen für das Verzeichnis 7.3.2 Struktur und Schnittstelle des Verzeichnisses 7.3.3 Verzeichnissynchronisation und erweitertes Protokoll 7.4 Zusammenfassung beider Ansätze des Discovery-Service 8 Verteilter Push-Stream-Provider 8.1 Verteilter Push-Stream-Provider im Modell des Broker-Overlay-Netzwerks 8.2 Verteilter Push-Stream-Provider mit einfachem Routing-Modell 8.2.1 Systemmodell 8.2.2 Integration der Subkomponenten in die verteilte ICB-Architektur 8.3 Redundanz und Redundanzvermeidung des Push-Stream-Providers 8.3.1 Beschreibung des Redundanzproblems und des Lösungsansatzes 8.3.2 Lösungsansatz 8.4 Verteilter Push-Stream-Provider mit vereinigungsbasiertem Routing-Modell 8.4.1 Erkennen von ähnlichen Filtern 8.4.2 Konstruktion eines Vereinigungsfilters 8.4.3 Rekonstruktion der Datenströme 8.4.4 Komponente: Merge-Controller 8.4.5 Komponente: Stream-Processing-Engine 8.4.6 Integration in die bisherige Architektur 8.4.7 Diskussion des Ansatzes zur Redundanzvermeidung 8.5 Zusammenfassung zum Konzept des Push-Stream-Providers 9 Evaluation 9.1 Prototypische Implementierung der Konzeptarchitektur 9.1.1 Intercloud-Broker 9.1.2 IoT-Cloud und IoT-Geräte 9.1.3 IoT-Dienste 9.1.4 Grenzen des Prototyps und Fokus der experimentellen Evaluation 9.2 Aufbau der Evaluationsumgebung 9.3 Experimentelle Untersuchung der prototypischen Implementierung des Konzepts 9.3.1 Ermittlung einer Performance-Baseline 9.3.2 Experiment 1: Performance bei variabler Nachrichtengröße und Nachrichtenanzahl 9.3.3 Experiment 2: Performance bei multiplen Subscriptions 9.3.4 Experiment 3: Ermittlung des maximalen Durchsatzes und Skalierbarkeit des ICB 9.3.5 Experiment 4: Effizienzvergleich zwischen einfachem und vereinigungsbasiertem Routing 9.4 Zusammenfassung und Diskussion der Evaluation 10 Zusammenfassung 10.1 Beiträge der Dissertation 10.2 Ausblick A Abbildungen B Tabellen Inhaltsverzeichnis C Algorithmen D Listings Literaturverzeichnis

Cloud Computing is the next step in the evolution of the Internet. It provides seemingly unlimited computation and storage resources by abstracting the networking, hardware, and software components underneath. However, individual cloud service providers do not have unlimited resources to offer. Some of the tasks demand computational resources that these individual cloud service providers can not fulfill themselves. In such cases, it would be optimal for these providers to borrow resources from each other. The process where different cloud service providers pool their resources is called Cloud Federation. There are many aspects to Cloud Federation such as access control and interoperability. Access control ensures that only the permitted users can access these federated resources. Interoperability enables the end-user to have a seamless experience when accessing resources on federated clouds. In this thesis, we detail our project named GENI-SAVI Federation, in which we federated the GENI and SAVI cloud systems. We focus on the access control portion of the project while also discussing the interoperability aspect of it. / Graduate / 0984 / panjwani.riz@gmail.com

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2017-04-19T15:09:08Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) tgr_thesis.pdf: 4801672 bytes, checksum: ce1d30377cfe8fad52dbfd02d55554e6 (MD5) / Made available in DSpace on 2017-04-19T15:09:08Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) tgr_thesis.pdf: 4801672 bytes, checksum: ce1d30377cfe8fad52dbfd02d55554e6 (MD5) Previous issue date: 2016-09-08 / The evolution of software service delivery has changed the way accountability is performed. The complexity related to cloud computing environments increases the difficulty in properly performing accountability, since the evidences are spread through the whole infrastructure, from different servers, in physical, virtualization and application layers. This complexity increases when the cloud federation is considered because besides the inherent complexity of the virtualized environment, the federation members may not implement the same security procedures and policies. The main objective of this thesis is to propose an accountability framework named CloudAcc, that supports audit, management, planning and billing process in federated cloud environments, increasing trust and transparency. Furthermore, CloudAcc considers the legal safeguard requirements presented in Brazilian Marco Civil da Internet. We confirm the CloudAcc effectiveness when some infrastructure elements were submitted against Denial of Service (DoS) and Brute Force attacks, and our framework was able to detect them. Facing the results obtained, we can conclude that CloudAcc contributes to the state-of-the-art once it provides the holistic vision of the cloud federated environment through the evidence collection considering the three layers, supporting audit, management, planning and billing process in federated cloud environments. / A maneira de realizar accountability tem variado à medida em que o modo de entrega de serviços de Tecnologia da Informação (TI) tem evoluído. Em ambientes de nuvem a complexidade de realizar accountability apropriadamente é alta porque as evidências devem ser coletadas considerando-se as camadas física, de virtualização e de aplicações, que estão espalhadas em diferentes servidores e elementos da infraestrutura. Esta complexidade é ampliada quando ocorre a federação das infraestruturas de nuvem porque além da complexidade inerente ao ambiente virtualizado, os membros da federação podem não ter os mesmos grupos de políticas e práticas de segurança. O principal objetivo desta tese é propor um framework de accountability, denominado CloudAcc, que suporte processos de auditoria, gerenciamento, planejamento e cobrança, em nuvens federadas, aumentando a confiança e a transparência. Além disso, o CloudAcc também considera os requisitos legais para a salvaguarda dos registros, conforme descrito no Marco Civil da Internet brasileira. A efetividade do CloudAcc foi confirmada quando alguns componentes da infraestrutura da nuvem foram submetidos a ataques de negação de serviço e de força bruta, e o framework foi capaz de detectá-los. Diante dos resultados obtidos, pode-se concluir que o CloudAcc contribui para o estado-da-arte, uma vez que fornece uma visão holística do ambiente de nuvem federada através da coleta de evidências em três camadas suportando os processos de auditoria, gerenciamento, planejamento e cobrança.

MCC (Mobile Cloud Computing) est un candidat très fort pour le NGN (Next Generation Network) qui permet aux utilisateurs mobiles d’avoir une mobilité étendue, une continuité de service et des performances supérieures. Les utilisateurs peuvent s’attendre à exécuter leurs travaux plus rapidement, avec une faible consommation de batterie et à des prix abordables ; mais ce n’est pas toujours le cas. Diverses applications mobiles ont été développées pour tirer parti de cette nouvelle technologie, mais chacune de ces applications possède ses propres exigences. Plusieurs MCA (Mobile Cloud Architectures) ont été proposées, mais aucune n'a été adaptée pour toutes les applications mobiles, ce qui a mené à une faible satisfaction du client. De plus, l'absence d'un modèle d'affaires (business model) valide pour motiver les investisseurs a empêché son déploiement à l'échelle de production. Cette thèse propose une nouvelle architecture de MCA (Mobile Cloud Architecture) qui positionne l'opérateur de téléphonie mobile au cœur de cette technologie avec un modèle d'affaires de recettes. Cette architecture, nommée OCMCA (Operator Centric Mobile Cloud Architecture), relie l'utilisateur d’un côté et le fournisseur de services Cloud (CSP) de l'autre côté, et héberge un cloud dans son réseau. La connexion OCMCA / utilisateur peut utiliser les canaux multiplex menant à un service beaucoup moins cher pour les utilisateurs, mais avec plus de revenus, et de réduire les embouteillages et les taux de rejet pour l'opérateur. La connexion OCMCA / CSP est basée sur la fédération, ainsi un utilisateur qui a été enregistré avec n’importe quel CSP, peut demander que son environnement soit déchargé de cloud hébergé par l'opérateur de téléphonie mobile afin de recevoir tous les services et les avantages de OCMCA.Les contributions de cette thèse sont multiples. Premièrement, nous proposons OCMCA et nous prouvons qu'il a un rendement supérieur à toutes les autres MCA (Mobile Cloud Architectures). Le modèle d'affaires (business model) de cette architecture se concentre sur la liberté de l'abonnement de l'utilisateur, l'utilisateur peut ainsi être abonné à un fournisseur de cloud et être toujours en mesure de se connecter via cette architecture à son environnement à l'aide du déchargement et de la fédération... / Mobile cloud computing is a very strong candidate for the title "Next Generation Network" which empowers mobile users with extended mobility, service continuity and superior performance. Users can expect to execute their jobs faster, with lower battery consumption and affordable prices; however this is not always the case. Various mobile applications have been developed to take advantage of this new technology, but each application has its own requirements. Several mobile cloud architectures have been proposed but none was suitable for all mobile applications which resulted in lower customer satisfaction. In addition to that, the absence of a valid business model to motivate investors hindered its deployment on production scale. This dissertation proposes a new mobile cloud architecture which positions the mobile operator at the core of this technology equipped with a revenue-making business model. This architecture, named OCMCA (Operator Centric Mobile Cloud Architecture), connects the user from one side and the Cloud Service Provider (CSP) from the other and hosts a cloud within its network. The OCMCA/user connection can utilize multicast channels leading to a much cheaper service for the users and more revenues, lower congestion and rejection rates for the operator. The OCMCA/CSP connection is based on federation, thus a user who has been registered with any CSP, can request her environment to be offloaded to the mobile operator's hosted cloud in order to receive all OCMCA's services and benefits...

Distributed Real-Time Media Processing refers to classes of highly distributed, delay no-tolerant applications that account for the majority of the data traffic generated in the world today. Real-Time audio/video conferencing and live content streaming are of particular research interests as technology forecasts predict video traffic surpassing every other type of data traffic in the world in the near future. Live streaming refers to applications in which audio/video streams from a source need to be delivered to a set of geo-distributed destinations while maintaining low latency of stream delivery. Real-time conferencing platforms are application platforms that implement many-to-many audio/video real-time communications. Both of these categories exhibit high sensitivity to both network state (latency, jitter, packet loss, bit rate) as well as stream processing backend load profiles (latency and jitter introduced as Cloud processing of media packets). This thesis addresses enhancing real-time media processing both at the network level parameters as well as Cloud optimisations. We provide a novel, bandwidth management algorithm, for cloud services sharing the same network infrastructure, which provides a 2x improvement in system stability. Further examining network impact on cloud services, we provide a novel hybrid Cloud-Network distributed Cloud architecture to enable locality aware, application enhancements. This architecture led to a multi-cloud management overlay algorithm that maintains low management overhead on large scale cloud deployments. On the application level we provide a study of Media Quality parameters for a WebRTC enabled Media Cloud back-end, and provide patterns of quality metrics with respect to back-end stream load and network parameters. Additionally we empirically show that a "minimal load" algorithm for stream allocation, outperforms other Rotational, or Static Threshold based algorithms. / El procesamiento de medios en tiempo real distribuido se refiere a clases de aplicaciones altamente distribuidas,no tolerantes al retardo, que representan la mayoría del tráfico de datos generado en el mundo actual. Las conferenciasde audio y video en tiempo real y la transmisión de contenido en vivo tienen especial interés en investigación, ya quela prospectiva tecnológica estima que el tráfico de video supere a cualquier otro tipo de tráfico de datos en el futurocercano. La transmisión envivo se refiere a aplicaciones en las que flujos de audio/vídeo de una fuente se han de entregara un conjunto de destinos en lugares geográficos diferentes mientras se mantiene baja la latencia de entrega del flujo(como por ejemplo la cobertura de eventos en vivo). Las plataformas de conferencia en tiempo real son plataformasde  aplicación  que  implementan  comunicaciones  de  audio/video  en  tiempo  real  entre  muchos  participantes.  Ambascategorías presentan una alta sensibilidad tanto al estado de la red (latencia, jitter, pérdida de paquetes, velocidad debits) como a los perfiles de carga de la infraestructura de procesamiento de flujo (latencia y jitter introducidos duranteel procesamiento en la nube de paquetes de datos multimedia). Esta tesis trata de mejorar el procesamiento de datosmultimedia en tiempo real tanto en los parámetros de nivel de red como en las optimizaciones en la nube.En este contexto, investigamos si los recursos de la red se podían controlar a nivel de servicio para aumentar laeficiencia y el rendimiento de la red, así como cuantificar el impacto del recurso compartido de la red en la calidad delservicio. Los recursos de red compartidos afectan el rendimiento del servicio en la nube y, por lo tanto, optimizandoo intercambiando recursos de red pueden mejorar el rendimiento del servicio en la nube. Esta posible degradación delrendimiento se debe a la infraestructura de red compartida no regulada (la asignación de recursos de ancho de banda noes consciente de los objetivos del acuerdo de nivel de servicio (SLO) y de comportamiento). Gestionando el ancho debanda de la red a través de control predictivo, permitimos un mejor uso de los recursos de red disponibles y menoresviolaciones de SLO, logrando una mayor estabilidad del sistema por al menos un factor de 2.Las redes de acceso (AN) (extremo, red principal) de los ISP, transportistas y redes comunitarias no tienen unainfraestructura de nube de propósito general, mientras que los proveedores de recursos de Internet proporcionan bajodemanda recursos de la nube. Encontramos una oportunidad para la unificación de los recursos dentro de un AN y fueracon el fin de proporcionar una oferta de nube unificada a través de una federación de nubes y proporcionar movilidad delservicio hacia los usuarios para optimizar la localidad. Este trabajo de investigación proporciona una nueva arquitecturade red híbrida y nube federada que proporciona una infraestructura de red extendida con un despliegue en nube a granescala, incorporándolo directamente a la infraestructura de red. La nueva arquitectura multi-nube permite a los serviciosllegar a un compromiso entre localidad respecto al usuario o el rendimiento en tiempo de ejecución optimizando asípara latencia para conseguir la asignación óptima de recursos de aplicaciones en tiempo real. Para  optimizar  la  latencia  en  las  aplicaciones  de  transmisión  en  vivo  se  propuso  un  nuevo  algoritmo  desuperposición  de  multi-nube  autogestionado  basado  en  una  topología  de  gradiente  en  la  que  cada  nube  de  unaaplicación de transmisión de flujos optimiza la proximidad del cliente a la fuente. El modelo de aplicación se separa enun  diseño  de  dos  capas,  el  back-end  de  entrega  multi-nube  y  los  clientes  de  flujo.  El  backend  de  gradienteautorregulado minimiza la carga de tráfico creando un árbol de expansión mínimo a través de las nubes que se utilizapara  el  enrutamiento  de  cada  flujo.  El  algoritmo  propuesto  tiene  una  tasa  de  convergencia  muy  rápida  en  losdespliegues de nube a gran escala, y no resulta afectado por la rotación de recursos de la nube, así como proporcionauna mayor estabilidad de la transmisión en vivo.En este trabajo ofrecemos un análisis de calidad de los medios de comunicación y mejoras de los emisores deflujo en la nube en tiempo real, así como estrategias de asignación para mejorar el rendimiento de nivel de serviciode las plataformas de comunicación de Web en tiempo real. Los patrones de calidad de los medios están fuertementeinfluenciados por el rendimiento del procesamiento en la nube, y por lo tanto, al ajustar este aspecto, podemos controlarla calidad de los medios. En particular, demostramos empíricamente que a medida que los tamaños de sesión aumentan,la difusión simultánea supera la codificación de capa única. Además, introducimos un algoritmo de asignación de flujopara minimizar los picos de carga en los retransmisores de flujos en la nube y comparamos el comportamiento devarias políticas de asignación de flujos. Con la mínima información y el requisito de asignación de sesión de un únicoservidor, la política de asignación de carga mínima se comporta bastante mejor que otros algoritmos basados en unumbral rotativo o estático. / Distribuerad realtidshantering av mediadata syftar på klasser av starkt distribuerade tillämpningar som inte tolererar fördröjningar, och som utgör majoriteten av datatrafiken som genereras i världen idag. Audio/video-konferenser i realtid och överföring av innehåll "live" är av speciellt intresse för forskningen eftersom teknikprognoser förutser att videotrafiken kommer att kraftigt dominera över all annan datatrafik i den nära framtiden. "Live streaming" syftar på tillämpningar i vilka audio/video strömmar från en källa och behöver distribueras till en mängd av geografisk distribuerade destinationer medan överföringen bibehåller låg latens i leveransen av det strömmade datat (som ett exempel kan nämnas "live"-täckning av händelser). Konferensplattformar för realtidsdata är tillämpningsplattformar som implementerar realtidskommunikation av audio/video-data av typen "många-till-många". Båda dessa kategorier uppvisar hög känslighet för såväl nätverkets tillstånd (latens, jitter, paketförluster, bithastighet) och lastprofiler av ström bearbetning "back-end" (latens och jitter introducerat som Cloud-hantering av mediadatapaket). Denna avhandling adresserar förbättringar inom realtidshantering av mediainnehåll både med avseende på nätverksnivåns parametrar och optimeraringar för molninfrastrukturen. I detta sammanhang har vi undersökt huruvida nätverksresurserna kan kontrolleras på servicenivån i syfte att öka nätverkets effektivitet och prestanda, och även att kvantifiera påverkan av den delade nätverksresursen på servicekvaliteten. Delade nätverksresurser påverkar molntjänstens prestanda och dessa kan genom en optimering eller handel med nätverksresurser förbättra molntjänstens prestanda. Denna potentiella prestandadegradering beror på en oreglerad delad nätverksinfrastruktur (allokeringen av bandbredd är inte medveten om prestanda och mål för servicenivån). Genom att mediera nätverkets bandbredd genom prediktiv kontroll, möjliggör vi ett bättre utnyttjande av de tillgängliga nätverksresurserna och en lägre grad av avvikelser mot SLO, vilket leder till en ökad stabilitet med åtminstone en faktor 2. Accessnätverken (AN) (edge, kärnnätverk) hos ISP, bärare och lokala nätverk har ingen generell molninfrastruktur, medan s.k. "Internet Resource Providers" erbjuder resurser för molntjänster "on demand". Vi ser en möjlighet till ensande av resurserna inuti ett AN och utanför i syfte att erbjuda ett samlat molntjänsterbjudande genom s.k. "Cloud Federation" och erbjuder tjänstemobilitet för användarna för att optimera lokaliteten. Denna forskningansats erbjuder ett nytt hybrid nätverk med Federated Cloud arkitektur vilken ger en utvidgad nätverksinfrastruktur med en storskalig användning av molntjänster, som direkt inkorporerar denna i nätverksinfrastrukturen. Den nyskapande "Multi-Cloud"-arkitekturen möjliggör för tjänster att balansera lokalitet för användaren mot run-time-prestanda och därigenom optimera för latens mot optimal resursallokering för realtidstillämpningar. För att optimera latensen i "live streaming"-tillämpningar föreslås en nyskapande självstyrd "multi-Cloud-overlay"-algorithm baserad på gradienttopologi i vilken varje moln för en tillämpning inom "stream broadcasting" optimerar klientens närhet till källan. Tillämpningsmodellen separeras i en tvålagersdesign, "multi-cloud delivery back-end" och "stream clients". Denna självreglerande gradientbaserade "back-end" minimerar trafiklasten genom att skapa ett minimalt spännande träd genom molnen som används för routing av strömmarna. Den föreslagna algoritmen har en mycket snabb konvergenshastighet vid större moln, och påverkas inte av "churn" hos molnresursen liksom att den erbjuder ökad motståndskraft hos "live"-strömmen. I detta arbete erbjuder vi mediakvalitetsanalys och förstärkning av realtidsmolnets "forwarders", liksom även allokeringsstrategier för att förstärka servicenivåprestanda hos "Web Real-Time Communication"-plattformar. Mediakvalitetsmönster påverkas kraftigt av molnets bearbetsningsprestanda, och således kan vi genom att påverka denna aspekt kontrollera mediakvaliteten. Specifikt demonstrerar vi empiriskt att efterhand som sessionsstorlekarna ökar, så utklassar simulcast enlagersinkodning. Dessutom introducerar vi en strömallokeringsalgoritm för att minimera "load spikes" hos "Cloud stream forwarders" och jämför beteendet hos olika strömallokeringspolicys. Med enbart minimal information och allokeringsbehoven hos en enskild serversession beter sig den minimala lastbalansallokeringspolicyn tydligt bättre än andra "rotational"- eller "static threshold"-baserade algoritmer. / <p>QC 20170425</p>

L'informatique en nuage (Cloud Computing) est un modèle à grande échelle et en évolution continue, permettant le provisionnement et l'utilisation des ressources informatiques à la demande, selon un modèle rentable de facturation à l'usage "pay-as-you-go". Ce nouveau paradigme a rapidement révolutionné l'industrie IT et a permis de nouvelles tendances en matière de prestation de services informatiques, y compris l'externalisation des infrastructures IT vers des prestataires tiers spécialisés. Cependant, la nature multi-utilisateur des plateformes d'hébergement, ainsi que la complexité des demandes, soulèvent plusieurs défis liés à la gestion des ressources Cloud. Malgré l'attention croissante portée à ce sujet, la plupart des efforts ont été axés sur des solutions centrées utilisateur, et malheureusement beaucoup moins sur les difficultés rencontrées par les fournisseurs pour maximiser leurs bénéfices. Dans ce contexte, la fédération de Cloud a été récemment proposée comme une solution clé pour répondre à l'augmentation et la fluctuation des charges de travail. Les fournisseurs ayant des besoins complémentaires en ressources au fil du temps, peuvent collaborer et partager leurs infrastructures respectives via l'externalisation ("Outsourcing") pour mieux satisfaire les demandes et exigences des utilisateurs. Cette thèse aborde le problème d'optimisation du profit via la fédération et l'allocation optimale des ressources parmi plusieurs fournisseurs d'infrastructures Cloud. L'étude examine les principaux défis et opportunités liés à la maximisation des revenus dans une fédération de Clouds, et définit des stratégies efficaces pour diriger les fournisseurs dans leurs décisions de coopération. Le but est de fournir des algorithmes qui automatisent la sélection du plan d'allocation le plus rentable, qui satisfait à la fois la demande des utilisateurs et les exigences de mise en réseau. Nous visons des modèles d'allocation génériques et robustes qui répondent aux nouvelles tendances Cloud, et de traiter les requêtes simples ainsi que complexes nécessitant le provisionnement de services composites avec différentes ressources distribuées et connectées. Conformément aux objectifs de la thèse, nous avons mené une étude approfondie des travaux antérieurs traitant la problématique de provisionnement des ressources d'infrastructure dans les environnements Cloud. L'analyse a porté notamment sur les modèles d'allocation ayant pour objectif la maximisation de profit et les lacunes et défis associés dans les fédérations de Clouds. Dans un deuxième temps, nous avons proposé un programme linéaire en nombre entiers (ILP), pour aider les fournisseurs de services dans leurs décisions de coopération via des actions optimales d'externalisation (outsourcing), d'internalisation (insourcing) et d'allocation en local. Ces différentes décisions d'allocation sont traitées conjointement dans une formule d'optimisation globale qui partitionne les graphes de requêtes entre les membres de la fédération, tout en satisfaisant les exigences de communication entre les services élémentaires. En plus de la topologie des graphes de ressources, ce partitionnement prend en compte les prix dynamiques et les quotas proposés par les membres de la fédération ainsi que les coûts d'hébergement des ressources et de leur mise en réseau. Enfin, nous avons proposé un algorithme heuristique pour améliorer les temps de convergence avec les instances de problèmes à grande échelle. L'approche proposée utilise un algorithme de "clustering" basé sur les arbres de Gomory-Hu pour le partitionnement des graphes et une stratégie de meilleur ajustement (Best-Fit matching) pour l'allocation et le placement des sous-graphes résultants. L'utilisation conjointe de ces deux techniques permet de capturer l'essence du problème d'optimisation et de respecter les différents objectifs fixés, tout en améliorant le temps de convergence vers les solutions quasi-optimales de plusieurs ordres de grandeur / Cloud computing is a steadily maturing large-scale model for providing on-demand IT resources on a pay-as-you-go basis. This emerging paradigm has rapidly revolutionized the IT industry and enabled new service delivery trends, including infrastructure externalization to large third-party providers. The Cloud multi-tenancy architecture raises several management challenges for all stakeholders. Despite the increasing attention on this topic, most efforts have been focused on user-centric solutions, and unfortunately much less on the difficulties encountered by Cloud providers in improving their business. In this context, Cloud Federation has been recently suggested as a key solution to the increasing and variable workloads. Providers having complementary resource requirements over time can collaborate and share their respective infrastructures, to dynamically adjust their hosting capacities in response to users' demands. However, joining a federation makes the resource allocation more complex, since providers have to also deal with cooperation decisions and workload distribution within the federation. This is of crucial importance for cloud providers from a profit standpoint and especially challenging in a federation involving multiple providers and distributed resources and applications. This thesis addresses profit optimization through federating and allocating resources amongst multiple infrastructure providers. The work investigates the key challenges and opportunities related to revenue maximization in Cloud federation, and defines efficient strategies to govern providers' cooperation decisions. The goal is to provide algorithms to automate the selection of cost-effective distributed allocation plans that simultaneously satisfy user demand and networking requirements. We seek generic and robust models able to meet the new trends in Cloud services and handle both simple and complex requests, ranging from standalone VMs to composite services requiring the provisioning of distributed and connected resources. In line with the thesis objectives, we first provide a survey of prior work on infrastructure resource provisioning in Cloud environments. The analysis mainly focuses on profit-driven allocation models in Cloud federations and the associated gaps and challenges with emphasis on pricing and networking issues. Then, we present a novel exact integer linear program (ILP), to assist IaaS providers in their cooperation decisions, through optimal "insourcing", "outsourcing" and local allocation operations. The different allocation decisions are treated jointly in a global optimization formulation that splits resource request graphs across federation members while satisfying communication requirements between request subsets. In addition to the request topology, this partitioning takes into account the dynamic prices and quotas proposed by federation members as well as the costs of resources and their networking. The algorithm performance evaluation and the identified benefits confirm the relevance of resource federation in improving providers' profits and shed light into the most favorable conditions to join or build a federation. Finally, a new topology-aware allocation heuristic is proposed to improve convergence times with large-scale problem instances. The proposed approach uses a Gomory-Hu tree based clustering algorithm for request graphs partitioning, and a Best-Fit matching strategy for subgraphs placement and allocation. Combining both techniques captures the essence of the optimization problem and meets the objectives, while speeding up convergence to near-optimal solutions by several orders of magnitude

Le cloud computing a été considéré comme une option pour exécuter des applications de calcul haute performance. Bien que les plateformes traditionnelles de calcul haute performance telles que les grilles et les supercalculateurs offrent un environnement stable du point de vue des défaillances, des performances, et de la taille des ressources, le cloud computing offre des ressources à la demande, généralement avec des performances imprévisibles mais à des coûts financiers abordables. Pour surmonter les limites d’un cloud individuel, plusieurs clouds peuvent être combinés pour former une fédération de clouds, souvent avec des coûts supplémentaires légers pour les utilisateurs. Une fédération de clouds peut aider autant les fournisseurs que les utilisateurs à atteindre leurs objectifs tels la réduction du temps d’exécution, la minimisation des coûts, l’augmentation de la disponibilité, la réduction de la consommation d’énergie, pour ne citer que ceux-Là. Ainsi, la fédération de clouds peut être une solution élégante pour éviter le sur-Approvisionnement, réduisant ainsi les coûts d’exploitation en situation de charge moyenne, et en supprimant des ressources qui, autrement, resteraient inutilisées et gaspilleraient ainsi de énergie. Cependant, la fédération de clouds élargit la gamme des ressources disponibles. En conséquence, pour les utilisateurs, des compétences en cloud computing ou en administration système sont nécessaires, ainsi qu’un temps d’apprentissage considérable pour maîtrises les options disponibles. Dans ce contexte, certaines questions se posent: (a) Quelle ressource du cloud est appropriée pour une application donnée? (b) Comment les utilisateurs peuvent-Ils exécuter leurs applications HPC avec un rendement acceptable et des coûts financiers abordables, sans avoir à reconfigurer les applications pour répondre aux normes et contraintes du cloud ? (c) Comment les non-Spécialistes du cloud peuvent-Ils maximiser l’usage des caractéristiques du cloud, sans être liés au fournisseur du cloud ? et (d) Comment les fournisseurs de cloud peuvent-Ils exploiter la fédération pour réduire la consommation électrique, tout en étant en mesure de fournir un service garantissant les normes de qualité préétablies ? À partir de ces questions, la présente thèse propose une solution de consolidation d’applications pour la fédération de clouds qui garantit le respect des normes de qualité de service. On utilise un système multi-Agents pour négocier la migration des machines virtuelles entre les clouds. En nous basant sur la fédération de clouds, nous avons développé et évalué une approche pour exécuter une énorme application de bioinformatique à coût zéro. En outre, nous avons pu réduire le temps d’exécution de 22,55% par rapport à la meilleure exécution dans un cloud individuel. Cette thèse présente aussi une architecture de cloud baptisée « Excalibur » qui permet l’adaptation automatique des applications standards pour le cloud. Dans l’exécution d’une chaîne de traitements de la génomique, Excalibur a pu parfaitement mettre à l’échelle les applications sur jusqu’à 11 machines virtuelles, ce qui a réduit le temps d’exécution de 63% et le coût de 84% par rapport à la configuration de l’utilisateur. Enfin, cette thèse présente un processus d’ingénierie des lignes de produits (PLE) pour gérer la variabilité de l’infrastructure à la demande du cloud, et une architecture multi-Cloud autonome qui utilise ce processus pour configurer et faire face aux défaillances de manière indépendante. Le processus PLE utilise le modèle étendu de fonction avec des attributs pour décrire les ressources et les sélectionner en fonction des objectifs de l’utilisateur. Les expériences réalisées avec deux fournisseurs de cloud différents montrent qu’en utilisant le modèle proposé, les utilisateurs peuvent exécuter leurs applications dans un environnement de clouds fédérés, sans avoir besoin de connaître les variabilités et contraintes du cloud. / Cloud computing has been seen as an option to execute high performance computing (HPC) applications. While traditional HPC platforms such as grid and supercomputers offer a stable environment in terms of failures, performance, and number of resources, cloud computing offers on-Demand resources generally with unpredictable performance at low financial cost. Furthermore, in cloud environment, failures are part of its normal operation. To overcome the limits of a single cloud, clouds can be combined, forming a cloud federation often with minimal additional costs for the users. A cloud federation can help both cloud providers and cloud users to achieve their goals such as to reduce the execution time, to achieve minimum cost, to increase availability, to reduce power consumption, among others. Hence, cloud federation can be an elegant solution to avoid over provisioning, thus reducing the operational costs in an average load situation, and removing resources that would otherwise remain idle and wasting power consumption, for instance. However, cloud federation increases the range of resources available for the users. As a result, cloud or system administration skills may be demanded from the users, as well as a considerable time to learn about the available options. In this context, some questions arise such as: (a) which cloud resource is appropriate for a given application? (b) how can the users execute their HPC applications with acceptable performance and financial costs, without needing to re-Engineer the applications to fit clouds' constraints? (c) how can non-Cloud specialists maximize the features of the clouds, without being tied to a cloud provider? and (d) how can the cloud providers use the federation to reduce power consumption of the clouds, while still being able to give service-Level agreement (SLA) guarantees to the users? Motivated by these questions, this thesis presents a SLA-Aware application consolidation solution for cloud federation. Using a multi-Agent system (MAS) to negotiate virtual machine (VM) migrations between the clouds, simulation results show that our approach could reduce up to 46% of the power consumption, while trying to meet performance requirements. Using the federation, we developed and evaluated an approach to execute a huge bioinformatics application at zero-Cost. Moreover, we could decrease the execution time in 22.55% over the best single cloud execution. In addition, this thesis presents a cloud architecture called Excalibur to auto-Scale cloud-Unaware application. Executing a genomics workflow, Excalibur could seamlessly scale the applications up to 11 virtual machines, reducing the execution time by 63% and the cost by 84% when compared to a user's configuration. Finally, this thesis presents a product line engineering (PLE) process to handle the variabilities of infrastructure-As-A-Service (IaaS) clouds, and an autonomic multi-Cloud architecture that uses this process to configure and to deal with failures autonomously. The PLE process uses extended feature model (EFM) with attributes to describe the resources and to select them based on users' objectives. Experiments realized with two different cloud providers show that using the proposed model, the users could execute their application in a cloud federation environment, without needing to know the variabilities and constraints of the clouds.