QUIC is an emerging connection-oriented transport layer protocol that aims to support low-latency and highly secure communication between users and cloud services. Cloud load balancers distribute incoming QUIC connections towards a pool of backend servers where applications run. The sheer size of today’s clouds requires to deploy large pools of load balancing instances across multi-core servers. Today, once a connection is handled by a load balancing instance, the handling of the connection cannot be delegated to another instance which is possibly running on an underutilized server or core. Recent work has shown that such imbalances lead to poor utilization of the server resources when implementing the load balancer component itself. Moving the handling of a connection from one load balancing instance to another one is key to achieve uniform distribution of the workload among the load balancing instances. This thesis discusses the system design, algorithmic principles, and evaluation of an approach to move the state of a QUIC connection from one QUIC instance to another one, a task that we call “connection migration”. Our preliminary investigation focuses on inter-CPU-core thread-based migration of QUIC connections within the same server machine with the goal of supporting different types of load balancers that dynamically spread the workload across the load balancing instances. We evaluated the performance of the proposed implementation in a real physical testbed in NSLab at KTH across different dimensions: the number of active connections, the size of the file transfers within each connection, and the number of load balancing instances. The results show that under ideal circumstances, the throughput of a server system built by an 8-core computer reaches 100MB per second and handles up to 500 client requests per second. Finally, this thesis analyzes the bottleneck of the system and the critical parts of the implementation that should be optimized for better performance. / QUIC är ett framväxande anslutningsorienterat protokoll för transportlager som syftar till att stödja låg latens och mycket säker kommunikation mellan användare och molntjänster. Molnslastbalansering distribuerar inkommande QUIC-anslutningar mot en pool av Backend-servrar där applikationer körs. Den stora storleken på dagens moln kräver att stora pooler av lastbalanseringsinstanser distribueras över flerkärniga servrar. Idag, när en anslutning hanteras av en lastbalanseringsinstanser, kan hanteringen av anslutningen inte delegeras till en annan instans som möjligen körs på en underutnyttjad server eller kärna. Senaste arbetet har visat att sådana obalanser leder till dåligt utnyttjande av serverresurserna vid implementering av själva lastbalanseringskomponenten. Att flytta hanteringen av en anslutning från en lastbalanseringsinstans till en annan är nyckeln för att uppnå enhetlig fördelning av arbetsbelastningen mellan lastbalanseringsinstanserna. Denna avhandling diskuterar systemdesign, algoritmiska principer och utvärdering av en metod för att flytta tillståndet för en QUIC-anslutning från en QUIC-instans till en annan, en uppgift som vi kallar “anslutningsmigrering”. Vår preliminära undersökning fokuserar på intel-CPU-core trådbaserad migration av QUIC-anslutningar inom samma servermaskin med målet att stödja olika typer av belastningsutjämnare som dynamiskt sprider arbetsbelastningen över lastbalanseringsinstanser. Vi utvärderade prestanda för den föreslagna implementeringen i en riktig fysisk testbädd i NSLab vid KTH över olika dimensioner: antalet aktiva anslutningar, storleken på filöverföringarna inom varje anslutning och antalet lastbalanseringsinstanser. Resultaten visar att under idealiska omständigheter når genomströmningen av ett serversystem som byggts av en 8-kärnig dator 100 MB per sekund och hanterar upp till 500 klientförfrågningar per sekund. Slutligen analyserar denna avhandling systemets flaskhals och de kritiska delarna av implementeringen som bör optimeras för bättre prestanda.

With the emergence of novel cloud applications and their critical latency demand [1], Quick UDP Internet Connection (QUIC) [2] was proposed as a new transport protocol that is promising to reduce the connection establishment overhead while providing security properties similar to Transport Layer Security (TLS) [3]. However, without an efficient task scheduling mechanism, the high cost for encryption and decryption in QUIC can easily lead to load imbalance among multiple Central Processing Unit (CPU) cores and thus cause a high tail latency. In this paper, we proposed a QUIC connection inter-core migration scheme that can dynamically dispatch QUIC connections among CPU cores while keeping the service continuity. We emulated a scenario where the traffic load on two CPU cores is not even and tried to migrate connections from an overloaded CPU to another idle one. The results showed that the load imbalance can be reduced and both of the two CPU cores can be efficiently utilized. Moreover, the throughput can be improved by around 15% with a set of proper parameters thanks to the inter-core connection migration scheme. It was also revealed that the overhead introduced by the connection inter-core migration mechanism is relatively low when applying the migration to a large connection. / Med uppkomsten av nya molnprogram och deras kritiska latens efterfrågan [1], QUIC [2] föreslogs som ett nytt transportprotokoll som lovar att minska anslutningen etableringskostnader samtidigt som de tillhandahåller säkerhetsfastigheter som liknar TLS [3]. Dock utan en effektiv uppgift schemaläggningsmekanism, den höga kostnaden för kryptering och dekryptering i QUIC kan enkelt leda till obalans mellan flera CPU kärnor och orsakar därför en hög svanslatens. I detta dokument föreslog vi a QUIC-anslutning mellan kärnmigrationsschema som dynamiskt kan skickas SNABBA anslutningar mellan CPU kärnor samtidigt som servicekontinuiteten bibehålls. Vi emulerat ett scenario där trafikbelastningen på två CPU kärnor inte är jämn och försökte migrera anslutningar från en överbelastad CPU till en annan inaktiv. De resultaten visade att belastningsobalansen kan reduceras och båda de två CPU: erna kärnor kan utnyttjas effektivt. Dessutom kan genomströmningen förbättras med cirka 15% med en uppsättning korrekta parametrar tack vare anslutningen mellan kärnor migrationsschema. Det avslöjades också att de omkostnader som infördes av anslutning mellan kärnmigrationsmekanismen är relativt låg vid ansökan migreringen till en stor anslutning.