The purpose of this project was to create a gateway between a Z-Wave device and a Bluetooth device.The gateway is supposed to make it possible for the company AES AB to sell and install a dynamic load balancer to their EV charger, even after it’s already been installed. The method that was used during this project was LIPS, where the project where divided into multiple subtargets. Each subtarget then had it’s own test which is shown in the results. The results for the overall project and not just the subtargets, are that a concept solution was created. The concept solution was able to forward the Z-Wave devices values to the Bluetooth device that was the target, but did so using a Raspberry Pi and a Z-Wave stick instead of a Z-Wave transceiver. The conclusion for the bachelor thesis is that the concept solution worked, and the demands of the assignment was fullfilled.

The electrification of the Swedish vehicle fleet is happening at a record pace and the proportion of rechargeable vehicles is increasing rapidly. An electric vehicle fleet will result in an extra demand of electrical power from an electricity grid that is already heavily strained. To achieve a successful electrification and enable a secure and stable power grid in the future, the design and development of the charging infrastructure must be carefully constructed. The aim of this thesis is to investigate how dynamic load balancing chargers and battery energy storage can be used to accomplish a sustainable charging infrastructure in parking garages. To achieve this, a simulation model has been generated in GNU Octave. Besides being applied in this project, the purpose of the model is also to be used further in upcoming projects to compare and evaluate the suitability of several power-reducing techniques. The simulations in this study are based on parking and charging behavior for two parking garages located in Gothenburg, where data over energy consumption, parking time and time of arrival have been used. The result indicates that charging with dynamic load balancing charger as well as battery energy storage can successfully be used to reduce the power demand in the buildings, where dynamic charging with prioritization proved to be the most beneficial technique. Results from the battery simulations concluded that only using the battery storage for peak shaving is not economically profitable. This could however be achieved when the battery also participates at the FCR-D upward market. Furthermore, the results from the battery simulations also demonstrate the importance of adjusting the technical settings regarding power limit for peak shaving and depth of discharge with respect to the consumption profile of the studied building. This to avoid occasions where peak shaving is desired but cannot be implemented due to capacity limitations in the battery.

Most services today are developed with a microservice architecture where each component is deployed with multiple replicas on servers all over the world. When requests go between service components, the role of a load balancer is to route each request to the least loaded instance of the target component. There are many algorithms that evaluate different parameters and select an instance from those. One approach is to optimize for latency, i.e., choose the instance that will result in the lowest latency. However, this approach does not take into consideration the geographical distribution of servers, or when requests have to cross networking boundaries, i.e., go from one physical data center to another. Crossing networking boundaries comes with an increased cost as connecting two data centers far apart is an expensive task. Therefore, the cloud computing provider will charge this traffic more than when just sending traffic within a single data center. This study set out to use Google Traffic Director, a service mesh that has information about the whole system and can, therefore, offer locality-aware load-balancing that tries to minimize the amount of traffic that crosses networking boundaries. This is compared to a latency-based algorithm without a service mesh architecture, namely Expected Latency Selector. The study was set up to evaluate how the different approaches performed in terms of cost, latency, and resilience. This evaluation was performed by setting up two testing environments where both load-balancing algorithms could run and relevant metrics were collected. This was then tested in three different scenarios: no disturbance, random delay in a zone, and the final being a zone failing all requests. Results show that in a perfect environment, a locality-aware approach with Traffic Director can reduce the networking cost to an optimal level by only sending a negligible amount of requests cross-zone, while still performing equally well as the latency-based approach in terms of latency. However, when a delay or failure is introduced, Traffic Director, in our setup, keeps the same behavior of prioritizing the locality instead of distributing requests to other zones to even out the latency and circumvent the faulty servers. / De flesta online tjänsterna idag är utvecklade med en mikrotjänst arkitektur där varje komponent är distribuerad med många kopior på servrar över hela världen. När en förfrågan går mellan en tjänsts komponenter, är en lastbalanserares roll att dirigera en förfrågan till den minst belastade instansen av målkomonenten. Det existerar många algoritmer som evaluerar olika parametrar och väljer en instanser på det sättet. Ett tillvägagångssätt är att optimera för latens d.v.s. välja den instansen som kommer att ge lägst latens. Detta tillvägagångssätt kommer däremot inte ta den geografiska distributionen av servrar eller när en förfrågan behöver korsa nätverksgränser i åtanke. Att korsa nätverksgränser kommer med en öka kostnad eftersom att förbinda två datacenter är omständigt och dyrt. Därav kommer molntjänstleverantören att ta mer betalt för denna typ av nätverkstrafik än trafik som håller sig inom ett datacenter. Denna studie använde sig därav av Googles Traffic Director, en service mesh som erbjuder lokalitets-medveten lastbalansering som försöker minimera mängden trafik som korsar nätverksgränser, och jämför det med en latens-baserad algorithm kallad Expected Latency Selector. Studie evaluerar hur de två olika tillvägagångsätten presterar sett till kostnad, latens och resiliens. Evalueringen genomfördes genom att sätta upp två testmiljöer där båda algoritmerna kunde köras och relevant data samlades. Detta kördes sedan under tre olika scenarion: ingen störning, slumpmässig fördröjning och en zon där varje förfrågan misslyckas. Resultaten indikerar att in en perfekt miljö kan ett lokalitets-medvetet tillvägagångssätt med Traffic Director reducera nätverkskostnaden till en optimal nivå genom att endast skicka en försumbar mängd förfrågan till andra zoner, och samtidigt prestera ekvivalent med latens-baserade tillvägagångssättet sett till latens. Däremot, när en fördröjning eller misslyckande av förfrågan introduceras kommer Traffic Director att behålla samma beteende av att prioritera lokalitet istället för att distribuera förfrågningar till andra zoner för att jämna ut latensen och kringgå felaktiga servrar.

As more online services are migrated from monolithic systems into decoupled distributed micro services, the need for efficient internal load balancing solutions increases. Today, there exists two main approaches for load balancing internal traffic between micro services. One approach uses either a central or sidecar proxy to load balance queries over all available server endpoints. The other approach lets client themselves decide which of all available endpoints to send queries to. This study investigates a new approach called lookaside load balancing. This approach consists of a load balancer that uses the control plane to gather a list of service endpoints and their current load. The load balancer can then dynamically provide clients with a subset of suitable endpoints they connect to directly. The endpoint distribution is controlled by a lookaside load balancing algorithm. This study presents such an algorithm that works by changing the endpoint assignment in order to keep current load between an upper and lower bound. In order to compare each of these three load balancing approaches, a test environment in Kubernetes is constructed and modeled to be similar to a real service mesh. With this test environment, we perform four experiments. The first experiment aims at finding suitable settings for the lookaside load balancing algorithm as well as a baseline load configuration for clients and servers. The second experiments evaluates the underlying network infrastructure to test for possible bias in latency measurements. The final two experiments evaluate each load balancing approach in both high and low load scenarios. Results show that lookaside load balancing can achieve similar performance as client-side load balancing in terms of latency and load distribution, but with a smaller CPU and memory footprint. When load is high and uneven, or when compute resource usage should be minimized, the centralized proxy approach is better. With regards to traffic flow control and failure resilience, we can show that lookaside load balancing is better than client-side load balancing. We draw the conclusion that lookaside load balancing can be an alternative approach to client-side load balancing as well as proxy load balancing for some scenarios. / Då fler online tjänster flyttas från monolitsystem till uppdelade distribuerade mikrotjänster, ökas behovet av intern lastbalansering. Idag existerar det två huvudsakliga tillvägagångssätt för intern lastbalansering mellan interna mikrotjänster. Ett sätt använder sig antingen utav en central- eller sido-proxy for att lastbalansera trafik över alla tillgängliga serverinstanser. Det andra sättet låter klienter själva välja vilken utav alla serverinstanser att skicka trafik till. Denna studie undersöker ett nytt tillvägagångssätt kallat extern lastbalansering. Detta tillvägagångssätt består av en lastbalanserare som använder kontrollplanet för att hämta en lista av alla serverinstanser och deras aktuella last. Lastbalanseraren kan då dynamiskt tillsätta en delmängd av alla serverinstanser till klienter och låta dom skapa direktkopplingar. Tillsättningen av serverinstanser kontrolleras av en extern lastbalanseringsalgoritm. Denna studie presenterar en sådan algoritm som fungerar genom att ändra på tillsättningen av serverinstanser för att kunna hålla lasten mellan en övre och lägre gräns. För att kunna jämföra dessa tre tillvägagångssätt för lastbalansering konstrueras och modelleras en testmiljö i Kubernetes till att vara lik ett riktigt service mesh. Med denna testmiljö utför vi fyra experiment. Det första experimentet har som syfte att hitta passande inställningar till den externa lastbalanseringsalgoritmen, samt att hitta en baskonfiguration för last hos klienter or servrar. Det andra experimentet evaluerar den underliggande nätverksinfrastrukturen för att testa efter potentiell partiskhet i latensmätningar. De sista två experimenten evaluerar varje tillvägagångssätt av lastbalansering i både scenarier med hög och låg belastning. Resultaten visar att extern lastbalansering kan uppnå liknande prestanda som klientlastbalansering avseende latens och lastdistribution, men med lägre CPU- och minnesanvändning. När belastningen är hög och ojämn, eller när beräkningsresurserna borde minimeras, är den centraliserade proxy-metoden bättre. Med hänsyn till kontroll över trafikflöde och resistans till systemfel kan vi visa att extern lastbalansering är bättre än klientlastbalansering. Vi drar slutsatsen att extern lastbalansering kan vara ett alternativ till klientlastbalansering samt proxylastbalansering i vissa fall.

<p>In today's world, more and more phone calls are made over IP. This results in an increasing demand for scalable IP telephony equipment.</p><p>Ingate Systems AB produces firewalls specialized in handling IP telephony. They have an inherent limit in the number of concurrent phone calls that they can handle. This can be a bottleneck at high loads. There is a load balancing solution available in the platform, but it has a number of drawbacks, such as media latency and client capability requirements, limiting its usage.</p><p>Many companies provide load balancing solutions for SIP. However, it appears few handle all the problematic scenarios that the Ingate firewall does. This master's thesis aims to add load balancing functionality to the Ingate firewall, so that it can handle all types of clients.</p><p>By splitting the firewall into two completely separate layers - a SIP layer and a firewall layer - the concept of a virtual machine emerges. A machine is no longer restricted to its physical SIP and firewall layers. Instead, virtual machines are used to process calls. They still have SIP and firewall layers, but the layers can reside on different physical machines.</p><p>This thesis demonstrates the operation of an innovative load balancing implementation. The implementation was evaluated, and using four machines the test setup performed 50% better than the original Ingate platform, while still retaining all functionality -- something that was not possible with the original platform. This surpassed both the company's and my own expectations.</p>

In today's world, more and more phone calls are made over IP. This results in an increasing demand for scalable IP telephony equipment. Ingate Systems AB produces firewalls specialized in handling IP telephony. They have an inherent limit in the number of concurrent phone calls that they can handle. This can be a bottleneck at high loads. There is a load balancing solution available in the platform, but it has a number of drawbacks, such as media latency and client capability requirements, limiting its usage. Many companies provide load balancing solutions for SIP. However, it appears few handle all the problematic scenarios that the Ingate firewall does. This master's thesis aims to add load balancing functionality to the Ingate firewall, so that it can handle all types of clients. By splitting the firewall into two completely separate layers - a SIP layer and a firewall layer - the concept of a virtual machine emerges. A machine is no longer restricted to its physical SIP and firewall layers. Instead, virtual machines are used to process calls. They still have SIP and firewall layers, but the layers can reside on different physical machines. This thesis demonstrates the operation of an innovative load balancing implementation. The implementation was evaluated, and using four machines the test setup performed 50% better than the original Ingate platform, while still retaining all functionality -- something that was not possible with the original platform. This surpassed both the company's and my own expectations.

QUIC is an emerging connection-oriented transport layer protocol that aims to support low-latency and highly secure communication between users and cloud services. Cloud load balancers distribute incoming QUIC connections towards a pool of backend servers where applications run. The sheer size of today’s clouds requires to deploy large pools of load balancing instances across multi-core servers. Today, once a connection is handled by a load balancing instance, the handling of the connection cannot be delegated to another instance which is possibly running on an underutilized server or core. Recent work has shown that such imbalances lead to poor utilization of the server resources when implementing the load balancer component itself. Moving the handling of a connection from one load balancing instance to another one is key to achieve uniform distribution of the workload among the load balancing instances. This thesis discusses the system design, algorithmic principles, and evaluation of an approach to move the state of a QUIC connection from one QUIC instance to another one, a task that we call “connection migration”. Our preliminary investigation focuses on inter-CPU-core thread-based migration of QUIC connections within the same server machine with the goal of supporting different types of load balancers that dynamically spread the workload across the load balancing instances. We evaluated the performance of the proposed implementation in a real physical testbed in NSLab at KTH across different dimensions: the number of active connections, the size of the file transfers within each connection, and the number of load balancing instances. The results show that under ideal circumstances, the throughput of a server system built by an 8-core computer reaches 100MB per second and handles up to 500 client requests per second. Finally, this thesis analyzes the bottleneck of the system and the critical parts of the implementation that should be optimized for better performance. / QUIC är ett framväxande anslutningsorienterat protokoll för transportlager som syftar till att stödja låg latens och mycket säker kommunikation mellan användare och molntjänster. Molnslastbalansering distribuerar inkommande QUIC-anslutningar mot en pool av Backend-servrar där applikationer körs. Den stora storleken på dagens moln kräver att stora pooler av lastbalanseringsinstanser distribueras över flerkärniga servrar. Idag, när en anslutning hanteras av en lastbalanseringsinstanser, kan hanteringen av anslutningen inte delegeras till en annan instans som möjligen körs på en underutnyttjad server eller kärna. Senaste arbetet har visat att sådana obalanser leder till dåligt utnyttjande av serverresurserna vid implementering av själva lastbalanseringskomponenten. Att flytta hanteringen av en anslutning från en lastbalanseringsinstans till en annan är nyckeln för att uppnå enhetlig fördelning av arbetsbelastningen mellan lastbalanseringsinstanserna. Denna avhandling diskuterar systemdesign, algoritmiska principer och utvärdering av en metod för att flytta tillståndet för en QUIC-anslutning från en QUIC-instans till en annan, en uppgift som vi kallar “anslutningsmigrering”. Vår preliminära undersökning fokuserar på intel-CPU-core trådbaserad migration av QUIC-anslutningar inom samma servermaskin med målet att stödja olika typer av belastningsutjämnare som dynamiskt sprider arbetsbelastningen över lastbalanseringsinstanser. Vi utvärderade prestanda för den föreslagna implementeringen i en riktig fysisk testbädd i NSLab vid KTH över olika dimensioner: antalet aktiva anslutningar, storleken på filöverföringarna inom varje anslutning och antalet lastbalanseringsinstanser. Resultaten visar att under idealiska omständigheter når genomströmningen av ett serversystem som byggts av en 8-kärnig dator 100 MB per sekund och hanterar upp till 500 klientförfrågningar per sekund. Slutligen analyserar denna avhandling systemets flaskhals och de kritiska delarna av implementeringen som bör optimeras för bättre prestanda.

Denna rapport innehåller en studie över ett operativsystems påverkan på lastbalanserarenHAproxy. Studien utfördes i en experimentmiljö med fyra virtuella testklienter, en lastbalanseraresamt tre webbservernoder kopplade till lastbalanseraren. Operativsystemet varhuvudpunkten i studien där belastningen på dess hårdvara, svarstiden, antalet anslutningarsamt det maximala antalet anslutninger per sekund undersöktes. De operativsystem somtestades var Ubuntu 10.04, CentOS 6.5, FreeBSD 9.1 och OpenBSD 5.5. Resultaten fråntesterna visar att hårdvaran och svarstiden är näst intill identisk på samtliga operativsystemmed undantag för OpenBSD där förutsättningarna för att genomföra hårdvarutesternainte kunde uppnås. FreeBSD var det operativsystem som klarade av att hantera flestantal anslutningar tillsammans med CentOS. Ubuntu visade sig vara mer begränsat ochOpenBSD var mycket begränsat. FreeBSD klarade även av högst antal anslutningar persekund, följt av Ubuntu, CentOS och slutligen OpenBSD som visade sig vara det sämstpresterande. / This report contains a study over an operating system’s impact on the load balancerHAproxy. The study was performed in an experimental environment with four virtualclients for testing, one load balancer and three web server nodes connected to the loadbalancer. The operating system was the main point in the study where the load on theload balancer’s hardware, the response time, the amount of connections and the maximumamount of connections per second were examined. The operating systems whichwere tested was Ubuntu 10.04, CentOS 6.5, FreeBSD 9.1 and OpenBSD 5.5. The resultsfrom the tests shows that the load on the hardware and the response time are almost identicalon all operating systems with the exception of OpenBSD where the conditions to beable to run the hardware tests could not be achieved. FreeBSD was the operating systemthat was able to manage the highest amount of connections along with CentOS. Ubuntuturned out to be more limited and OpenBSD was very limited. FreeBSD also managedthe highest amount of connections per second, followed by Ubuntu, CentOS and finallyOpenBSD which turned out to be the worst performer.

Today one of the fast growing social services is the ability for doctors to monitor patients in their residences. The proposed highly scalable database system is designed to support a Remote Patient Monitoring system (RPMS). In an RPMS, a wide range of applications are enabled by collecting health related measurement results from a number of medical devices in the patient’s home, parsing and formatting these results, and transmitting them from the patient’s home to specific data stores. Subsequently, another set of applications will communicate with these data stores to provide clinicians with the ability to observe, examine, and analyze these health related measurements in (near) real-time. Because of the rapid expansion in the number of patients utilizing RPMS, it is becoming a challenge to store, manage, and process the very large number of health related measurements that are being collected. The primary reason for this problem is that most RPMSs are built on top of traditional relational databases, which are inefficient when dealing with this very large amount of data (often called “big data”). This thesis project analyzes scalable data management to support RPMSs, introduces a new set of open-source technologies that efficiently store and manage any amount of data which might be used in conjunction with such a scalable RPMS based upon HBase, implements these technologies, and as a proof of concept, compares the prototype data management system with the performance of a traditional relational database (specifically MySQL). This comparison considers both a single node and a multi node cluster. The comparison evaluates several critical parameters, including performance, scalability, and load balancing (in the case of multiple nodes). The amount of data used for testing input/output (read/write) and data statistics performance is 1, 10, 50, 100, and 250 GB. The thesis presents several ways of dealing with large amounts of data and develops &amp; evaluates a highly scalable database that could be used with a RPMS. Several software suites were used to compare both relational and non-relational systems and these results are used to evaluate the performance of the prototype of the proposed RPMS. The results of benchmarking show that MySQL is better than HBase in terms of read performance, while HBase is better in terms of write performance. Which of these types of databases should be used to implement a RPMS is a function of the expected ratio of reads and writes. Learning this ratio should be the subject of a future thesis project. / En av de snabbast växande sociala tjänsterna idag är möjligheten för läkare att övervaka patienter i sina bostäder. Det beskrivna, mycket skalbara databassystemet är utformat för att stödja ett sådant Remote Patient Monitoring-system (RPMS). I ett RPMS kan flertalet applikationer användas med hälsorelaterade mätresultat från medicintekniska produkter i patientens hem, för att analysera och formatera resultat, samt överföra dem från patientens hem till specifika datalager. Därefter kommer ytterligare en uppsättning program kommunicera med dessa datalager för att ge kliniker möjlighet att observera, undersöka och analysera dessa hälsorelaterade mått i (nära) realtid. På grund av den snabba expansionen av antalet patienter som använder RPMS, är det en utmaning att hantera och bearbeta den stora mängd hälsorelaterade mätningar som samlas in. Den främsta anledningen till detta problem är att de flesta RPMS är inbyggda i traditionella relationsdatabaser, som är ineffektiva när det handlar om väldigt stora mängder data (ofta kallat "big data"). Detta examensarbete analyserar skalbar datahantering för RPMS, och inför en ny uppsättning av teknologier baserade på öppen källkod som effektivt lagrar och hanterar godtyckligt stora datamängder. Dessa tekniker används i en prototypversion (proof of concept) av ett skalbart RPMS baserat på HBase. Implementationen av det designade systemet jämförs mot ett RPMS baserat på en traditionell relationsdatabas (i detta fall MySQL). Denna jämförelse ges för både en ensam nod och flera noder. Jämförelsen utvärderar flera kritiska parametrar, inklusive prestanda, skalbarhet, och lastbalansering (i fallet med flera noder). Datamängderna som används för att testa läsning/skrivning och statistisk prestanda är 1, 10, 50, 100 respektive 250 GB. Avhandlingen presenterar flera sätt att hantera stora mängder data och utvecklar samt utvärderar en mycket skalbar databas, som är lämplig för användning i RPMS. Flera mjukvaror för att jämföra relationella och icke-relationella system används för att utvärdera prototypen av de föreslagna RPMS och dess resultat. Resultaten av dessa jämförelser visar att MySQL presterar bättre än HBase när det gäller läsprestanda, medan HBase har bättre prestanda vid skrivning. Vilken typ av databas som bör väljas vid en RMPS-implementation beror därför på den förväntade kvoten mellan läsningar och skrivningar. Detta förhållande är ett lämpligt ämne för ett framtida examensarbete.

With the emergence of novel cloud applications and their critical latency demand [1], Quick UDP Internet Connection (QUIC) [2] was proposed as a new transport protocol that is promising to reduce the connection establishment overhead while providing security properties similar to Transport Layer Security (TLS) [3]. However, without an efficient task scheduling mechanism, the high cost for encryption and decryption in QUIC can easily lead to load imbalance among multiple Central Processing Unit (CPU) cores and thus cause a high tail latency. In this paper, we proposed a QUIC connection inter-core migration scheme that can dynamically dispatch QUIC connections among CPU cores while keeping the service continuity. We emulated a scenario where the traffic load on two CPU cores is not even and tried to migrate connections from an overloaded CPU to another idle one. The results showed that the load imbalance can be reduced and both of the two CPU cores can be efficiently utilized. Moreover, the throughput can be improved by around 15% with a set of proper parameters thanks to the inter-core connection migration scheme. It was also revealed that the overhead introduced by the connection inter-core migration mechanism is relatively low when applying the migration to a large connection. / Med uppkomsten av nya molnprogram och deras kritiska latens efterfrågan [1], QUIC [2] föreslogs som ett nytt transportprotokoll som lovar att minska anslutningen etableringskostnader samtidigt som de tillhandahåller säkerhetsfastigheter som liknar TLS [3]. Dock utan en effektiv uppgift schemaläggningsmekanism, den höga kostnaden för kryptering och dekryptering i QUIC kan enkelt leda till obalans mellan flera CPU kärnor och orsakar därför en hög svanslatens. I detta dokument föreslog vi a QUIC-anslutning mellan kärnmigrationsschema som dynamiskt kan skickas SNABBA anslutningar mellan CPU kärnor samtidigt som servicekontinuiteten bibehålls. Vi emulerat ett scenario där trafikbelastningen på två CPU kärnor inte är jämn och försökte migrera anslutningar från en överbelastad CPU till en annan inaktiv. De resultaten visade att belastningsobalansen kan reduceras och båda de två CPU: erna kärnor kan utnyttjas effektivt. Dessutom kan genomströmningen förbättras med cirka 15% med en uppsättning korrekta parametrar tack vare anslutningen mellan kärnor migrationsschema. Det avslöjades också att de omkostnader som infördes av anslutning mellan kärnmigrationsmekanismen är relativt låg vid ansökan migreringen till en stor anslutning.