Marknaden för de allt populärare smarta telefonerna är splittrad. Detta innebär nya utmaningar för utvecklare. Vill man vara säker på att nå mer än hälften av sin målgrupp med en mobilapplikation så måste man utveckla för minst två plattformar, något som kostar både tid och pengar. Ett antal så kallade multiplattformsverktyg har tagits fram för att lösa detta problem. Dessa låter utvecklare använda en och samma kodbas för flera olika plattformar. Därmed slipper man dubbel- eller trippelarbetet som följer med native-utveckling. Men håller multiplattformsverktygen måttet? Denna granskning visar att prestandan och upplevelsen vid användning blir sämre, men tidsvinsten är potentiellt stor. För små och mellanstora projekt där prestandan är underordnad utvecklingstid, kostnad och räckvidd kan hybridverktyg vara ett lämpligt alternativ. / Smartphones are becoming more and more popular every day, but the market is divided. With this come new challenges for developers. To reach more then half the user base, you have to develop for at least two platforms, something that costs time and money. A number of multiplatform tools have been developed to try and offset this issue, and allows developers to code once, and deploy to many different types of systems. This could potentially mean that the extra work of creating native applications for multiple platforms could be avoided. But do these tools really live up to what they claim? This survey shows that the usage of these tools render the applications performance and user-experience lackluster, however, the potential time savings could be quite substantial. For small and mid-sized projects where performance is subordinate to the time of development, cost and user-base reach, these tools could be a suitable alternative.

Följande projektrapport beskriver arbetet med att ta fram ett modulärt distribuerat system för fjärrstyrning och -avläsning av hårdvaruenheter i en apparat för mineralanalys. Resultatet visar hur ett sådant system med fördel kan byggas på fjärranrop, publiceringar och prenumerationer med hjälp av ett externt ramverk. Delar av systemet har testkörts mot målhårdvaran. Resterande delar har testats mot simulatorer. Systemet är flexibelt, med en stark separation mellan dess komponenter, och dess utökningsbarhet har verifierats kvalitativt. / The following report describes the design and development of a modular distributed system for remote control and measurement of hardware devices in a machine for mineral analysis. The result shows how such a system can be built on remote procedures, publications and subscriptions using an external framework. Parts of the system has been tested on the target machine. Remaining parts have been tested through simulation. The system is flexible, with a strong separation between components, and its extensibility has been verified qualitatively.

Distributed systems offer a reliable and scalable solution for tackling massive and complex tasks that cannot be handled by a single computer. However, standard consensus protocols used in such systems often replicate data without considering the workload, leading to unnecessary retransmissions. This thesis proposes using machine learning (ML) to optimize consensus protocols and make them adaptable to recurring workloads. It introduces a cache that encodes frequently-transmitted data between nodes to reduce network traffic. To implement this, the thesis builds a caching layer at all nodes using the decided logs, which represent a consistent view of the application history. The cache can encode and decode incoming log entries to reduce the average message size and improve throughput under limited network bandwidth. The thesis selects an ML-based model that combines various caching policies and adapts to changing access patterns in the workload. Experimental results show that this approach can improve throughput up to 250%, assuming negligible preprocessing overhead. / Distribuerade system erbjuder en pålitlig och skalbar lösning för att hantera massiva och komplexa uppgifter som inte kan hanteras av en enskild dator. Konventionella konsensusprotokoll som används i dessa system replikerar emellertid ofta data utan att ta hänsyn till arbetsbelastningen, vilket leder till överflödig dataöverföring. Denna avhandling föreslår att använda maskinin lärning (ML) för att optimera konsensusprotokoll och göra dem anpassade till återkommande mönster i arbetsbelastningen. Den introducerar en cache som kodar och komprimerar data som ofta överförs mellan noder för att minska nätverkstrafiken. För att implementera detta byggs ett cache baserat på den bestämda loggen på alla noder, som representerar en konsekvent syn på programhistoriken. Cachen kan koda inkommande data för att minska genomsnittlig meddelandestorlek och förbättra genomströmning under begränsad nätverksbandbredd. En ML-baserad modell som kombinerar olika cachningpolicyer och anpassar sig till ändrade åtkomstmönster i arbetsbelastningen används. Experimentella resultat visar att denna metod kan förbättra genomströmningen med 250%, under förutsättning att förbearbetningsöverhuvudet är försumbart.

Today’s technology companies have large amounts of streamed data flowing through their distributed systems in real time. In order to optimise and understand the effectiveness of their systems, they need to measure and analyse the data without disturbances in business flows. One way of doing this is to make use of Event Stream Processing (ESP). As more detailed insights are constantly requested, faster and more reliable real time processing is needed. The question is, if and how such a solution would affect the pre-existing systems performance and capabilities and how it could be implemented. This thesis develops an ESP system and compares different ways of solving the stated issue by comparing architectures, network protocols and data management methods. The system is then tested, analysed and compared to today’s commercially available software with the purpose of investigating how real-time event streams can be analysed and utilised in distributed systems. / Dagens teknikföretag har enorma mängder data som flödar i realtid genom distribuerade system. För att optimera och förstå effektiviteten av systemen behövs ett system för att analysera data utan att påverka pågående affärsflöden. Ett sätt att göra detta är genom processning av eventströmmar (ESP). Då mer detaljerade insikter ständigt efterfrågas, behövs snabbare och mer tillförlitlig realtidsprocessering. Frågan är hur en sådan lösning skulle påverka de existerande systemens prestanda och hur den kan implementeras. Denna uppsats visar utvecklingen av ett ESP system och jämför olika sätt att lösa det angivna problemet genom att jämföra arkitekturer, nätverksprotokoll och datahanteringsmetoder. Systemets prestanda har sedan testats, analyserats och jämförts med dagens existerande kommersiella program i syfta att undersöka hur realtidseventströmmar kan analyseras och användas inom distribuerade system.

Natural Language Processing (NLP) is one of the most popular and visible forms of Artificial Intelligence in recent years. This is partly because it has to do with a common characteristic of human beings: language. NLP applications allow to create new services in the industrial sector in order to offer new solutions and provide significant productivity gains. All of this has happened thanks to the rapid progression of Deep Learning models. Large scale contextual representation models, such asWord2Vec, ELMo and BERT, have significantly advanced NLP in recently years. With these latest NLP models, it is possible to understand the semantics of text to a degree never seen before. However, they require large amounts of text data to process to achieve high-quality results. This data can be gathered from different sources, but one of the main collection points are devices such as smartphones, smart appliances and smart sensors. Lamentably, joining and accessing all this data from multiple sources is extremely challenging due to privacy and regulatory reasons. New protocols and techniques have been developed to solve this limitation by training models in a massively distributed manner taking advantage of the powerful characteristic of the devices that generates the data. Particularly, this research aims to test the viability of training NLP models, in specific Word2Vec, with a massively distributed protocol like Federated Learning. The results show that FederatedWord2Vecworks as good as Word2Vec is most of the scenarios, even surpassing it in some semantics benchmark tasks. It is a novel area of research, where few studies have been conducted, with a large knowledge gap to fill in future researches. / Naturlig språkbehandling är en av de mest populära och synliga formerna av artificiell intelligens under de senaste åren. Det beror delvis på att det har att göra med en gemensam egenskap hos människor: språk. Naturlig språkbehandling applikationer gör det möjligt att skapa nya tjänster inom industrisektorn för att erbjuda nya lösningar och ge betydande produktivitetsvinster. Allt detta har hänt tack vare den snabba utvecklingen av modeller för djup inlärning. Modeller i storskaligt sammanhang, som Word2Vec, ELMo och BERT har väsentligt avancerat naturligt språkbehandling på senare tid år. Med dessa senaste naturliga språkbearbetningsmo modeller är det möjligt att förstå textens semantik i en grad som aldrig sett förut. De kräver dock stora mängder textdata för att bearbeta för att uppnå högkvalitativa resultat. Denna information kan samlas in från olika källor, men ett av de viktigaste insamlingsställena är enheter som smartphones, smarta apparater och smarta sensorer. Beklagligtvis är det extremt utmanande att gå med och komma åt alla dessa uppgifter från flera källor på grund av integritetsskäl och regleringsskäl. Nya protokoll och tekniker har utvecklats för att lösa denna begränsning genom att träna modeller på ett massivt distribuerat sätt med fördel av de kraftfulla egenskaperna hos enheterna som genererar data. Särskilt syftar denna forskning till att testa livskraften för att utbilda naturligt språkbehandling modeller, i specifika Word2Vec, med ett massivt distribuerat protokoll som Förenat Lärande. Resultaten visar att det Förenade Word2Vec fungerar lika bra som Word2Vec är de flesta av scenarierna, till och med överträffar det i vissa semantiska riktmärken. Det är ett nytt forskningsområde, där få studier har genomförts, med ett stort kunskapsgap för att fylla i framtida forskningar.

Distributed systems are complex systems that offer highly scalable and reliable services. With that complexity comes the difficulty of developing and testing such systems as they are highly non-deterministic. Approaches like model checking are used to verify models of distributed systems formally, but the insufficient correlation between model and implementation, as well as the state-explosion problem, makes this approach sub-optimal. In real-world systems, transient sequences of events could result in failures, but these events can be both difficult to detect and reproduce. This thesis addresses the problem of testing distributed systems by proposing a way to test these systems through a discrete event simulator that is integrated into the distributed runtime Kompact. The simulator can run on real message-passing implementations and provides precise control over a simulation through what is referred to as fine-grained sequences of events. The flexibility of the simulator is demonstrated by using it to simulate and reproduce faulty behavior in the Raft consensus algorithm. Through state monitoring, the state transitions of such a simulation allow us to analyze and suspect the occurrence of liveness issues. / Distribuerade system är komplexa system som erbjuder mycket skalbara och pålitliga tjänster. Med den komplexiteten kommer svårigheten att utveckla och testa sådana system eftersom de är mycket icke-deterministiska. Tillvägagångssätt som model kontroll används för att verifiera modeller av distribuerade system formellt, men otillräcklig korrelation mellan modell och implementering, liksom tillståndsexplosionsproblem, gör detta tillvägagångssätt suboptimalt. I den verkliga världen system, kan övergående händelseförlopp resultera i fel, men dessa händelser kan vara både svåra att upptäcka och reproducera. Denna avhandling tar upp problemet med att testa distribuerade system genom att föreslå ett sätt att testa dessa system genom en diskret händelsesimulator som är integrerad i den distribuerade runtime Kompact. Simulatorn kan köras på riktiga meddelande-passerar implementeringar och ger exakt kontroll över en simulering genom vad som kallas finkorniga händelseförlopp. Flexibiliteten hos simulatorn demonstreras genom att använda den för att simulera och reproducera felaktiga beteende i konsensusalgoritm Raft. Genom statlig övervakning, staten övergångar av en sådan simulering gör att vi kan analysera och misstänka händelsen av livlighetsfrågor.

Replication primarily provides data availability by having multiple copies over different systems and is exploited to make distributed systems scalable in num- bers and geographical areas. Placing a replica closer to the source of request can also significantly reduce the time required to service the request, improv- ing applications’ performance. However, modifications done at a single copy need to be propagated to all the standing copies to maintain the data’s consis- tency. Over the years, numerous strategies have been proposed for handling the tradeoff between consistency and availability, of which the majority pro- vides either strong consistency or eventual consistency. These models do not provide sufficient compatibility for developing modern applications for geo- distributed (edge) environments.Conflict-Free Replicated Data Types (CRDT) provides a new model of consistency referred to as strong eventual consistency. In principle, CRDTs guarantee conflict-free merge even when the updates arrive out of order using simple mathematical properties. Lasp is a coordination free distributed pro- gramming model for building modern distributed applications using CRDTs. Lasp uses a gossip protocol for disseminating state changes to all replicas in the system. The current implementation of gossip in Lasp is agnostic to the application’s behavior in propagating the updates efficiently to critical repli- cas in the system. In the thesis, we introduce an application-specific feature to optimize the dissemination of updates in Lasp. The proposed algorithm propagates the updates by catering to the different consistency requirements of the replicas in the system. The experimental results on a topology of 100 replicas found that the update latency at critical replicas with high consistency requirements is reduced by 40–50%, and the total bandwidth consumption in the system is reduced by 4–8% without significant repercussion on other repli- cas in the system. / Datareplikering erbjuder primärt tillgänglighet genom att tillhandahålla mul- tipla kopior fördelat över olika system, och utnyttjas för att göra distribuerade system skalbara i antal och över geografiska områden. Att placera en replika nära källan till en förfrågan kan dessutom signifikant reducera tiden det krävs att besvara förfrågan vilket förbättrar applikationens prestanda. Modifikatio- ner gjorda på en av kopiorna måste dock propageras till alla stående kopior för att upprätthålla datans konsistens . Över tid har många strategier föreslagits för att hantera avvägningen mellan konsistens och tillgänglighet, där majorite- ten erbjuder antingen stark eller eventuell konsistens. Dessa modeller erbjuder inte tillräcklig kompatibilitet för utveckling av moderna applikationer för geo- distribuerade (edge) miljöer.Konfliktfria replikerade datatyper (CRDT) erbjuder en ny modell av konsi- stens som kallas stark eventuell konsistens. I princip garanterar CRDTer kon- fliktfria sammanslagningar trots att uppdateringar sker i oordning, genom att använda dess matematiska egenskaper. Lasp är en koordineringsfri distribue- rad programmeringsmodell för att bygga moderna distribuerade applikationer med hjälp av CRDTer. Lasp använder skvallerprotokoll för att sprida tillstånds- förändringar till alla replikor i systemet. Den nuvarande implementationen av skvaller i Lasp är agnostiskt för applikationens beteende relaterat till effektiv propagering av uppdateringar till kritiska replikor i systemet. I det här exa- mensarbetet introducerar vi applikationsspecifik funktionalitet för att optime- ra spridandet av uppdateringar i Lasp. Den föreslagna algoritmen sprider upp- dateringarna genom att tillgodose de olika konsistenskraven för replikorna i systemet. Experimentella resultat i en topologi av 100 replikor visade att upp- dateringslatensen vid kritiska replikor med höga konsistenskrav minskas med 40–50% och att den totala bandbreddskonsumtionen i systemet minskas med 4–8% utan signifikanta negativa följder för andra replikor i systemet.

Economic incentives and the need to efficiently deliver Internet have led to the growth of Internet eXchange Points (IXPs), i.e., the interconnection networks through which a multitude of possibly competing network entities connect to each other with the goal of exchanging traffic. At IXPs, the exchange of traffic between two or more member networks is dictated by the Border gateway Protocol (BGP), i.e., the inter-domain routing protocol used by network operators to exchange reachability information about IP prefix destinations. There is a common “honest-closed-world” assumption at IXPs that two IXP members exchange data traffic only if they have exchanged the corresponding reachability information via BGP. This state of affairs severely hinders security as any IXP member can send traffic to another member without having received a route from that member. Filtering traffic according to BGP routes would solve the problem. However, IXP members can install filters but the number of filtering rules required at a large IXP can easily exceed the capacity of the network devices. In addition, an IXP cannot filter this type of traffic as the exchanged BGP routes between two members are not visible to the IXP itself. In this thesis, we evaluated the design space between reactive and proactive approaches for guaranteeing consistency between the BGP control-plane and the data-plane. In a reactive approach, an IXP member operator monitors, collects, and analyzes the incoming traffic to detect if any illegitimate traffic exists whereas, in a proactive approach, an operator configures its network devices to filter any illegitimate traffic without the need to perform any monitoring. We focused on proactive approaches because of the increased security of the IXP network and its inherent simplified network management. We designed and implemented a solution to this problem by leveraging the emerging Software Defined Networking (SDN) paradigm, which enables the programmability of the forwarding tables by separating the control- and data-planes. Our approach only installs rules in the data-plane that allow legitimate traffic to be forwarded, dropping anything else. As hardware switches have high performance but low memory space, we decided to make also use of software switches.  A “heavy-hitter” module detects the forwarding rules carrying most of the traffic and installs them into the hardware switch. The remaining forwarding rules are installed into the software switches. We evaluated the prototype in an emulated testbed using the Mininet virtual network environment. We analyzed the security of our system with the help of static verification tests, which confirmed compliance with security policies. The results reveal that with even just 10% of the rules installed in the hardware switch, the hardware switch directly filterss 95% of the traffic volume with non-uniform Internet-like traffic distribution workloads. We also evaluated the latency and throughput overheads of the system, though the results are limited by the accuracy of the emulated environment. The scalability experiments show that, with 10K forwarding rules, the system takes around 40 seconds to install and update the data plane. This is due to inherent slowness of the emulated environment and limitations of the POX controller, which is coded in Python. / Ekonomiska incitament och behovet av att effektivt leverera Internet har lett till tillväxten av Internet eXchange Points (IXP), dvs de sammankopplingsnät genom vilka en mängd möjligen konkurrerande nätverksenheter förbinder varandra med målet att utbyta trafik. Vid IXPs dikteras utbytet av trafik mellan två eller flera medlemsnät av gränsgatewayprotokollet (BGP), dvs det inter-domänroutingprotokollet som används av nätoperatörer för att utbyta tillgänglighetsinformation om IP-prefixdestinationer. Det finns ett gemensamt antagande om "honest-closed-world" vid IXP, att två IXP-medlemmar endast utbyter datatrafik om de har bytt ut motsvarande tillgänglighetsinformation via BGP. Detta tillstånd försvårar allvarligt säkerheten eftersom varje IXP-medlem kan skicka trafik till en annan medlem utan att ha mottagit en rutt från den medlemmen. Filtrering av trafik enligt BGP-vägar skulle lösa problemet. IXPmedlemmar kan dock installera filter men antalet filtreringsregler som krävs vid en stor IXP kan enkelt överskrida nätverksenheternas kapacitet. Dessutom kan en IXP inte filtrera denna typ av trafik eftersom de utbytta BGP-vägarna mellan två medlemmar inte är synliga för IXP-enheten själv. I denna avhandling utvärderade vi utrymmet mellan reaktiva och proaktiva metoder för att garantera överensstämmelse mellan BGP-kontrollplanet och dataplanet. I ett reaktivt tillvägagångssätt övervakar, samlar och analyserar en inkommande trafik en IXP-medlem för att upptäcka om någon obehörig trafik finns, medan en operatör konfigurerar sina nätverksenheter för att filtrera någon obehörig trafik utan att behöva övervaka. Vi fokuserade på proaktiva tillvägagångssätt på grund av den ökade säkerheten för IXP-nätverket och dess inneboende förenklad nätverkshantering. Vi konstruerade och genomförde en lösning på detta problem genom att utnyttja det nya SDN-paradigmet (Software Defined Networking), vilket möjliggör programmerbarheten hos vidarebefordringsborden genom att separera kontroll- och dataplanerna. Vårt tillvägagångssätt installerar bara regler i dataplanet som tillåter legitim trafik att vidarebefordras, släppa allt annat. Eftersom hårdvaruomkopplare har hög prestanda men lågt minne, bestämde vi oss för att även använda programvaruomkopplare. En "heavy-hitter" -modul detekterar vidarebefordringsreglerna som transporterar större delen av trafiken och installerar dem i hårdvaruomkopplaren. De återstående spolningsreglerna installeras i programvaruomkopplarna. Vi utvärderade prototypen i en emulerad testbädd med hjälp av virtuella nätverksmiljö Mininet. Vi analyserade säkerheten för vårt system med hjälp av statiska verifieringsprov, vilket bekräftade överensstämmelse med säkerhetspolicyerna. Resultaten visar att med bara 10% av de regler som installerats i hårdvaruomkopplaren filtrerar hårdvaruomkopplaren direkt 95% av trafikvolymen med ojämn Internetliknande trafikfördelningsarbete. Vi utvärderade också latens- och genomströmningsomkostnaderna för systemet, även om resultaten begränsas av noggrannheten hos den emulerade miljön. Skalbarhetsexperimenten visar att med 10K-vidarebefordringsregler tar systemet cirka 40 sekunder för att installera och uppdatera dataplanet. Detta beror på inneboende långsamma emulerade miljöer och begränsningar av POX-kontrollern, som kodas i Python.

Modern applications are required to handle and communicate an increasing amount of data. Meanwhile, distributed systems containing multiple computationally weak components becomes more common, resulting in a problematic situation. Choosing among communication strategies, used for delivering message between entities, therefore becomes crucial in order to efficiently utilize available resources. Systems where identical data is delivered to many recipients are common nowadays, but may apply an underlying communication strategy based on direct interaction between sender and receiver which is insufficient. Multicasting refers to a technique for group communication where messages can be distributed to participating nodes in a single transmission. This technique is developed to circumvent the problem of high workload on sender side and redundant traffic in the network, and constitutes the focus for this thesis. Within the area of Electronic Warfare and self-protection systems, time constitutes a critical aspect in order to provide relevant information for decision making. Self-protection systems developed by Saab, used in military aircrafts, must provide situational awareness to guarantee that correct decisions can be made at the right time. With more advanced systems, where the amount of data needed to be transmitted increases, the need of fast communication is essential to achieve quality of service. This thesis investigates how the deployment of multicast, in a distributed data-intensive system, could prepare a system for increased data exchange. The result is a communication design which allows for the system to distribute messages to a group of receivers with less effort from the sender and with reduced redundant traffic transferred over the same link. Comparative measurements are conducted between the new implementation and the old system. The result of the evaluation shows that the multicast solution both can decrease the time for message handling as well as the workload on endpoints significantly. / Nutidens applikationer måste kunna hantera och kommunicera en ökad datamängd. Samtidigt har distribuerade system bestående av många beräkningsmässigt svaga enheter blivit allt mer vanligt, vilket är problematiskt. Valet av kommunikationsstrategi, för att leverera data mellan enheter i ett system, är därför av stor betydelse för att uppnå effektivt utnyttjande av tillgängliga resurser. System där identisk information ska distribueras till flertalet mottagare är vanligt förekommande idag. Den underliggande kommunikationsstrategin som används kan dock baseras på direkt interaktion mellan sändare och mottagare vilket är ineffektivt. Multicast (Flersändning) syftar till ett samlingsbegrepp inom datorkommunikation baserat på gruppsändning av information. Denna teknik är utvecklad för att kringgå problematiken med hög belastning på sändarsidan och dessutom minska belastningen på nätverket, och utgör fokus för detta arbete. Inom telekrigföring och självskyddssystem utgör tiden en betydande faktor för att kunna tillhandahålla relevant information som kan stödja beslutsfattning. För självskyddssystem utvecklade av Saab, vilka används i militärflygplan, är situationsmedvetenhet av stor betydelse då det möjliggör för att korrekta beslut kan tas vid rätt tidpunkt. Genom utvecklingen av mer avancerade system, där mängden meddelanden som måste passera genom nätverket ökar, tillkommer höga krav på snabb kommunikation för att kunna åstadkomma kvalité. Denna uppsatsrapport undersöker hur införandet av multicast, i ett dataintensivt distribuerat system, kan förbereda ett system för ökat datautbyte. Arbetet har resulterat i en kommunikationsdesign som gör det möjligt för systemet att distribuera meddelanden till grupp av mottagare med minskad belastning på sändarsidan och mindre redundant trafik på de utgående länkarna. Jämförandet mätningar har gjorts mellan den nya implementationen och det gamla systemet. Resultaten visar att multicast-lösningen både kan reducera tiden för meddelande hantering samt belastningen på ändnoder avsevärt.

Diss. (sammanfattning) Uppsala : Univ., 2003. / Härtill 6 uppsatser.