In this modern world machine learning and deep learning have become popular choice for analysis and identifying various patterns on data in large volumes. The focus of the thesis work has been on the design of the alternative strategies using machine learning to guide the fuzzer in selecting the most promising test cases. Thesis work mainly focuses on the analysis of the data by using machine learning techniques. A detailed analysis study and work is carried out in multiple phases. First phase is targeted to convert the data into suitable format(pre-processing) so that necessary features can be extracted and fed as input to the unsupervised machine learning algorithms. Machine learning algorithms accepts the input data in form of matrices which represents the dimensionality of the extracted features. Several experiments and run time benchmarks have been conducted to choose most efficient algorithm based on execution time and results accuracy. Finally, the best choice has been implanted to get the desired result. The second phase of the work deals with applying supervised learning over clustering results. The final phase describes how an incremental learning model is built to score the test case logs and return their score in near real time which can act as feedback to guide the fuzzer. / I denna moderna värld har maskininlärning och djup inlärning blivit populärt val för analys och identifiering av olika mönster på data i stora volymer. Uppsatsen har fokuserat på utformningen av de alternativa strategierna med maskininlärning för att styra fuzzer i valet av de mest lovande testfallen. Examensarbete fokuserar huvudsakligen på analys av data med hjälp av maskininlärningsteknik. En detaljerad analysstudie och arbete utförs i flera faser. Första fasen är inriktad på att konvertera data till lämpligt format (förbehandling) så att nödvändiga funktioner kan extraheras och matas som inmatning till de oövervakade maskininlärningsalgoritmerna. Maskininlärningsalgoritmer accepterar ingångsdata i form av matriser som representerar dimensionen av de extraherade funktionerna. Flera experiment och körtider har genomförts för att välja den mest effektiva algoritmen baserat på exekveringstid och resultatnoggrannhet. Slutligen har det bästa valet implanterats för att få önskat resultat. Den andra fasen av arbetet handlar om att tillämpa övervakat lärande över klusterresultat. Slutfasen beskriver hur en inkrementell inlärningsmodell är uppbyggd för att få poäng i testfallsloggarna och returnera poängen i nära realtid vilket kan fungera som feedback för att styra fuzzer.

Detta M.Sc. examensarbete innehåller resultatet från ett projekt som utförs i samarbete med Scania CV AB i Södertälje. Projektet är inriktat på arkitekturanalyser där olika modulariseringsmetoder tillämpas på ett komplext system. Scania har en känd och framgångsrik historia inom modularisering, som anses spelat en viktig roll för att bli ett av världens ledande företag idag. Därför ville produktbeskrivningsmetodavdelningen på Scania undersöka ett motordelsystem för att få en bättre förståelse för sin nuvarande arkitektur. För detta ändamål har lämpliga modulariseringsmetoder använts.Systemet Extreme High-Pressure Injection (XPI) valdes av författaren för undersökning och modulariserades med två olika metoder: Heuristisk metoden och DSM (Design Structure Matrix) –metoden, med hjälp av IGTA ++ klustringsalgoritmen. De resulterande klustren från bådametoderna analyserades och jämfördes med de från den nuvarande arkitekturen. Baserat på dessaanalyser föreslogs en modulär arkitektur slutligen av författaren.Avhandlingen identifierar de arkitektoniska skillnaderna efter tillämpning av modulariseringsmetoderna och belyser de möjliga faktorer som kan påverka analysresultaten. Den avslöjar också att DSM-analyserna visar de mest liknande klusterförslagen med den nuvarande arkitekturen. Utvecklingen av systemkonfigurationen undersöks också genom att använda den tidigare versionen som referens. Ett annat syfte med uppsatsen är att svara på frågan om systemets flexibilitet när det gäller teknikskifte. / This Master Thesis encloses the results of a project conducted in collaboration with Scania CV AB in Södertälje. The project is focused on architecture analysis when modularization methods are applied to a complex system. Scania has a known and successful history in modularization, which it is claimed to play an essential role in becoming one of the world’s leading companies today. Therefore, the Product description methodology department within Scania wanted to investigate an engine subsystem in order to have a better understanding of its current architecture. For this purpose, there have been implemented suitable modularization methods.The Extreme High-Pressure Injection (XPI) system was chosen by the author for investigation and modularized using two different methods: Heuristic method and DSM (Design Structure Matrix) method using IGTA++ clustering algorithm. The resulted clusters from both methods were analyzed and compared with the ones from the current architecture. Based on these analyses a modular architecture was finally suggested by the author.The thesis identifies the architectural differences after applying the modularization methods and highlights the possible factors which may influence the analyses results. It also reveals the DSM analyses show most similar cluster proposals with the current architecture. The evolution of the system configuration is also investigated by having its previous version as reference. Another purpose of the thesis is to answer the research question regarding the system’s flexibility when it comes to technology shift.

Federated learning is a widely established modern machine learning methodology where training is done directly on the client device with local client data and the local training results are shared to compute a global model. Federated learning emerged as a result of data ownership and the privacy concerns of traditional machine learning methodologies where data is collected and trained at a central location. However, in a distributed data environment, the training suffers significantly when the client data is not identically distributed. Hence, clustered federated learning was proposed where similar clients are clustered and trained independently to form specialized cluster models which are then used to compute a global model. In this approach, the cluster selection for clustered federated learning is a major factor that affects the effectiveness of the global model. This research presents two approaches for client clustering using local client data for clustered federated learning while preserving data privacy. The two proposed approaches use min-wise independent permutations to compute client signatures using text and word embeddings. These client signatures are then used as a representation of client data to cluster clients using agglomerative hierarchical clustering. Unlike previously proposed clustering methods, the two presented approaches do not use model updates, provide a better privacy-preserving mechanism and have a lower communication overhead. With extensive experimentation, we show that the proposed approaches outperform the random clustering approach. Finally, we present a client clustering methodology that can be utilized in a practical clustered federated learning environment. / Federerad inlärning är en etablerad och modern maskininlärnings metod. Träningen är utförd direkt på klientenheten med lokal klient data. Sen är dem lokala träningsresultat delad för att beräkna en global modell. Federerad inlärning har utvecklats på grund av dataägarskap- och dataintegritetsproblem vid traditionella maskininlärnings metoder. Dessa metoder samlar och tränar data på en central enhet. I den här metoden är kluster selektionen en viktig faktor som påverkar effektiviteten av den globala modellen. Detta forskningsarbete presenterar två metoder för klient klustring med hjälp av lokala klientdata för federerad inlärning samtidigt tar metoderna hänsyn på dataintegritet. Metoderna använder “min-wise” oberoende permutations och förtränade (“text och word”) inbäddningar. Dessa klientsignaturer används som en klientdata representation för att klustrar klienter med hjälp av agglomerativ hierarkisk klustring. Till skillnad från tidigare klustringsmetoder använder de två presenterade metoderna inte modelluppdateringar. Detta ger en bättre sekretessbevarande mekanism och har lägre kommunikationskostnader. De två presenterade metoderna överträffar den slumpmässiga klustringsmetoden genom omfattande experiment och analys. Till slut presenterar vi en klientklustermetodik som kan användas i en praktisk klustrad federerad inlärningsmiljö.

Within the defence industry, it is essential to be aware of threats in the environment. A potential threat can be detected by identifying certain types of emitters in the surroundings that are typically used in the enemies’ systems. An emitter’s type can be identified by having a receiver measuring radar pulses in the environment and analysing the pulses transmitted from that specific emitter. As several emitters usually transmit pulses in an environment, the receiver measures pulses from all of these emitters. In order to analyse the pulses from only one emitter, the pulses must be sorted into groups based on what emitter they are transmitted from. This sorting can for instance be performed by considering similarities and differences in the pulses’ features. This thesis investigates whether the change in the pulses’ Angle of Arrival (AOA) over time can be used for sorting the pulses. Such an approach can be useful in scenarios where signals from homogeneous emitters, that are similar in their features, need to be distinguished. In addition, by taking the change in AOA into consideration, rather than relying on the AOA itself, the approach has the potential of separating signals from emitters that overlap with respect to the AOA over time at some time step. A multiple-step clustering algorithm which is adapted from Density-Based Spatial Clustering of Applications with Noise (DBSCAN) is used for the pulse sorting. The algorithm is primarily evaluated in testing scenarios including homogeneous emitters whose pulses overlap with respect to the AOA at some time step. The goal is to divide the pulses into groups depending on what emitter they are transmitted from. The pulses involved in an overlap are typically not distinguishable and they should therefore not be assigned to any cluster. Signals received before and after an overlap are allowed to belong to different clusters even if they are from the same emitter. The algorithm was able to cluster signals properly and to identify the overlapping signals in testing scenarios where the emitters were placed in specific patterns. The performance worsened as the emitters were allowed to have any position and the number of emitters increased, which can imply that the algorithm performs poorly when the emitters are closely located. In order to determine whether, or to what extent, this approach is suitable for pulse sorting, the algorithm should be further evaluated in more testing scenarios. / Inom försvarsindustrin är det grundläggande att vara medveten om hot i ens omgivning. Ett möjligt hot kan upptäckas genom att identifiera särskilda typer av emittrar i omgivningen som brukar användas i en fiendes system. Genom att med en mottagare mäta radarpulser i omgivningen och sedan analysera en särskild emitters pulser kan denna emitters typ identifieras. I en omgivning är det normalt ett flertal emittrar som sänder ut signaler vilket gör att mottagaren mäter flera emittrars pulser samtidigt. För att kunna analysera pulserna från endast en särskild emitter måste pulserna sorteras i grupper baserat på vilken emitter de kommer ifrån. Sorteringen kan exempelvis baseras på likheter och skillnader mellan signalernas egenskaper. Detta projekt undersöker huruvida pulser kan sorteras baserat på förändringen i pulsernas ankomstvinkel över tid. Denna metod kan vara användbar då signaler från homogena emittrar ska separeras då dessa signaler har liknande egenskaper. Genom att göra sorteringen baserad på ankomstvinkelns förändring över tid, istället för att endast kolla på ankomstvinkeln, är det även möjligt att skilja på signaler vars ankomstvinklar överlappar vid något tillfälle över tid. En klustringsalgoritm uppbyggd i flera steg används för pulssorteringen. Denna algoritm är i grunden baserad på principerna från Density-Based Spatial Clustering of Applications with Noise (DBSCAN). Algoritmen är huvudsakligen evaluerad på testscenarios med homogena emittrar vars pulsers ankomstvinkel överlappar vid något tillfälle. Målet är att dela in pulser i grupper efter vilken emitter de kommer ifrån. Pulser involverade i ett överlapp är normalt inte möjliga att särskilja och dessa pulser ska därför inte tillhöra något kluster. Signaler som mottages före och efter ett överlapp är tillåtna att höra till olika kluster även om de kommer från samma emitter. Algoritmen lyckades utföra klustringen och identifiera överlappande signaler i testscenarion då emittrarna placerats i särskilda mönster. Algoritmens prestanda försämrades då emittrarna tilläts ha godtyckliga positioner och antalet emittrar ökade. Detta kan innebära att metoden fungerar sämre när emittrarna är placerade nära varandra. För att avgöra huruvida denna metod är lämplig för pulssortering bör metoden utvärderas i flera testscenarion.

Detecting a malicious hacker intruding on a network system can be difficult. This challenge is made even more complex by the network activity generated by normal users and by the fact that it is impossible to know the hacker’s exact actions. Instead, the defender of the network system has to infer the hacker’s actions by statistics collected by the intrusion detection system, IDS. This thesis investigates the performance of hidden Markov models, HMM, to detect an intrusion automatically under different background activities generated by normal users. Furthermore, background subtraction techniques with inspiration from computer vision are investigated to see if normal users’ activity can be filtered out to improve the performance of the HMMs.The results suggest that the performance of HMMs are not sensitive to the type of background activity but rather to the number of normal users present. Furthermore, background subtraction enhances the performance of HMMs slightly. However, further investigations into how background subtraction performs when there are many normal users must be done before any definitive conclusions. / Det kan vara svårt att upptäcka en hackare som gör intrång i ett nätverkssystem. Utmaningen blir ännu större genom nätverksaktiviteten som genereras av vanliga användare och av det faktum att det är omöjligt att veta hackarens exakta handlingar. Istället måste nätverkssystemets försvarare använda insamlad data från intrångsdetekteringssystemet, IDS, för att estimera hackarens handlingar. Detta arbete undersöker förmågan hos dolda Markovmodeller, HMM, att automatiskt upptäcka dataintrång under olika typer av bakgrundsaktiviteter som genereras av normala användare. Dessutom undersöks bakgrundssubtraktionstekniker med inspiration från datorseende för att se om normala användares aktivitet kan filtreras bort för att förbättra prestanda hos HMM. Resultaten tyder på att prestandan för HMM inte är känsliga för typen av bakgrundsaktivitet utan snarare för antalet närvarande normala användare. Dessutom förbättrar bakgrundssubtraktion prestandan hos HMM. Det krävs dock mer forskning för att dra definitiva slutsatser kring vilken effekt bakgrundssubstitution har när antalet normala användare är stort.

<p>Understanding the structure of a network is an essential part in understanding the behavior of the system it represents, but as the system becomes really large, a visualization of the full network looses its potential to reveal important structural relationships. Then we need ways to simplify and highlight the important structures of the network while the details are filtered out, just like good maps do. We have developed an interactive application that utilizes mathematical methods based on network and information theory to reveal the important patterns hidden in huge amount of interaction data. The application gives the professional as well as the nonprofessional user the ability to load his or hers own file containing the network data, from mobile phone networks and social online networks to transport networks and financial networks and lets you explore the data and generate a customized map which highlights the influential patterns in your data. A demo application is also developed to demonstrate the mathematical and information-theoretical principles behind the map generation.</p> / <p>För att koppla form till funktion är nätverk ett oumbärligt verktyg, men när systemen blir riktigt stora förlorar nätverken sin förmåga att avslöja viktiga strukturella samband. Då behövs det kraftfulla metoder för att förenkla och framhäva de viktiga strukturerna i nätverken samtidigt som detaljerna filtreras bort, precis som bra kartor gör. Vi har utvecklat en interaktiv applikation som utnyttjar matematiska metoder baserat på nätverks- och in- formationsteori för att avslöja viktiga mönster som ligger dolt i myllret av interaktionsdata. Du kan läsa in din egen fil med nätverksdata, från telekommunikationsnätverk och sociala online-nätverk till transportnärverk och finansiella nätverk, och få tillbaka en skräddarsydd karta som låter dig upptäcka de inflytelserika mönstren i nätverket. En demo-applikation är också utvecklad för att demonstrera de matematiska och informationsteoretiska principerna bakom kartgenereringen.</p>

Understanding the structure of a network is an essential part in understanding the behavior of the system it represents, but as the system becomes really large, a visualization of the full network looses its potential to reveal important structural relationships. Then we need ways to simplify and highlight the important structures of the network while the details are filtered out, just like good maps do. We have developed an interactive application that utilizes mathematical methods based on network and information theory to reveal the important patterns hidden in huge amount of interaction data. The application gives the professional as well as the nonprofessional user the ability to load his or hers own file containing the network data, from mobile phone networks and social online networks to transport networks and financial networks and lets you explore the data and generate a customized map which highlights the influential patterns in your data. A demo application is also developed to demonstrate the mathematical and information-theoretical principles behind the map generation. / För att koppla form till funktion är nätverk ett oumbärligt verktyg, men när systemen blir riktigt stora förlorar nätverken sin förmåga att avslöja viktiga strukturella samband. Då behövs det kraftfulla metoder för att förenkla och framhäva de viktiga strukturerna i nätverken samtidigt som detaljerna filtreras bort, precis som bra kartor gör. Vi har utvecklat en interaktiv applikation som utnyttjar matematiska metoder baserat på nätverks- och in- formationsteori för att avslöja viktiga mönster som ligger dolt i myllret av interaktionsdata. Du kan läsa in din egen fil med nätverksdata, från telekommunikationsnätverk och sociala online-nätverk till transportnärverk och finansiella nätverk, och få tillbaka en skräddarsydd karta som låter dig upptäcka de inflytelserika mönstren i nätverket. En demo-applikation är också utvecklad för att demonstrera de matematiska och informationsteoretiska principerna bakom kartgenereringen.

The information used in this paper comes from Trafikverket's delivery monitoring system. It consists of information about planned train missions on the Swedish railways for the years 2014 to 2017 during week four (except planned train missions on Roslagsbanan and Saltsjöbanan). Trafikanalys with help from Trafikverket presents public statistics for short-distance trains, middle-distance trains and long-distance trains on Trafikanalys website. The three classes of trains have no scientific basis. The purpose of this study is therefore to analyze if today's classes of trains can be used and which variables that have importance for the classification. The purpose of this study is also to analyze if there is a better way to categorize the classes of trains when Trafikanalys publishes public statistics. The statistical methods that are used in this study are decision tree, neural network and hierarchical clustering. The result obtained from the decision tree was a 92.51 percent accuracy for the classification of Train type. The most important variables for Train type were Train length, Planned train kilometers and Planned km/h.Neural networks were used to investigate whether this method could also provide a similar result as the decision tree too strengthening the reliability. Neural networks got an 88 percent accuracy when classifying Train type. Based on these two results, it indicates that the larger proportion of train assignments could be classified to the correct Train Type. This means that the current classification of Train type works when Trafikanalys presents official statistics. For the new train classification, three groups were analyzed when hierarchical clustering was used. These three groups were not the same as the group's short-distance trains, middle-distance trains and long-distance trains. Because the new divisions have blended the various passenger trains, this result does not help to find a better subdivision that can be used for when Trafikanalys presents official statistics. / Datamaterialet som används i uppsatsen kommer ifrån Trafikverkets leveransuppföljningssystem. I datamaterialet finns information om planerade tåguppdrag för de svenska järnvägarna för år 2014 till 2017 under vecka fyra (bortsett från planerade tåguppdrag för Roslagsbanan och Saltsjöbanan). Trafikanalys med hjälp av Trafikverket redovisar officiell statistik för kortdistanståg, medeldistanståg och långdistanståg på Trafikanalys hemsida. De tre tågkategorierna har inte någon vetenskaplig grund. Syftet med denna studie är därför att undersöka ifall dagens tågindelning fungerar och vilka variabler som hänger ihop med denna indelning. Syftet är även att undersöka om det finns någon bättre tågindelning som kan användas när Trafikanalys redovisar officiell statistik. De statistiska metoder studien utgått ifrån är beslutsträd, neurala nätverk och hierarkisk klustring. Resultatet som erhölls från beslutsträdet var en ackuratess på 92.51 procent för klassificeringen av Tågsort. De variabler som hade störst betydelse för Tågsort var Tåglängd, Planerade tågkilometrar och Planerad km/h. Neurala nätverk användes för att undersöka om även denna metod kunde ge ett liknande resultat som beslutsträdet och därmed stärka tillförlitligheten. Neurala nätverket fick en ackuratess på 88 procent vid klassificeringen av Tågsort. Utifrån dessa två resultat tyder det på att den större andelen tåguppdrag kunde klassificeras till rätt Tågsort. Det innebär att nuvarande klassificering av Tågsort fungerar när Trafikanalys presenterar officiell statistik. För den nya tågklassificeringen analyserades tre grupper när hierarkisk klustring användes. Dessa tre grupper liknande inte dagens indelning för kortdistanståg, medeldistanståg och långdistanståg. Eftersom att de nya indelningarna blandade de olika persontågen går det inte med detta resultat att hitta en bättre indelning som kan användas när Trafikanalys presenterar officiell statistik.

The purpose of this study was to develop an interactive tool that enables identification of different types of users of an application based on clickstream data. A complex hierarchical clustering algorithm tool called Recursive Hierarchical Clustering (RHC) was used. RHC provides a visualisation of user types as clusters, where each cluster has its own distinguishing action pattern, i.e., one or several consecutive actions made by the user in the application. A case study was conducted on the mobile application Plick, which is an application for selling and buying second hand clothes. During the course of the project, the analysis and its result was discovered to be difficult to understand by the operators of the tool. The interactive tool had to be extended to visualise the complex analysis and its result in an intuitive way. A literature study of how humans interpret information, and how to present it to operators, was conducted and led to a redesign of the tool. More information was added to each cluster to enable further understanding of the clustering results. A clustering reconfiguration option was also created where operators of the tool got the possibility to interact with the analysis. In the reconfiguration, the operator could change the input file of the cluster analysis and thus the end result. Usability tests showed that the extra added information about the clusters served as an amplification and a verification of the original results presented by RHC. In some cases the original result presented by RHC was used as a verification to user group identification made by the operator solely based on the extra added information. The usability tests showed that the complex analysis with its results could be understood and configured without considerable comprehension of the algorithm. Instead it seemed like it could be successfully used in order to identify user types with help of visual clues in the interface and default settings in the reconfiguration. The visualisation tool is shown to be successful in identifying and visualising user groups in an intuitive way.

Traditionally, practitioners use modern portfolio theory to invest optimally. Its appeal lies in its mathematical simplicity and elegance. However, despite its beauty, the theory it is plagued with many problems, which are in combination called the Markowitz curse. Lopéz de Prado introduced Hierarchical Risk Parity (HRP), which deals with the problems of Markwitz’s theory by introducing hierarchical structures into the portfolio allocation step.This thesis is a continuation of the HRP. In contrast to De Prado’s work, we build hierarchical clusters that do not have a predetermined structure and also use portfolio allocation methods that incorporates the mean estimates. We use an algorithm called community detection which is derived from graph theory. The algorithm generates clusters purely from the data without user specification. A problem to overcome is the correct identification of the market mode, whichis non-trivial for futures contracts. This is a serious problem since the specific clustering method we use hinges on correctly identifying this mode. Therefore, in this thesis we introduce a method of finding the market mode for futures data. Finally, we compare the portfolios constructed from the hierarchical clusters to traditional methods. We find that the hierarchical portfolios results in slightly worse performance than the traditional methods when we incorporate the mean and better performance for risk based portfolios. In general, we find that the hierarchical portfolios result in less extreme outcomes. / Traditionellt används modern portföljteori för attinvestera optimalt. Anledningen till detta ligger i dess matematiska enkelhet och elegans. Men trots sina många fördelar är teorin plågad med flertal problem, som i kombination kallas för Markowitz-förbannelsen. Lopéz de Prado introducerade Hierarchical Risk Parity (HRP), som påstås tacköa problemen med Markwitz teori genom att införa hierarkiska strukturer i portföljallokeringssteget. Detta examensarbete är en fortsättning på HRP. I motsats till De Prados arbete bygger vi hierarkiska kluster som inte har en förutbestämd struktur och använder även portföljallokeringsmetoder som inkluderar medelskattningarna. Vi använder en algoritm som kallas communitydetection som härrör från grafteori. Algoritmen genererar kluster enbart från data utan användarspecifikation. Ett problem att överkomma är den korrekta identifieringen av marknadsläget, vilket inte är trivialt för terminskontrakt. Detta är ett allvarligt problem eftersom den specifika klustringsmetoden vi använder hänger samman med att korrekt identifiera detta läge. Därför introducerar vi i denna avhandling en metod för att hitta marknadsläget för terminsdata. Slutligen jämför vi portföljerna konstruerade från de hierarkiska klustren med traditionella metoder. Vi finner att de hierarkiska portföljerna ger något sämre prestandaän de traditionella metoderna när vi tar med medelvärdet och bättre prestanda för riskbaserade portföljer. Generellt finner vi att de hierarkiska portföljerna resulterar i mindre extrema utfall.