In this thesis, the red hot topic anomaly detection is studied, which is a subtopic in machine learning. The company, Procera Networks, supports several broadband companies with IT-solutions and would like to detected errors in these systems automatically. This thesis investigates and devises methods and algorithms for detecting interesting events in diagnostics data. Events of interest include: short-term deviations (a deviating point), long-term deviations (a distinct trend) and other unexpected deviations. Three models are analyzed, namely Linear Predictive Coding, Sparse Linear Prediction and Wavelet Transformation. The final outcome is determined by the gap to certain thresholds. These thresholds are customized to fit the model as well as possible. / I den här rapporten kommer det glödheta området anomalidetektering studeras, vilket tillhör ämnet Machine Learning. Företaget där arbetet utfördes på heter Procera Networks och jobbar med IT-lösningar inom bredband till andra företag. Procera önskar att kunna upptäcka fel hos kunderna i dessa system automatiskt. I det här projektet kommer olika metoder för att hitta intressanta företeelser i datatraffiken att genomföras och forskas kring. De mest intressanta företeelserna är framfärallt snabba avvikelser (avvikande punkt) och färändringar äver tid (trender) men också andra oväntade mänster. Tre modeller har analyserats, nämligen Linear Predictive Coding, Sparse Linear Prediction och Wavelet Transform. Det slutgiltiga resultatet från modellerna är grundat på en speciell träskel som är skapad fär att ge ett så bra resultat som mäjligt till den undersäkta modellen..

Time setting in production operations is necessary to properly takt and balance the flow of assembly and logistics. Time setting activities is also crucial to achieve an optimised, healthy and ergonomic assembly and logistics operation. But time setting is seldom done on a detailed enough level before deployed on the shop floor which necessitates more work of the time setting to make it reflect the work carried out and fit it to the local production area. There is also a need to redo the time setting whenever a change to a process or product has occurred. Nowadays, the time setting is often performed using very manual methods with Predetermined Motion Time Systems (PMTS), sometimes with the aid of digital tools to replace pen and paper but work otherwise practically the same way it has since its inception in the first half of the 20th century. This is a process that require skill, experience and often much time, but is also monotonous and repetitive. To aid in the time setting process, and bring PMTS into Industry 5.0; a digitalised, smart tool is proposed where video can be used to feed a computer program to do the movement classification and time setting accurately and faster than current manual processes can achieve. However, the needs, challenges, and general function of such a system is not well researched in literature. This thesis thus delivers an analysis of current state for the time setting process at a large multinational truck manufacturer with production sites in Sweden and abroad, an overview of technologies for a digitalised, smart PMTS, and a conceptual framework for analysing production tasks using a digitalised, smart system. The framework is then partially implemented to showcase the usefulness of the system and how it would work in practice. / Korrekt tidssättning i produktion är nödvändigt för att takta, planera och balansera flödet i montering och logistik. Tidssättning är också avgörande för att uppnå en optimerad, hälsosam och ergonomisk monterings- och logistikverksamhet. Men tidssättningen görs sällan på en tillräckligt detaljerad nivå innan den används på verkstadsgolvet, vilket kräver mer arbete med tidssättningen för att den ska återspegla det utförda arbetet och anpassas till det lokala produktionsområdet. Det finns också ett behov av att göra om tidssättningen när en förändring av en process eller produkt har skett. Nuförtiden utförs tidssättningen ofta med väldigt manuella metoder med förutbestämda metod-rörelsesystem (PMTS), ibland med hjälp av digitala verktyg som ersätter penna och papper, men i övrigt fungerar det praktiskt taget på samma sätt som det har gjort sedan starten under första halvan av 1900-talet. Detta är en uppgift som kräver skicklighet, erfarenhet och ofta mycket tid, men som också är monoton och repetitiv. För att underlätta tidssättningsprocessen och ta förutbestämda metod-rörelsesystem in i Industri 5.0 föreslås nu ett digitaliserat, smart verktyg där video kan användas för att mata ett datorprogram som gör rörelseklassificeringen och tidssättningen mer exakt och snabbare än vad nuvarande manuella processer kan uppnå. De behov, utmaningar och den allmänna funktionen hos ett sådant system är dock inte väl undersökt i litteraturen utan kräver mer forskning. Detta examensarbete ger därför en analys av det nuvarande läget för tidssättningsprocessen hos en stor multinationell lastbilstillverkare med produktionsanläggningar i Sverige och utomlands, en översikt över tekniker för ett digitaliserat, smart PMTS och ett konceptuellt ramverk för analys av produktionsaktiviteter med hjälp av ett digitaliserat, smart system. Ramverket implementeras sedan delvis i en demonstrator för att visa hur ett sådant system kan se ut och fungera i praktiken.

Paradox Interactive is a Swedish video game developer and publisher which has players all around the world. Paradox’s largest platform in terms of amount of players and revenue is the PC. The goal of this thesis was to make a churn predic-tion model to predict the probability of players churning in order to know which players to focus on in retention campaigns. Since the purpose of churn prediction is to minimize loss due to customers churning the focus was on big-spenders (whales) in Paradox PC games. In order to define which players are big-spenders the spending for players over a 12 month rolling period (from 2016-01-01 until 2018-12-31) was investigated. The players spending more than the 95th-percentile of the total spending for each pe-riod were defined as whales. Defining when a whale has churned, i.e. stopped being a big-spender in Paradox PC games, was done by looking at how many days had passed since the players bought something. A whale has churned if he has not bought anything for the past 28 days. When data had been collected about the whales the data set was prepared for a number of di˙erent supervised machine learning methods. Logistic Regression, L1 Regularized Logistic Regression, Decision Tree and Random Forest were the meth-ods tested. Random Forest performed best in terms of AUC, with AUC = 0.7162. The conclusion is that it seems to be possible to predict the probability of churning for Paradox whales. It might be possible to improve the model further by investi-gating more data and fine tuning the definition of churn. / Paradox Interactive är en svensk videospelutvecklare och utgivare som har spelare över hela världen. Paradox största plattform när det gäller antal spelare och intäk-ter är PC:n. Målet med detta exjobb var att göra en churn-predikterings modell för att förutsäga sannolikheten för att spelare har "churnat" för att veta vilka spelare fokusen ska vara på i retentionskampanjer. Eftersom syftet med churn-prediktering är att minimera förlust på grund av kunderna som "churnar", var fokusen på spelare som spenderar mest pengar (valar) i Paradox PC-spel.För att definiera vilka spelare som är valar undersöktes hur mycket spelarna spenderar under en 12 månaders rullande period (från 2016-01-01 till 2018-12-31). Spelarna som spenderade mer än 95:e percentilen av den totala spenderingen för varje period definierades som valar. För att definiera när en val har "churnat", det vill säga slutat vara en kund som spenderar mycket pengar i Paradox PC-spel, tittade man på hur många dagar som gått sedan spelarna köpte någonting. En val har "churnat" om han inte har köpt något under de senaste 28 dagarna.När data hade varit samlad om valarna var datan förberedd för ett antal olika maskininlärningsmetoder. Logistic Regression, L1 Regularized Logistic Regression, Decision Tree och Random Forest var de metoder som testades. Random Forest var den metoden som gav bäst resultat med avseende på AUC, med AUC = 0, 7162. Slutsatsen är att det verkar vara möjligt att förutsäga sannolikheten att Paradox valar "churnar". Det kan vara möjligt att förbättra modellen ytterligare genom att undersöka mer data och finjustera definitionen av churn.

With the rise of the usage of AI, the need for computing power has grown exponentially. This has made cloud computing a popular option with its cost- effective and highly scalable capabilities. However, due to its popularity there exists thousands of possible services to choose from, making it hard to find the right tool for the job. The purpose of this thesis is to provide a methodological approach for evaluating which alternative is the best for machine learning applications deployed in the cloud. Nine different instances were evaluated on a major cloud provider and compared for their performance relative to their cost. This was accomplished by developing a cost evaluation model together with a test environment for image recognition models. The environment can be used on any type of cloud instance to aid in the decision-making. The results derived from the specific premises used in this study indicate that the higher the hourly cost an instance had, the less cost-effective it was. However, when making the same comparison within an instance family of similar machines the same conclusion can not be made. Regardless of the conclusions made in this thesis, the problem addressed remains, as the domain is too large to cover in one report. But the methodology used holds great value as it can act as guidance for similar evaluation with a different set of premises. / Användingen av Artificiell Intelligens har aldrig varit så stor som den är idag och behovet av att kunna göra tyngre och mer komplexa beräkningar har växt exponentiellt. Detta har gjort att molnet, cloud, ett mycket populärt alternativt för sin kostadseffektiva och skalbara förmåga. Däremot så finns det tusentals alternativ att välja emellan vilket gör det svårt att hitta rätt verktyg för jobbet. Syftet med denna uppsats är att förse läsaren med en användbar metodik för att evaluera vilket instans som passar bäst för maskininlärnings applikationer som distribueras i molnet. Nio stycken olika instanser evaluerades på en molnleverantör genom att jämföra deras prestanda kontra deras kostnad. Detta gjordes genom att utveckla en kostnadsmodell tillsammans med en testmiljö för bildigenkänningsmodeller. Testmiljön som användes kan appliceras på flertal instanser som inte ingick i denna rapport för att tillåta andra att använda den för egna tester. Resultaten för studien var att de instanserna med högre timkostnad tenderar till att vara mindre kostnadseffektiva. Gör man samma jämförelse med endast instanser av samma typ som är anpassade för maskininlärning så är samma slutsats inte lika självklar. Oavsett slutsatser som ges i denna rapport så består problemet. Detta beror på att molnet berör så många olika faktorer som bör värderas i evalueringen, till exempel utvecklingstid och modellens förmåga att förutspå en bild vilket alla kräver sin egna tes. Men metodiken som används kan definitivt vara till stor nytta om man vill göra en liknande utvärdering med andra premisser.

Estimation of forest parameters using remote sensing information could streamline the forest industry from a time and economic perspective. This thesis utilizes object detection and semantic segmentation to detect and classify individual trees from images over 3D models reconstructed from satellite images. This thesis investigated two methods that showed different strengths in detecting and classifying trees in deciduous, evergreen, or mixed forests. These methods are not just valuable for forest inventory but can be greatly useful for telecommunication companies and in defense and intelligence applications. This thesis also presents methods for estimating tree volume and estimating tree growth in 3D models. The results from the methods show the potential to be used in forest management. Finally, this thesis shows several benefits of managing a digitalized forest, economically, environmentally, and socially.

This thesis explored the possibilities of using a Hidden Markov Model approach for multi-target localisation in an urban environment, with observations generated from Wi-Fi sensors. The area is modelled as a network of nodes and arcs, where the arcs represent sidewalks in the area and constitutes the hidden states in the model. The output of the model is the expected amount of people at each road segment throughout the day. In addition to this, two methods for analyzing the impact of events in the area are proposed. The first method is based on a time series analysis, and the second one is based on the updated transition matrix using the Baum-Welch algorithm. Both methods reveal which road segments are most heavily affected by a surge of traffic in the area, as well as potential bottleneck areas where congestion is likely to have occurred. / I det här examensarbetet har lokalisering av gångtrafikanter med hjälp av Hidden Markov Models utförts. Lokaliseringen är byggd på data från Wi-Fi sensorer i ett område i Stockholm. Området är modellerat som ett graf-baserat nätverk där linjerna mellan noderna representerar möjliga vägar för en person att befinna sig på. Resultatet för varje individ är aggregerat för att visa förväntat antal personer på varje segment över en hel dag. Två metoder för att analysera hur event påverkar området introduceras och beskrivs. Den första är baserad på tidsserieanalys och den andra är en maskinlärningsmetod som bygger på Baum-Welch algoritmen. Båda metoderna visar vilka segment som drabbas mest av en snabb ökning av trafik i området och var trängsel är troligt att förekomma.

In Intelligent Transport Systems (ITS), specifically in autonomous driving operations, accurate vehicle localization is essential for safe operations. The localization accuracy depends on both position and positioning error estimates. Technologies aiming to improve positioning error estimation are required and are currently being researched. This project has investigated machine learning algorithms applied to positioning error estimation by assessing relevant information obtained from a GNSS receiver and adding environmental information  coming from a camera mounted on a radio controlled vehicle testing platform. The research was done in two stages. The first stage consists of the machine learning algorithms training and testing on existing GNSS data coming from Waysure´s data base from tests ran in 2016, which did not consider the environment surrounding the GNSS receiver used during the tests. The second stage consists of the machine learning algorithms training and testing on GNSS data coming from new test runs carried on May 2019, which include the environment surrounding the GNSS receiver used. The results of both stages are compared. The relevant features are obtained as a result of the machine learning decision trees algorithm and are presented. This report concludes that there is no statistical evidence indicating that the tested environmental input from the camera could improve positioning error estimation accuracy with the built machine learning models. / Inom Intelligenta transportsystem (ITS), specifikt för självkörande fordon, så är en exakt fordonspositionering en nödvändighet för ökad trafiksäkerhet. Positionsnoggrannheten beror på estimering av både positionen samt positionsfelet. Olika tekniker och tillämpningar som siktar på att förbättra positionsfeluppskattningen behövs, vilket det nu forskas kring. Denna uppsats undersöker olika maskininlärningsalgoritmer inriktade på estimering av positionsfel. Algoritmerna utvärderar relevant information från en GNSS-mottagare, samt information från en kamera om den kringliggande miljön. En GNSS-mottagare och kamera monterades på en radiostyrd mobil testplattform för insamling av data.  Examensarbetet består av två delar. Första delen innehåller träning och testning av valda maskininlärningsalgoritmer med GNSS-data tillhandahållen av Waysure från tester gjorda under 2016. Denna data inkluderar ingen information från den omkringliggande miljön runt GNSS-mottagaren. Andra delen består av träning och testning av valda maskininlärningsalgoritmer på GNSS-data som kommer från nya tester gjorda under maj 2019, vilka inkluderar miljöinformation runt GNSS-mottagaren. Resultaten från båda delar analyseras. De viktigaste egenskaper som erhålls från en trädbaserad modell, algoritmens beslutsträd, presenteras. Slutsatsen från denna rapport är att det inte går att statistiskt säkerställa att inkludering av information från den omkringliggande miljön från en kamera förbättrar noggrannheten vid estimering av positionsfelet med de valda maskininlärningsmodellerna.

Det här examensarbetet undersöker hur artificiell intelligens kan användas för att automatisktkategorisera felanmälan som behandlas i ett ärendehanteringssystem genom att användamaskininlärning och tekniker som text mining. Studien utgår från Design Science ResearchMethodology och Peffers sex steg för designmetodologi som utöver design även berör kravställningoch utvärdering av funktion. Maskininlärningsmodellerna som tagits fram tränades på historiskadata från ärendehanteringssystem Infracontrol Online med fyra typer av olika algoritmer, NaiveBayes, Support Vector Machine, Neural Network och Random Forest. En webapplikation togs framför att demonstrera hur en av de maskininlärningsmodeller som tränats fungerar och kan användasför att kategorisera text. Olika användare av systemet har därefter haft möjlighet att testafunktionen och utvärdera hur den fungerar genom att markera när kategoriseringen avtextprompter träffar rätt respektive fel.Resultatet visar på att det är möjligt att lösa uppgiften med hjälp av maskininlärning. En avgörandedel av utvecklingsarbetet för att göra modellen användbar var urvalet av data som användes för attträna modellen. Olika kunder som använder systemet, använder det på olika sätt, vilket gjorde detfördelaktigt att separera dem och träna modeller för olika kunder individuellt. En källa tillinkonsistenta resultat är hur organisationer förändrar sina processer och ärendehantering över tidoch problemet hanterades genom att begränsa hur långt tillbaka i tiden modellen hämtar data förträning. Dessa två strategier för att hantera problem har nackdelen att den mängd historiska datasom finns tillgänglig att träna modellen på minskar, men resultaten visar inte någon tydlig nackdelför de maskininlärningsmodeller som tränats på mindre datamängder utan även de har en godtagbarträffsäkerhet. / This thesis investigates how artificial intelligence can be used to automatically categorize faultreports that are processed in a case management system by using machine learning and techniquessuch as text mining. The study is based on Design Science Research Methodology and Peffer's sixsteps of design methodology, which in addition to design of an artifact concerns requirements andevaluation. The machine learning models that were developed were trained on historical data fromthe case management system Infracontrol Online, using four types of algorithms, Naive Bayes,Support Vector Machine, Neural Network, and Random Forest. A web application was developed todemonstrate how one of the machine learning models trained works and can be used to categorizetext. Regular users of the system have then had the opportunity to test the performance of themodel and evaluate how it works by marking where it categorizes text prompts correctly.The results show that it is possible to solve the task using machine learning. A crucial part of thedevelopment was the selection of data used to train the model. Different customers using thesystem use it in different ways, which made it advantageous to separate them and train models fordifferent customers independently. Another source of inconsistent results is how organizationschange their processes and thus case management over time. This issue was addressed by limitinghow far back in time the model retrieves data for training. The two strategies for solving the issuesmentioned have the disadvantage that the amount of historical data available for training decreases,but the results do not show any clear disadvantage for the machine learning models trained onsmaller data sets. They perform well and tests show an acceptable level of accuracy for theirpredictions

PowerShell obfuscation is often used to avoid getting detected by Anti Virus programs. There are several different techniques to change a PowerShell script and still perform the same tasks. Detecting these obfuscated files is a good addition in order to detect malicious files. Identifying the specific technique used can also be beneficial for an analyst tasked with investigating the detected files. In order to detect these different techniques we are using Natural Language Processing with the idea that each technique will be sort of like a unique language that can be detected. We tried several different models and iterations of data processing and ended up using a Random Forest Classifier and achieved a detection accuracy of 98%. / PowerShell obfuskering används ofta för att undvika att bli upptäckt av Antivirusprogram. Det finns flera olika tekniker för att förändra ett PowerShell script me ändå behålla dess funktionalitet. Att detektera dessa obfuskerade filer är ett bra tillägg för att identifiera skadliga filer. Identifiering av den specifika tekniken som används kan vara en hjälp för analytiker som har som uppgift att utreda den identifierade filen. För att detektera dessa tekniker använder vi Natural Language Processing med idén att varje teknik på något sätt kommer se ut som ett eget språk som då kan detekteras. Vi provade flera olika modeller och kom fram till att Random Forest Classifier presterade bäst med en träffsäkerhet på 98%.

This study aimed to investigate how Machine Learning (ML) algorithms can be used to predict the cost account code to be used when handling invoices in an Enterprise Resource Planning (ERP) system commonly found in the Swedish public sector. This implied testing which one of the tested algorithms that performs the best and what criteria that need to be met in order to perform the best. Previous studies on ML and its use in invoice classification have focused on either the accounts payable side or the accounts receivable side of the balance sheet. The studies have used a variety of methods, some not only involving common ML algorithms such as Random forest, Naïve Bayes, Decision tree, Support Vector Machine, Logistic regression, Neural network or k-nearest Neighbor but also other classifiers such as rule classifiers and naïve classifiers. The general conclusion from previous studies is that several algorithms can classify invoices with a satisfactory accuracy score and that Random forest, Naïve Bayes and Neural network have shown the most promising results. The study was performed as an exploratory case study. The case company was a small municipal community where the finance clerks handles received invoices through an ERP system. The accounting step of invoice handling involves selecting the proper cost account code before submitting the invoice for review and approval. The data used was invoice summaries holding the organization number, bankgiro, postgiro and account code used. The algorithms selected for the task were the supervised learning algorithms Random forest and Naïve Bayes and the instance-based algorithm k-Nearest Neighbor (k-NN). The findings indicated that ML could be used to predict which cost account code to be used by providing a pre-filled suggestion when the clerk opens the invoice. Among the algorithms tested, Random forest performed the best with 78% accuracy (Naïve Bayes and k-NN performed at 69% and 70% accuracy, respectively). One reason for this is Random forest’s ability to handle several input variables, generate an unbiased estimate of the generalization error, and its ability to give information about the relationship between the variables and classification. However, a high level of support is needed in order to get the algorithm to perform at its best, where 335 occurrences is a guiding number in this case. / Syftet med denna studie var att undersöka hur Machine Learning (ML) algoritmer kan användas för att förutsäga vilken kontokod som ska användas vid hantering av fakturor i ett affärssystem som är vanligt förekommande i svensk offentlig sektor. Detta innebar att undersöka vilken av de testade algoritmerna som presterar bäst och vilka kriterier som måste uppfyllas för att prestera bäst. Tidigare studier om ML och dess användning vid fakturaklassificering har fokuserat på antingen balansräkningens leverantörsreskontra (leverantörsskulder) eller kundreskontrasidan (kundfordringar) i balansräkningen. Studierna har använt olika metoder, några involverar inte bara vanliga ML-algoritmer som Random forest, Naive Bayes, beslutsträd, Support Vector Machine, Logistisk regression, Neuralt nätverk eller k-nearest Neighbour, utan även andra klassificerare som regelklassificerare och naiva klassificerare. Den generella slutsatsen från tidigare studier är att det finns flera algoritmer som kan klassificera fakturor med en tillfredsställande noggrannhet, och att Random forest, Naive Bayes och neurala nätverk har visat de mest lovande resultaten. Studien utfördes som en explorativ fallstudie. Fallföretaget var en mindre kommun där ekonomiassistenter hanterar inkommande fakturor genom ett affärssystem. Bokföringssteget för fakturahantering innebär att användaren väljer rätt kostnadskontokod innan fakturan skickas för granskning och godkännande. Uppgifterna som användes var fakturasammandrag med organisationsnummer, bankgiro, postgiro och kontokod. Algoritmerna som valdes för uppgiften var de övervakade inlärningsalgoritmerna Random forest och Naive Bayes och den instansbaserade algoritmen k-Nearest Neighbour. Resultaten tyder på att ML skulle kunna användas för att förutsäga vilken kostnadskod som ska användas genom att ge ett förifyllt förslag när expediten öppnar fakturan. Bland de testade algoritmerna presterade Random forest bäst med 78 % noggrannhet (Naïve Bayes och k-Nearest Neighbour presterade med 69 % respektive 70 % noggrannhet). En förklaring till detta är Random forests förmåga att hantera flera indatavariabler, generera en opartisk skattning av generaliseringsfelet och dess förmåga att ge information om sambandet mellan variablerna och klassificeringen. Det krävs dock en högt antal dataobservationer för att få algoritmen att prestera som bäst, där 335 förekomster är ett minimum i detta fall.