By using machine learning to monitor and find deviations in log data makes it easier for developers and can prevent a workflow from stopping. The goal of this project is to investigate if it is possible to find anomalies in log data using reinforcement learning. An anomaly detection model with reinforcement learning is compared to a machine learning method traditionally used for anomaly detection. The results show that reinforcement learning has an opportunity for a better or similar result as the traditional machine learning method.

The global micromobility market is a fast growing market valued at USD 40.19 Billion in 2020. As the market grows, it is of great importance for companies to gain market shares in order to stay competitive and be the first choice within micromobility services. This can be achieved by, e.g., offering a safe micromobility service, for both riders and other road users. With state-of-the-art technology, accident prevention and preventing misuse of scooters and cities’ infrastructure is achievable. This study is conducted in collaboration with Voi Technology, a Swedish micromobility company that is committed to eliminate all serious injuries and fatalities in their value chain by 2030. Given such an ambition, the aim of the thesis is to evaluate the possibility of using unsupervised machine learning for anomaly detection with sensor data, to distinguish abnormal and normal riding behaviours. The study evaluates two machine learning algorithms; isolation forest and artificial neural networks, namely autoencoders. Beyond assessing the models ability to detect abnormal riding behaviours in general, they are evaluated based on their ability to find certain behaviours. By simulating different abnormal riding behaviours, model evaluation can be performed. The data preparation performed for the models include transforming the time series data into non-overlapping windows of a specific size containing descriptive statistics. The result obtained shows that finding a one-size-fits all type of anomaly detection model did not work as desired for either the isolation forest or the autoencoder. Further, the result indicate that one of the abnormal riding behaviours appears to be easier to distinguish, which motivates evaluating models created with the aim of distinguishing that specific behaviour. Hence, a simple moving average is also implemented to explore the performance of a very basic forecasting method. For this method, a similar data transformation as previously described is not performed as it utilises a sliding window of specific size, which is run on a single feature corresponding to an entire scooter ride. The result show that it is possible to isolate one type of abnormal riding behaviour using the autoencoder model. Additionally, the simple moving average model can also be utilised to detect the behaviour in question. Out of the two models, it is recommended to deploy a simple moving average due to its simplicity. / Den globala mikromobilitetsmarknaden är en snabbt växande marknad som år 2020 värderades till 40,19 miljarder USD. I takt med att marknaden växer så ökar också kraven bland företag att erbjuda produkter och tjänster av hög kvalitet, för att  erhålla en stark position på marknaden, vara konkurrenskraftiga och förbli ett förstahandsval hos sina kunder. Detta kan uppnås genom att bland annat erbjuda mikromobilitetstjänster som är säkra, för både föraren och andra trafikanter. Med hjälp av den senaste tekniken kan olyckor förebyggas och skadligt bruk av skotrar och städers infrastruktur förhindras. Följande studie utförs i samarbete med Voi Technology, ett svenskt mikromobilitetsföretag som har åtagit sig ansvaret att eliminera samtliga allvarliga skador och dödsfall i deras värdekedja till och med år 2030. I linje med en sådan ambition, är syftet med avhandlingen att utvärdera möjligheten att använda oövervakad maskininlärning för anomalidetektering bland sensordata, för att särskilja onormala och normala körbeteenden. Studien utvärderar två maskininlärningsalgoritmer; isolation forest och artificiella neurala nätverk, mer specifikt autoencoders. Utöver att bedöma modellernas förmåga att upptäcka onormala körbeteenden i allmänhet, utvärderas modellerna utifrån deras förmåga att hitta särskilda körbeteenden. Genom att simulera olika onormala körbeteenden kan modellerna evalueras. Dataförberedelsen som utförs för modellerna inkluderar omvandling av den råa tidsseriedatan till icke överlappande fönster av specifik storlek, bestående av beskrivande statistik. Det erhållna resultatet visar att varken isolation forest eller autoencodern presterar som förväntat samt att önskan om att hitta en generell modell som klarar av att detektera anomalier av olika karaktär inte verkar uppfyllas. Vidare indikerar resultatet på att ett visst onormalt körbeteende verkar enklare att särskilja än resterande, vilket motiverar att utvärdera modeller skapade i syfte att detektera det specifika beteendet. Följaktligen implementeras därför ett glidande medelvärde för att utforska prestandan hos en mycket grundläggande prediktionsmetod. För denna metod utförs inte den tidigare nämnda datatransformationen eftersom metoden använder ett glidande medelvärde som appliceras på en variabel tillhörande en fullständig åktur.  Följande analys visar att autoencoder modellen klarar av att urskilja denna typ av onormalt körbeteende. Resultatet visar även att ett glidande medelvärde klarar av att detektera körbeteendet i fråga. Av de två modellerna rekommenderas en implementering av ett glidande medelvärdet på grund av dess enkelhet.

With the advancement of the internet of things and the digitization of societies sensor recording time series data can be found in an always increasing number of places including among other proximity sensors on cars, temperature sensors in manufacturing plants and motion sensors inside smart homes. This always increasing reliability of society on these devices lead to a need for detecting unusual behaviour which could be caused by malfunctioning of the sensor or by the detection of an uncommon event. The unusual behaviour mentioned is often referred to as an anomaly. In order to detect anomalous behaviours, advanced technologies combining mathematics and computer science, which are often referred to as under the umbrella of machine learning, are frequently used to solve these problems. In order to help machines to learn valuable patterns often human supervision is needed, which in this case would correspond to use recordings which a person has already classified as anomalies or normal points. It is unfortunately time consuming to label data, especially the large datasets that are created from sensor recordings. Therefore in this thesis techniques that require no supervision are evaluated to perform anomaly detection. Several different machine learning models are trained on different datasets in order to gain a better understanding concerning which techniques perform better when different requirements are important such as presence of a smaller dataset or stricter requirements on inference time. Out of the models evaluated, OCSVM resulted in the best overall performance, achieving an accuracy of 85% and K- means was the fastest model as it took 0.04 milliseconds to run inference on one sample. Furthermore LSTM based models showed most possible improvements with larger datasets. / Med utvecklingen av Sakernas internet och digitaliseringen av samhället kan man registrera tidsseriedata på allt fler platser, bland annat igenom närhetssensorer på bilar, temperatursensorer i tillverkningsanläggningar och rörelsesensorer i smarta hem. Detta ständigt ökande beroende i samhället av dessa enheter leder till ett behov av att upptäcka ovanligt beteende som kan orsakas av funktionsstörning i sensorn eller genom upptäckt av en ovanlig händelse. Det ovanliga beteendet som nämns kallas ofta för en anomali. För att upptäcka avvikande beteenden används avancerad teknik som kombinerar matematik och datavetenskap, som ofta kallas maskininlärning. För att hjälpa maskiner att lära sig värdefulla mönster behövs ofta mänsklig tillsyn, vilket i detta fall skulle motsvara användningsinspelningar som en person redan har klassificerat som avvikelser eller normala punkter. Tyvärr är det tidskrävande att märka data, särskilt de stora datamängder som skapas från sensorinspelningar. Därför utvärderas tekniker som inte kräver någon handledning i denna avhandling för att utföra anomalidetektering. Flera olika maskininlärningsmodeller utbildas på olika datamängder för att få en bättre förståelse för vilka tekniker som fungerar bättre när olika krav är viktiga, t.ex. närvaro av en mindre dataset eller strängare krav på inferens tid. Av de utvärderade modellerna resulterade OCSVM i bästa totala prestanda, uppnådde en noggrannhet på 85% och K- means var den snabbaste modellen eftersom det hade en inferens tid av 0,04 millisekunder. Dessutom visade LSTM- baserade modeller de bästa möjliga förbättringarna med större datamängder.

The aim of this thesis is to examine clustering based outlier detection algorithms on their ability to detect abnormal events in flight traffic. A nominal model is trained on a data-set containing only flights which are labeled as normal. A detection scoring function based on the nominal model is used to decide if a new and in forehand unseen data-point behaves like the nominal model or not. Due to the unknown structure of the data-set three different clustering algorithms are examined for training the nominal model, K-means, Gaussian Mixture Model and Spectral Clustering. Depending on the nominal model different methods to obtain a detection scoring is used, such as metric distance, probability and OneClass Support Vector Machine. This thesis concludes that a clustering based outlier detection algorithm is feasible for detecting abnormal events in flight traffic. The best performance was obtained by using Spectral Clustering combined with a Oneclass Support Vector Machine. The accuracy on the test data-set was 95.8%. The algorithm managed to correctly classify 89.4% of the datapoints labeled as abnormal and correctly classified 96.2% of the datapoints labeled as normal. / Syftet med detta arbete är att undersöka huruvida klusterbaserad anomalidetektering kan upptäcka onormala händelser inom flygtrafik. En normalmodell är anpassad till data som endast innehåller flygturer som är märkta som normala. Givet denna normalmodell så anpassas en anomalidetekteringsfunktion så att data-punkter som är lika normalmodellen klassificeras som normala och data-punkter som är avvikande som anomalier. På grund av att strukturen av nomraldatan är okänd så är tre olika klustermetoder testade, K-means, Gaussian Mixture Model och Spektralklustering. Beroende på hur normalmodellen är modellerad så har olika metoder för anpassa en detekteringsfunktion används, så som baserat på avstånd, sannolikhet och slutligen genom One-class Support Vector Machine. Detta arbete kan dra slutsatsen att det är möjligt att detektera anomalier med hjälp av en klusterbaserad anomalidetektering. Den algoritm som presterade bäst var den som kombinerade spektralklustring med One-class Support Vector Machine. På test-datan så klassificerade algoritmen $95.8\%$ av all data korrekt. Av alla data-punkter som var märka som anomalier så klassificerade denna algoritm 89.4% rätt, och på de data-punkter som var märka som normala så klassificerade algoritmen 96.2% rätt.

Atherosclerotic plaque is currently the leading cause of coronary artery disease (CAD). With the help of CT images, we can identify the size and type of plaque, which can help doctors make a correct diagnosis. To do this, we need to segment coronary plaques from CT images. However, plaque segmentation is still challenging because it takes a lot of energy and time of the radiologists. With the development of technology, some segmentation algorithms based on deep learning are applied in this field. These deep learning algorithms tend to be fully automated and have high segmentation accuracy, showing great potential. In this paper, we try to use deep learning method to segment plaques from 3D cardiac CT images. This work is implemented in two steps. The first part is to extract coronary artery from the CT image with the help of UNet. In the second part, a fully convolutional network is used to segment the plaques from the artery. In each part, the algorithm undergoes 5-fold cross validation. In the first part, we achieve a dice coefficient of 0.8954. In the second part, we achieve the AUC score of 0.9202 which is higher than auto-encoder method and is very close to state-of-the-art method. / Aterosklerotisk plack är för närvarande den främsta orsaken till kranskärlssjukdom (CAD). Med hjälp av CT-bilder kan vi identifiera storlek och typ av plack, vilket kan hjälpa läkare att ställa en korrekt diagnos. För att göra detta måste vi segmentera koronarplack från CT-bilder. Emellertid är placksegmentering fortfarande utmanande eftersom det tar mycket energi och tid av radiologerna. Med utvecklingen av teknik tillämpas vissa segmenteringsalgoritmer baserade på djupinlärning inom detta område. Dessa djupinlärningsalgoritmer tenderar att vara helt automatiserade och har hög segmenteringsnoggrannhet, vilket visar stor potential. I detta dokument försöker vi använda djupinlärningsmetoden för att segmentera plack från 3D-hjärt-CT-bilder. Detta arbete genomförs i två steg. Den första delen är att extrahera kranskärlen från CT-bilden med hjälp av UNet. I den andra delen används ett helt konvolutionerande nätverk för att segmentera placken från artären. I varje del genomgår algoritmen 5-faldig korsvalidering. I den första delen uppnår vi en tärningskoefficient på 0,8954. I den andra delen uppnår vi AUC-poängen 0,9202, vilket är högre än den automatiska kodarmetoden och är mycket nära den senaste metoden.

In this thesis, the red hot topic anomaly detection is studied, which is a subtopic in machine learning. The company, Procera Networks, supports several broadband companies with IT-solutions and would like to detected errors in these systems automatically. This thesis investigates and devises methods and algorithms for detecting interesting events in diagnostics data. Events of interest include: short-term deviations (a deviating point), long-term deviations (a distinct trend) and other unexpected deviations. Three models are analyzed, namely Linear Predictive Coding, Sparse Linear Prediction and Wavelet Transformation. The final outcome is determined by the gap to certain thresholds. These thresholds are customized to fit the model as well as possible. / I den här rapporten kommer det glödheta området anomalidetektering studeras, vilket tillhör ämnet Machine Learning. Företaget där arbetet utfördes på heter Procera Networks och jobbar med IT-lösningar inom bredband till andra företag. Procera önskar att kunna upptäcka fel hos kunderna i dessa system automatiskt. I det här projektet kommer olika metoder för att hitta intressanta företeelser i datatraffiken att genomföras och forskas kring. De mest intressanta företeelserna är framfärallt snabba avvikelser (avvikande punkt) och färändringar äver tid (trender) men också andra oväntade mänster. Tre modeller har analyserats, nämligen Linear Predictive Coding, Sparse Linear Prediction och Wavelet Transform. Det slutgiltiga resultatet från modellerna är grundat på en speciell träskel som är skapad fär att ge ett så bra resultat som mäjligt till den undersäkta modellen..

The society of today relies a lot on the industry and the automation of factory tasks is more prevalent than ever before. However, the machines taking on these tasks require maintenance to continue operating. This maintenance is typically given periodically and can be expensive while sometimes requiring expert knowledge. Thus it would be very beneficial if one could predict when a machine needs maintenance and only employ maintenance as necessary. One method to predict when maintenance is necessary is to collect sensor data from a machine and analyse it for anomalies. Anomalies are usually an indicator of unexpected behaviour and can therefore show when a machine needs maintenance. Due to concerns like privacy and security, it is often not allowed for the data to leave the local system. Hence it is necessary to perform this kind of anomaly detection in an online manner and in an edge environment. This environment imposes limitations on hardware and computational ability. In this thesis we consider four machine learning anomaly detection methods that can learn and detect anomalies in this kind of environment. These methods are LoOP, iForestASD, KitNet and xStream. We first evaluate the four anomaly detectors on the Skoltech Anomaly Benchmark using their suggested metrics as well as the Receiver Operating Characteristic curves. We also perform further evaluation on two data sets provided by the company Gebhardt. The experimental results are promising and indicate that the considered methods perform well at the task of anomaly detection. We finally propose some avenues for future work, such as implementing a dynamically changing anomaly threshold. / Dagens samhälle är väldigt beroende av industrin och automatiseringen av fabriksuppgifter är mer förekommande än någonsin. Dock kräver maskinerna som tar sig an dessa uppgifter underhåll för att forsätta arbeta. Detta underhåll ges typiskt periodvis och kan vara dyrt och samtidigt kräva expertkunskap. Därför skulle det vara väldigt fördelaktigt om det kunde förutsägas när en maskin behövde underhåll och endast göra detta när det är nödvändigt. En metod för att förutse när underhåll krävs är att samla in sensordata från en maskin och analysera det för att hitta anomalier. Anomalier fungerar ofta som en indikator av oväntat beteende, och kan därför visa att en maskin behöver underhåll. På grund av frågor som integritet och säkerhet är det ofta inte tillåtet att datan lämnar det lokala systemet. Därför är det nödvändigt att denna typ av anomalidetektering genomförs sekventiellt allt eftersom datan samlas in, och att detta sker på nätverkskanten. Miljön som detta sker i påtvingar begränsningar på både hårdvara och beräkningsförmåga. I denna avhandling så överväger vi fyra anomalidetektorer som med användning av maskininlärning lär sig och upptäcker anomalier i denna sorts miljö. Dessa metoder är LoOP, iForestASD, KitNet och xStream. Vi analyserar först de fyra anomalidetektorerna genom Skoltech Anomaly Benchmark där vi använder deras föreslagna mått samt ”Receiver Operating Characteristic”-kurvor. Vi genomför även vidare analys på två dataset som vi har tillhandhållit av företaget Gebhardt. De experimentella resultaten är lovande och indikerar att de övervägda metoderna presterar väl när det kommer till detektering av anomalier. Slutligen föreslår vi några idéer som kan utforskas för framtida arbete, som att implementera en tröskel för anomalidetektering som anpassar sig dynamiskt.

In this paper, we compare the performance of two methods to find the attempts at fraud from the data provided by Sinch (formerly CLX Communications, which is a telecommunications and cloud communications platform as a service (PaaS) company). We consider the problem as finding the anomaly in a time series signal, where we ignore the duration of a single call or other features and only care about the total volume of calls in a certain period.\\ We compare Seasonal and Trend decomposition using Loess(STL) and auto-encoder-decoder under the scenario to find the anomaly in a certain period. It comes out that additive models like STL can discriminate the trending anomaly. As for auto-encoder-decoder, the anomaly can easily be found using local information, which makes the method conveniently applied. It remains a problem that unsupervised learning methods usually require manual inspection. In practical applications, we need to iterate many times with experts to find the most suitable method for that scenario. / I det här dokumentet jämför vi resultatet av två metoder för att hitta bedrägeriförsöken från data som tillhandahålls av Sinch (tidigare CLX Communications, som är ett telekommunikations- och molnkommunikations-plattform som en tjänst (PaaS)-företag). Vi betraktar problemet som att hitta anomalien i en tidsseriesignal, där vi ignorerar varaktigheten av ett enstaka samtal eller andra funktioner och tar bara hänsyn av den totala volymen samtal under en viss period. Vi jämför säsongs- och trenduppdelning med Loess(STL) och auto-encoder-decoder under scenariot för att hitta anomalien under en viss period. Det visar sig att additivmodeller som STL kan diskriminera trendavvikelsen. När det gäller auto-encoder-decoder, kan avvikelsen lätt hittas med hjälp av lokal information, vilket gör metoden Lämplig att tillämpa. Det är fortfarande ett problem att oövervakade inlärningsmetoder vanligtvis kräver manuell inspektion. I praktiska tillämpningar måste vi iterera många gånger med experter för att hitta den mest lämpliga metoden för det scenariot.

Anomaly detection is a field of study that is closely associated with machine learning and it is the process of finding irregularities in datasets. Developing and maintaining multiple machine learning models for anomaly detection takes time and can be an expensive task. One proposed solution is to combine all datasets and create a single model. This creates a heterogeneous dataset with a wide variation in its distribution, making it difficult to find anomalies in the dataset. The objective of this thesis is then to identify a framework that is suitable for anomaly detection in heterogeneous datasets. A selection of five methods were implemented in this project - 2 supervised learning approaches and 3 unsupervised learning approaches. These models are trained on 3 synthetic datasets that have been designed to be heterogeneous with an imbalance between the classes as anomalies are rare events. The performance of the models are evaluated with the AUC and the F1-score, aswell as observing the Precision-Recall Curve. The results makes it evident that anomaly detection in heterogeneous datasets is a challenging task. The best performing approach was with a random forest model where the class imbalance problem had been solved by generating synthetic samples of the anomaly class by implementing a generative adversarial network. / Anomalidetektering är ett studieområde som är starkt förknippat med maskininlärning och det kan beskrivas som processen att hitta avvikelser i datamängder. Att utveckla och underhålla flera maskininlärningsmodeller tar tid och kan vara kostsamt. Ett förslag för att lösa dessa problem är att kombinera alla dataset och skapa endast en modell. Detta leder till att datamängden blir heterogen i dess fördelning och gör det mer utmanande att skapa en modell som kan detektera anomalier. Syftet i denna tes är att identifiera ett ramverk som är lämpligt för anomalidetektering i heterogena datamängder. Ett urval av fem metoder tillämpades i detta projekt - 2 metoder inom övervakad inlärning och 3 metoder inom oövervakad inlärning. Dessa modeller är tränade på syntetiska datamängder som är framtagna så att de är heterogena i dess fördelning och har en urbalans mellan klasserna då anomalier är sällsynta händelser. Modellernas prestanda evalueras genom att beräkna dess AUC och F1-värde, samt observera Precision-Recall kurvan. Resultaten gör det tydligt att anomalidetektering i heterogena datamängder är ett utmanande uppdrag. Den model som presterade bäst var en random forest model där urbalansen mellan klasserna var omhändertagen genom att generera syntetiska observation av anomaliklassen med hjälp av en generativ advarserial network.

This thesis is a study of anomaly detection in vehicle traffic data in central Stockholm. Anomaly detection is an important tool in the analysis of traffic data for improved urban planing. Two unsupervised machine learning models are used, the DBSCAN clustering model and the LSTM deep learning neural network. A modified version of the models is also employed, incorporating adaptations that exploit diurnal traffic variations to improve the quality of the results. Subsequently, the model performance is analysed and compared. For evaluating the models, we employed two types of synthetic anomalies: a straightforward one and a more complex variant. The results indicate that all models show some ability to detect both anomalies. The models show better performance on the simpler anomaly, with both LSTM and DBSCAN giving comparable results. In contrast, LSTM outperforms DBSCAN on the more complex anomaly. Notably, the modified versions of both models consistently show enhanced performance. This suggest that LSTM outperforms DBSCAN as anomalies become more complex, presumably owing to LSTM’s proficiency in identifying intricate patterns. However, this relationship warrants further investigation in future research. / Denna examensuppsats behandlar anomalidetektering i fordonstrafikdata i centrala Stockholm. Anomalidetektering är ett viktigt verktyg vid analys av trafikdata för förbättrad stadsplanering. Två oövervakade maskininlärningsmodeller används, klustringsmodellen DBSCAN och djupinlärande neurala nätverket LSTM. En modifierad version av modellerna appliceras även, denna modifikation innebär anpassningar som utnyttjar dagliga traffikvariationer för att förbättra kvaliteten på resultatet. Modellerna analyseras och dess prestanda jämförs. För att utvärdera modellerna användes två typer av syntetiska anomalier: en enkel och en mer komplex anomali. Resultaten visar på en förmåga hos modellerna att upptäcka båda anomalierna. Modellerna uppvisar en bättre prestanda på den enklare anomalin, där LSTM och DBSCAN ger jämförbara resultat. För den mer komplexa anomalin så ger LSTM bättre resultat än DBSCAN. De modifierade versionerna av båda modellerna genererade konsekvent bättre resultat än den mer konventionella tillämpningen. Resultatet tyder på att LSTM överträffar DBSCAN när anomalierna blir mer komplexa, detta på grund av LSTMs skicklighet i att identifiera icke triviala mönster. Detta kräver dock ytterligare undersökningar i framtida forskning.