With the rise of information technology and the dependence on these systems, it becomes increasingly more important to keep the systems secure. The possibility to detect an intrusion with intrusion detection systems (IDS) is one of multiple fundamental technologies that may increase the security of a system. One of the bigger challenges of an IDS, is to detect types of intrusions that have previously not been encountered, so called unknown intrusions. These types of intrusions are generally detected by using methods collectively called anomaly detection methods. In this thesis I evaluate the performance of the algorithm Tree Augmented Naive Bayes Classifier (TAN) as an intrusion detection classifier. More specifically, I created a TAN program from scratch in Python and tested the program on two data sets containing data traffic. The thesis aims to create a better understanding of how TAN works and evaluate if it is a reasonable algorithm for intrusion detection. The results show that TAN is able to perform at an acceptable level with a reasonably high accuracy. The results also highlights the importance of using the smoothing operator included in the standard version of TAN. / Med informationsteknikens utveckling och det ökade beroendet av dessa system, blir det alltmer viktigt att hålla systemen säkra. Intrångsdetektionssystem (IDS) är en av många fundamentala teknologier som kan öka säkerheten i ett system. En av de större utmaningarna inom IDS, är att upptäcka typer av intrång som tidigare inte stötts på, så kallade okända intrång. Dessa intrång upptäcks oftast med hjälp av metoder som kollektivt kallas för avvikelsedetektionsmetoder. I denna uppsats utvärderar jag algoritmen Tree Augmented Naive Bayes Classifiers (TAN) prestation som en intrångsdetektionsklassificerare. Jag programmerade ett TAN-program, i Python, och testade detta program på två dataset som innehöll datatrafik. Denna uppsats ämnar att skapa en bättre förståelse för hur TAN fungerar, samt utvärdera om det är en lämplig algoritm för detektion av intrång. Resultaten visar att TAN kan prestera på en acceptabel nivå, med rimligt hög noggrannhet. Resultaten markerar även betydelsen av "smoothing operator", som inkluderas i standardversionen av TAN.

For manufacturing enterprises, the potential of collecting large amounts of data from production processes has enabled the usage of machine learning for prediction-based monitoring and maintenance of machines. Yet common maintenance strategies still include reactive handling of machine failures or schedule-based maintenance conducted by experienced personnel. Both of which are time-consuming and costly for manufacturing enterprises. The incorporation of anomaly detection for production processes alleviates several problems connected to these resource-intensive maintenance strategies. Anomaly detection enables real-time maintenance alarms derived from the occurrence of anomalies and thereby a foundation for proactive maintenance during manufacturing. However, to realize this, one needs to investigate the correlation between machine failure and anomalies in the data. For the machine learning models, it is also of essence to handle the imbalance between failure and normal working condition data. In this work, we investigate the potential of anomaly detection to predict future tool failures of an active CNC-machine based on multivariate time series data collected through the standardized data collection protocol MTConnect. Two semi-supervised anomaly detection methods, DeepAnT and ROCKET OCSVM, were tested. Training and evaluation of the two models were conducted on three production part processes and the difference in anomaly distribution previous to failure and in the normal machine working condition was investigated. The results showed that both models, for all the investigated tool failures belonging to the three production part processes, found an abundance of anomalies preceding failure when compared to the normal working condition of the machines. For certain tool failures, the anomalies were found as far back as seven production cycles before failure, while other anomalies were mainly uncovered close to the failure. Furthermore, it was shown that both models performed optimally with 100 production cycles before tool failures excluded from training, indicating that more anomalies further back connected to failure or possible long-term degradation of machine tools could exist. Lastly, ROCKET OCSVM with RBF kernel showed greater reliability compared to the DeepAnT method in separating the normal working condition data of the CNC machine against the pre-failure data based on anomaly distribution. In conclusion, anomaly detection shows promising results in indicating future machine failure and could serve as a foundation for proactive maintenance strategies of machines. By incorporating proactive strategies, machine downtime, operator maintenance time, and resources and expenses resulting from machine failure could be reduced. / För produktionsföretag har potentialen att samla in stora mängder data från produktionsprocesser möjliggjort användningen av prediktionsbaserad övervakning och underhåll av maskiner genom maskininlärning. Ändå så utgörs fortfarande vanliga underhållsstrategier av reaktiv hantering av maskinfel eller schema baserat underhåll som utförs av erfaren personal. Båda dessa är tidskrävande och kostsamma för tillverkningsföretag. Införandet av anomali detektering för produktionsprocesser lindrar flera problem kopplade till dessa resursintensiva underhållsstrategier. Det möjliggör underhålls-larm i realtid härledda från förekomsten av anomalier, vilket skapar en grund för proaktivt underhåll under tillverkningen. Men för att möjliggöra detta måste man undersöka sambandet mellan maskinfel och anomalier i data utifrån definierade insamlingsmetod. Det är också viktigt att hantera obalansen mellan fel och normal arbetstillstånd data för maskininlärningsmodellerna. I det här arbetet undersöker vi potentialen för delvis övervakad anomali detektering för att förutsäga framtida verktyg fel hos en aktiv CNC-maskin baserat på multivariat tidsseriedata som samlats in genom det standardiserade datainsamling protokollet MT Connect. Två anomali detekterings metoder som endast tränats på normala arbetsförhållanden för maskiner testades, DeepAnT och ROCKET OCSVM. Träning och utvärdering av de två modellerna genomfördes på tre produktionsdelprocesser och skillnaden i anomali fördelning före fel och i det normala maskinens arbetstillstånd undersöktes. Resultaten visade att båda modellerna, för alla undersökta verktygsfel som hör till de tre produktionsdelprocesserna, fann ett överflöd av anomalier före fel i jämförelse med maskinernas normala arbetstillstånd. För vissa verktygsfel hittades anomalierna så långt tillbaka som sju produktionscykler före fel, medan andra anomalier huvudsakligen upptäcktes nära felet. Vidare visades det att båda modellerna presterar optimalt med 100 produktionscykler före verktygsfel uteslutna från träningen, vilket tyder på att fler anomalier tidigare än de åtta produktions cyklarna undersökta innan fel eller eventuell långvarig försämring av verktygsmaskiner kan förekomma. Slutligen visade ROCKET OCSVM med RBF som kärnfunktion större tillförlitlighet i jämförelse med DeepAnT metoden gällande att separera CNC-maskinens normala arbetstillstånd data från pre-failure-data baserat på anomali fördelning. Sammanfattningsvis visar avvikelse detektering lovande resultat för att indikera framtida maskinfel och kan fungera som en grund för proaktivt underhåll av maskiner. Genom att införskaffa proaktiva strategier kan maskinernas stilleståndstid, operatörens underhållstid samt resurser och kostnader till följd av maskinfel minskas.

Magnetic resonance imaging (MRI) is a commonly used non-invasive imaging technique that provides high resolution images of soft tissue. One problem with MRI is that it is sensitive to signal quality issues. The issues can arise for various reasons, for example by metal located either inside or outside of the body. Another common signal quality issue is caused by the patient being partly placed outside field of view of the MRI scanner.   This thesis aims to investigate the possibility to automatically detect these signal quality issues using deep neural networks. More specifically, two different 3D CNN network types were studied, a classification-based approach and a reconstruction-based approach. The datasets used consist of MRI volumes from UK Biobank which have been processed and manually annotated by operators at AMRA Medical. For the classification method four different network architectures were explored utilising supervised learning with multi-label classification. The classification method was evaluated using accuracy and label-based evaluation metrics, such as macro-precision, macro-recall and macro-F1. The reconstruction method was based on anomaly detection using an autoencoder which was trained to reconstruct volumes without any artefacts. A mean squared prediction error was calculated for the reconstructed volume and compared against a threshold in order to classify a volume with or without artefacts. The idea was that volumes containing artefacts should be more difficult to reconstruct and thus, result in a higher prediction error. The reconstruction method was evaluated using accuracy, precision, recall and F1-score.  The results show that the classification method has overall higher performance than the reconstruction method. The achieved accuracy for the classification method was 98.0% for metal artefacts and 97.5% for outside field of view artefacts. The best architecture for the classification method proved to be DenseNet201. The reconstruction method worked for metal artefacts with an achieved accuracy of 75.7%. Furthermore, it was concluded that reconstruction method did not work for detection of outside field of view artefacts.    The results from the classification method indicate that there is a possibility to automatically detect artefacts with deep neural networks. However, it is needed to further improve the method in order to completely replace a manual quality control step before using the volumes for calculation of biomarkers.

Detecting defects in industrially manufactured products is crucial to ensure their safety and quality. This process can be both expensive and error-prone if done manually, making automated solutions desirable. There is extensive research on industrial anomaly detection in images, but recent studies have shown that adding 3D information can increase the performance. This thesis aims to extend the 2D anomaly detection framework, PaDiM, to incorporate 3D information. The proposed methods combine RGB with depth maps or point clouds and the effects of using PointNet++ and vision transformers to extract features are investigated. The methods are evaluated on the MVTec 3D-AD public dataset using the metrics image AUROC, pixel AUROC and AUPRO, and on a small dataset collected with a Time-of-Flight sensor. This thesis concludes that the addition of 3D information improves the performance of PaDiM and vision transformers achieve the best results, scoring an average image AUROC of 86.2±0.2 on MVTec 3D-AD.

The internet has become an essential part of most people's daily lives in recent years, and as more devices connect to the internet, the risk of cyber threats increases dramatically. As malware becomes more sophisticated, traditional security prevention measures are becoming less effective at defending from cyber attacks. As a result, Signature Based Detection and Anomaly Detection are two of many advanced techniques that have become crucial to defend against cyber threats such as malware, but even these are sometimes not enough to stop modern cyberattacks. In this literature review the goal is to discuss how trustworthy each of the mentioned malware detection techniques are at detecting malware in wireless networks. The study will measure trustworthiness by looking further into scalability, adaptability and robustness and resource consumption. This study concludes that both anomaly and signature-based malware detection methods exhibit strengths and weaknesses in scalability, robustness, adaptability, and resource consumption. Furthermore, more research is needed and as malware becomes more sophisticated and an increased threat to the world it is an area that is highly relevant.

Anomaly detection in high-dimensional financial transaction data is challenging and resource-intensive, particularly when the dataset is unlabeled. Sometimes, one can alleviate the computational cost and improve the results by utilizing a pre-trained model, provided that the features learned from the pre-training are useful for learning the second task. Investigating this issue was the main purpose of this thesis. More specifically, it was to explore the potential gain of pre-training a detection model on one trader's transaction history and then retraining the model to detect anomalous trades in another trader's transaction history. In the context of transfer learning, the pre-trained and the retrained model are usually referred to as the source model and target model, respectively.  A deep LSTM autoencoder was proposed as the source model due to its advantages when dealing with sequential data, such as financial transaction data. Moreover, to test its anomaly detection ability despite the lack of labeled true anomalies, synthetic anomalies were generated and included in the test set. Various experiments confirmed that the source model learned to detect synthetic anomalies with highly distinctive features. Nevertheless, it is hard to draw any conclusions regarding its anomaly detection performance due to the lack of labeled true anomalies. While the same is true for the target model, it is still possible to achieve the thesis's primary goal by comparing a pre-trained model with an identical untrained model. All in all, the results suggest that transfer learning offers a significant advantage over traditional machine learning in this context.

In this thesis, the use of unsupervised and semi-supervised machine learning techniques was analyzed as potential tools for anomaly detection in the sensor network that the electrical system in a Scania truck is comprised of. The experimentation was designed to analyse the need for both point and contextual anomaly detection in this setting. For the point anomaly detection the method of Isolation Forest was experimented with and for contextual anomaly detection two different recurrent neural network architectures using Long Short Term Memory units was relied on. One model was simply a many to one regression model trained to predict a certain signal, while the other was an encoder-decoder network trained to reconstruct a sequence. Both models were trained in an semi-supervised manner, i.e. on data that only depicts normal behaviour, which theoretically should lead to a performance drop on abnormal sequences resulting in higher error terms. In both setting the parameters of a Gaussian distribution were estimated using these error terms which allowed for a convenient way of defining a threshold which would decide if the observation would be flagged as anomalous or not. Additional experimentation's using an exponential weighted moving average over a number of past observations to filter the signal was also conducted. The models performance on this particular task was very different but the regression model showed a lot of promise especially when combined with a filtering preprocessing step to reduce the noise in the data. However the model selection will always be governed by the nature the particular task at hand so the other methods might perform better in other settings. / I den här avhandlingen var användningen av oövervakad och halv-övervakad maskininlärning analyserad som ett möjligt verktyg för att upptäcka avvikelser av anomali i det sensornätverk som elektriska systemet en Scanialastbil består av. Experimentet var konstruerat för att analysera behovet av både punkt och kontextuella avvikelser av anomali i denna miljö. För punktavvikelse av anomali var metoden Isolation Forest experimenterad med och för kontextuella avvikelser av anomali användes två arkitekturer av återkommande neurala nätverk. En av modellerna var helt enkelt många-till-en regressionmodell tränad för att förutspå ett visst märke, medan den andre var ett kodare-avkodare nätverk tränat för att rekonstruera en sekvens.Båda modellerna blev tränade på ett halv-övervakat sätt, d.v.s. på data som endast visar normalt beteende, som teoretiskt skulle leda till minskad prestanda på onormala sekvenser som ger ökat antal feltermer. I båda fallen blev parametrarna av en Gaussisk distribution estimerade på grund av dessa feltermer som tillåter ett bekvämt sätt att definera en tröskel som skulle bestämma om iakttagelsen skulle bli flaggad som en anomali eller inte. Ytterligare experiment var genomförda med exponentiellt viktad glidande medelvärde över ett visst antal av tidigare iakttagelser för att filtera märket. Modellernas prestanda på denna uppgift var välidt olika men regressionmodellen lovade mycket, särskilt kombinerad med ett filterat förbehandlingssteg för att minska bruset it datan. Ändå kommer modelldelen alltid styras av uppgiftens natur så att andra metoder skulle kunna ge bättre prestanda i andra miljöer.

Road traffic control has been around for a long time to guarantee the safety of vehicles and pedestrians. However, anomalies such as accidents or natural disasters cannot be avoided. Therefore, it is important to be prepared as soon as possible to prevent a higher number of human losses. Nevertheless, there is no system accurate enough that detects and classifies anomalies from the road traffic in real time. To solve this issue, the following study proposes the training of a machine learning model for detection and classification of anomalies on the highways of Stockholm. Due to the lack of a labeled dataset, the first phase of the work is to detect the different kind of outliers that can be found and manually label them based on the results of a data exploration study. Datasets containing information regarding accidents and weather are also included to further expand the amount of anomalies. All experiments use real world datasets coming from either the sensors located on the highways of Stockholm or from official accident and weather reports. Then, three models (Decision Trees, Random Forest and Logistic Regression) are trained to detect and classify the outliers. The design of an Apache Spark streaming application that uses the model with the best results is also provided. The outcomes indicate that Logistic Regression is better than the rest but still suffers from the imbalanced nature of the dataset. In the future, this project can be used to not only contribute to future research on similar topics but also to monitor the highways of Stockholm. / Vägtrafikkontroll har funnits länge för att garantera säkerheten hos fordon och fotgängare. Emellertid kan avvikelser som olyckor eller naturkatastrofer inte undvikas. Därför är det viktigt att förberedas så snart som möjligt för att förhindra ett större antal mänskliga förluster. Ändå finns det inget system som är noggrannt som upptäcker och klassificerar avvikelser från vägtrafiken i realtid. För att lösa detta problem föreslår följande studie utbildningen av en maskininlärningsmodell för detektering och klassificering av anomalier på Stockholms vägar. På grund av bristen på en märkt dataset är den första fasen av arbetet att upptäcka olika slags avvikare som kan hittas och manuellt märka dem utifrån resultaten av en datautforskningsstudie. Dataset som innehåller information om olyckor och väder ingår också för att ytterligare öka antalet anomalier. Alla experiment använder realtidsdataset från antingen sensorerna på Stockholms vägar eller från officiella olyckor och väderrapporter. Därefter utbildas tre modeller (beslutsträd, slumpmässig skog och logistisk regression) för att upptäcka och klassificera outliersna. Utformningen av en Apache Spark streaming-applikation som använder modellen med de bästa resultaten ges också. Resultaten tyder på att logistisk regression är bättre än resten men fortfarande lider av datasetets obalanserade natur. I framtiden kan detta projekt användas för att inte bara bidra till framtida forskning kring liknande ämnen utan även att övervaka Stockholms vägar.

In this master thesis, we implement a two-step anomaly detection mechanism for non-recurrent traffic congestions with data collected from public transport buses in Stockholm. We investigate the use of machine learning to model time series data with LSTMs and evaluate the results with a baseline prediction model. The anomaly detection algorithm embodies both collective and contextual expressivity, meaning it is capable of findingcollections of delayed buses and also takes the temporality of the data into account. Results show that the anomaly detection performance benefits from the lower prediction errors produced by the LSTM network. The intersection rule significantly decreases the number of false positives while maintaining the true positive rate at a sufficient level. The performance of the anomaly detection algorithm has been found to depend on the road segment it is applied to, some segments have been identified to be particularly hard whereas other have been identified to be easier than others. The performance of the best performing setup of the anomaly detection mechanism had a true positive rate of 84.3 % and a true negative rate of 96.0 %. / I den här masteruppsatsen implementerar vi en tvåstegsalgoritm för avvikelsedetektering för icke återkommande trafikstockningar. Data är insamlad från kollektivtrafikbussarna i Stockholm. Vi undersöker användningen av maskininlärning för att modellerna tidsseriedata med hjälp av LSTM-nätverk och evaluerar sedan dessa resultat med en grundmodell. Avvikelsedetekteringsalgoritmen inkluderar både kollektiv och kontextuell uttrycksfullhet, vilket innebär att kollektiva förseningar kan hittas och att även temporaliteten hos datan beaktas. Resultaten visar att prestandan hos avvikelsedetekteringen förbättras av mindre prediktionsfel genererade av LSTM-nätverket i jämförelse med grundmodellen. En regel för avvikelser baserad på snittet av två andra regler reducerar märkbart antalet falska positiva medan den höll kvar antalet sanna positiva på en tillräckligt hög nivå. Prestandan hos avvikelsedetekteringsalgoritmen har setts bero av vilken vägsträcka den tillämpas på, där några vägsträckor är svårare medan andra är lättare för avvikelsedetekteringen. Den bästa varianten av algoritmen hittade 84.3 % av alla avvikelser och 96.0 % av all avvikelsefri data blev markerad som normal data.

Fault detection is a key component to minimizing service unavailability. Fault detection is generally handled by a monitoring system. This project investigates the possibility of extending an existing monitoring system to alert based on anomalous patterns in time series.The project was broken up into two areas. The first area conducted an investigation whether it is possible to alert based on anomalous patterns in time series. A hypothesis was formed as follows; forecasting models cannot be used to detect anomalous patterns in time series. The investigation used case studies to disprove the hypothesis. Each case study used a forecasting model to measure the number of false, missed and correctly predicted alarms to determine if the hypothesis was disproved.The second area created a design for the extension. An initial design of the system was created. The design was implemented and evaluated to find improvements. The outcome was then used to create a general design.The results from the investigation disproved the hypothesis. The report also presents a general software design for an anomaly detection system. / Feldetektering är en nyckelkomponent för att minimera nedtid i mjukvarutjänster. Feldetektering hanteras vanligtvis av ett övervakningssystem. Detta projekt undersöker möjligheten att utöka ett befintligt övervakningssystem till att kunna skicka ut larm baserat på avvikande mönster i tidsserier.Projektet bröts upp i två områden. Det första området genomförde en undersökning om det är möjligt att skicka ut larm baserat på avvikande mönster i tidsserier. En hypotes bildades enligt följande; prognosmodeller kan inte användas för att upptäcka avvikande mönster i tidsserier. Undersökningen använde fallstudier till att motbevisa hypotesen. Varje fallstudie använde en prognosmodell för att mäta antalet falska, missade och korrekt förutsedda larm. Resultaten användes sedan för att avgöra om hypotesen var motbevisad.Det andra området innefattade skapadet av en mjukvarudesign för utökning av ett övervakningssystem. En initial mjukvarudesign av systemet skapades. Mjukvarudesignen implementerades sedan och utvärderades för att hitta förbättringar. Resultatet användes sedan för att skapa en generell design. Resultaten från undersökningen motbevisade hypotesen. Rapporten presenterar även en allmän mjukvarudesign för ettanomalitetsdetekteringssystem.