This thesis explores the application of Contrastive Language-Image Pre-Training (CLIP), a vision-language model, in an automated video surveillance system for anomaly detection. The ability of CLIP to perform zero-shot learning, coupled with its robustness against minor image alterations due to its lack of reliance on pixel-level image analysis, makes it a suitable candidate for this application. The study investigates the performance of CLIP in tandem with various anomaly detection algorithms within a visual surveillance system. A custom dataset was created for video anomaly detection, encompassing two distinct views and two varying levels of anomaly difficulty. One view offers a more zoomed-in perspective, while the other provides a wider perspective. This was conducted to evaluate the capacity of CLIP to manage objects that occupy either a larger or smaller portion of the entire scene. Several different anomaly detection methods were tested with varying levels of supervision, including unsupervised, one-class classification, and weakly- supervised algorithms, which were compared against each other. To create better separation between the CLIP embeddings, a metric learning model was trained and then used to transform the CLIP embeddings to a new embedding space. The study found that CLIP performs effectively when anomalies take up a larger part of the image, such as in the zoomed-in view where some of the One- Class-Classification (OCC) and weakly supervised methods demonstrated superior performance. When anomalies take up a significantly smaller part of the image in the wider view, CLIP has difficulty distinguishing anomalies from normal scenes even using the transformed CLIP embeddings. For the wider view the results showed on better performance for the OCC and weakly supervised methods.

Modern machine learning methods, utilising neural networks, require a lot of training data. Data gathering and preparation has thus become a major bottleneck in the machine learning pipeline and researchers often use large public datasets to conduct their research (such as the ImageNet [1] or MNIST [2] datasets). As these methods begin being used in industry, these challenges become apparent. In factories objects being produced are often unique and may even involve trade secrets and patents that need to be protected. Additionally, manufacturing may not have started yet, making real data collection impossible. In both cases a public dataset is unlikely to be applicable. One possible solution, investigated in this thesis, is synthetic data generation. Synthetic data generation using physically based rendering was tested for unsupervised anomaly detection on a 3D printed block. A small image dataset was gathered of the block as control and a data generation model was created using its CAD model, a resource most often available in industrial settings. The data generation model used randomisation to reduce the domain shift between the real and synthetic data. For testing the data, autoencoder models were trained, both on the real and synthetic data separately and in combination. The material of the block, a white painted surface, proved challenging to reconstruct and no significant difference between the synthetic and real data could be observed. The model trained on real data outperformed the models trained on synthetic and the combined data. However, the synthetic data combined with the real data showed promise with reducing some of the bias intentionally introduced in the real dataset. Future research could focus on creating synthetic data for a problem where a good anomaly detection model already exists, with the goal of transferring some of the synthetic data generation model (such as the materials) to a new problem. This would be of interest in industries where they produce many different but similar objects and could reduce the time needed when starting a new machine learning project.

Semi-supervised anomaly detection is the setting, where in addition to a set of nominal samples, predominantly normal, a small set of labeled anomalies is available at training. In contrast to supervised defect classification, these methods do not learn the anomaly class directly and should have better generalization capability as new kinds of anomalies are introduced at test time. This is applied in an industrial defect detection context in the logs of photomask writers. Four methods are compared: two semi-supervised one-class anomaly detection methods: Deep Semi-Supervised Anomaly Detection (DeepSAD), hypersphere classifier (HSC) and two baselines, a reconstructive GAN method based on the Dual Autoencoder GAN (DAGAN) and a non-learned distance method based on the Kullback-Leibler divergence. Results show that semi-supervision increases performance, as measured by ROC AUC and PRO AUC, of DeepSAD and HSC, but at the tested supervision levels, do not surpass the performance of DAGAN. Furthermore, it is found that autoencoder pretraining increases performance of HSC similarly to as it does for DeepSAD, even though only the latter is recommended in literature. Lastly, soft labels are utilized for HSC, but results show that this has no or negative effect on the performance. / Inom semiövervakad anomalidetektion finns det förutom en mängd nominella datapunkter (huvudsakligen normala), även en liten mängd märkta anomalier tillgängliga vid träning. I motsats till övervakad defektklassifikation lär sig dessa metoder inte att känna igen anomaliklassen direkt och bör ha större generaliseringsförmåga när nya sorters anomalier introduceras vid testning. Detta appliceras inom industriell defektdetektion i loggarna för fotomaskritare. Fyra metoder jämförs: Djup Semiövervakad Anomalidetektion (DeepSAD), hypersfärklassificerare (HSC) och två basnivåer, en rekonstruktiv GAN-metod baserad på Dual Autoencoder GAN (DAGAN) och en ickke-lärd avståndsmetod baserad på Kullback-Leibler-divergens. Resultaten visar att semiöervakning förbättrar prestationen, mätt med hjälp av ROC AUC och PRO AUC, för DeepSAD och HSC. Däremot överträffar det inte, för de testade övervakningsnivåerna, prestationen för DAGAN. Vidare kan det ses att autokodningsförträning förbättrar prestationen för HSC på ett liknande sätt som det gör för DeepSAD, trots att bara det senare rekommenderas i litteraturen. Slutligen används mjuka märkningar för HSC, men resultaten visar att detta har liten eller till och med negativ påverkan på resultatet.

In this thesis, an anomaly detection framework has been developed to aid in maintenance of tightening tools. The framework is built using LSTM networks and gaussian naive bayes  classifiers. The suitability of LSTM networks for multi-variate sensor data and time-series prediction as a basis for anomaly detection has been explored. Current literature and research is mostly concerned with uni-variate data, where LSTM based approaches have had variable but often good results. However, most real world settings with sensor networks, such as the environment and tool from which this thesis data is gathered, are multi-variable. Thus, there is a need to research the effectiveness of the LSTM model in this setting. The thesis has emphasized the need of well defined evaluation metrics of anomaly detection approaches, the difficulties of defining anomalies and anomaly datasets, as well as illustrated the effectiveness of LSTM networks in multi-variate environments. / I den här uppsatsen har ett anomali detektions ramverk utvecklats för att bidra till underhållandet av åtdragarverktyg. Ramverket bygger på LSTM neurala nätverk och gaussian Naive Bayes klassificerare. Användbarheten av LSTM nätverk för multi-variabel data och tidsserie prediktion som basis för anomali detektion har undersökts. Nutida literatur och forskning berör mest envariabel data där LSTM baserade metoder ofta har presterat bra. Men, de flesta system i verkligheten är inte envariabel utan multivariabel, som den miljö verktyget, vars data undersöks i den här uppsatsen, opererar i. Därför anses det att det finns ett behov att undersöka användbarheten av LSTM modeller i den här typen av miljö. Det här arbetet har betonat vikten av väldefinierade utvärderingsvärden för anomali detektion, svårigheterna med att definiera anomalier och anomalidataset, samt illustrerat användbarheten av LSTM nätverk i multivariabla miljöer.

In this thesis, the use of unsupervised and semi-supervised machine learning techniques was analyzed as potential tools for anomaly detection in the sensor network that the electrical system in a Scania truck is comprised of. The experimentation was designed to analyse the need for both point and contextual anomaly detection in this setting. For the point anomaly detection the method of Isolation Forest was experimented with and for contextual anomaly detection two different recurrent neural network architectures using Long Short Term Memory units was relied on. One model was simply a many to one regression model trained to predict a certain signal, while the other was an encoder-decoder network trained to reconstruct a sequence. Both models were trained in an semi-supervised manner, i.e. on data that only depicts normal behaviour, which theoretically should lead to a performance drop on abnormal sequences resulting in higher error terms. In both setting the parameters of a Gaussian distribution were estimated using these error terms which allowed for a convenient way of defining a threshold which would decide if the observation would be flagged as anomalous or not. Additional experimentation's using an exponential weighted moving average over a number of past observations to filter the signal was also conducted. The models performance on this particular task was very different but the regression model showed a lot of promise especially when combined with a filtering preprocessing step to reduce the noise in the data. However the model selection will always be governed by the nature the particular task at hand so the other methods might perform better in other settings. / I den här avhandlingen var användningen av oövervakad och halv-övervakad maskininlärning analyserad som ett möjligt verktyg för att upptäcka avvikelser av anomali i det sensornätverk som elektriska systemet en Scanialastbil består av. Experimentet var konstruerat för att analysera behovet av både punkt och kontextuella avvikelser av anomali i denna miljö. För punktavvikelse av anomali var metoden Isolation Forest experimenterad med och för kontextuella avvikelser av anomali användes två arkitekturer av återkommande neurala nätverk. En av modellerna var helt enkelt många-till-en regressionmodell tränad för att förutspå ett visst märke, medan den andre var ett kodare-avkodare nätverk tränat för att rekonstruera en sekvens.Båda modellerna blev tränade på ett halv-övervakat sätt, d.v.s. på data som endast visar normalt beteende, som teoretiskt skulle leda till minskad prestanda på onormala sekvenser som ger ökat antal feltermer. I båda fallen blev parametrarna av en Gaussisk distribution estimerade på grund av dessa feltermer som tillåter ett bekvämt sätt att definera en tröskel som skulle bestämma om iakttagelsen skulle bli flaggad som en anomali eller inte. Ytterligare experiment var genomförda med exponentiellt viktad glidande medelvärde över ett visst antal av tidigare iakttagelser för att filtera märket. Modellernas prestanda på denna uppgift var välidt olika men regressionmodellen lovade mycket, särskilt kombinerad med ett filterat förbehandlingssteg för att minska bruset it datan. Ändå kommer modelldelen alltid styras av uppgiftens natur så att andra metoder skulle kunna ge bättre prestanda i andra miljöer.

Deep learning-based dose prediction is a promising approach to automated radiotherapy planning but carries with it the risk of failing silently when the inputs are highly abnormal compared to the training data. One way to address this issue is to develop a dedicated outlier detector capable of detecting anomalous patient geometries. I examine the potential of so-called generative models to handle this task. These models are promising due to being able to model the distribution of the input data regardless of the downstream task, but they have also been shown to suffer from serious biases when applied to outlier detection. No consensus has been reached regarding the root cause of these biases, or how to address them. I investigate this by attempting to design a variational autoencoder-based outlier detector trained to detect anomalous samples of shapes represented in a binary voxel format. I find the standard procedure application to suffer from severe bias when encountering cropped shapes, leading to systematic misclassification of some outlier patient cases. I overcome this by adopting a segmentation metric as an out-of-distribution metric and show that this outperforms recently proposed general-purpose solutions to the likelihood bias issue. I then benchmark my proposed method on clinical samples and conclude that this approach achieves performance comparable to a one-class support vector machine model that uses handcrafted domain-specific features. / Djupinlärningsbaserad dosprediktion är en mycket lovande metod för att automatiskt generera behandlingsplaner för strålterapi. Djupinlärningsmodeller kan dock endast förväntas fungera på data som är tillräckligt lik träningsdatan, vilket skapar en säkerhetsrisk i kliniska miljöer. Ett möjlig lösning på detta problem är att använda en särskild detektor som klarar av att identifiera avvikande data. I denna uppsats undersöker jag om en generativa djupinlärningsmodell kan användas som en sådan detektor. Generativa modeller är särskilt intressanta för detta ändamål då de är både kraftfulla och flexibla. Dessvärre har generativa modeller visats kunna vilseledas av vissa typer av data. Orsakerna och de underliggande faktorerna till detta har ännu inte identifierats. Jag undersöker denna problematik genom att designa en detektor baserad på en variationell autokodare. Jag upptäcker att den en naiv applikation av denna modell inte är tillräcklig för den kliniska datan, då modellen systematiskt felvärderar beskärda former. Jag löser detta problem genom att nyttja ett modifierat segmenteringsmått som detektionsmått, och visar att denna metod fungerar bättre än mer allmänna lösningar på vilseledningsproblemet. Jag evaluerar metoderna på klinisk data och finner att min metod fungerar lika bra som en en-klass stödvektormaskin som använder sig av handgjorda domänspecifika features.

Many software systems are under test to ensure that they function as expected. Sometimes, a test can fail, and in that case, it is essential to understand the cause of the failure. However, as systems grow larger and become more complex, this task can become non-trivial and potentially take much time. Therefore, even partially, automating the process of root cause analysis can save time for the developers involved. This thesis investigates the use of a Long Short-Term Memory (LSTM) anomaly detector in system logs for root cause analysis. The implementation is evaluated in a quantitative and a qualitative experiment. The quantitative experiment evaluates the performance of the anomaly detector in terms of precision, recall, and F1 measure. Anomaly injection is used to measure these metrics since there are no labels in the data. Additionally, the LSTM is compared with a baseline model. The qualitative experiment evaluates how effective the anomaly detector could be for root cause analysis of the test failures. This was evaluated in interviews with an expert in the software system that produced the log data that the thesis uses. The results show that the LSTM anomaly detector achieved a higher F1 measure than the proposed baseline implementation thanks to its ability to detect unusual events and events happening out of order. The qualitative results indicate that the anomaly detector could be used for root cause analysis. In many of the evaluated test failures, the expert being interviewed could deduce the cause of the failure. Even if the detector did not find the exact issue, a particular part of the software might be highlighted, meaning that it produces many anomalous log messages. With this information, the expert could contact the people responsible for that part of the application for help. In conclusion, the anomaly detector automatically collects the necessary information for the expert to perform root cause analysis. As a result, it could save the expert time to perform this task. With further improvements, it could also be possible for non-experts to utilise the anomaly detector, reducing the need for an expert. / Många mjukvarusystem testas för att försäkra att de fungerar som de ska. Ibland kan ett test misslyckas och i detta fall är det viktigt att förstå varför det gick fel. Detta kan bli problematiskt när mjukvarusystemen växer och blir mer komplexa eftersom att denna uppgift kan bli icke trivial och ta mycket tid. Om man skulle kunna automatisera felsökningsprocessen skulle det kunna spara mycket tid för de invloverade utvecklarna. Denna rapport undersöker användningen av en Long Short-Term Memory (LSTM) anomalidetektor för grundorsaksanalys i loggar. Implementationen utvärderas genom en kvantitativ och kvalitativ undersökning. Den kvantitativa undersökningen utvärderar prestandan av anomalidetektorn med precision, recall och F1 mått. Artificiellt insatta anomalier används för att kunna beräkna dessa mått eftersom att det inte finns etiketter i den använda datan. Implementationen jämförs också med en annan simpel anomalidetektor. Den kvalitativa undersökning utvärderar hur användbar anomalidetektorn är för grundorsaksanalys för misslyckade tester. Detta utvärderades genom intervjuer med en expert inom mjukvaran som producerade datan som användes in denna rapport. Resultaten visar att LSTM anomalidetektorn lyckades nå ett högre F1 mått jämfört med den simpla modellen. Detta tack vare att den kunde upptäcka ovanliga loggmeddelanden och loggmeddelanden som skedde i fel ordning. De kvalitativa resultaten pekar på att anomalidetektorn kan användas för grundorsaksanalys för misslyckade tester. I många av de misslyckade tester som utvärderades kunde experten hitta anledningen till att felet misslyckades genom det som hittades av anomalidetektorn. Även om detektorn inte hittade den exakta orsaken till att testet misslyckades så kan den belysa en vissa del av mjukvaran. Detta betyder att just den delen av mjukvaran producerad många anomalier i loggarna. Med denna information kan experten kontakta andra personer som känner till den delen av mjukvaran bättre för hjälp. Anomalidetektorn automatiskt den information som är viktig för att experten ska kunna utföra grundorsaksanalys. Tack vare detta kan experten spendera mindre tid på denna uppgift. Med vissa förbättringar skulle det också kunna vara möjligt för mindre erfarna utvecklare att använda anomalidetektorn. Detta minskar behovet för en expert.

Nowadays, a significant proportion of the population in the world is affected by cerebral diseases like epilepsy. In this study, frequency domain features of electroencephalography (EEG) signals were studied and analyzed, with a view being able to detect epileptic seizures more easily. The power spectrum and spectrogram were determined by using fast fourier transform (FFT) and the scalogram was found by performing continuous wavelet transform (CWT) on the testing EEG signal. In addition, two schemes, i.e. method 1 and method 2, were implemented for detecting epileptic seizures and the applicability of the two methods to electrocardiogram (ECG) signals were tested. A third method for anomaly detection in ECG signals was tested. / En signifikant del av population påverkas idag av neurala sjukdomar som epilepsi. I denna studie studerades och analyserades egenskaper inom frekvensdomänen av elektroencefalografi (EEG), med sikte på att lättare kunna upptäcka epileptiska anfall. Effektspektrumet och spektrogramet bestämdes med hjälp av en snabb fouriertransform och skalogrammet hittades genom att genomföra en kontinuerlig wavelet transform (CWT) på testsignalen från EEGsignalen. I addition till detta skapades två system, metod 1 och metod 2, som implementerades för att upptäcka epileptiska anfall. Användbarheten av dessa två metoder inom elektrokardiogramsignaler (ECG) testades. En tredje metod för anomalidetektering i ECGsignaler testades.

Nuclear power plants are inherently complex systems. While the technology has been used to generate electrical power for many decades, process monitoring continuously evolves. There is always room for improvement in terms of maximizing the availability by reducing the risks of problems and errors. In this context, automated monitoring systems have become important tools – not least with the rapid progress being made in the field of data analytics thanks to ever increasing amounts of processing power. There are many different types of models that can be utilized for identifying anomalies. Some rely on physical properties and theoretical relations, while others rely more on the patterns of historical data. In this thesis, a data-driven approach using a hierarchical autoencoder framework has been developed for the purposes of anomaly detection at the Swedish nuclear power plant Forsmark. The model is first trained to recognize normal operating conditions. The trained model then creates reference values and calculates the deviations in relation to real data in order to identify any issues. This proof-of-concept has been evaluated and benchmarked against a currently used hybrid model with more physical modeling properties in order to identify benefits and drawbacks. Generally speaking, the created model has performed in line with expectations. The currently used tool is more flexible in its understanding of different plant states and is likely better at determining root causes thanks to its physical modeling properties. However, the created autoencoder framework does bring other advantages. For instance, it allows for a higher time resolution thanks to its relatively low calculation intensity. Additionally, thanks to its purely data-driven characteristics, it offers great opportunities for future reconfiguration and adaptation with different signal selections.

The goal of this work is to expand the knowledge on the field of Venn Prediction employed with Survival Data. Standard Venn Predictors have been used with Random Forests and binary classification tasks. However, they have not been utilised to predict events with Survival Data nor in combination with Random Survival Forests. With the help of a Data Transformation, the survival task is transformed into several binary classification tasks. One key aspect of Venn Prediction are the categories. The standard number of categories is two, one for each class to predict. In this work, the usage of ten categories is explored and the performance differences between two and ten categories are investigated. Seven data sets are evaluated, and their results presented with two and ten categories. For the Brier Score and Reliability Score metrics, two categories offered the best results, while Quality performed better employing ten categories. Occasionally, the models are too optimistic. Venn Predictors rectify this performance and produce well-calibrated probabilities. / Målet med detta arbete är att utöka kunskapen om området för Venn Prediction som används med överlevnadsdata. Standard Venn Predictors har använts med slumpmässiga skogar och binära klassificeringsuppgifter. De har emellertid inte använts för att förutsäga händelser med överlevnadsdata eller i kombination med Random Survival Forests. Med hjälp av en datatransformation omvandlas överlevnadsprediktion till flera binära klassificeringsproblem. En viktig aspekt av Venn Prediction är kategorierna. Standardantalet kategorier är två, en för varje klass. I detta arbete undersöks användningen av tio kategorier och resultatskillnaderna mellan två och tio kategorier undersöks. Sju datamängder används i en utvärdering där resultaten presenteras för två och tio kategorier. För prestandamåtten Brier Score och Reliability Score gav två kategorier de bästa resultaten, medan för Quality presterade tio kategorier bättre. Ibland är modellerna för optimistiska. Venn Predictors korrigerar denna prestanda och producerar välkalibrerade sannolikheter.