Embedded platforms are often used as a sensor data processing node to collect data and transmit the data to the remote server. Due to the poor performance and power limitation, data processing was often left to the remote server. With the improvement of the computation ability, it is becoming possible to do some partial data processing on the embedded platforms, which would reduce the power and time consumption on the data transmission. Moreover, processing the data locally on the embedded platforms could reduce the dependence on the network. The platform could even do some tasks offline. This project aims to explore effective data analysis methods, especially for anomaly detection, which could be implemented on the embedded platform to be analyzed and detected locally. In this project, we select four methods: Seasonal and Trend Decomposition Using Loess (STL), Autoregressive Integrated Moving Average Model (ARIMA), Vector Autoregression (VAR), Long ShortTerm Memory (LSTM), to implement on the embedded platform ESP32. To test which methods could better fit the platform, we evaluate and compare the result from two aspects: the time overhead and the accuracy. The results show that the STL has the highest detection accuracy, but its time overhead is significantly higher than all other methods. ARIMA has the smallest time overhead and higher accuracy than LSTM and VAR. For LSTM, the method performs better with univariable input than multivariable input. Finally, we discuss the factors that may influence the result and future works. / Inbäddade plattformar används ofta som en sensor databehandlingsnod för att samla in och sedan överföra data till fjärrservern. Databehandling lämnades ofta till fjärrservern på grund av den dåliga prestandan och effektbegränsningen. Med förbättrad beräkningsförmåga blir det framkomligt att göra en del databehandling på de inbäddade plattformarna, vilket skulle minska ström och tidsförbrukningen för dataöverföringen. För övrigt kan lokal behandling av data på de inbäddade plattformarna minska beroendet av nätverket. Plattformen kan till och med utföra vissa uppgifter I nedkopplat läge. Detta projekt avser att utforska effektiva dataanalysmetoder särskilt för avvikelsedetektering, som kan verkställas på den inbäddade plattformen för att analyseras och upptäckas lokalt. I det här projektet väljer vi fyra metoder för att införa på den inbäddade plattformen ESP32: Seasonal and Trend Decomposition Using Loess (STL), Autoregressive Integrated Moving Average Model (ARIMA), Vector Autoregression (VAR), Long Short-Term Memory (LSTM). För att testa vilka metoder som bättre passar plattformen utvärderar och jämför vi resultatet med hänsyn till två aspekter: tidsomkostnaderna och noggrannheten. Resultaten visar att STL har den högsta detektionsnoggrannheten, men dess tidsomkostning är betydligt högre än alla andra metoder. ARIMA har den minsta tidsomkostningen och högre noggrannhet än LSTM och VAR. För LSTM fungerar metoden bättre med univariable input än multivariable input. Slutligen diskuterar vi faktorerna som möjligtvis påverkar resultatet och framtida arbeten.

We explore the use of Long short-term memory (LSTM) for anomaly detection in temporal data. Due to the challenges in obtaining labeled anomaly datasets, an unsupervised approach is employed. We train recurrent neural networks (RNNs) with LSTM units to learn the normal time series patterns and predict future values. The resulting prediction errors are modeled to give anomaly scores. We investigate different ways of maintaining LSTM state, and the effect of using a fixed number of time steps on LSTM prediction and detection performance. LSTMs are also compared to feed-forward neural networks with fixed size time windows over inputs. Our experiments, with three real-world datasets, show that while LSTM RNNs are suitable for general purpose time series modeling and anomaly detection, maintaining LSTM state is crucial for getting desired results. Moreover, LSTMs may not be required at all for simple time series. / Vi undersöker Long short-term memory (LSTM) för avvikelsedetektion i tidsseriedata. På grund av svårigheterna i att hitta data med etiketter så har ett oövervakat an-greppssätt använts. Vi tränar rekursiva neuronnät (RNN) med LSTM-noder för att lära modellen det normala tidsseriemönstret och prediktera framtida värden. Vi undersö-ker olika sätt av att behålla LSTM-tillståndet och effekter av att använda ett konstant antal tidssteg på LSTM-prediktionen och avvikelsedetektionsprestandan. LSTM är också jämförda med vanliga neuronnät med fasta tidsfönster över indata. Våra experiment med tre verkliga datasetvisar att även om LSTM RNN är tillämpbara för generell tidsseriemodellering och avvikelsedetektion så är det avgörande att behålla LSTM-tillståndet för att få de önskaderesultaten. Dessutom är det inte nödvändigt att använda LSTM för enkla tidsserier.

With the rise of information technology and the dependence on these systems, it becomes increasingly more important to keep the systems secure. The possibility to detect an intrusion with intrusion detection systems (IDS) is one of multiple fundamental technologies that may increase the security of a system. One of the bigger challenges of an IDS, is to detect types of intrusions that have previously not been encountered, so called unknown intrusions. These types of intrusions are generally detected by using methods collectively called anomaly detection methods. In this thesis I evaluate the performance of the algorithm Tree Augmented Naive Bayes Classifier (TAN) as an intrusion detection classifier. More specifically, I created a TAN program from scratch in Python and tested the program on two data sets containing data traffic. The thesis aims to create a better understanding of how TAN works and evaluate if it is a reasonable algorithm for intrusion detection. The results show that TAN is able to perform at an acceptable level with a reasonably high accuracy. The results also highlights the importance of using the smoothing operator included in the standard version of TAN. / Med informationsteknikens utveckling och det ökade beroendet av dessa system, blir det alltmer viktigt att hålla systemen säkra. Intrångsdetektionssystem (IDS) är en av många fundamentala teknologier som kan öka säkerheten i ett system. En av de större utmaningarna inom IDS, är att upptäcka typer av intrång som tidigare inte stötts på, så kallade okända intrång. Dessa intrång upptäcks oftast med hjälp av metoder som kollektivt kallas för avvikelsedetektionsmetoder. I denna uppsats utvärderar jag algoritmen Tree Augmented Naive Bayes Classifiers (TAN) prestation som en intrångsdetektionsklassificerare. Jag programmerade ett TAN-program, i Python, och testade detta program på två dataset som innehöll datatrafik. Denna uppsats ämnar att skapa en bättre förståelse för hur TAN fungerar, samt utvärdera om det är en lämplig algoritm för detektion av intrång. Resultaten visar att TAN kan prestera på en acceptabel nivå, med rimligt hög noggrannhet. Resultaten markerar även betydelsen av "smoothing operator", som inkluderas i standardversionen av TAN.

Loss of revenue due to erroneous invoicing is a serious problem for many companies in the repair and maintenance industry. Revenue loss can occur in many ways, for example by consistently charging the wrong hourly price for services. If a company is experiencing revenue loss, it is incredibly important to detect it, find where it is happening, and estimate the size of it in order to treat it. The goal of this work is to find statistical methods for detecting incorrectly charged services in a dataset of invoices, and estimate the loss of revenue in the same dataset. The dataset used comes from a real company experiencing revenue loss through incorrectly charged prices for services, and thus represents a real world instance of this problem. Multiple machine learning methods with different levels of supervision are tested for detecting anomalous invoice items and estimating revenue loss using raw invoice data. Neural network regression, and different decision tree regression methods, as well as an ensemble of these are tested and compared. The dataset has ground truth labels for each price, thus results are compared to real world targets. It is found that an ensemble using a weighted average of predictions from neural network regression and gradient boosted decision tree regression to predict the charged prices in an invoice dataset performs anomaly detection most reliably. On the top 1000 anomaly candidates, this method flags anomalies correctly 87% of the time, catching 45% of all anomalies. Moreover, in terms of estimating revenue loss, using a neural network to perform regression, a revenue loss error of just 13% is achieved. / Förlorad omsättning till följd av felaktig fakturering ar ett alvarligt problem for vissa företag i service- och reparationsbranchen. Detta kan uppstå på manga satt, till exempel genom konsekvent felaktig prissättning av tjänster. Om ett företag har stor förlust av omsättning ar det otroligt viktigt att upptäcka det, hitta var det sker, och uppskatta storleken av förlusten for att kunna behandla den. Malet med detta arbete ar att hitta statistiska metoder for att identifiera felaktigt prissatta tjänster i ett dataset av fakturor, och uppskatta förlorad omsättning i datasetet. Datasetet som används kommer från ett företag som förlorar omsättning på grund av just felfakturerat pris på tjänster, och representerar därför en verklig instans av detta problem. Ett flertal maskininlärningsmetoder, med olika grader av vägledning, används for att upptäcka felaktiga fakturarader och uppskatta förlorad omsättning i omärkt fakturadata. Regression med neuronnät, och olika beslutstradmetoder såväl som en ensembel av dessa testas och jämförs. Datasetet har sanningsenliga ettiketter till varje rad, därmed kan resultaten jämföras och utvärderas mot korrekta priser. Vi finner att en ensembel av ett neuralnät och ett gradientförstärkt beslutstrad for regression identifierar felaktiga prissättningar mest pålitligt. Pa de 1000 mest sannolika felen har denna metod ratt på 87%, vilket fångar 45% av alla fel. Vidare, med hänsyn till förlorad omsättning finner vi att ett neuralnät som utför regresssion uppnår ett fel på endast 13% i sitt estimat av förlorad omsättning.

The evolution of electrification and autonomous driving on automotive leads to the increasing complexity of the in-vehicle electrical network, which poses a new challenge for testers to do troubleshooting work in massive log files. This thesis project aims to develop a predictive technique for anomaly detection focusing on user function level failures using machine learning technologies.\\ Specifically, it investigates the performance of point anomaly detection models and temporal dependent anomaly detection models on the analysis of Controller Area Network (CAN) data obtained from software-in-loop simulation. For point anomaly detection, the models of Isolation forest, Multivariate normal distribution, and Local outlier factor are implemented respectively. For temporal dependent anomaly detection, the model of an encoder-decoder architecture neural network using Long Short-Temporal Memory (LSTM) units is implemented, so is a stacking hybrid detector in the combination of LSTM Encoder and Local outlier factor.\\ With a comparison of the comprehensive performance of the proposed models, the model of LSTM AutoEncoder is selected for detecting the anomalies on sequential data in CAN logs. The experiment results show promising detection performance of LSTM AutoEncoder on the studied functional failures and suggest that it is possible to be deployed in real-time automated anomaly detection on vehicle systems. / Utvecklingen av elektrifiering och autonom körning på fordon leder till den ökande komplexiteten i fordonets elektriska nätverk, vilket utgör en ny utmaning för testare att göra felsökningsarbete i massiva loggfiler. Detta avhandlings syftar till att utveckla en förutsägbar teknik för detektering av avvikelser med fokus på användarfunktionsnivåfel med maskininlärningstekniker.\\ Specifikt undersöker den prestandan hos punktavvikelsedetekteringsmodeller och tidsberoende anomalidetekteringsmodeller på analysen av data från Controller Area Network (CAN) erhållen från simulering av mjukvara in-loop. För detektion av punktavvikelser implementeras modellerna för Isolation forest, Multivariate normal distribution och Local outlier factor. För temporär beroende anomalidetektering implementeras modellen för ett kodnings-avkodningsarkitekturneuralt nätverk som använder Long Short-Temporal Memory (LSTM) -enheter, så är en stapling hybriddetektor i kombination med LSTM Encoder och Local outlier factor.\\ Med en jämförelse av den omfattande prestandan hos de föreslagna modellerna väljs modellen för LSTM AutoEncoder för att detektera avvikelser på sekventiell data i CAN-loggar. Experimentresultaten visar lovande detektionsprestanda för LSTM AutoEncoder på de studerade funktionella misslyckandena och föreslår att det är möjligt att distribueras i realtid automatiserad anomalidetektering på fordonssystem.