The manufacturing of electrical bushings for high voltages is complicated and highly demanding technology-wise. This process has more than 10 steps where a single mistake in the chain could cause a complete failure of the final product. A faulty bushing represents high costs to the company both economically and in terms of public image. Nowadays, fault detection is corrective-oriented, which means that there is low traceability on where the problem happens, and it is only detected once the final product is tested. This thesis aims to test a machine learning tool from Imagimob® to determine if is possible to detect faults during the manufacturing process using the existing captured data. To perform the test, a sample from 2019 was taken where the production of the bushings reached a 60% scrap rate. A deep-learning neural network with a 2D convolutional layer was implemented. The outcome of the system showed an efficiency of 80%. However, due to the complexity of the bushing manufacturing process, the few data samples, and the addition of different factors that can result in a faulty bushing, a range of probability is set depending on the number of anomalies detected. With such validation, the tool can label 18% of the bushings as surely faulty, and 27% as most likely faulty. The limitation of the tool is that the information must be analyzed after each step is done, and not continuously. Hence further research should be carried out on implementing a real-time tool. / Tillverkningen av elektriska genomföringar för högspänning är komplicerad och mycket krävande teknikmässigt. Denna process har mer än 10 steg där ett enda misstag i kedjan kan orsaka ett fullständigt misslyckande i slutprodukten. En felaktig genomföring innebär höga kostnader för företaget både ekonomiskt och motverkar en god image. Nuförtiden är feldetekteringen korrigerande-orienterad, det betyder att det är låg spårbarhet på var problemet uppstår och upptäcks först när slutprodukten testas. Syftet med detta examensarbete är att testa ett maskininlärningsverktyg från Imagimob® för att avgöra om det är möjligt att upptäcka fel under tillverkningsprocessen med hjälp av befintliga insamlade data. För att utföra testet togs ett prov från 2019 där produktionen av genomföringar nådde 60 % skrotmängd. Ett djupt lärande-neuralt nätverk med 2D-konvolutionelt lager implementerades. Det slutliga resultatet av systemet visade en effektivitet på 80 %. På grund av komplexiteten i tillverkningsprocessen för genomföringarna, de få datapunkterna och tillägget av olika faktorer som kan resultera i en felaktig genomföring, ställs ett sannolikhetsområde in beroende på antalet upptäckta avvikelser. Med en sådan validering kan verktyget markera 18 % av genomföringarna som säkert felaktiga och 27 % som troligen felaktiga. Begränsningen med verktyget är att informationen måste analyseras efter att varje steg är gjort, och inte kontinuerligt, därför bör ytterligare forskning göras för att implementera ett realtidsverktyg.

Artificial intelligence is receiving a great deal of attention in various fields of science and engineering due to its promising applications. In today’s society, weather classification models with high accuracy are of utmost importance. An alternative to using conventional weather radars is to use measured attenuation data in microwave links as the input to deep learning-based weather classification models. Detecting anomalies in the measured attenuation data is of great importance as the output of a classification model cannot be trusted if the input to the classification model contains anomalies. Designing an accurate classification model poses some challenges due to the absence of predefined features to discriminate among the various weather conditions, and due to specific domain requirements in terms of execution time and detection sensitivity. In this thesis we investigate the relationship between anomalies in signal attenuation data, which is the input to a weather classification model, and the model’s misclassifications. To this end, we propose and evaluate two deep learning models based on long short-term memory networks (LSTM) and convolutional neural networks (CNN) for anomaly detection in a weather classification problem. We evaluate the feasibility and possible generalizations of the proposed methodology in an industrial case study at Ericsson AB, Sweden. The results show that both proposed methods can detect anomalies that correlate with misclassifications made by the weather classifier. Although the LSTM performed better than the CNN with regards to top performance on one link and average performance across all 5 tested links, the CNN performance is shown to be more consistent. / Artificiell intelligens har fått mycket uppmärksamhet inom olika teknik- och vetenskapsområden på grund av dess många lovande tillämpningar. I dagens samhälle är väderklassificeringsmodeller med hög noggrannhet av yttersta vikt. Ett alternativ till att använda konventionell väderradar är att använda uppmätta dämpningsdata i mikrovågslänkar som indata till djupinlärningsbaserade väderklassificeringsmodeller. Detektering av avvikelser i uppmätta dämpningsdata är av stor betydelse eftersom en klassificeringsmodells pålitlighet minskar om träningsdatat innehåller avvikelser. Att utforma en noggrann klassificeringsmodell är svårt på grund av bristen på fördefinierade kännetecken för olika typer av väderförhållanden, och på grund av de specifika domänkrav som ofta ställs när det gäller exekveringstid och detekteringskänslighet. I det här examensarbetet undersöker vi förhållandet mellan avvikelser i uppmätta dämpningsdata från mikrovågslänkar, och felklassificeringar gjorda av en väderklassificeringsmodell. För detta ändamål utvärderar vi avvikelsedetektering inom ramen för väderklassificering med hjälp av två djupinlärningsmodeller, baserade på long short-term memory-nätverk (LSTM) och faltningsnätverk (CNN). Vi utvärderar genomförbarhet och generaliserbarhet av den föreslagna metodiken i en industriell fallstudie hos Ericsson AB. Resultaten visar att båda föreslagna metoder kan upptäcka avvikelser som korrelerar med felklassificeringar gjorda av väderklassificeringsmodellen. LSTM-modellen presterade bättre än CNN-modellen både med hänsyn till toppprestanda på en länk och med hänsyn till genomsnittlig prestanda över alla 5 testade länkar, men CNNmodellens prestanda var mer konsistent.

Financial institutions manage numerous portfolios whose risk must be managed continuously, and the large amounts of data that has to be processed renders this a considerable effort. As such, a system that autonomously detects anomalies in the risk measures of financial portfolios, would be of great value. To this end, the two econometric models ARMA-GARCH and EWMA, and the two machine learning based algorithms LSTM and HTM, were evaluated for the task of performing unsupervised anomaly detection on the streaming time series of portfolio risk measures. Three datasets of returns and Value-at-Risk series were synthesized and one dataset of real-world Value-at-Risk series had labels handcrafted for the experiments in this thesis. The results revealed that the LSTM has great potential in this domain, due to an ability to adapt to different types of time series and for being effective at finding a wide range of anomalies. However, the EWMA had the benefit of being faster and more interpretable, but lacked the ability to capture anomalous trends. The ARMA-GARCH was found to have difficulties in finding a good fit to the time series of risk measures, resulting in poor performance, and the HTM was outperformed by the other algorithms in every regard, due to an inability to learn the autoregressive behaviour of the time series. / Finansiella institutioner hanterar otaliga portföljer vars risk måste hanteras kontinuerligt, och den stora mängden data som måste processeras gör detta till ett omfattande uppgift. Därför skulle ett system som autonomt kan upptäcka avvikelser i de finansiella portföljernas riskmått, vara av stort värde. I detta syftet undersöks två ekonometriska modeller, ARMA-GARCH och EWMA, samt två maskininlärningsmodeller, LSTM och HTM, för ändamålet att kunna utföra så kallad oövervakad avvikelsedetektering på den strömande tidsseriedata av portföljriskmått. Tre dataset syntetiserades med avkastningar och Value-at-Risk serier, och ett dataset med verkliga Value-at-Risk serier fick handgjorda etiketter till experimenten i denna avhandling. Resultaten visade att LSTM har stor potential i denna domänen, tack vare sin förmåga att anpassa sig till olika typer av tidsserier och för att effektivt lyckas finna varierade sorters anomalier. Däremot så hade EWMA fördelen av att vara den snabbaste och enklaste att tolka, men den saknade förmågan att finna avvikande trender. ARMA-GARCH hade svårigheter med att modellera tidsserier utav riskmått, vilket resulterade i att den preseterade dåligt. HTM blev utpresterad utav de andra algoritmerna i samtliga hänseenden, på grund utav dess oförmåga att lära sig tidsserierna autoregressiva beteende.

Football trajectory modeling is a powerful tool for predicting and evaluating the movement of a football and its dynamics. Masked autoencoders are scalable self-supervised learners used for representation learning of partially observable data. Masked autoencoders have been shown to provide successful results in pre-training for computer vision and natural language processing tasks. Using masked autoencoders in the multivariate time-series data field has not been researched to the same extent. This thesis aims to investigate the potential of using masked autoencoders for multivariate time-series modeling for football trajectory data in collaboration with Tracab. Two versions of the masked autoencoder network with alterations are tested, which are implemented to be used with multivariate time-series data. The resulting models are used to detect anomalies in the football trajectory and propose corrections based on the reconstruction. The results are evaluated, discussed, and compared against the tracked and manually corrected value of the ball trajectory. The performance of the different frameworks is compared and the overall anomaly detection capabilities are discussed. The result suggested that even though the regular autoencoder version had a smaller average reconstruction error during training and testing, using masked autoencoders improved the anomaly detection performance. The result suggested that neither the regular autoencoder nor the masked autoencoder managed to propose plausible trajectories to correct anomalies in the data. This thesis promotes further research to be done in the field of using masked autoencoders for time series and trajectory modeling. / Modellering av en fotbolls bollbana är ett kraftfullt verktyg för att förutse och utvärdera rörelsen och dynamiken hos en fotboll. Maskerade autoencoders är skalbara självövervakande inlärare som används för representationsinlärning av delvis synlig data. Maskerade autoencoders har visat sig ge framgångsrika resultat vid förträning inom datorseende och naturlig språkbearbetning. Användningen av maskerade autoencoders för multivariat tidsserie-data har det inte forskats om i samma omfattning. Syftet med detta examensarbete är att undersöka potentialen för maskerade autoencoders inom tidsseriemodellering av bollbanor för fotboll i samarbete med Tracab. Två versioner av maskerade autoencoders anpassade för tidsserier testas. De tränade modellerna används för att upptäcka avvikelser i detekterade fotbollsbanor och föreslå korrigeringar baserat på rekonstruktionen. Resultaten utvärderas, diskuteras och jämförs med det detekterade och manuellt korrigerade värdet för fotbollens bollbana. De olika ramverken jämförs och deras förmåga för detektion och korrigering av avvikelser diskuteras. Resultatet visade att även om den vanliga autoencoder-versionen hade ett mindre genomsnittligt rekonstruktionsfel efter träning, så bidrog användningen av maskerade autoencoders till en förbättring inom detektering av avvikelser. Resultatet visade att varken den vanliga autoencodern eller den maskerade autoencodern lyckades föreslå trovärdiga bollbanor för att korrigera de funna avvikelserna i datan. Detta examensarbete främjar ytterligare forskning inom användningen av maskerade autoencoders för tidsserier och banmodellering.

This thesis proposes a deep learning anomaly detection pipeline to detect possible anomalies during the operation of a fleet of batteries and presents its development and evaluation. The pipeline employs sensors that connect to each battery in the fleet to remotely collect real-time measurements of their operating characteristics, such as voltage, current, and temperature. The deep learning based time-series anomaly detection model was developed using Variational Autoencoder (VAE) architecture that utilizes either Long Short-Term Memory (LSTM) or, its cousin, Gated Recurrent Unit (GRU) as the encoder and the decoder networks (LSTMVAE and GRUVAE). Both variants were evaluated against three well-known conventional anomaly detection algorithms Isolation Nearest Neighbour (iNNE), Isolation Forest (iForest), and kth Nearest Neighbour (k-NN) algorithms. All five models were trained using two variations in the training dataset (full-year dataset and partial recent dataset), producing a total of 10 different model variants. The models were trained using the unsupervised method and the results were evaluated using a test dataset consisting of a few known anomaly days in the past operation of the customer’s battery fleet. The results demonstrated that k-NN and GRUVAE performed close to each other, outperforming the rest of the models with a notable margin. LSTMVAE and iForest performed moderately, while the iNNE and iForest variant trained with the full dataset, performed the worst in the evaluation. A general observation also reveals that limiting the training dataset to only a recent period produces better results nearly consistently across all models. / Detta examensarbete föreslår en pipeline för djupinlärning av avvikelser för att upptäcka möjliga anomalier under driften av en flotta av batterier och presenterar dess utveckling och utvärdering. Rörledningen använder sensorer som ansluter till varje batteri i flottan för att på distans samla in realtidsmätningar av deras driftsegenskaper, såsom spänning, ström och temperatur. Den djupinlärningsbaserade tidsserieanomalidetekteringsmodellen utvecklades med VAE-arkitektur som använder antingen LSTM eller, dess kusin, GRU som kodare och avkodarnätverk (LSTMVAE och GRU) VAE). Båda varianterna utvärderades mot tre välkända konventionella anomalidetekteringsalgoritmer -iNNE, iForest och k-NN algoritmer. Alla fem modellerna tränades med hjälp av två varianter av träningsdatauppsättningen (helårsdatauppsättning och delvis färsk datauppsättning), vilket producerade totalt 10 olika modellvarianter. Modellerna tränades med den oövervakade metoden och resultaten utvärderades med hjälp av en testdatauppsättning bestående av några kända anomalidagar under tidigare drift av kundens batteriflotta. Resultaten visade att k-NN och GRUVAE presterade nära varandra och överträffade resten av modellerna med en anmärkningsvärd marginal. LSTMVAE och iForest presterade måttligt, medan varianten iNNE och iForest tränade med hela datasetet presterade sämst i utvärderingen. En allmän observation avslöjar också att en begränsning av träningsdatauppsättningen till endast en ny period ger bättre resultat nästan konsekvent över alla modeller.