This thesis is a study of anomaly detection in vehicle traffic data in central Stockholm. Anomaly detection is an important tool in the analysis of traffic data for improved urban planing. Two unsupervised machine learning models are used, the DBSCAN clustering model and the LSTM deep learning neural network. A modified version of the models is also employed, incorporating adaptations that exploit diurnal traffic variations to improve the quality of the results. Subsequently, the model performance is analysed and compared. For evaluating the models, we employed two types of synthetic anomalies: a straightforward one and a more complex variant. The results indicate that all models show some ability to detect both anomalies. The models show better performance on the simpler anomaly, with both LSTM and DBSCAN giving comparable results. In contrast, LSTM outperforms DBSCAN on the more complex anomaly. Notably, the modified versions of both models consistently show enhanced performance. This suggest that LSTM outperforms DBSCAN as anomalies become more complex, presumably owing to LSTM’s proficiency in identifying intricate patterns. However, this relationship warrants further investigation in future research. / Denna examensuppsats behandlar anomalidetektering i fordonstrafikdata i centrala Stockholm. Anomalidetektering är ett viktigt verktyg vid analys av trafikdata för förbättrad stadsplanering. Två oövervakade maskininlärningsmodeller används, klustringsmodellen DBSCAN och djupinlärande neurala nätverket LSTM. En modifierad version av modellerna appliceras även, denna modifikation innebär anpassningar som utnyttjar dagliga traffikvariationer för att förbättra kvaliteten på resultatet. Modellerna analyseras och dess prestanda jämförs. För att utvärdera modellerna användes två typer av syntetiska anomalier: en enkel och en mer komplex anomali. Resultaten visar på en förmåga hos modellerna att upptäcka båda anomalierna. Modellerna uppvisar en bättre prestanda på den enklare anomalin, där LSTM och DBSCAN ger jämförbara resultat. För den mer komplexa anomalin så ger LSTM bättre resultat än DBSCAN. De modifierade versionerna av båda modellerna genererade konsekvent bättre resultat än den mer konventionella tillämpningen. Resultatet tyder på att LSTM överträffar DBSCAN när anomalierna blir mer komplexa, detta på grund av LSTMs skicklighet i att identifiera icke triviala mönster. Detta kräver dock ytterligare undersökningar i framtida forskning.

Machine learning models has gained traction as an effective tool for short-term electricity price forecasting, namely day ahead and hourly price forecasting. Efficient and accurate forecasting is crucial for demand and capacity planning to ensure stability and optimal use of resources. This project applies two proven machine learning models, LSTM and TCN, to electricity futures contracts in the Swedish pricing areas SE1 and SE3. Future contracts are used to secure the price of electricity in the future. A multivariate time series of fundamental data that correlates with electricity prices is used as input for the forecasting. Fur- thermore, a portfolio approach for hedging is evaluated based on the predictive performance of the models. The forecasting accuracy of the multivariate TCN model outperform the LSTM model. The optimal hedging strategy based on the TCN model indicated potential cost savings of 1.43% compared to a benchmark method. / Maskininlärnings modeller har vunnit mark som effektiva verktyg för att prognosticera kortsiktiga elpriser, för dagen före och timpriser. Effektiv och korrekt prognosticering är viktigt för att skatta behovs- och kapacitetsplanering för optimal resursanvändning. Det här projektet applicerar två välbeprövade modeller, LSTM och TCN, för att prognosticera terminskontrakt i de två svenska pris- områdena SE1 och SE3. Terminskontrakt används för att säkra elpriser i framtiden. En tidsserie, med flera variabler av fundamental data som korrelerar med elpriser, används för att prognosticera elpriser. Vidare utvärderas en portfölj approach för prissäkring baserat på prognoserna från modellerna. TCN modellen gav högre noggrannhet än LSTM modellen. Optimal prissäkringsstrategi baserad på TCN modeller resulterade i 1.43% lägre elpriser jämfört med bench- marks.

Since the global financial crisis of 2008, regulatory bodies worldwide have implementedincreasingly stringent requirements for measuring and pricing default risk in financialderivatives. Counterparty Credit Risk (CCR) serves as the measure for default risk infinancial derivatives, and Credit Valuation Adjustment (CVA) is the pricing method used toincorporate this default risk into derivatives prices. To calculate the CVA, one needs the risk-neutral Probability of Default (PD) for the counterparty, which is the centre in this type ofderivative.The traditional method for calculating risk-neutral probabilities of default involves constructingcredit curves, calibrated using the credit derivative Credit Default Swap (CDS). However,liquidity issues in CDS trading present a major challenge, as the majority of counterpartieslack liquid CDS spreads. This poses the difficult question of how to model risk-neutral PDwithout liquid CDS spreads.The current method for generating proxy credit curves, introduced by the Japanese BankNomura in 2013, involves a cross-sectional linear regression model. Although this model issufficient in most cases, it often generates credit curves unsuitable for larger counterpartiesin more volatile times. In this thesis, we introduce two Long Short-Term Memory (LSTM)models trained on similar entities, which use CDS spreads as input. Our introduced modelsshow some improvement in generating proxy credit curves compared to the Nomura model,especially during times of higher volatility. While the result were more in line with the tradedCDS-market, there remains room for improvement in the model structure by using a moreextensive dataset. / Ända sedan 2008 års finanskris har styrande finansiella organ ökat kraven för mätning ochprissättning av konkursrisk inom derivat. Ett område av särskilt högt intresse för detta arbete ärmotpartskreditrisker (CCR). I detta är Kreditvärdesjustering (CVA) den huvudsakliga metodenför prissättning av konkursrisk inom finansiella derivat och för att kunna få fram ett värde avCVA behövs en risk-neutral konkurssannolikhet (PD).En av de traditionella metoderna för att räkna ut denna sannolikhet är genom att skapakreditkurvor som sedan är kalibrerade utifrån CDS:ar. Detta handlade derivat (CDS) finns baraför ett mindre antal företag över hela världen vilket gör att en majoritet av marknaden saknaren tillräckligt handlad CDS. Lösning på detta är att ta fram proxy CDS för ett motsvarande bolag.Idag görs detta framförallt med en tvärsnitts-regressionsmodell som introducerades 2013 avden japanska banken Nomura. Den skapar i många fall rimliga kurvor men ett problem den harär att den oftare gör proxyn lägre än vad den borde vara.I detta arbete introducerar vi istället en LSTM modell som tränas på liknande företag. Resultatetav detta är att vi får en bättre modell i många fall för att skapa en proxy kurva men som delvishar liknande brister som Nomura modellen. Men med fortsatta undersökningar inom områdetsamt med mer data kan detta skapa en mer exakt och säkrare proxy modell.

Since many log tracing application and diagnostic commands are now available on nodes at base station, event log can easily be collected, parsed and structured for network performance analysis. In order to improve In Service Performance of customer network, a sequential machine learning model can be trained, test, and deployed on each node to learn from the past events to predict future crashes or a failure. This thesis project focuses on the evaluation and analysis of the effectiveness of deep learning models in predicting log events. It explores the application of stacked long short-term memory(LSTM) based model in capturing temporal dependencies and patterns within log event data. In addition, it investigates the probability distribution of the next event from the logs and estimates event trigger time to predict the future node restart event. This thesis project aims to improve the node availability time in base station of Ericsson and contribute to further application in log event prediction using deep learning techniques. A framework with two main phases is utilized to analyze and predict the occurrence of restart events based on the sequence of events. In the first phase, we perform natural language processing(NLP) on the log content to obtain the log key, and then identify the sequence that will cause the restart event from the sequence node events. In the second phase, we analyze these sequence of events which resulted in restart, and predict how many minutes in the future the restart event will occur. Experiment results show that our framework achieves no less than 73% accuracy on restart prediction and more than 1.5 minutes lead time on restart. Moreover, our framework also performs well for non-restart events. / Eftersom många loggspårningsapplikationer och diagnostiska kommandon nu finns tillgängliga på noder vid basstationen, kan händelseloggar enkelt samlas in, analyseras och struktureras för analys av nätverksprestanda. För att förbättra kundnätverkets In Service Performance kan en sekventiell maskininlärningsmodell tränas, testas och distribueras på varje nod för att lära av tidigare händelser för att förutsäga framtida krascher eller ett fel. Detta examensarbete fokuserar på utvärdering och analys av effektiviteten hos modeller för djupinlärning för att förutsäga logghändelser. Den utforskar tillämpningen av staplade långtidsminne (LSTM)-baserad modell för att fånga tidsmässiga beroenden och mönster i logghändelsedata. Dessutom undersöker den sannolikhetsfördelningen för nästa händelse från loggarna och uppskattar händelseutlösningstiden för att förutsäga den framtida omstartshändelsen för noden. Detta examensarbete syftar till att förbättra nodtillgänglighetstiden i Ericssons basstation och bidra till ytterligare tillämpning inom logghändelseprediktion med hjälp av djupinlärningstekniker. Ett ramverk med två huvudfaser används för att analysera och förutsäga förekomsten av omstartshändelser baserat på händelseförloppet. I den första fasen utför vi naturlig språkbehandling (NLP) på logginnehållet för att erhålla loggnyckeln och identifierar sedan sekvensen som kommer att orsaka omstartshändelsen från sekvensnodhändelserna. I den andra fasen analyserar vi dessa händelseförlopp som resulterade i omstart och förutsäger hur många minuter i framtiden omstartshändelsen kommer att inträffa. Experimentresultat visar att vårt ramverk uppnår inte mindre än 73% noggrannhet vid omstartsförutsägelse och mer än 1,5 minuters ledtid vid omstart. Dessutom fungerar vårt ramverk bra för händelser som inte startar om.

In this thesis, we investigate the problem of building a text classifier for transcribed voice recordings submitted by insurance clients. We compare different models in the context of two tasks. The first is a binary classification problem, where the models are tasked with determining if a transcript belongs to a particular type or not. The second is a multiclass problem, where the models have to choose between several types when labelling transcripts, resulting in a data set with a highly imbalanced class distribution. We evaluate four different models: pretrained BERT and three LSTMs with different word embeddings. The used word embeddings are ELMo, word2vec and a baseline model with randomly initialized embedding layer. In the binary task, we are more concerned with false positives than false negatives. Thus, we also use weighted cross entropy loss to achieve high precision for the positive class, while sacrificing recall. In the multiclass task, we use focal loss and weighted cross entropy loss to reduce bias toward majority classes. We find that BERT outperforms the other models and the baseline model is worst across both tasks. The difference in performance is greatest in the multiclass task on classes with fewer samples. This demonstrates the benefit of using large language models in data constrained scenarios. In the binary task, we find that weighted cross entropy loss provides a simple, yet effective, framework for conditioning the model to favor certain types of errors. In the multiclass task, both focal loss and weighted cross entropy loss are shown to reduce bias toward majority classes. However, we also find that BERT fine tuned with regular cross entropy loss does not show bias toward majority classes, having high recall across all classes. / I examensarbetet undersöks klassificering av transkriberade röstinspelningar från försäkringskunder. Flera modeller jämförs på två uppgifter. Den första är binär klassificering, där modellerna ska särskilja på inspelningar som tillhör en specifik klass av ärende från resterande inspelningar. I det andra inkluderas flera olika klasser som modellerna ska välja mellan när inspelningar klassificeras, vilket leder till en ojämn klassfördelning. Fyra modeller jämförs: förtränad BERT och tre LSTM-nätverk med olika varianter av förtränade inbäddningar. De inbäddningar som används är ELMo, word2vec och en basmodell som har inbäddningar som inte förtränats. I det binära klassificeringsproblemet ligger fokus på att minimera antalet falskt positiva klassificeringar, därför används viktad korsentropi. Utöver detta används även fokal förlustfunktion när flera klasser inkluderas, för att minska partiskhet mot majoritetsklasser. Resultaten indikerar att BERT är en starkare modell än de andra modellerna i båda uppgifterna. Skillnaden mellan modellerna är tydligast när flera klasser används, speciellt på de klasser som är underrepresenterade. Detta visar på fördelen av att använda stora, förtränade, modeller när mängden data är begränsad. I det binära klassificeringsproblemet ser vi även att en viktad förlustfunktion ger ett enkelt men effektivt sätt att reglera vilken typ av fel modellen ska vara partisk mot. När flera klasser inkluderas ser vi att viktad korsentropi, samt fokal förlustfunktion, kan bidra till att minska partiskhet mot överrepresenterade klasser. Detta var dock inte fallet för BERT, som visade bra resultat på minoritetsklasser även utan att modifiera förlustfunktionen.

In recent years, machine learning models have gained traction in the field of empirical asset pricing for their risk premium prediction performance. In this thesis, we build upon the work of [1] by first evaluating models similar to their best performing model in a similar fashion, by using the same dataset and measures, and then expanding upon that. We explore the impact of different feature extraction techniques, ranging from simply removing added complex- ity to representation learning techniques such as incremental PCA and autoen- coders. Furthermore, we also introduce recurrent connections with LSTM and combine them with the earlier mentioned representation learning techniques. We significantly outperform [1] in terms of monthly out-of-sample R2, reach- ing a score of over 3%, by using a condensed version of the dataset, without interaction terms and dummy variables, with a feedforward neural network. However, across the board, all of our models fall short in terms of Sharpe ratio. Even though we find that LSTM works better than the benchmark, it does not outperform the feedforward network using the condensed dataset. We reason that this is because the features already contain a lot of temporal information, such as recent price trends. Overall, the autoencoder based models perform poorly. While the linear incremental PCA based models perform better than the nonlinear autoencoder based ones, they still perform worse than the bench- mark. / Under de senaste åren har maskininlärningsmodeller vunnit kredibilitet inom området empirisk tillgångsvärdering för deras förmåga att förutsäga riskpre- mier. I den här uppsatsen bygger vi på [1]s arbetet genom att först implemente- ra modeller som liknar deras bäst presterande modell och utvärdera dem på ett liknande sätt, genom att använda samma data och mått, och sedan bygga vida- re på det. Vi utforskar effekterna av olika variabelextraktionstekniker, allt från att helt enkelt ta bort extra komplexitet till representationsinlärningstekniker som inkrementell PCA och autoencoders. Vidare introducerar vi även LSTM och kombinerar dem med de tidigare nämnda representationsinlärningstekni- kerna. Min bästa modell presterar betydligt bättre än [1]s i termer av månatlig R2 för testdatan, och når ett resultat på över 3%, genom att använda en kompri- merad version av datan, utan interaktionstermer och dummyvariabler, med ett feedforward neuralt nätverk. Men överlag så brister alla mina modeller i ter- mer av Sharpe ratio. Även om LSTM fungerar bättre än riktvärdet, överträffar det inte feedforward-nätverket med den komprimerade datamängden. Vi re- sonerar att detta är på grund av inputvariablerna som redan innehåller en hel del information över tid, som de senaste pristrenderna. Sammantaget presterar de autoencoderbaserade modellerna dåligt. Även om de linjära inkrementell PCA-baserade modellerna presterar bättre än de olinjära autoencoderbaserade modellerna, presterar de fortfarande sämre än riktvärdet.

Time series forecasting and volatility forecasting is a particularly active research field within financial mathematics. More recent studies extend well-established forecasting methods with machine learning. This thesis will evaluate and compare the standard Generalized Autoregressive Conditional Heteroskedasticity (GARCH) model and some of its extensions to a proposed Long Short-Term Memory (LSTM) model on historic data from five Swedish stocks. It will also explore hybrid models that combine the two techniques to increase prediction accuracy over longer horizons. The results show that the predictability increases when switching from univariate GARCH and LSTM models to hybrid models combining them both. Combining GARCH, Glosten, Jagannathan, and Runkle GARCH (GJR-GARCH), and Fractionally Integrated GARCH (FIGARCH) yields the most accurate result with regards to mean absolute error and mean square error. The forecasting errors decreased with 10 to 50 percent using the hybrid models. Comparing standard GARCH to the hybrid models, the biggest gains were seen at the longest horizon, while comparing the LSTM to the hybrid models, the biggest gains were seen for the shorter horizons. In conclusion, the prediction ability increases using the hybrid models compared to the regular models. / Tidsserieprognostisering, och volatilitetsprognostiering i synnerhet, är ett växande fält inom finansiell matamatik som kontinereligt står inför implementation av nya tekniker. Det som en gång startade med klassiksa tidsseriemodeller som ARCH har nu utvecklats till att dra fördel av maskininlärning och neurala nätverk. Detta examensarbetet uvärderar och jämför Generalized Autoregressive Conditional Heteroskedasticity (GARCH) modeller och några av dess vidare tillämpningar med Long Short-Term Memory (LSTM) modeller på fem svenska aktier. ARbetet kommer även gå närmare inpå hybridmodeller som kombinerar dessa två tekniker för att öka tillförlitlig prognostisering under längre tidshorisonter. Resultaten visar att förutsägbarheten ökar genom att byta envariata GARCH och LSTM modeller till hybridmodeller som kombinerar båda delarna. De mest korrekta resultaten kom från att kombinera GARCH, Glosten, Jagannathan, och Runkle GARCH (GJR-GARCH) och Fractionally Integrated GARCH (FIGARCH) modeller med ett LSTM nätverk. Prognostiseringsfelen minskade med 10 till 50 procent med hybridmodellerna. Specifikt, vid jämförelse av GARCH modellerna till hybridmodellerna sågs de största förbättringarna för de längre tidshorisonterna, medans jämförelse mellan LSTM och hybridmodellerna sågs den mesta förbättringen hos de kortare tidshorisonterna. Sammanfattningsvis öker prognostiseringsförmågan genom användning av hybridmodeller i jämförelse med standardmodellerna.

This thesis explores the possibility of applying sentiment analysis to extract tonality of user reviews on the Nordic languages. Data processing is performed in the form of preprocessing through tokenization and padding. A model is built in a framework called Keras. Models for classification and regression were built using LSTM and GRU architectures. The results showed how the dataset influences the end result and the correlation between observed and predicted values for classification and regression. The project shows that it is possible to implement NLP in the Nordic languages and how limitations in input and performance in hardware affected the result. Some questions that arose during the project consist of methods for improving the dataset and alternative solutions for managing information related to big data and GDPR. / Denna avhandling undersöker möjligheten att tillämpa sentiment analys för att extrahera tonalitet av användarrecensioner på nordiska språk. Databehandling utförs i form av förprocessering genom tokenisering och padding. En modell är uppbyggd i en ramverkad Keras. Modeller för klassificering och regression byggdes med LSTM och GRU-arkitekturer. Resultaten visade hur datasetet påverkar slutresultatet och korrelationen mellan observerade och förutspådda värden för klassificering och regression. Projektet visar att det är möjligt att implementera NLP på de nordiska språken och hur begränsningar i input och prestanda i hårdvara påverkat resultatet. Några frågor som uppstod under projektet består av metoder för att förbättra datasetet och alternativa lösningar för hantering av information relaterad till stora data och GDPR.

Text classification using deep learning is rarely applied to tasks with more than ten target classes. This thesis investigates if deep learning can be successfully applied to a task with over 1000 target classes. A pretrained Long Short-Term Memory language model is fine-tuned and used as a base for the classifier. After five days of training, the deep learning model achieves 80.5% accuracy on a publicly available dataset, 9.3% higher than Naive Bayes. With five guesses, the model predicts the correct class 92.2% of the time.

In automotive industry there is a growing need for predicting the failure of a component, to achieve the cost saving and customer satisfaction. As failure in a component leads to the work breakdown for the customer. This paper describes an effort in making a prediction failure monitoring model for NOx sensor in trucks. It is a component that used to measure the level of nitrogen oxide emission from the truck. The NOx sensor has chosen because its failure leads to the slowdown of engine efficiency and it is fragile and costly to replace. The data from a good and contaminated NOx sensor which is collated from the test rigs is used the input to the model. This work in this paper shows approach of complementing the Deep Learning models with Machine Learning algorithm to achieve the results. In this work LSTMs are used to detect the gain in NOx sensor and Encoder-Decoder LSTM is used to predict the variables. On top of it Multiple Linear Regression model is used to achieve the end results. The performance of the monitoring model is promising. The approach described in this paper is a general model and not specific to this component, but also can be used for other sensors too as it has a universal kind of approach.