Through the specialized lens of one-class classification, anomalies–irregular observations that uncharacteristically diverge from normative data patterns–are comprehensively studied. This dissertation focuses on advancing boundary-based methods in one-class classification, a critical approach to anomaly detection. These methodologies delineate optimal decision boundaries, thereby facilitating a distinct separation between normal and anomalous observations. Encompassing traditional approaches such as One-Class Support Vector Machine and Support Vector Data Description, recent adaptations in deep learning offer a rich ground for innovation in anomaly detection. This dissertation proposes three novel deep learning methods for one-class classification, aiming to enhance the efficacy and accuracy of anomaly detection in an era where data volume and complexity present unprecedented challenges. The first two methods are designed for tabular data from a least squares perspective. Formulating these optimization problems within a least squares framework offers notable advantages. It facilitates the derivation of closed-form solutions for critical gradients that largely influence the optimization procedure. Moreover, this approach circumvents the prevalent issue of degenerate or uninformative solutions, a challenge often associated with these types of deep learning algorithms. The third method is designed for second-order tensors. This proposed method has certain computational advantages and alleviates the need for vectorization, which can lead to structural information loss when spatial or contextual relationships exist in the data structure. The performance of the three proposed methods are demonstrated with simulation studies and real-world datasets. Compared to kernel-based one-class classification methods, the proposed deep learning methods achieve significantly better performance under the settings considered.

This thesis investigated the possibility of using machine learning algorithms for classifying items in a queuing system to optimize a production line. The evaluated algorithms are Artificial Neural Network (ANN) and Support Vector Machine (SVM), selected based on other research projects. A quasi-experiment evaluates the two machine learning algorithms trained on the same data. The dataset used in the experiment was complex and contained 47,212 rows of samples with features of items from a production setting. Both models performed better than the current system, with ANN reaching 97,5% and SVM 98% on all measurements. The ANN and SVM models differed in training time where ANN took almost 205 seconds and SVM took 1.97 seconds, ANN was however 20 times faster to classify. We conclude that ANN and SVM are feasible options for using Artificial Intelligence (AI) to classify items in an industrial environment with similar scenarios.

This study was conducted in collaboration with BAE Systems Hägglunds in Örnsköldsvik. They wanted help with their objective of researching the necessary components of a testability analysis. The primary goal was to enhance the efficiency of troubleshooting and diagnostics for their combat vehicle, Cv90. As their vehicles become increasingly advanced, troubleshooting can become challenging and time-consuming. An example of a problem that can arise is when an error code is displayed to the crew, but the technicians at the workshop are unable to identify the root cause of the error. To gather information, scientific articles and other relevant documents were extensively reviewed. Additionally, interviews were conducted with employees at BAE. The scope of the study was limited to troubleshooting within a workshop setting, rather than in the field. It was assumed that the troubleshooting equipment and software were functional, and the focus was solely on identifying faulty components. The research was conducted both in Umeå and on-site in Örnsköldsvik. A methodology for implementing a fault detection system with effective testability was developed. This encompassed considerations for the construction and content of the troubleshooting system. Determining the system's requirements and devising methods for testing their fulfillment were crucial aspects. Prioritization of different functions based on their criticality was recommended. Critical functions should be addressed first and may require more costly and intricate solutions. Various approaches to enhance troubleshooting at a more granular level were identified. These included establishing better threshold values, accounting for measurement uncertainties in the test equipment, and emphasizing the importance of a robust test design that considers deviations from system equilibrium. Additionally, worn components were recognized as a potential cause for false indications that are challenging to diagnose. It is important to note that these improved fault detection methods have not yet been implemented in the vehicles. / Studien genomfördes i samarbete med BAE Systems Hägglunds i Örnsköldsvik. De ville få hjälp med sitt mål att undersöka de nödvändiga komponenterna i en testabilityanalys. Det primära målet var att effektivisera felsökning och diagnostisering av deras stridsfordon, Cv90. När deras fordon blir alltmer avancerade kan felsökningen bli utmanande och tidskrävande. Ett exempel på ett problem som kan uppstå är att en felkod visas för besättningen, men teknikerna på verkstaden kan inte identifiera orsaken till felet. För att samla information gjordes en omfattande granskning av vetenskapliga artiklar och andra relevanta dokument. Dessutom genomfördes intervjuer med anställda på BAE. Studiens omfattning var begränsad till felsökning på verkstaden, snarare än i fält. Det antogs att felsökningsutrustningen och programvaran var funktionella, och fokus låg enbart på att identifiera felaktiga komponenter. Arbetet utfördes både i Umeå och på plats i Örnsköldsvik. En metodik för att implementera ett felsökningssystem med god testbarhet utvecklades. Detta omfattade överväganden för felsökningssystemets konstruktion och innehåll. Att bestämma systemets krav och utforma metoder för att testa deras uppfyllnad var avgörande aspekter. Prioritering av olika funktioner baserat på deras kritikalitet rekommenderades. Kritiska funktioner bör åtgärdas först och kan kräva mer kostsamma och invecklade lösningar. Olika metoder för att förbättra felsökning på en mer detaljerad nivå identifierades. Dessa inkluderade att fastställa bättre tröskelvärden, ta hänsyn till mätosäkerheter i testutrustningen och betona vikten av en robust testdesign som tar hänsyn till avvikelser från systemjämvikt. Dessutom identifierades slitna komponenter som en potentiell orsak till felaktiga indikationer som är svåra att diagnostisera. Det är viktigt att notera att dessa förbättrade felsökningsmetoder ännu inte har implementerats i fordonen.

A customers propensity to buy a certain product is a widely researched field and is applied in multiple industries. In this thesis it is showed that using binary classification on data from Scandinavian Airlines can predict their customers propensity to book a flight within the next coming seven days. A comparison between logistic regression and support vector machine is presented and logistic regression with reduced number of variables is chosen as the final model, due to it’s simplicity and accuracy. The explanatory variables contains exclusively booking history, whilst customer demographics and search history is showed to be insignificant. / En kunds benägenhet att göra ett visst köp är ett allmänt undersökt område som applicerats i flera olika branscher. I den här studien visas det att statistiska binära klassificeringsmodeller kan användas för att prediktera Scandinavian Airlines kunders benägenhet att köpa en resa de kommande sju dagarna. En jämförelse är presenterad mellan logistisk regression och stödvektormaskin och logistisk regression med reducerat antal parametrar väljs som den slutgiltiga modellen tack vare sin enkelhet och träffsäkerhet. De förklarande variablerna är uteslutande bokningshistorik medan kundens demografi och sökdata visas vara insignifikant.

This report explores whether machine learning methods such as regression and classification can be used with the goal of estimating the resolution time of trouble tickets in a telecommunications network. Historical trouble ticket data from Telenor were used to train different machine learning models. Three different machine learning classifiers were built: a support vector classifier, a logistic regression classifier and a deep neural network classifier. Three different machine learning regressors were also built: a support vector regressor, a gradient boosted trees regressor and a deep neural network regressor. The results from the different models were compared to determine what machine learning models were suitable for the problem. The most important features for estimating the trouble ticket resolution time were also investigated. Two different prediction scenarios were investigated in this report. The first scenario uses the information available at the time of ticket creation to make a prediction. The second scenario uses the information available after it has been decided whether a technician will be sent to the affected site or not. The conclusion of the work is that it is easier to make a better resolution time estimation in the second scenario compared to the first scenario. The differences in results between the different machine learning models were small. Future work can include more information and data about the underlying root cause of the trouble tickets, more weather data and power outage information in order to make better predictions. A standardised way of recording and logging ticket data is proposed to make a future trouble ticket time estimation easier and reduce the problem of missing data. / Den här rapporten undersöker om maskininlärningsmetoder som regression och klassificering kan användas för att uppskatta hur lång tid det tar att lösa en felanmälan i ett telenät. Data från tidigare felanmälningar användes för att träna olika maskininlärningsmodeller. Tre olika klassificerare byggdes: en support vector-klassificerare, en logistic regression-klassificerare och ett neuralt nätverk-klassificerare. Tre olika regressionsmodeller byggdes också: en support vector-regressor, en gradient boosted trees-regressor och ett neuralt nätverk-regressor. Resultaten från de olika modellerna jämfördes för att se vilken modell som är lämpligast för problemet. En undersökning om vilken information och vilka datavariabler som är viktigast för att uppskatta tiden det tar att lösa felanmälan utfördes också. Två olika scenarion för att uppskatta tiden har undersökts i rapporten. Det första scenariot använder informationen som är tillgänglig när en felanmälan skapas. Det andra scenariot använder informationen som finns tillgänglig efter det har bestämts om en tekniker ska skickas till den påverkade platsen. Slutsatsen av arbetet är att det är lättare att göra en bra tidsuppskattning i det andra scenariot jämfört med det första scenariot. Skillnaden i resultat mellan de olika maskininlärningsmodellerna var små. Framtida arbete inom ämnet kan använda information och data om de bakomliggande orsakerna till felanmälningarna, mer väderdata och information om elavbrott. En standardiserad metod för att samla in och logga data för varje felanmälan föreslås också för att göra framtida tidsuppskattningar bättre och undvika problemet med datapunkter som saknas.

Being able to keep track of ones assets is a very useful thing, from avoiding losing ones keys or phone to being able to find the needed equipment in a busy hospital or on a construction site. The area of localization is actively evolving to find the best ways to accurately track objects and devices in an energy efficient manner, at any range, and in any type of environment. This thesis focuses on the last aspect of maintaining accurate localization regardless of environment. For radio frequency based systems, challenging environments containing many obstacles, e.g., indoor or urban areas, have a detrimental effect on the measurements used for positioning, making them deceptive. In this work, a method for correcting range measurements is proposed for a narrowband sub-GHz radio frequency based localization system using Received Signal Strength Indicator (RSSI) and Time-of-Flight (ToF) measurements for positioning. Three different machine learning models were implemented: a linear regressor, a least squares support vector machine regressor and a gaussian process regressor. They were compared in their ability to predict the true range between devices based on raw range measurements. Achieved was a 69.96 % increase in accuracy compared to uncorrected ToF estimates and a 88.74 % increase in accuracy compared to RSSI estimates. When the corrected range estimates were used for positioning with a trilateration algorithm using least squares estimation, a 67.84 % increase in accuracy was attained compared to positioning with uncorrected range estimates. This shows that this is an effective method of improving range estimates to facilitate more accurate positioning. / Att kunna hålla reda på var ens tillgångar befinner sig kan vara mycket användbart, från att undvika att ens nycklar eller telefon tappas bort till att kunna hitta utrustningen man behöver i ett myllrande sjukhus eller på en byggarbetsplats. Området av lokalisering utvecklas aktivt för att hitta de bästa metoderna och teknologierna för att med precision kunna spåra fysiska objekt på ett energieffektivt sätt, på vilken räckvidd som helst, och i vilken miljö som helst. Detta arbete fokuserar på den sista aspekten av att uppnå precis positionering oavsett miljö. För radiofrekvensbaserade system har utmanande miljöer med många fysiska hinder som till exempel inomhus och stadsområden en negativ effekt på de mätningar som används för positionering, vilket gör dem vilseledande. I detta arbete föreslås en metod för att korrigera avståndsmätningar i ett narrowband sub-GHz radiofrekvensbaserat lokaliseringssystem som använder Received Signal Strength Indicator (RSSI)- och Time-of-Flight (ToF)-mätningar för positionering. Tre olika maskininlärningsmodeller har implementerats: en linear regressor, en least squares support vector machine regressor och en gaussian process regressor. Dessa jämfördes i sin förmåga att förutspå det sanna avståndet mellan enheter baserat på råa avståndsmätningar. De korrigerade avståndsmätningarna uppnådde 69.96 % högre nogrannhet jämfört med okorrigerade ToF-uppskattningar och 88.74 % högre nogrannhet jämfört med RSSI-uppskattningar. Avståndsuppskattningarna användes för positionering med trilateration och minsta kvadratmetoden. De korrigerade uppskattningarna gav 67.84 % mer precis positionering jämfört med de okorrigerde uppskattningarna. Detta visar att detta är en effektiv metod förbättra avståndsuppskattningarna för att i sin tur bidra till mer exakt positionering.

This master thesis project is carried out by one student at the Royal Institute of Technology in collaboration with Cybercom Group. The aim was to evaluate and compare system design strategies for fruit recognition in harvesting robots and the performance of supervised machine learning classification methods when applied to this specific task. The thesis covers the basics of these systems; to which parameters, constraints, requirements, and design decisions have been investigated. The framework is used as a foundation for the implementation of both sensing system, and processing and classification algorithms. A plastic tomato plant with fruit of varying maturity was used as a basis for training and testing, and a Kinect v2 for Windows including sensors for high resolution color-, depth, and IR data was used for image acquisition. The obtained data were processed and features of objects of interest extracted using MATLAB and a SDK for Kinect provided by Microsoft. Multiple views of the plant were acquired by having the plant rotate on a platform controlled by a stepper motor and an Ardunio Uno. The algorithms tested were binary classifiers, including Support Vector Machine, Decision Tree, and k-Nearest Neighbor. The models were trained and validated using a five fold cross validation in MATLABs Classification Learner application. Peformance metrics such as precision, recall, and the F1-score, used for accuracy comparison, were calculated. The statistical models k-NN and SVM achieved the best scores. The method considered most promising for fruit recognition purposes was the SVM. / Det här masterexamensarbetet har utförts av en student från Kungliga Tekniska Högskolan i samarbete med Cybercom Group. Målet var att utvärdera och jämföra designstrategier för igenkänning av frukt i en skörderobot och prestandan av klassificerande maskininlärningsalgoritmer när de appliceras på det specifika problemet. Arbetet omfattar grunderna av dessa system; till vilket parametrar, begränsningar, krav och designbeslut har undersökts. Ramverket användes sedan som grund för implementationen av sensorsystemet, processerings- och klassifikationsalgoritmerna. En tomatplanta i pplast med frukter av varierande mognasgrad användes som bas för träning och validering av systemet, och en Kinect för Windows v2 utrustad med sensorer för högupplöst färg, djup, och infraröd data anvöndes för att erhålla bilder. Datan processerades i MATLAB med hjälp av mjukvaruutvecklingskit för Kinect tillhandahållandet av Windows, i syfte att extrahera egenskaper ifrån objekt på bilderna. Multipla vyer erhölls genom att låta tomatplantan rotera på en plattform, driven av en stegmotor Arduino Uno. De binära klassifikationsalgoritmer som testades var Support Vector MAchine, Decision Tree och k-Nearest Neighbor. Modellerna tränades och valideras med hjälp av en five fold cross validation i MATLABs Classification Learner applikation. Prestationsindikatorer som precision, återkallelse och F1- poäng beräknades för de olika modellerna. Resultatet visade bland annat att statiska modeller som k-NN och SVM presterade bättre för det givna problemet, och att den sistnömnda är mest lovande för framtida applikationer.

Portfolio managers have a great interest in detecting high-performing stocks early on. Detecting outperforming stocks has for long been of interest from a research as well as financial point of view. Quantitative methods to predict stock movements have been widely studied in diverse contexts, where some present promising results. The quantitative algorithms for such prediction models can be, to name a few, support vector machines, tree-based methods, and regression models, where each one can carry different predictive power. Most previous research focuses on indices such as S&P 500 or large-cap stocks, while small- and micro-cap stocks have been examined to a lesser extent. These types of stocks also commonly share the characteristic of high volatility, with prospects that can be difficult to assess. This study examines to which extent widely studied quantitative methods such as random forest, support vector machine, and logistic regression can produce accurate predictions of stock price directions on a quarterly and yearly basis. The problem is modeled as a binary classification task, where the aim is to predict whether a stock achieves a return above or below a benchmark index. The focus lies on Asian small- and micro-cap stocks. The study concludes that the random forest method for a binary yearly prediction produces the highest accuracy of 69.64%, where all three models produced higher accuracy than a binary quarterly prediction. Although the statistical power of the models can be ruled adequate, more extensive studies are desirable to examine whether other models or variables can increase the prediction accuracy for small- and micro-cap stocks. / Portföljförvaltare har ett stort intresse av att upptäcka högpresterande aktier tidigt. Detektering av högavkastande aktier har länge varit av stort intresse dels i forskningssyfte men också ur ett finansiellt perspektiv. Kvantitativa metoder för att förutsäga riktning av aktiepriset har studerats i stor utsträckning där vissa presenterar lovande resultat. De kvantitativa algoritmerna för sådana prediktionsmodeller kan vara, för att nämna ett fåtal, support vector machines, trädbaserade metoder och regressionsmodeller, där var och en kan bära olika prediktiv kraft. Majoriteten av tidigare studier fokuserar på index såsom S&P 500 eller storbolagsaktier, medan små- och mikrobolagsaktier har undersökts i mindre utsträckning. Dessa sistnämnda typer av aktier innehar ofta en hög volatilitet med framtidsutsikter som kan vara svåra att bedöma. Denna studie undersöker i vilken utsträckning väletablerade kvantitativa modeller såsom random forest, support vector machine och logistisk regression, kan ge korrekta förutsägelser av små- och mikrobolags aktiekursriktningar på kvartals- och årsbasis. I avhandlingen modelleras detta som ett binärt klassificeringsproblem, där avkastningen för varje aktie antingen är över eller under jämförelseindex. Fokuset ligger på asiatiska små-och mikrobolag. Studien drar slutsatsen att random forest för en binär årlig prediktion ger den högsta noggrannheten på 69,64 %, där samtliga tre modeller ger högre noggrannhet än en binär kvartalsprediktion. Även om modellerna bedöms vara statistiskt säkerställda, är det önskvärt med fler omfattande studier för att undersöka om andra modeller eller variabler kan öka noggrannheten i prediktionen för små- och mikrobolags aktiekursriktning.

In the manufacturing industry, predictive maintenance (PdM) stands out by leveraging data analytics and IoT technologies to predict machine failures, offering a significant advancement over traditional reactive and scheduled maintenance practices. The aim of this thesis was to examine how anomaly detection algorithms could be utilized to anticipate potential breakdowns in manufacturing operations, while also investigating the feasibility and potential benefits of integrating PdM strategies into a production line. The methodology of this projectconsisted of a literature review, application of machine learning (ML) algorithms, and conducting interviews. Firstly, the literature review provided a foundational basis to explore the benefits of PdM and its impact on production line productivity, thereby shaping the development of interview questions. Secondly, ML algorithms were employed to analyze data and predict equipment failures. The algorithms used in this project were: Isolation Forest (IF), Local Outlier Factor (LOF), Logistic Regression (LR), One-Class Support Vector Machine(OC-SVM) and Random Forest (RF). Lastly, interviews with production line personnel provided qualitative insights into the current maintenance practices and perceptions of PdM. The findings from this project underscore the efficacy of the IF model in identifying potential equipment failures, emphasizing its key role in improving future PdM strategies to enhance maintenance schedules and boost operational efficiency. Insights gained from both literature and interviews underscore the transformative potential of PdM in refining maintenance strategies, enhancing operational efficiency, and minimizing unplanned downtime. More broadly, the successful implementation of these technologies is expected to revolutionize manufacturing processes, driving towards more sustainable and efficient industrial operations. / I tillverkningsindustrin utmärker sig prediktivt underhåll (PdM) genom att använda dataanalys och IoT-teknologier för att förutse maskinfel, vilket erbjuder ett betydande framsteg jämfört med traditionella reaktiva och schemalagda underhållsstrategier. Syftet med denna avhandling var att undersöka hur algoritmer för avvikelsedetektering kunde användas för att förutse potentiella haverier i tillverkningsoperationer, samtidigt som genomförbarheten och de potentiella fördelarna med att integrera PdM-strategier i en produktionslinje undersöktes. Metodologin för detta projekt bestod av en litteraturöversikt, tillämpning av maskininlärningsalgoritmer (ML) och genomförande av intervjuer. Först och främst gav litteraturöversikten en grundläggande bas för att utforska fördelarna med PdM och dess inverkan på produktionslinjens produktivitet, vilket därmed påverkade utformningen av intervjufrågorna. För det andra användes ML-algoritmer för att analysera data och förutsäga utrustningsfel. Algoritmerna som användes i detta projekt var: Isolation Forest (IF), Local Outlier Factor (LOF), Logistic Regression (LR), One-Class Support Vector Machine (OCSVM) och Random Forest (RF). Slutligen gav intervjuer med produktionslinjepersonal kvalitativa insikter i de nuvarande underhållsstrategierna och uppfattningarna om PdM.Resultaten från detta projekt understryker effektiviteten hos IF-modellen för att identifiera potentiella utrustningsfel, vilket betonar dess centrala roll i att förbättra framtida PdM-strategier för att förbättra underhållsscheman och öka den operativa effektiviteten. Insikter vunna från både litteratur och intervjuer understryker PdM:s transformativa potential att finslipa underhållsstrategier, öka operativ effektivitet och minimera oplanerade driftstopp. Mer generellt förväntas den framgångsrika implementeringen av dessa teknologier revolutionera tillverkningsprocesser och driva mot mer hållbara och effektiva industriella operationer.

明天股票的價格是會漲還是會跌呢? 明天到底會不會下雨? 下期樂透開獎會是哪些號碼呢? 未來不知道會發生哪些事情? 大家總是希望能夠未卜先知、洞悉未來! 可是我們要如何進行預測呢? 本文比較了不同時間序列模型的預測績效, 而且測試預測的結合是否能夠改進預測的準確度? 時間序列模型的研究在近年來非常蓬勃地發展, 所以本文簡單介紹了時間序列模型(Time series models)當中的線性AR模型、非線性TAR模型、非線性STAR模型, 以及這些模型該如何來進行在樣本外的預測。 同時本文說明了預測的結合(Combined forecast)該如何進行? 預測結合的目的是希望能夠達到截長補短的效果! 除了傳統迴歸(Regression-based)方法和變動係數(Time-varying coefficients)方法外, 本文提出了兩種非迴歸類型的預測結合方法, 績效權數(Fitness weight)和支向機(Support Vector Machine)。 其中主要的焦點放在支向機, 因為迴歸方法可能會有共線性的問題, 支向機則是沒有這個問題。 本文實證的結果顯示, 在時間序列模型方面, 非線性模型的預測能力, 在大多數的情形底下, 都不如簡單的線性AR模型; 在預測結合的方面, 支向機的績效是和迴歸方法的績效是差不多的, 這兩者都比變動係數方法的績效來得穩固, 可是如果基底模型的預測值存在共線性的問題或樣本數目過少的問題, 那麼支向機的績效是優於迴歸方法的績效。 最後, 時間序列模型的預測績效會受到資料性質的影響, 而有極大的改變, 或許我們可以考慮使用比較保險的預測策略-預測結合, 因為預測結合的預測誤差範圍是小於時間序列模型的預測誤差範圍!