Sustainable management of finite resources is vital for ensuring livable conditions for both current and future generations. Measuring the total water consumption of residential households at high temporal resolutions and automatically disaggregating the sole signal into classified end usages (e.g. shower, sink) allows for identification of behavioural patterns that could be improved to minimise wasteful water consumption. Such disaggregation is not trivial, as water consuming patterns vary greatly depending on consumer behaviour, and further since at any given time, an unknown amount of fixtures may be used simultaneously. In this work, we approach the disaggregation problem by evaluating the performance of a set of recurrent and convolutional neural network structures provided approximately one year of high resolution water consumption data from a single apartment in Sweden. Unlike previous approaches to the problem, we let the models process the full, uninterrupted flow traces (as opposed to extracted segments of water consuming activity) in order to allow for temporal dependencies within and between water consuming activities to be learned. Out of four networks applied to the task, we find that a deeper temporal convolutional network structure yields the best overall results on the test data, with prediction accuracy of 85% and F1-score above 0.8 averaged over all end-use categories - a performance exceeding that of commercial analysis tools, and comparable to components of current state-of-the-art approaches. However, significant decreases in performance are observed for all of the networks, particularly for toilet and washing machine activity, when evaluating the models on unseen and augmented data from the apartment, indicating the results can not be fully generalised for usage in other households. / Hållbar användning av ändliga resurser är avgörande för att försäkra god livskvalitet för både nutida och framtida generationer. I Sverige är vatten för många en självklarhet, vilket öppnar upp för slösaktigt användande. En metod för att utbilda användare och identifiera icke hållbara beteenden är att kvantifiera vattenförbrukningen i hushåll baserat på syfte (t.ex. tvätta händerna, diska) eller källa (t.ex. dusch, handfat) av slutanvändningen. För att göra en sådan sammanställning mäts den totala åtkomsten av vatten i hög upplösning från hushåll, och signalen delas sedan upp i respektive kategori av slutanvändning. En sådan disaggregering är inte trivial, och försvåras av skillnader i beteendemönster hos användare samt faktumet att vi inte vid någon tidpunkt vet hur många vattenarmaturer som används samtidigt. I syftet att förbättra nuvarande tekniker för disaggregeringsproblemet implementerar och utvärderar vi alternativa lösningar baserade på rekurrenta och konvolutionerande neurala nätverk, på flödesdata insamlad med hög upplösning från en lägenhet i Sverige under en period av cirka ett år. Till skillnad från tidigare förhållningssätt till problemet låter vi våra modeller bearbeta den fullständiga, oavbrutna, flödesdatan (i motsats till extraherade segment av vattenförbrukande aktiviteter) för att möjliggöra lärandet av tidsmässiga beroenden inom och mellan vattenförbrukande aktiviteter. Utav fyra testade nätverk finner vi att ett djupt konvolutionerande nätverk ger den bästa klassificeringen överlag, givet testdata, med genomsnittlig igenkänningsnogrannhet på 85%. Signifikant försämrade resultat observerades för samtliga modeller i kategorierna toalett och tvättmaskin när nätverken testades på augmenterad data från hushållet, vilket indikerar att resultaten inte kan generaliseras för användning i andra lägenheter.

This thesis is focused on developing vibration based terrain classification for an autonomous mining truck. The goal is to classify between good and bad gravel roads as well as good and bad asphalt roads. Current literature within vibration based terrain classification has been focused to a great extent on smaller research vehicles. On smaller research vehicles have roll-rate, pitch-rate and vertical acceleration been reported to yield the highest average classification rates. Common approaches for pre-processing the data consists of segmenting the data, apply filtering techniques, computing the Power Spectra Density (PSD), performing Principal Component Analysis (PCA) and compute the logarithms. How to do this specifically for an Autonomous Truck (AT) is not trivial. What signals from the trucks Internal Measurement Unit (IMU)s yields the highest average classification rates? How does one process the raw data in the best way, and what classification method performs the best for this for an AT? The AT studied here have five different IMUs that all measure ẍ, ÿ, z̈ acceleration, and ωroll, ωpitch, ωyaw rotational speed. One is located in the cab, and the other four are located in each of the four corners of the chassis. With these sensors empirical vibration data from different surfaces, speeds and loads was gathered with multiple identically equipped autonomous mining trucks. With this data were experiments conducted in order to find a high performing classifier that also was possible to implement in the ATs software in C++. The different signals were ranked according to the highest classification score, and different pre-processing parameters combined with different classification methods likewise were. ωyaw and ωpitch from the cab IMU, and z̈ from the rear right IMU were the ones that yielded the highest average classification rates. The pre-processing consists of segmenting the data, multiplying the segment with a window function, compute the one-sided PSD, logarithmize the PSD values and lastly normalize the data. A bagged classifier based on Support Vector Machine (SVM) with a Radial Basis Function (RBF) kernel showed the highest classification performance. The final multiclass classifier was a combination of three of these bagged classifiers in a tree structure. The F-measure rates for the four classes were {0.946, 0.98, 0.714, 0.879}. / Denna uppsats är fokuserad på att utveckla en vibrationsbaserad terrängigenkänningsalgoritm för en automatiserad tung lastbil som kommer att framföras i ojämn terräng, som ska klara av att känna igen bra och dåliga grusvägar, samt bra och dåliga asfaltsvägar. Befintlig litteratur inom området vibrationsbaserad terrängigenkänning har varit fokuserad i stor utsträckning på mindre forskningsfordon. På dessa är {ωrull, ωstigning, z̈} de signaler som resulterar i de högsta genomsnittliga korrekta terrängklassifikationerna. Befintliga förbearbetningmetoder för datan består i majoriteten av fallen av att segmentera och filtrera datan, beräkna spektrala effekttätheten (PSD) och logaritmera. Hur man gör detta är inte trivialt. Vilka signaler från lastbilens fem IMUer resulterar i det högsta prestandan för terrängigenkänning? Hur förarbetar man datan? Lastbilen studerad här har fem IMUer som har sex kanaler vardera, de mäter ẍ, ÿ, z̈ acceleration, och ωrull, ωstigning, ωgir rotationshastighet. En är placerad i lastbilens hytt och de andra fyra är placerade i varje hörn på chassit. Med dessa sensorer samlades vibrationsdata in på de fyra underlagen, med olika lastbilar, med olika last på flaket och med olika autonoma lastbilar, men som var konfigurerade på samma sätt. Experiment utfördes för att bestämma vilka signaler-, vilken förbearbetningsmetod på datan- samt vilken klassifieringsmetod som presterar bäst för den automatiserade lastbilen. Algoritmen var också anpassad för att vara möjlig att implementera i lastbilens mjukvara utan externa maskininlärnings bibliotek. De högst presterande signalerna var ωgir och ωstigning från IMUn i hytten, samt z̈ från IMUn monterad i chassits bakre högra hörn. Förbearbetningen bestod av att segmentera datasignalen, multiplicera den med en fönsterfunktion för att sedan beräkna den ensidiga spektrala effekttätheten (PSD), logaritmera alla värden och till slut normalisera datan. En stödvektormaskin (SVM) med en RBF kärna påvisade högst genomsnittliga klassifikationsresultat. Den slutgiltiga binära klassifieraren applicerade bagging för att förbättra prestandan genom att kombinera data från alla de tre högst presterande signalerna. Den slutgiltiga klassifieraren tränades på att skilja mellan de olika underlagen och var en kombination av tre bagged klassifierare i en trädstruktur. Prestandan med avseende på F-Measure för de fyra klasserna var {0.946, 0.98, 0.714, 0.879}.

Sensor fault detection is an actively researched area and there are a plethora of studies on sensor fault detection in various applications such as nuclear power plants, wireless sensor networks, weather stations and nuclear fusion. However, there does not seem to be any study focusing on detecting sensor faults in the threaded fastening assembly application. Since the threaded fastening tools use torque and angle measurements to determine whether or not a screw or bolt has been fastened properly, faulty measurements from these sensors can have dire consequences. This study aims to investigate the use of machine learning to detect a subtle kind of sensor faults, common in this application, that are difficult to detect using canonical model-based approaches. Because of the subtle and infrequent nature of these faults, a two-stage system was designed. The first component of this system is given sensor data from a tightening and then tries to classify each data point in the sensor data as normal or faulty using a combination of low-pass filtering to generate residuals and a support vector machine to classify the residual points. The second component uses the output from the first one to determine if the complete tightening is normal or faulty. Despite the modest performance of the first component, with the best model having an F1-score of 0.421 for classifying data points, the design showed promising performance for classifying the tightening signals, with the best model having an F1-score of 0.976. These results indicate that there indeed exist patterns in these kinds of torque and angle multi-sensor signals that make machine learning a feasible approach to classify them and detect sensor faults. / Sensorfeldetektering är för nuvarande ett aktivt forskningsområde med mängder av studier om feldetektion i olika applikationer som till exempel kärnkraft, trådlösa sensornätverk, väderstationer och fusionskraft. Ett applikationsområde som inte verkar ha undersökts är det inom åtdragningsmontering. Eftersom verktygen inom åtdragningsmontering använder mätvärden på vridmoment och vinkel för att avgöra om en skruv eller bult har dragits åt tillräckligt kan felaktiga mätvärden från dessa sensorer få allvarliga konsekvenser. Målet med denna studie är att undersöka om det går att använda maskininlärning för att detektera en subtil sorts sensorfel som är vanlig inom åtdragningsmontering och har visat sig vara svåra att detektera med konventionella modell-baserade metoder. I och med att denna typ av sensorfel är både subtila och infrekventa designades ett system bestående av två komponenter. Den första får sensordata från en åtdragning och försöker klassificera varje datapunkt som antingen normal eller onormal genom att uttnyttja en kombination av lågpassfiltrering för att generera residualer och en stödvektormaskin för att klassificera dessa. Den andra komponenten använder resultatet från den första komponenten för att avgöra om hela åtdragningen ska klassificeras som normal eller onormal. Trots att den första komponenten hade ett ganska blygsamt resultat på att klassificera datapunkter så visade systemet som helhet mycket lovande resultat på att klassificera hela åtdragningar. Dessa resultat indikerar det finns mönster i denna typ av sensordata som gör maskininlärning till ett lämpligt verktyg för att klassificera datat och detektera sensorfel.

Recent advancements in machine learning and the widespread adoption of electronic healthrecords have enabled breakthroughs for several predictive modelling tasks in health care. One such task that has seen considerable improvements brought by deep neural networks is length of stay (LOS) prediction, in which research has mainly focused on adult patients in the intensive care unit. This thesis uses multivariate time series extracted from the publicly available Medical Information Mart for Intensive Care III database to explore the potential of deep learning for classifying the remaining LOS of newborns in the neonatal intensive care unit (NICU) at each hour of the stay. To investigate this, this thesis describes experiments conducted with various deep learning models, including long short-term memory cells, gated recurrentunits, fully-convolutional networks and several composite networks. This work demonstrates that modelling the remaining LOS of newborns in the NICU as a multivariate time series classification problem naturally facilitates repeated predictions over time as the stay progresses and enables advanced deep learning models to outperform a multinomial logistic regression baseline trained on hand-crafted features. Moreover, it shows the importance of the newborn’s gestational age and binary masks indicating missing values as variables for predicting the remaining LOS. / Framstegen inom maskininlärning och det utbredda införandet av elektroniska hälsoregister har möjliggjort genombrott för flera prediktiva modelleringsuppgifter inom sjukvården. En sådan uppgift som har sett betydande förbättringar förknippade med djupa neurala nätverk är förutsägelsens av vistelsetid på sjukhus, men forskningen har främst inriktats på vuxna patienter i intensivvården. Den här avhandlingen använder multivariata tidsserier extraherade från den offentligt tillgängliga databasen Medical Information Mart for Intensive Care III för att undersöka potentialen för djup inlärning att klassificera återstående vistelsetid för nyfödda i den neonatala intensivvårdsavdelningen (neonatal-IVA) vid varje timme av vistelsen. Denna avhandling beskriver experiment genomförda med olika djupinlärningsmodeller, inklusive longshort-term memory, gated recurrent units, fully-convolutional networks och flera sammansatta nätverk. Detta arbete visar att modellering av återstående vistelsetid för nyfödda i neonatal-IVA som ett multivariat tidsserieklassificeringsproblem på ett naturligt sätt underlättar upprepade förutsägelser över tid och gör det möjligt för avancerade djupa inlärningsmodeller att överträffaen multinomial logistisk regressionsbaslinje tränad på handgjorda funktioner. Dessutom visar det vikten av den nyfödda graviditetsåldern och binära masker som indikerar saknade värden som variabler för att förutsäga den återstående vistelsetiden.

An automated manufacturing industry makes use of many interacting moving parts and sensors. Data from these sensors generate complex multidimensional data in the production environment. This data is difficult to interpret and also difficult to find patterns in. This project provides tools to get a deeper understanding of Swedsafe’s production data, a company involved in an automated manufacturing business. The project is based on and will show the potential of the multidimensional production data. The project mainly consists of predicting deviations from predefined threshold values in Swedsafe’s production data. Machine learning is a good method of finding relationships in complex datasets. Supervised machine learning classification is used to predict deviation from threshold values in the data. An investigation is conducted to identify the classifier that performs best on Swedsafe's production data. The technique sliding window is used for managing time series data, which is used in this project. Apart from predicting deviations, this project also includes an implementation of live graphs to easily get an overview of the production data. A steady production with stable process values is important. So being able to monitor and predict events in the production environment can provide the same benefit for other manufacturing companies and is therefore suitable not only for Swedsafe. The best performing machine learning classifier tested in this project was the Random Forest classifier. The Multilayer Perceptron did not perform well on Swedsafe’s data, but further investigation in recurrent neural networks using LSTM neurons would be recommended. During the projekt a web based application displaying the sensor data in live graphs is also developed.

This thesis addresses the problem where we want to apply machine learning over a small data set of multivariate time series. A challenge when classifying data is when the data set is small and overfitting is at risk. Augmentation of small data sets might avoid overfitting. The multivariate time series used in this project represent motion data of people with reconstructed ACLs and a control group. The approach was pairing motion data from the training set and using Euclidean Barycentric Averaging to create a new set of synthetic motion data so as to increase the size of the training set. The classifiers used were Dynamic Time Warping -One Nearest neighbour and Time Series Forest. In our example we found this way of increasing the training set a less productive strategy. We also found Time Series Forest to generally perform with higher accuracy on the chosen data sets, but there may be more effective augmentation strategies to avoid overfitting.

No description available.