Decentralized Machine Learning could address some problematic facets with Federated Learning. There is no central server acting as an arbiter of whom or what may benefit from Machine Learning models created by the vast amount of data becoming available in recent years. It could also increase the reliability and scalability of Machine Learning systems thereby drawing the benefit of having more data accessible. Gossip Learning is such a protocol, but has primarily been designed with linear models in mind. How does Gossip Learning perform when training Deep Neural Networks? Could it be a viable alternative to Federated Learning? In this thesis, we implement Gossip Learning using two different model merging strategies. We also design and implement two extensions to this protocol with the goal of achieving higher performance when training under churn. The training methods are compared on two tasks: image classification on the Federated Extended MNIST dataset and time- series forecasting on the NN5 dataset. Additionally, we also run an experiment where learners churn, alternating between being available and unavailable. We find that Gossip Learning performs slightly better in settings where learners do not churn but is vastly outperformed in the setting where they do. / Decentraliserad Maskinginlärning kan lösa några problematiska aspekter med Federated Learning. Det finns ingen central server som agerar som domare för vilka som får gagna av Maskininlärningsmodellerna skapad av den stora mäng data som blivit tillgänglig på senare år. Det skulle också kunna öka pålitligheten och skalbarheten av Maskininlärningssystem och därav dra nytta av att mer data är tillgänglig. Gossip Learning är ett sånt protokoll, men det är primärt designat med linjära modeller i åtanke. Hur presterar Gossip Learning när man tränar Djupa Neurala Nätverk? Kan det vara ett möjligt alternativ till Federated Learning? I det här exjobbet implementerar vi Gossip Learning med två olika modelsammanslagningstekniker. Vi designar och implementerar även två tillägg till protokollet med målet att uppnå bättre prestanda när man tränar i system där noder går ner och kommer up. Träningsmetoderna jämförs på två uppgifter: bildklassificering på Federated Extended MNIST datauppsättningen och tidsserieprognostisering på NN5 datauppsättningen. Dessutom har vi även experiment då noder alternerar mellan att vara tillgängliga och otillgängliga. Vi finner att Gossip Learning presterar marginellt bättre i miljöer då noder alltid är tillgängliga men är kraftigt överträffade i miljöer då noder alternerar mellan att vara tillgängliga och otillgängliga.

Nowadays, a significant proportion of the population in the world is affected by cerebral diseases like epilepsy. In this study, frequency domain features of electroencephalography (EEG) signals were studied and analyzed, with a view being able to detect epileptic seizures more easily. The power spectrum and spectrogram were determined by using fast fourier transform (FFT) and the scalogram was found by performing continuous wavelet transform (CWT) on the testing EEG signal. In addition, two schemes, i.e. method 1 and method 2, were implemented for detecting epileptic seizures and the applicability of the two methods to electrocardiogram (ECG) signals were tested. A third method for anomaly detection in ECG signals was tested. / En signifikant del av population påverkas idag av neurala sjukdomar som epilepsi. I denna studie studerades och analyserades egenskaper inom frekvensdomänen av elektroencefalografi (EEG), med sikte på att lättare kunna upptäcka epileptiska anfall. Effektspektrumet och spektrogramet bestämdes med hjälp av en snabb fouriertransform och skalogrammet hittades genom att genomföra en kontinuerlig wavelet transform (CWT) på testsignalen från EEGsignalen. I addition till detta skapades två system, metod 1 och metod 2, som implementerades för att upptäcka epileptiska anfall. Användbarheten av dessa två metoder inom elektrokardiogramsignaler (ECG) testades. En tredje metod för anomalidetektering i ECGsignaler testades.

It is well documented that Augmented Reality (AR) enhances and supports learning. Earlier research compares AR applications with existing methods. Published research typically focuses on one AR in general. Nevertheless, there are different ways of using AR. This paper gives further insight into how to use AR as a learning tool as part of a museum experience. It focuses on AR through smartphones, where the world is measured through the phone’s sensors and the virtual content is displayed on the device’s screen. This thesis presents the results of a comparative study between two types of AR: In-world space and On-screen space. In-world space AR renders the virtual content registered onto the physical exhibition. On-screen space AR renders the virtual content on the screen of the phone and uses the physical space of the exhibition as an index retrieval point. The discussion emerging from this study aims to aid the development and design of AR applications at museum settings, by giving curators better understanding of design options in AR spaces. Qualitative results suggest that In-world space benefits learning. / Det är väldokumenterat att Augmented Reality (AR) förbättrar inlärning. Tidigare forskning jämför AR mot andra existerande metoder. Publicerad forskning fokuserar generellt på AR i allmänhet trots att det finns flera olika typer av AR. Den här rapporten ger vidare insikt i hur AR bör användas med ändamålet att vara ett inlärningsverktyg som en del av en museum-upplevelse. Den fokuserar på AR genom smartphones, där omvärlden beräknas med mobilens sensorer och virtuellt material renderas i relation till omvärlden på mobilens skärm. Den här studien presenterar resultat från en jämförelsestudie mellan två typer av AR: In-world space och On-screen space. In-world space AR renderar det virtuella materialet ovanpå och i relation till den fysiska utställningen. On-screen space AR renderar det virtuella materialet på mobilens skärm utan relation till omvärlden, men använder istället den fysiska omvärlden för att placera ut virtuella indexpunkter. Diskussionen från den här studien ger förhoppningsvis riktlinjer för utveckling och design av AR-applikationer på ett museum, genom att ge kuratorer och museum en bättre förståelse gällande designmöjligheter i en AR-miljö. Kvalitativa result tyder på att In-world space förbättrar inlärning mer än On-screen space.

Electricity spot prices are difficult to predict since they depend on different unstable and erratic parameters, and also due to the fact that electricity is a commodity that cannot be stored efficiently. This results in a volatile, highly fluctuating behavior of the prices, with many peaks. Machine learning algorithms have outperformed traditional methods in various areas due to their ability to learn complex patterns. In the last decade, deep learning approaches have been introduced in electricity spot price prediction problems, often exceeding their predecessors. In this thesis, several deep learning models were built and evaluated for their ability to predict the spot prices 10-days ahead. Several conclusions were made. Firstly, it was concluded that rather simple neural network architectures can predict prices with high accuracy, except for the most extreme sudden peaks. Secondly, all the deep networks outperformed the benchmark statistical model. Lastly, the proposed LSTM and CNN provided forecasts which were statistically, significantly superior and had the lowest errors, suggesting they are the most suitable for the prediction task. / Elspotspriser är svåra att förutsäga eftersom de beror på olika instabila och oregelbundna faktorer, och också på grund av att elektricitet är en vara som inte kan lagras effektivt. Detta leder till ett volatilt, fluktuerande beteende hos priserna, med många plötsliga toppar. Maskininlärningsalgoritmer har överträffat traditionella metoder inom olika områden på grund av deras förmåga att lära sig komplexa mönster. Under det senaste decenniet har djupinlärningsmetoder introducerats till problem inom elprisprognostisering och ofta visat sig överlägsna sina föregångare. I denna avhandling konstruerades och utvärderades flera djupinlärningsmodeller på deras förmåga att förutsäga spotpriserna 10 dagar framåt. Den första slutsatsen är att relativt simpla nätverksarkitekturer kan förutsäga priser med hög noggrannhet, förutom för fallen med de mest extrema, plötsliga topparna. Vidare, så övertränade alla djupa neurala nätverken den statistiska modellen som användes som riktmärke. Slutligen, så gav de föreslagna LSTM- och CNN-modellerna prognoser som var statistiskt, signifikant överlägsna de andra och hade de lägsta felen, vilket tyder på att de är bäst lämpade för prognostiseringsuppgiften.

Software prediction is a complex area as there are no accurate models to represent reliability throughout the use of software, unlike hardware reliability. In the context of the software reliability of on-board train systems, ensuring good software reliability over time is all the more critical given the current density of rail traffic and the risk of accidents resulting from a software malfunction. This thesis proposes to use soft computing methods and historical failure data to predict the software reliability of on-board train systems. For this purpose, four machine learning models (Multi-Layer Perceptron, Imperialist Competitive Algorithm Multi-Layer Perceptron, Long Short-Term Memory Network and Convolutional Neural Network) are compared to determine which has the best prediction performance. We also study the impact of having one or more features represented in the dataset used to train the models. The performance of the different models is evaluated using the Mean Absolute Error, Mean Squared Error, Root Mean Squared Error and the R Squared. The report shows that the Long Short-Term Memory Network is the best performing model on the data used for this project. It also shows that datasets with a single feature achieve better prediction. However, the small amount of data available to conduct the experiments in this project may have impacted the results obtained, which makes further investigations necessary. / Att förutsäga programvara är ett komplext område eftersom det inte finns några exakta modeller för att representera tillförlitligheten under hela programvaruanvändningen, till skillnad från hårdvarutillförlitlighet. När det gäller programvarans tillförlitlighet i fordonsbaserade tågsystem är det ännu viktigare att säkerställa en god tillförlitlighet över tiden med tanke på den nuvarande tätheten i järnvägstrafiken och risken för olyckor till följd av ett programvarufel. I den här avhandlingen föreslås att man använder mjuka beräkningsmetoder och historiska data om fel för att förutsäga programvarans tillförlitlighet i fordonsbaserade tågsystem. För detta ändamål jämförs fyra modeller för maskininlärning (Multi-Layer Perceptron, Imperialist Competitive Algorithm Mult-iLayer Perceptron, Long Short-Term Memory Network och Convolutional Neural Network) för att fastställa vilken som har den bästa förutsägelseprestandan. Vi undersöker också effekten av att ha en eller flera funktioner representerade i den datamängd som används för att träna modellerna. De olika modellernas prestanda utvärderas med hjälp av medelabsolut fel, medelkvadratfel, rotmedelkvadratfel och R-kvadrat. Rapporten visar att Long Short-Term Memory Network är den modell som ger bäst resultat på de data som använts för detta projekt. Den visar också att dataset med en enda funktion ger bättre förutsägelser. Den lilla mängd data som fanns tillgänglig för att genomföra experimenten i detta projekt kan dock ha påverkat de erhållna resultaten, vilket gör att ytterligare undersökningar är nödvändiga.

Private and public clouds require users to specify requests for resources such as CPU and memory (RAM) to be provisioned for their applications. The values of these requests do not necessarily relate to the application’s run-time requirements, but only help the cloud infrastructure resource manager to map requested virtual resources to physical resources. If an application exceeds these values, it might be throttled or even terminated. Consequently, requested values are often overestimated, resulting in poor resource utilization in the cloud infrastructure. Autoscaling is a technique used to overcome these problems. In this research, we formulated two new predictive CPU autoscaling strategies forKubernetes containerized applications, using time-series analysis, based on Holt-Winters exponential smoothing and long short-term memory (LSTM) artificial recurrent neural networks. The two approaches were analyzed, and their performances were compared to that of the default Kubernetes Vertical Pod Autoscaler (VPA). Efficiency was evaluated in terms of CPU resource wastage, and insufficient CPU percentage and amount for container workloads from Alibaba Cluster Trace 2018, and others. In our experiments, we observed that Kubernetes Vertical Pod Autoscaler (VPA) tended to perform poorly on workloads that periodically change. Our results showed that compared to VPA, predictive methods based on Holt- Winters exponential smoothing (HW) and Long Short-Term Memory (LSTM) can decrease CPU wastage by over 40% while avoiding CPU insufficiency for various CPU workloads. Furthermore, LSTM has been shown to generate stabler predictions compared to that of HW, which allowed for more robust scaling decisions. / Privata och offentliga moln kräver att användare begär mängden CPU och minne (RAM) som ska fördelas till sina applikationer. Mängden resurser är inte nödvändigtvis relaterat till applikationernas körtidskrav, utan är till för att molninfrastrukturresurshanteraren ska kunna kartlägga begärda virtuella resurser till fysiska resurser. Om en applikation överskrider dessa värden kan den saktas ner eller till och med krascha. För att undvika störningar överskattas begärda värden oftast, vilket kan resultera i ineffektiv resursutnyttjande i molninfrastrukturen. Autoskalning är en teknik som används för att överkomma dessa problem. I denna forskning formulerade vi två nya prediktiva CPU autoskalningsstrategier för containeriserade applikationer i Kubernetes, med hjälp av tidsserieanalys baserad på metoderna Holt-Winters exponentiell utjämning och långt korttidsminne (LSTM) återkommande neurala nätverk. De två metoderna analyserades, och deras prestationer jämfördes med Kubernetes Vertical Pod Autoscaler (VPA). Prestation utvärderades genom att observera under- och överutilisering av CPU-resurser, för diverse containerarbetsbelastningar från bl. a. Alibaba Cluster Trace 2018. Vi observerade att Kubernetes Vertical Pod Autoscaler (VPA) i våra experiment tenderade att prestera dåligt på arbetsbelastningar som förändras periodvist. Våra resultat visar att jämfört med VPA kan prediktiva metoder baserade på Holt-Winters exponentiell utjämning (HW) och långt korttidsminne (LSTM) minska överflödig CPU-användning med över 40 % samtidigt som de undviker CPU-brist för olika arbetsbelastningar. Ytterligare visade sig LSTM generera stabilare prediktioner jämfört med HW, vilket ledde till mer robusta autoskalningsbeslut.

This thesis proposes a deep learning anomaly detection pipeline to detect possible anomalies during the operation of a fleet of batteries and presents its development and evaluation. The pipeline employs sensors that connect to each battery in the fleet to remotely collect real-time measurements of their operating characteristics, such as voltage, current, and temperature. The deep learning based time-series anomaly detection model was developed using Variational Autoencoder (VAE) architecture that utilizes either Long Short-Term Memory (LSTM) or, its cousin, Gated Recurrent Unit (GRU) as the encoder and the decoder networks (LSTMVAE and GRUVAE). Both variants were evaluated against three well-known conventional anomaly detection algorithms Isolation Nearest Neighbour (iNNE), Isolation Forest (iForest), and kth Nearest Neighbour (k-NN) algorithms. All five models were trained using two variations in the training dataset (full-year dataset and partial recent dataset), producing a total of 10 different model variants. The models were trained using the unsupervised method and the results were evaluated using a test dataset consisting of a few known anomaly days in the past operation of the customer’s battery fleet. The results demonstrated that k-NN and GRUVAE performed close to each other, outperforming the rest of the models with a notable margin. LSTMVAE and iForest performed moderately, while the iNNE and iForest variant trained with the full dataset, performed the worst in the evaluation. A general observation also reveals that limiting the training dataset to only a recent period produces better results nearly consistently across all models. / Detta examensarbete föreslår en pipeline för djupinlärning av avvikelser för att upptäcka möjliga anomalier under driften av en flotta av batterier och presenterar dess utveckling och utvärdering. Rörledningen använder sensorer som ansluter till varje batteri i flottan för att på distans samla in realtidsmätningar av deras driftsegenskaper, såsom spänning, ström och temperatur. Den djupinlärningsbaserade tidsserieanomalidetekteringsmodellen utvecklades med VAE-arkitektur som använder antingen LSTM eller, dess kusin, GRU som kodare och avkodarnätverk (LSTMVAE och GRU) VAE). Båda varianterna utvärderades mot tre välkända konventionella anomalidetekteringsalgoritmer -iNNE, iForest och k-NN algoritmer. Alla fem modellerna tränades med hjälp av två varianter av träningsdatauppsättningen (helårsdatauppsättning och delvis färsk datauppsättning), vilket producerade totalt 10 olika modellvarianter. Modellerna tränades med den oövervakade metoden och resultaten utvärderades med hjälp av en testdatauppsättning bestående av några kända anomalidagar under tidigare drift av kundens batteriflotta. Resultaten visade att k-NN och GRUVAE presterade nära varandra och överträffade resten av modellerna med en anmärkningsvärd marginal. LSTMVAE och iForest presterade måttligt, medan varianten iNNE och iForest tränade med hela datasetet presterade sämst i utvärderingen. En allmän observation avslöjar också att en begränsning av träningsdatauppsättningen till endast en ny period ger bättre resultat nästan konsekvent över alla modeller.