For music genre classification purposes, the importance of an intelligent and content-based selection of audio samples has been mostly overlooked. One common approach toward representative results is to select samples at predetermined locations. This is done to avoid analysis of the full audio during classification. While methods in music thumbnailing could be used to find representative samples for genre classification, it has not yet been demonstrated. This thesis showed that efficient and genre representative sampling can be performed with a machine learning model (bidirectional RNN with either LSTM or GRU cells). The model was trained using a sub-optimal genre classifier and computationally inexpensive audio features. The genre classifier was used to compute losses for evenly spaced samples in 14000 tracks. The losses were then used as targets during training. Root mean square energy and zero-crossing rate were used as features, computed over relatively large time steps and wide intervals. The proposed framework can be used to give better predictions with trained genre classifiers and most likely also train, or retrain, them for higher classification accuracy at a low computational cost. / Vid musikgenreklassificering har betydelsen av ett intelligent och innehållsbaserat urval allt som oftast förbisetts. En ansats till ett representativt resultat görs vanligtvis genom att ett antal kortare utdrag tas vid förutbestämda tidpunkter. Detta görs för att under en klassificering undvika att analysera hela musikverket. Fastän det existerar metoder inom music thumbnailing för att hitta representativa urval har de ännu inte tillämpats inom genreklassificering. I denna uppsats visades att ett effektivt och genrerepresentativt musikurval kan utföras med en maskininlärningsmodell (dubbelriktad RNN med antingen LSTM- eller GRU-celler). Modellen tränades med hjälp av en suboptimal genreklassificerare och beräkningsmässigt enkla ljudattribut. Genreklassificeraren användes för att beräkna förlusten av jämnt fördelade urval i 14000 musikverk. Förlusterna användes sedan som utdata under träningen. Kvadratiskt energimedelvärde och zero-crossing rate beräknades över relativt långa tidssteg och breda intervall och användes som indata. Det föreslagna ramverket kan till beräkningsmässigt låga kostnader användas för att ge bättre förutsägelser med redan tränade genreklassificerare och sannolikt träna, eller omträna, dessa för högre noggrannhet vid klassificering.

Time-series forecasting is an area of machine learning that can be applied to many real-life problems. It is used in areas such as water level forecasting, which aims to help people evacuate on time for floods. This thesis aims to contribute to the research area of time-series forecasting, by introducing a simple but novel ensemble model: Force Linear to Exponential (FLEX). A FLEX ensemble first forecasts points that are exponentially further into the forecasting horizon. After this, the gaps between forecasted points are produced from said forecasted points, as well as the entire data history. This simple model is able to outperform all base models considered in this thesis, even when having the same amount of parameters to tune. / Tidsserieprognoser är ett område för maskininlärning som kan tillämpas på många verkliga problem. Det används i områden som vattenståndsprognoser, som syftar till att hjälpa människor att evakuera i tid för översvämningar. Denna uppsats syftar till att bidra till forskningsområdet tidsserieprognoser genom att introducera en enkel men ny ensemblemodell: Force Linear to Exponential (FLEX). En FLEX-ensemble prognostiserar först punkter som ligger exponentiellt längre in i prognoshorisonten. Efter detta produceras gapen mellan prognostiserade punkter från nämnda prognostiserade punkter, såväl som hela datahistoriken. Denna enkla modell kan överträffa alla basmodeller som behandlas i denna uppsats, även när den har samma mängd parametrar att ställa in.

The aim of this paper is first of all to determine whether deep learning methods can recover trading strategies based on historical price and volume data, with scarcity of real data in mind. The second aim is to evaluate the methods to generate a deep learning blueprint for strategy extraction. Trading strategies can be built on many different types of data, often combined from different areas. In this paper, we focus on trading strategies based solely on historical price and volume data to limit the scope of the problem. Combinations of different deep learning architectures and methods such as transfer- and ensemble methods were evaluated. The results clearly show that deep learning models can recover relatively complex trading strategies to some extent. Models leveraging transfer learning outperform other models when data is scarce and ensemble methods elevate performance in certain regards. / Målet med denna rapport är i första hand att ta reda på om djupinlärningsmetoder kan återskapa handlingsstragetier baserat på historiska priser och volymdata, med vetskapen att datan är begränsad. Det andra målet är att utvärdera metoder för att skapa en djupinlärningsmall för att utvinna handelsstrategier. Handelsstrategier kan vara byggda på många olika datatyper, ofta i kombination från olika områden. I denna rapport fokuserar vi på strategier som enbart är baserade på historiska priser och volymdata för att begränsa problemet. Kombinationer av olika djupinlärningsarkitekturer tillsammans med metoder som till exempel överföringsinlärning och ensembleinlärning utvärderades. Resultaten visar tydligt att djupinlärningsmodeller kan återskapa relativt komplexa handlingsstrategier. Modeller som utnyttjade överföringsinlärning presterade bättre än andra modeller när datan var begränsad och ensembleinlärning ökade prestandan ytterligare i vissa sammanhang. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

In dieser Arbeit versuche ich, den neuronalen Code, d. h. die Art und Weise, wie die Nervenzellen des Gehirns Informationen in ihrer Aktivität übertragen und verarbeiten, besser zu verstehen, indem ich die Kodierung von Stimuli in neuronalen Systemen untersuche. Zu diesem Zweck analysiere ich die Veränderungen in der Dynamik von neuronalen Standardmodellen, die im Rahmen der statistischen Physik entwickelt wurden, in Bezug auf Veränder- ungen der Parameter und der Konnektivität bei Vorhandensein bzw. Fehlen eines Reizes. Ich verwende informationstheoretische Maße, um die Fähigkeit neuronaler Populationen, empfangene Informationen durch ihren Output zu übertragen, zu quantifizieren. Die vorgestellten Ergebnisse bauen auf einer Vielzahl früherer Studien über unverbundene und rekurrente neuronale Pop- ulationen auf. Einige dieser Studien heben zwei neuronale Code-Kandidaten hervor, die unterschiedliche Profile der Informationsfilterung aufweisen: einen Integrationscode, der als Tiefpass-Informationsfilter fungiert, und einen Synchroniecode, der als Bandpassfilter fungiert. Das Ziel der vorliegenden Arbeit ist es, die Ergebnisse dieser Studien auf Netzwerke mit einem höheren Konnektivitätsgrad, wie er im Kortex beobachtet wird, auszuweiten. / In this thesis I attempt to better understand the neural code, or the way in which the nerve cells of the brain transmit and process information in their activity, through the investigation of stimulus encoding in neural systems. To this end, I analyze changes in the dynamics of standard neuronal models, de- veloped in the framework of statistical physics, to variations in parameters and connectivity in the presence versus the absence of a stimulus. In conjunction, information theoretical measures are utilized to quantify the ability of neu- ronal populations to transmit received information through their output. The presented results build upon a multitude of previous studies of both uncon- nected and recurrent neural populations. Some of these studies highlight two neural code candidates that have distinct information filtering profiles: an in- tegration code that acts as a low-pass information filter and a synchrony code that acts as a bandpass filter. In the following, synaptic connectivity is added in diverse ways in order to extend results of these studies to networks with a higher level of connectivity, as observed in the cortex.

The growing demand for sustainable technology has led to an increased application of power electronics. As these devices are often exposed to harsh conditions, their reliability is a primary concern for both manufacturers and users. Addressing these reliability challenges involves a set of activities known as Prognostics and Health Management (PHM). In PHM, predicting the Remaining Useful Life (RUL) is crucial. This prediction relies on identifying failure precursors, which signify the presence of degradation. These precursors are then used to construct a degradation model that enables the prediction of the remaining time that the device can work before failure. The project focuses on examining a MOSFET aging dataset from the NASA PCoE dataset depository and a diode aging dataset from Fraunhofer ENAS. The prediction of the remaining useful life of devices using failure precursors has been done by applying recurrent neural network (RNN) methods. However, the prediction results from a single feature is significantly deviated from the actual values. To improve the prediction, the age of the device was proposed as an additional feature. RNNs with a similar number of weights and RNNs with the same hyperparameters are implemented and their performance is evaluated by the accuracy of prediction. The results show that all the RNN models implemented manage to capture the characteristics of the aging data. Despite its simpler structure, the vanilla RNN manages to produce a comparable result with the GRU and LSTM by simpler mechanism and less number of weights. The results also reveal that the characteristics of the data have a significant impact on the final results. / Den växande efterfrågan på hållbar teknik har lett till en ökad tillämpning av kraftelektronik. Eftersom dessa enheter ofta utsätts för tuffa förhållanden är deras tillförlitlighet ett primärt bekymmer för både tillverkare och användare. Att ta itu med dessa tillförlitlighetsutmaningar innebär en uppsättning aktiviteter som kallas Prognostics and Health Management (PHM). I PHM är det avgörande att förutsäga det återstående användbara livet (RUL). Denna förutsägelse bygger på identifiering av felprekursorer, som anger förekomsten av nedbrytning. Dessa prekursorer används sedan för att konstruera en nedbrytningsmodell som möjliggör förutsägelse av den återstående tiden som enheten kan fungera innan fel. Projektet fokuserar på att undersöka en MOSFET-åldringsdataset från NASA PCoE-datauppsättningen och en diodåldringsdataset från Fraunhofer ENAS. Förutsägelsen av den återstående livslängden för enheter som använder felprekursorer har gjorts genom att använda metoder för återkommande neurala nätverk (RNN). Förutsägelseresultatet från en enskild funktion avviker dock avsevärt från de faktiska värdena. För att förbättra förutsägelsen föreslogs enhetens ålder som en extra funktion. RNN med ett liknande antal vikter och RNN med samma hyperparametrar implementeras och deras prestanda utvärderas av förutsägelsens noggrannhet. Resultaten visar att alla implementerade RNN-modeller lyckas fånga egenskaperna hos åldrande data. Trots sin enklare struktur lyckas vanilj RNN producera ett jämförbart resultat med GRU och LSTM genom enklare mekanism och färre antal vikter. Resultaten visar också att uppgifternas egenskaper har en betydande inverkan på de slutliga resultaten.

Cloud Computing sees increased adoption as companies seek to increase flexibility and reduce cost. Although the large cloud service providers employ a pay-as-you-go pricing model and enable customers to scale up and down quickly, there is still room for improvement. Workload in the form of CPU utilization often fluctuates which leads to unnecessary cost and environmental impact for companies. To help mitigate this issue, the aim of this paper is to predict future CPU utilization using a long short-term memory (LSTM) machine learning model. By predicting utilization up to 30 minutes into the future, companies are able to scale their capacity just in time and avoid unnecessary cost and damage to the environment. The study is divided into two parts. The first part analyses how well the LSTM model performs when predicting one step at a time compared with a state-of-the-art model. The second part analyses the accuracy of the LSTM when making predictions up to 30 minutes into the future. To allow for an objective analysis of results, the LSTM is compared with a standard RNN, which is similar to the LSTM in its inherit algorithmic structure. To conclude, the results suggest that LSTM may be a useful tool for reducing cost and unnecessary environmental impact for business applications hosted on a public cloud. / Användandet av molntjänster ökar bland företag som önskar förbättrad flexibilitet och sänkta kostnader. De stora molntjänstleverantörerna använder en prismodell där kostnaden är direkt kopplad till användningen, och låter kunderna snabbt ställa om sin kapacitet, men det finns ändå förbättringsmöjligheter. CPU-behoven fluktuerar ofta vilket leder till meningslösa kostnader och onödig påverkan på klimatet när kapacitet är outnyttjad. För att lindra detta problem används i denna rapport en LSTM maskininlärningsmodell för att förutspå framtida CPU-utnyttjande. Genom att förutspå utnyttjandet upp till 30 minuter in i framtiden hinner företag ställa om sin kapacitet och undvika onödig kostnad och klimatpåverkan. Arbetet ¨ar uppdelat i två delar. Först en del där LSTM-modellen förutspår ett tidssteg åt gången. Därefter en del som analyserar träffsäkerheten för LSTM flera tidssteg in i framtiden, upp till 30 tidssteg. För att möjliggöra en objektiv utvärdering så jämfördes LSTM-modellen med ett standard recurrent neural network (RNN) vilken liknar LSTM i sin struktur. Resultaten i denna studie visar att LSTM verkar vara ¨överlägsen RNN, både när det gäller att förutspå ett tidssteg in i framtiden och när det gäller flera tidssteg in i framtiden. LSTM-modellen var kapabel att förutspå CPU-utnyttjandet 30 minuter in i framtiden med i hög grad bibehållen träffsäkerhet, vilket också var målet med studien. Sammanfattningsvis tyder resultaten på att denna LSTM-modell, och möjligen liknande LSTM-modeller, har potential att användas i samband med företagsapplikationer då man önskar att reducera onödig kostnad och klimatpåverkan.

The strive for cost reduction of services and repairs combined with a desire for increased vehicle reliability has led to the development of predictive maintenance programs. In maintenance plans, accurate forecasts and predictions regarding which components in a vehicle is in risk of a breakdown is bene_cial to obtain since this enables components to be predictively exchanged or serviced before they break down and cause unnecessary downtime. Previous works in data driven predictive maintenance models typically utilize customer and operational data to predict component wear trough regressive or classi_er models. In this thesis the possibilities and bene_ts associated with utilizing vehicle repair and service history data for trucks in a predictive model is investigated. The repair and service data is a time series of irregularly sampled visits to a service centre and is used in conjunction with operational data and chassis con_guration data collected by a truck manufacturer. To tackle the problem a Random Forest, a Neural Network as well as a Recurrent Neural Network model was tested on the various datasets. The Recurrent Neural Network model made it possible to utilize the entire vehicle repair time series data whereas the Random Forest model used a condensed form of the repair data. The Recurrent model proved to perform signi_cantly better than the Neural Network model trained on operational data however it was not proven signi_cantly better than a Random Forest model trained on the condensed form of repair data. A conclusion that can be drawn is that repair history data can increase the performance of a predictive model, however it is unclear if the time sequence plays a part or if a list of previously exchanged parts works equally well. / Strävan efter att reducera kostnader av reparationer och service samt att öka fordons pålitlighet har lett till utvecklingen av prediktiva underhållsprogram. Träffsäkra förutsägeleser och prediktioner kring vilka delar som riskerar att fallera möjliggör prediktiva utbytelser eller service av delar innan de går sönder. Tidigare arbeten i prediktivt underhåll använder sig vanligen av kunddata och operationell data för att generera en prediktion genom regressions eller klassificeringsmetoder. I det här examensarbetet utforskas möjligheterna och fördelarna med att använda verkstadsdata från lastbilar i en prediktiv modell. Verkstadsdatan består av en oregelbundet genererad tidsserie av besök till en serviceanläggning och används i kombination med operationell data samt chassiutförandedata. För att angripa problemet användes en Random Forest, en Neuronnäts samt en Recurrent (Återkommande) Neuronnätsmodell på de olika datakällorna. Recurrent Neuronnätsmodellen möjliggjorde användandet av kompletta tidserieverkstadsdatan och denna modell visade sig ge bäst resultat men kunde inte påvisas  vara signifikant bättre än en Random Forest modell som tränades på en komprimerad variant av verkstadsdatan.  En slutsats som kan dras av arbetet är att verkstadsdatan kan öka prestandan i en prediktiv model men att det är oklart om det är tidssekvensen av datat som ger ökningen eller om det fungerar lika bra med en lista över tidigare utbytta delar.

Due to the intermittent nature of renewable energy production, maintaining the stability of the power supply system is becoming a significant challenge of the energy transition. Besides, the penetration of Electric Vehicles (EVs) and the development of a large network of charging stations will inevitably increase the pressure on the electrical grid. However, this network and the batteries that are connected to it also constitute a significant resource to provide ancillary services and therefore a new opportunity to stabilize the power grid. This requires to be able to produce accurate short term forecasts of the power consumption of charging stations at distribution scale. This work proposes a full forecasting framework, from the transformation of discrete charging sessions logs into a continuous aggregated load profile, to the pre-processing of the time series and the generation of predictions. This framework is used to identify the most appropriate model to provide two days ahead predictions of the hourly load profile of large charging stations networks. Using three years of data collected at Amsterdam’s public stations, the performance of several state-of-the-art forecasting models, including Gradient Boosted Trees (GBTs) and Recurrent Neural Networks (RNNs) is evaluated and compared to a classical time series model (Auto Regressive Integrated Moving Average (ARIMA)). The best performances are obtained with an Extreme Gradient Boosting (XGBoost) model using harmonic terms, past consumption values, calendar information and temperature forecasts as prediction features. This study also highlights periodical patterns in charging behaviors, as well as strong calendar effects and an influence of temperature on EV usage. / På grund av den intermittenta karaktären av förnybar energiproduktion, blir upprätthållandet av elnäts stabilitet en betydande utmaning. Dessutom kommer penetrationen av elbilar och utvecklingen av ett stort nät av laddstationer att öka trycket på elnätet. Men detta laddnät och batterierna som är anslutna till det utgör också en betydande resurs för att tillhandahålla kompletterande tjänster och därför en ny möjlighet att stabilisera elnätet. För att göra sådant bör man kunna producera korrekta kortsiktiga prognoser för laddstationens strömförbrukning i distributions skala. Detta arbete föreslår ett fullständigt prognos protokoll, från omvandlingen av diskreta laddnings sessioner till en kontinuerlig förbrukningsprofil, till förbehandling av tidsserier och generering av förutsägelser. Protokollet används för att identifiera den mest lämpliga metoden för att ge två dagars förutsägelser av timförbrukning profilen för ett stort laddstation nät. Med hjälp av tre års data som samlats in på Amsterdams publika stationer utvärderas prestanda för flera avancerade prognosmodeller som är gradient boosting och återkommande neurala nätverk, och jämförs med en klassisk tidsseriemodell (ARIMA). De bästa resultaten uppnås med en XGBoost modell med harmoniska termer, tidigare förbrukningsvärden, kalenderinformation och temperatur prognoser som förutsägelse funktioner. Denna studie belyser också periodiska mönster i laddningsbeteenden, liksom starka kalendereffekter och temperaturpåverkan på elbilar-användning.

Switching from fossil-fuel-powered vehicles to electric vehicles has become an international focus in the pursuit of combatting climate change. Regardless, the adoption of electric vehicles has been slow, in part, due to range anxiety. One solution to mitigating range anxiety is to provide a more accurate state of charge (SOC) and range estimation. SOC estimation of lithium-ion batteries for electric vehicle application is a well-researched topic, yet minimal tools and code exist online for researchers and students alike. To that end, a publicly available Kalman filter-based SOC estimation function is presented. The MATLAB function utilizes a second-order resistor-capacitor equivalent circuit model. It requires the SOC-OCV (open circuit voltage) curve, internal resistance, and equivalent circuit model battery parameters. Users can use an extended Kalman filter (EKF) or adaptive extended Kalman filter (AEKF) algorithm and temperature-dependent battery data. A practical example is illustrated using the LA92 driving cycle of a Turnigy battery at multiple temperatures ranging from -10C to 40C. Current range estimation methods suffer from inaccuracy as factors including temperature, wind, driver behaviour, battery voltage, current, SOC, route/terrain, and much more make it difficult to model accurately. One of the most critical factors in range estimation is the battery. However, most models thus far are represented using equivalent circuit models as they are more widely researched. Another limitation is that any machine learning-based range estimation is typically based on historical driving data that require odometer readings for training. A range estimation algorithm using a machine learning-based voltage estimation model is presented. Specifically, the long short-term memory cell in a recurrent neural network is used for the battery model. The model is trained with two datasets, classic and whole, from the experimental data of four Tesla/Panasonic 2170 battery cells. All network training is completed on SHARCNET, a resource provided by Canada Compute to researchers. The classically trained network achieved an average root mean squared error (RMSE) of 44 mV compared to 34 mV achieved by the network trained on the whole dataset. Based on the whole dataset, all test cases achieve an end range estimation of less than 5 km with an average of 0.29 km. / Thesis / Master of Applied Science (MASc)

No description available.