No description available.

Title: Predicting the Behaviour of Streaming Services Users Autor: Bc. Šimon Stachura Department: Katedra teoretické informatiky a matematické logiky Supervisor: Mgr. Martin Pilát, Ph. D. Abstract: Streaming services are one of the phenomena of the last decade, allowing online legal access to media for a large number of users. The media is usually provided to the users as an automatically generated sequence, created by some form of a recommender system. The preferences of individual users are usually estimated based on historical data from their previous usage of the service. Skipping behaviour on individual elements of the generated sequence (songs, for instance) is one of the basic signals expressing these preferences. Goal of this work is to predict users' behaviour based on their previous experience with the service. We chose a large dataset consisting of real data from usage of the Spotify service, and considered options for preprocessing and representing them. We decided to use recurrent neural networks with the Encoder-Decoder architecture for modelling the behaviour of the users. These models encode the information about users' historical behaviour into a compact inner representation of the session, and based on that representation they generate expected behaviour in the next time steps. We created...

In the present work, we investigate the capacity of machine learning to reconstruct simulated large scale surface temperature anomalies given a sparse observation field. Several methods are combined: self-organizing maps and recurrent neural networks of the temporal trajectory. To evaluate our global scale reconstruction, we base our validation on global climate indices time series and EOF analysis. In our experiments, the obtained reconstructions of the global surface temperature anomalies provide a good correlation (over 90%) with the target values when considering scarce available observations sampling about 0.5% of the globe. We reconstruct the surface temperature anomaly fields from 0.05% of total number of data points. We obtain an RMSE of 0.39°C. We further validate the quality of the results calculating a correlation of 0.92, 0.97 and 0.98 between the reconstructed and target indices of AMO, ENSO and IPO. / Klimatsystemet består av olika komponenter inklusive atmosfären, havet och jorden. Som ett öppet system utbyter det hela tiden energi med resten av universum. Det är också ett dynamiskt system vars utveckling kan förutsägas av kända fysiska lagar. Interaktionen mellan dess olika komponenter leder till en så kallad naturlig variation. Denna variabilitet återspeglas i form av svängningslägen, inklusive AMO, ENSO och IPO. För att studera dessa variationer har vi klimatmodeller som representerar de olika krafterna och deras effekt på klimatförändringar på lång sikt. I detta sammanhang är variationerna i det förflutna klimatet särskilt intressanta och tillåter oss en bättre förståelse av klimatförändringar och bättre förutsäga den framtida utvecklingen. Men för att studera det förflutna klimatet eller paleoklimat är den enda tillgängliga informationen endast fullständig under de senaste 150 åren. Innan dess är de enda tillgängliga indikatorerna naturliga, kallad klimatproxy, som trädringar eller iskärnor. Vi kan härleda tidsserier med klimatdata, till exempel temperatur. Denna information är emellertid knappast tillfälligt såväl som över hela världen. Återskapa det globala klimatet från sådana data hanteras fortfarande dåligt. Länken mellan lokal information och global klimat studeras här med hjälp av statistiska metoder, inklusive neurala nätverk. Det långsiktiga målet med denna studie är att bygga en metod för att rekonstruera paleoklimatet från data om klimatproxy, vi fokuserar inledningsvis på rekonstruktionen av ett så kallat perfekt klimat, det vill säga en modell som endast tar hänsyn till naturlig variation, från rumsligt sällsynta tidsserier. De studerade uppgifterna är de från globala yttemperaturutgångar från den havsatmosfärkopplade IPSL-modellen. Uppgifterna förbehandlas för att ta bort säsongens genomsnittliga cykel och omvandlas till temperaturavvikelser. Dessutom väljs rutnätpunkter som representerar information om proxyer pseudo-slumpmässigt, med respekt för den verkliga dispositionen av dessa, övervägande i norr på kontinenterna. Uppgifterna delas upp i träningsdata (150 år), validering (30 år) och testdata (120 år). De metoder som används kombinerar (1) självorganiserande kartor och hierarkisk stigande klassificering, användbara för att producera en reducerad storlek av inmatningsdata, här baserat på tidskorrelationen mellan temperaturutvecklingen under 150 år, (2) ItCompSOM använder korrelationen mellan klasser erhållna genom självorganiserande kartor för att rekonstruera obevakad data, (3) återkommande nervnätverk för att förklara den temporära komponenten i data och förbättra den tidigare rekonstruktionen. Slutligen är definitionen av nya mätvärden nödvändig för att validera de föreslagna modellerna. Utvärderingen av produkterna görs således genom temporär rekonstruktion av AMO, ENSO, IPO klimatlägen samt genom projicering av huvudkomponenterna i analysen av huvudkomponenterna i inputdata. Således konstrueras en reducerad modell av globala temperaturdata baserad på 150 års fullständiga data först, vilket reducerar den rumsliga informationen från 9216 rutnätpunkter till 191 regioner associerade med 1 medelvärde vardera. För att ansluta denna modell till tidssekvenser av sällsynta temperaturer i världen antas det att varje klass som innefattar minst en observerad proxy-data är känd. Rekonstruktionen av globala yttemperaturutvecklingar med ItCompSOM ger en korrelation till indexen på mer än 90% för endast 0,5% av de initiala observationerna. Detta resultat förbättras kraftigt tack vare återkommande nervnätverk, vilket leder till en korrelation av 0,92, 0,97 respektive 0,98 för AMO, ENSO och IPO med endast 0,05% av observationerna. Dessa poäng förklaras med den använda metoden, regionaliseringen hjälper till att koncentrera informationen. Medan 0,5% av rutpunkterna är lika med 43 poäng, om de är korrekt fördelade, representerar de 22% av informationen om regionerna (43 av 191). Dessa mycket uppmuntrande resultat återstår att tillämpas på verkliga klimatproblem, det vill säga med hänsyn till å ena sidan den externa och antropologiska kraften, osäkerheterna relaterade till de verkliga uppgifterna om ombud å andrasidan.

<div>Unmanned aerial vehicles (UAVs) have gained more attention in recent years because of their ability to execute various missions. However, recent works have identified vulnerabilities in UAV systems that make them more readily prone to cyberattacks. In this work, the vulnerabilities in the communication channel between the UAV and ground control station are exploited to implement cyberattacks, specifically, the denial of service and false data injection attacks. Unlike other related studies that implemented attacks in simulations, we demonstrate the actual implementation of these attacks on a Holybro S500 quadrotor with PX4 autopilot firmware and MAVLink communication protocol.</div><div><br></div><div>The goal was to create a lightweight intrusion detection system (IDS) that leverages recurrent neural networks (RNNs) to accurately detect cyberattacks, even when implemented on a resource-constrained platform. Different types of RNNs, including simple RNNs, long short-term memory, gated recurrent units, and simple recurrent units, were trained and tested on actual experimental data. A recursive feature elimination approach was carried out on selected features to remove redundant features and to create a lighter RNN IDS model. We also studied the resource consumption of these RNNs on an Arduino Uno board, the lowest-cost companion computer that can be implemented with PX4 autopilot firmware and Pixhawk autopilot boards. The results show that a simple RNN has the best accuracy while also satisfying the constraints of the selected computer.<br></div>

Courier companies receive delivery orders at different times in advance. Some orders are known long beforehand, some arise with a very short notice. Currently the order delegation, deciding which car is going to drive which order, is performed completely manually by a (TL) where the TL use their experience to guess upcoming orders. If delivery orders could be predicted beforehand, algorithms could create suggestions for vehicle routing and vehicle selection. This thesis used the data set from a Stockholm based courier company. The Stockholm area was divided into zones using agglomerative clustering and K-Means, where the zones were used to group deliveries into time-sliced Origin Destination (OD) matrices. One cell in one OD-matrix contained the number of deliveries from one zone to another during one hour. Long-Short Term Memory (LSTM) Recurrent Neural Networks were used for the prediction. The training features consisted of prior OD-matrices, week day, hour of day, month, precipitation, and the air temperature. The LSTM based approach performed better than the baseline, the Mean Squared Error was reduced from 1.1092 to 0.07705 and the F1 score increased from 41% to 52%. All features except for the precipitation and air temperature contributed noticeably to the prediction power. The result indicates that it is possible to predict some future delivery orders, but that many are random and are independent from prior deliveries. Letting the model train on data as it is observed would likely boost the predictive power. / Budföretag får in leveransorder olika tid i förväg. Vissa order är kända lång tid i förväg, medan andra uppkommer med kort varsel. I dagsläget genomförs orderdelegationen, delegering av vilken bil som kör vilken order, manuellt av en transportledare (TL) där TL använder sin erfarenhet för att gissa framtida order. Om leveransorder skulle kunna förutsägas i förväg kan fordonsrutter och fordonsval föreslås av algoritmer. Denna uppsats använde sig utav ett dataset från ett Stockholmsbaserat budföretag. Stockholmsområdet delades in i zoner med agglomerativ klustring och K-Means, där zoner användes för att gruppera leveranser in i tidsdelade Ursprungsdestinationsmatriser (OD-matriser).  En cell i en OD-matris innehåller antalet leveranser från en zon till en annan under en timme. Neurala nätverk med lång-kortsiktsminne (LSTM) användes för förutsägelsen. Modellen tränades på tidigare OD-matriser, veckodag, timme, månad, nederbörd, och lufttemperatur. Det LSTM-baserade tillvägagångssättet presterade bättre än baslinjen, det genomsnittliga kvadratfelet minskade från 1,1092 till 0,07705 och F1-poängen ökade från 41% till 52%. Nederbörd och lufttemperatur bidrog inte märkbart till förutsägelsens prestation. Resultatet indikerar att det är möjligt att förutse vissa leveransorder, men att en stor andel är slumpmässiga och oberoende från tidigare leveranser. Att låta modellen tränas med nya data när den observeras skulle troligtvis öka prognosförmågan.

User click modeling in web search is most commonly done through probabilistic graphical models. Due to the successful use of machine learning techniques in other fields of research, it is interesting to evaluate how machine learning can be applied to click modeling. In this thesis, modeling is done using recurrent neural networks trained on a distributed representation of the state of the art user browsing model (UBM). It is further evaluated how extending this representation with a set of latent variables that are easily derivable from click logs, can affect the model's prediction performance. Results show that a model using the original representation does not perform very well. However, the inclusion of simple variables can drastically increase the performance regarding the click prediction task. For which it manages to outperform the two chosen baseline models, which themselves are well performing already. It also leads to increased performance for the relevance prediction task, although the results are not as significant. It can be argued that the relevance prediction task is not a fair comparison to the baseline functions, due to them needing more significant amounts of data to learn the respective probabilities. However, it is favorable that the neural models manage to perform quite well using smaller amounts of data. It would be interesting to see how well such models would perform when trained on far greater data quantities than what was used in this project. Also tailoring the model for the use of LSTM, which supposedly could increase performance even more. Evaluating other representations than the one used would also be of interest, as this representation did not perform remarkably on its own. / Klickmodellering av användare i söksystem görs vanligtvis med hjälp av probabilistiska modeller. På grund av maskininlärningens framgångar inom andra områden är det intressant att undersöka hur dessa tekniker kan appliceras för klickmodellering. Detta examensarbete undersöker klickmodellering med hjälp av recurrent neural networks tränade på en distribuerad representation av en populär och välpresterande klickmodell benämnd user browsing model (UBM). Det undersöks vidare hur utökandet av denna representation med statistiska variabler som enkelt kan utvinnas från klickloggar, kan påverka denna modells prestanda. Resultaten visar att grundrepresentationen inte presterar särskilt bra. Däremot har användningen av simpla variabler visats medföra drastiska prestandaökningar när det kommer till att förutspå en användares klick. I detta syfte lyckas modellerna prestera bättre än de två baselinemodeller som valts, vilka redan är välpresterande för syftet. De har även lyckats förbättra modellernas förmåga att förutspå relevans, fastän skillnaderna inte är lika drastiska. Relevans utgör inte en lika jämn jämförelse gentemot baselinemodellerna, då dessa kräver mycket större datamängder för att nå verklig prestanda. Det är däremot fördelaktigt att de neurala modellerna når relativt god prestanda för datamängden som använts. Det vore intressant att undersöka hur dessa modeller skulle prestera när de tränas på mycket större datamängder än vad som använts i detta projekt. Även att skräddarsy modellerna för LSTM, vilket borde kunna öka prestandan ytterligare. Att evaluera andra representationer än den som användes i detta projekt är också av intresse, då den använda representationen inte presterade märkvärdigt i sin grundform.

In this thesis two main studies are conducted to compare the predictive capabilities of feed-forward neural networks (FFNN) and long short-term memory networks (LSTM) in electricity load forecasting. The first study compares univariate networks using past electricity load, as well as multivariate networks using past electricity load and air temperature, in day-ahead load forecasting using varying lookback periods and sparsity of past observations. The second study compares FFNNs and LSTMs of different complexities (i.e. network sizes) when restrictions imposed by limitations of the real world are taken into consideration. No significant differences are found between the predictive performances of the two neural network approaches. However, adding air temperature as extra input to the LSTM is found to significantly decrease its performance. Furthermore, the predictive performance of the FFNN is found to significantly decrease as the network complexity grows, while the predictive performance of the LSTM is found to increase as the network complexity grows. All the findings considered, we do not find that there is enough evidence in favour of the LSTM in electricity load forecasting. / I denna uppsats beskrivs två studier som jämför feed-forward neurala nätverk (FFNN) och long short-term memory neurala nätverk (LSTM) i prognostisering av elkonsumtion. I den första studien undersöks univariata modeller som använder tidigare elkonsumtion, och flervariata modeller som använder tidigare elkonsumtion och temperaturmätningar, för att göra prognoser av elkonsumtion för nästa dag. Hur långt bak i tiden tidigare information hämtas ifrån samt upplösningen av tidigare information varieras. I den andra studien undersöks FFNN- och LSTM-modeller med praktiska begränsningar såsom tillgänglighet av data i åtanke. Även storleken av nätverken varieras. I studierna finnes ingen skillnad mellan FFNN- och LSTM-modellernas förmåga att prognostisera elkonsumtion. Däremot minskar FFNN-modellens förmåga att prognostisera elkonsumtion då storleken av modellen ökar. Å andra sidan ökar LSTM-modellens förmåga då storkelen ökar. Utifrån dessa resultat anser vi inte att det finns tillräckligt med bevis till förmån för LSTM-modeller i prognostisering av elkonsumtion.

Accurate predictions of patient volume are an essential tool to improve resource allocation and doctor utilization in the traditional, as well as the digital health care domain. Varying methods for patient volume prediction within the traditional health care domain has been studied in contemporary research, while the concept remains underexplored within the digital health care domain. In this paper, an evaluation of how two different non-linear state-of-the-art time series prediction models compare when predicting patient volume within the digital health care domain is presented. The models compared are the feed forward Multi-layer Percepron (MLP) and the recursive Long Short-Term Memory (LSTM) network. The results imply that the prediction problem itself is straightforward, while also indicating that there are significant differences in prediction accuracy between the evaluated models. The conclusions presented state that that the LSTM model offers substantial prediction advantages that outweigh the complexity overhead for the given problem. / En korrekt förutsägelse av patientvolym är essentiell för att förbättra resursallokering av läkare inom traditionell liksom digital vård. Olika metoder för förutsägelse av patientvolym har undersökts inom den traditionella vården medan liknande studier inom den digitala sektorn saknas. I denna uppsats undersöks två icke-linjära moderna metoder för tidsserieanalys av patientvolym inom den digitala sjukvården. Modellerna som undersöks är multi-lagersperceptronen (MLP) samt Long Short-Term Memory (LSTM) nätverket. Resultaten som presenteras indikerar att problemet i sig är okomplicerat samtidigt som det visar sig finnas signifikanta skillnader i korrektheten av förutsägelser mellan de olika modellerna. Slutsatserna som presenteras pekar på att LSTM-modellen erbjuder signifikanta fördelar som överväger komplexitets- och prestandakostnaden.

The thesis discusses a novel off-line and on-line learning approach for Fully Recurrent Neural Networks (FRNNs). The most popular algorithm for training FRNNs, the Real Time Recurrent Learning (RTRL) algorithm, employs the gradient descent technique for finding the optimum weight vectors in the recurrent neural network. Within the framework of the research presented, a new off-line and on-line variation of RTRL is presented, that is based on the Gauss-Newton method. The method itself is an approximate Newton's method tailored to the specific optimization problem, (non-linear least squares), which aims to speed up the process of FRNN training. The new approach stands as a robust and effective compromise between the original gradient-based RTRL (low computational complexity, slow convergence) and Newton-based variants of RTRL (high computational complexity, fast convergence). By gathering information over time in order to form Gauss-Newton search vectors, the new learning algorithm, GN-RTRL, is capable of converging faster to a better quality solution than the original algorithm. Experimental results reflect these qualities of GN-RTRL, as well as the fact that GN-RTRL may have in practice lower computational cost in comparison, again, to the original RTRL.

No / An area-efficient hardware architecture is used to map fully parallel cortical columns on Field Programmable Gate Arrays (FPGA) is presented in this paper. To demonstrate the concept of this work, the proposed architecture is shown at the system level and benchmarked with image and speech recognition applications. Due to the spatio-temporal nature of spiking neurons, this has allowed such architectures to map on FPGAs in which communication can be performed through the use of spikes and signal can be represented in binary form. The process and viability of designing and implementing the multiple recurrent neural reservoirs with a novel multiplier-less reconfigurable architectures is described.