Thesis is aimed at the possibility of utilization of extreme learning machines and echo state networks for time series forecasting with possibility of utilizing GPU acceleration. Such predictions are part of nearly everyone’s daily lives through utilization in weather forecasting, prediction of regular and stock market, power consumption predictions and many more. Thesis is meant to familiarize reader firstly with theoretical basis of extreme learning machines and echo state networks, taking advantage of randomly generating majority of neural networks parameters and avoiding iterative processes. Secondly thesis demonstrates use of programing tools, such as ND4J and CUDA toolkit, to create very own programs. Finally, prediction capability and convenience of GPU acceleration is tested.

Hra Fantasy Premier League poskytuje miliónom hráčov po celom svete možnosť stať sa na chvíľu manažérom svojho vlastného klubu. Výsledky a bodové ohodnotenie v hre závisia na správnom predvídaní, ako sa budú hráči chovať v skutočných futbalových zápasoch. Ak by pri tomto rozhodovaní pomáhal software na predikciu a analýzu budúcich výkonov hráčov, výsledky v hre sa môžu rapídne zlepšiť. Táto diplomová práca sa zaoberá návrhom a implementáciou predikčného modelu, ktorý využíva neurónové siete na predikcie časových radov počas celej sezóny v hre. Boli použité metódy na spracovanie dát o hráčoch a kluboch za posledné 4 sezóny. Výkonnosť a presnosť predikčných metód boli testované na dátach z poslednej sezóny Premier League a predikcie algoritmu sa vo väčšine prípadov blížili realite. Ak by sa užívateľ držal predikčného modelu v hre stopercentne, získal by väčší počet bodov ako bežný hráč, ktorý žiadny predikčný model nepoužíva.

Time series forecasting is a fundamental prerequisite for decision-making processes and crucial in a number of domains such as production planning and energy load balancing. In the past, forecasting was often performed by statistical experts in dedicated software environments outside of current database systems. However, forecasts are increasingly required by non-expert users or have to be computed fully automatically without any human intervention. Furthermore, we can observe an ever increasing data volume and the need for accurate and timely forecasts over large multi-dimensional data sets. As most data subject to analysis is stored in database management systems, a rising trend addresses the integration of forecasting inside a DBMS. Yet, many existing approaches follow a black-box style and try to keep changes to the database system as minimal as possible. While such approaches are more general and easier to realize, they miss significant opportunities for improved performance and usability. In this thesis, we introduce a novel approach that seamlessly integrates time series forecasting into a traditional database management system. In contrast to flash-back queries that allow a view on the data in the past, we have developed a Flash-Forward Database System (F2DB) that provides a view on the data in the future. It supports a new query type - a forecast query - that enables forecasting of time series data and is automatically and transparently processed by the core engine of an existing DBMS. We discuss necessary extensions to the parser, optimizer, and executor of a traditional DBMS. We furthermore introduce various optimization techniques for three different types of forecast queries: ad-hoc queries, recurring queries, and continuous queries. First, we ease the expensive model creation step of ad-hoc forecast queries by reducing the amount of processed data with traditional sampling techniques. Second, we decrease the runtime of recurring forecast queries by materializing models in a specialized index structure. However, a large number of time series as well as high model creation and maintenance costs require a careful selection of such models. Therefore, we propose a model configuration advisor that determines a set of forecast models for a given query workload and multi-dimensional data set. Finally, we extend forecast queries with continuous aspects allowing an application to register a query once at our system. As new time series values arrive, we send notifications to the application based on predefined time and accuracy constraints. All of our optimization approaches intend to increase the efficiency of forecast queries while ensuring high forecast accuracy.

This thesis summarizes knowledge in the field of time series theory, method for time series analysis and applications in financial modeling. It also resumes the area of evolutionary algorithms, their classification and applications. The core of this work combines these knowledges in order to build a system utilizing evolutionary algorithms for financial time series forecasting models optimization. Various software engineering techniques were used during the implementation phase (ACI - autonomous continual integration, autonomous quality control etc.) to ensure easy maintainability and extendibility of project by more developers.

Deep learning techniques have exhibited remarkable capabilities in capturing nonlinear patterns and dependencies in time series data. Therefore, this study investigates the application of the Long-Short-Term-Memory (LSTM) algorithm for stock price prediction in intraday quantitative trading using Swedish stocks in the OMXS30 index from February 28, 2013, to March 1, 2023. Contrary to previous research [12, 32] suggesting that past movements or trends in stock prices cannot predict future movements, our analysis finds limited evidence supporting this claim during periods of high volatility. We discover that incorporating stock-specific technical indicators does not significantly enhance the predictive capacity of the model. Instead, we observe a trade-off: by removing the seasonal component and leveraging feature engineering and hyperparameter tuning, the LSTM model becomes proficient at predicting stock price movements. Consequently, the model consistently demonstrates high accuracy in determining price direction due to consistent seasonality. Additionally, training the model on predicted return differences, rather than the magnitude of prices, further improves accuracy. By incorporating a novel long-only and long-short trading strategy using the one-day-ahead predictive price, our model effectively captures stock price movements and exploits market inefficiencies, ultimately maximizing portfolio returns. Consistent with prior research [14, 15, 31, 32], our LSTM model outperforms the ARIMA model in accurately predicting one-day-ahead stock prices. Portfolio returns consistently outperforms the stock market index, generating profits over the entire time period. The optimal portfolio achieves an average daily return of 1.2%, surpassing the 0.1% average daily return of the OMXS30 Index. The algorithmic trading model demonstrates exceptional precision with a 0.996 accuracy rate in executing trades, leveraging predicted directional stock movements. The algorithmic trading model demonstrates an impressive 0.996 accuracy when executing trades based on predicted directional stock movements. This remarkable performance leads to cumulative and annualized excessive returns that surpass the index return for the same period by a staggering factor of 800. / Djupinlärningstekniker har visat en enastående förmåga att fånga icke-linjära mönster och samband i tidsseriedata. Med detta som utgångspunkt undersöker denna studie användningen av Long-Short-Term-Memory (LSTM)-algoritmen för att förutsäga aktiepriser med svenska aktier i OMXS30-indexet från den 28 februari 2013 till den 1 mars 2023. Vår analys finner begränsat stöd till tidigare forskning [12, 32] som hävdar att historisk aktierörelse eller trend inte kan användas för att prognostisera framtida mönster. Genom att inkludera aktiespecifika tekniska indikatorer observerar vi ingen betydande förbättring i modellens prognosförmåga. genom att extrahera den periodiska komponenten och tillämpa metoder för egenskapskonstruktion och optimering av hyperparametrar, lär sig LSTM-modellen användbara egenskaper och blir därmed skicklig på att förutsäga akrieprisrörelser. Modellen visar konsekvent högre noggrannhet när det gäller att bestämma prisriktning på grund av den regelbundna säsongsvariationen. Genom att träna modellen att förutse avkastningsskillnader istället för absoluta prisvärden, förbättras noggrannheten avsevärt. Resultat tillämpas sedan på intradagshandel, där förutsagda stängningspriser för nästkommande dag integreras med både en lång och en lång-kort strategi. Vår modell lyckas effektivt fånga aktieprisrörelser och dra nytta av ineffektiviteter på marknaden, vilket resulterar i maximal portföljavkastning. LSTM-modellen är överlägset bättre än ARIMA-modellen när det gäller att korrekt förutsäga aktiepriser för nästkommande dag, i linje med tidigare forskning [14, 15, 31, 32], är . Resultat från intradagshandeln visar att LSTM-modellen konsekvent genererar en bättre portföljavkastning jämfört med både ARIMA-modellen och dess jämförelseindex. Dessutom uppnår strategin positiv avkastning under hela den analyserade tidsperioden. Den optimala portföljen uppnår en genomsnittlig daglig avkastning på 1.2%, vilket överstiger OMXS30-indexets genomsnittliga dagliga avkastning på 0.1%. Handelsalgoritmen är oerhört exakt med en korrekthetsnivå på 0.996 när den genomför affärer baserat på förutsagda rörelser i aktiepriset. Detta resulterar i en imponerande avkastning som växer exponentiellt och överträffar jämförelseindex med en faktor på 800 under samma period.

Temperature regulation in buildings can be tricky and expensive. A common problem when heating buildings is that an unnecessary amount of energy is supplied. This waste of energy is often caused by a faulty regulation system. This thesis presents a machine learning ap- proach, using time series data, to predict the energy supply needed to keep the inside tem- perature at around 21 degrees Celsius. The machine learning models LSTM, Ensemble LSTM, AT-LSTM, ARIMA, and XGBoost were used for this project. The validation showed that the ensemble LSTM model gave the most accurate predictions with the Mean Absolute Error of 22486.79 (Wh) and Symmetric Mean Absolute Percentage Error of 5.41 % and was the model used for comparison with the current system. From the performance of the different models, the conclusion is that machine learning can be a useful tool to pre- dict the energy supply. But on the other hand, there exist other complex factors that need to be given more attention to, to evaluate the model in a better way. / Temperaturreglering i byggnader kan vara knepigt och dyrt. Ett vanligt problem vid upp- värmning av byggnader är att det tillförs onödigt mycket energi. Detta energispill orsakas oftast av ett felaktigt regleringssystem. Denna rapport studerar möjligheten att, med hjälp av tidsseriedata, kunna träna olika maskininlärningmodeller för att förutsäga den energitill- försel som behövs för att hålla inomhustemperaturen runt 21 grader Celsius. Maskininlär- ningsmodellerna LSTM, Ensemble LSTM, AT-LSTM, ARIMA och XGBoost användes för detta projekt. Valideringen visade att ensemble LSTM-modellen gav den mest exakta förut- sägelserna med Mean Absolute Error på 22486.79 (Wh) och Symmetric Mean Absolute Percentage Error på 5.41% och var modellen som användes för att jämföra med det befint- liga systemet. Från modellernas prestation är slutsatsen att maskininlärning kan vara ett an- vändbart verktyg för att förutsäga energitillförseln. Men å andra sidan finns det andra kom- plexa faktorer som bör tas hänsyn till så att modellen kan evalueras på ett bättre sätt.

Sports events, festivals, construction sites, and film sites are examples of cases where power is required temporarily and often away from the power grid. Temporary Power Installations refer to systems set up for a limited amount of time with power typically generated on-site. Most load forecasting research has centered around settings with a permanent supply of power (such as in residential buildings). On the contrary, this work proposes machine learning approaches to accurately forecast load for Temporary Power Installations. In practice, these systems are typically powered by diesel generators that are over-sized and consequently, operate at low inefficient load levels. In this thesis, a ‘Pre-Event Forecasting’ approach is proposed to address this inefficiency by classifying a new Temporary Power Installation to a cluster of installations with similar load patterns. By doing so, the sizing of generators and power generation planning can be optimized thereby improving system efficiency. Load forecasting for Temporary Power Installations is also useful whilst a Temporary Power Installation is operational. A ‘Real-Time Forecasting’ approach is proposed to use monitored load data streamed to a server to forecast load two hours or more ahead in time. By doing so, practical measures can be taken in real-time to meet unexpected high and low power demands thereby improving system reliability. / Sportevenemang, festivaler, byggarbetsplatser och film platser är exempel på fall där kraften krävs Tillfälligt eller och bort från elnätet. Tillfälliga Kraft Installationer avser system som inrättats för en begränsad tid med Vanligtvis ström genereras på plats. De flesta lastprognoser forskning har kretsat kring inställningar med permanent eller strömförsörjning (zoals i bostadshus). Tvärtom föreslår detta arbete maskininlärning metoder för att noggrant prognos belastning under Tillfälliga anläggningar. I praktiken är thesis Typiskt system drivs med dieselgeneratorer som är överdimensionerad och följaktligen arbetar ineffektivt vid låga belastningsnivåer. I denna avhandling är en ‘Pre-Event Casting’ Föreslagen metod för att ta itu med denna ineffektivitet genom att klassificera ett nytt tillfälligt ström Installation till ett kluster av installationer med liknande lastmönster. Genom att göra så, kan dimensioneringen av generatorer och kraftproduktion planering optimeras därigenom förbättra systemets effektivitet. Load prognoser för Tillfälliga Kraft installationer är ook användbar Medan en tillfällig ström Installationen är i drift. En ‘Prognoser Real-Time’ Föreslagen metod är att använda övervakade lastdata strömmas till en server att förutse belastningen två timmar eller mer i förväg. Genom att göra så, kan praktiska åtgärder vidtas i realtid för att möta oväntade höga och låga effektbehov och därigenom förbättra systemets tillförlitlighet.

This thesis focuses on addressing the challenges of resource management in cloud environments, specifically in the context of running resource-optimized applications on Kubernetes. The scale and growth of cloud services, coupled with the dynamic nature of workloads, make it difficult to efficiently manage resources and control costs. The objective of this thesis is to explore the proactive autoscaling of virtual resources based on traffic demand, aiming to improve the current reactive approach, the Horizontal Pod Autoscaler (HPA), that relies on predefined rules and threshold values. By enabling proactive autoscaling, resource allocation can be optimized proactively, leading to improved resource utilization and cost savings. The aim is to strike a balance between resource utilization and the risk of Service Level Agreement (SLA) violations while optimizing resource usage for microservices. The study involves generating predictions and assessing resource utilization for both the current HPA implementation and the proposed solution. By comparing resource utilization and cost implications, the economic feasibility and benefits of adopting the new approach can be determined. The analysis aims to provide valuable insights into resource utilization patterns and optimization opportunities. The analysis shows significant improvements in CPU utilization and resource consumption using the proposed approach compared to the current HPA implementation. The proactive strategy allows for handling the same number of requests with fewer replicas, resulting in improved efficiency. The proposed solution has the potential to be applied to any type of service running on Kubernetes, with low computational costs. In conclusion, the analysis demonstrates the potential for resource optimization and cost savings through the proposed approach. By adopting proactive strategies and accurately predicting resource needs, organizations can achieve efficient resource utilization, system robustness, and compliance with SLA. Further research and enhancements can be explored based on the findings of this analysis. / Denna avhandling fokuserar på att adressera utmaningarna med resurshantering i molnmiljöer, specifikt i kontexten att köra resursoptimerade applikationer på Kubernetes. Skalan och tillväxten av molntjänster, tillsammans med arbetsbelastningarnas dynamiska natur, gör det svårt att effektivt hantera resurser och kontrollera kostnader. Syftet med denna avhandling är att utforska proaktiv autoskalning av virtuella resurser baserat på trafikbehov, med målet att förbättra den nuvarande reaktiva metoden, Horizontal Pod Autoscaler (HPA), som förlitar sig på fördefinierade regler och tröskelvärden. Genom att möjliggöra proaktiv autoskalning kan resurstilldelningen optimeras i förväg, vilket leder till förbättrad resursanvändning och kostnadsbesparingar. Målet är att hitta en balans mellan resursanvändning och risken för överträdelser av Service Level Agreements (SLA) samtidigt som resursanvändningen för mikrotjänster optimeras. Studien innefattar att generera förutsägelser och bedöma resursanvändning för både den nuvarande HPA-implementeringen och den föreslagna lösningen. Genom att jämföra resursanvändning och kostnadsimplikationer kan den ekonomiska genomförbarheten och fördelarna med att anta det nya tillvägagångssättet bestämmas. Analysen syftar till att ge värdefulla insikter i mönster för resursanvändning och möjligheter till optimering. Analysen visar betydande förbättringar i CPU-användning och resursförbrukning med den föreslagna metoden jämfört med den nuvarande HPA-implementeringen. Den proaktiva strategin möjliggör hantering av samma antal förfrågningar med färre replikor, vilket resulterar i förbättrad effektivitet. Den föreslagna lösningen har potential att tillämpas på alla typer av tjänster som körs på Kubernetes, med låga beräkningskostnader. Sammanfattningsvis visar analysen potentialen för resursoptimering och kostnadsbesparingar genom det föreslagna tillvägagångssättet. Genom att anta proaktiva strategier och noggrant förutsäga resursbehov kan organisationer uppnå effektiv resursanvändning, systemets robusthet och uppfyllnad av SLA:er. Vidare forskning och förbättringar kan utforskas baserat på resultaten av denna analys.

The user experience offered by a video streaming service plays a fundamental role in customer satisfaction. This experience can be degraded by poor playback quality and buffering issues. These problems can be caused by a user demand that is higher than the video streaming service capacity. Resource scaling methods can increase the available resources to cover the need. However, most resource scaling systems are reactive and scale up in an automated fashion when a certain demand threshold is exceeded. During popular live streaming content, the demand can be so high that even by scaling up at the last minute, the system might still be momentarily under-provisioned, resulting in a bad user experience. The solution to this problem is proactive scaling which is event-based, using content-related information to scale up or down, according to knowledge from past events. As a result, proactive resource scaling is a key factor in providing reliable video streaming services. Users viewing habits heavily affect demand. To provide an accurate model for proactive resource scaling tools, these habits need to be modelled. This thesis provides such a forecasting model for user views that can be used by a proactive resource scaling mechanism. This model is created by applying machine learning algorithms to data from both live TV and over-the-top streaming services. To produce a model with satisfactory accuracy, numerous data attributes were considered relating to users, content and content providers. The findings of this thesis show that user viewing demand can be modelled with high accuracy, without heavily relying on user-related attributes but instead by analysing past event logs and with knowledge of the schedule of the content provider, whether it is live tv or a video streaming service. / Användarupplevelsen som erbjuds av en videostreamingtjänst spelar en grundläggande roll för kundnöjdheten. Denna upplevelse kan försämras av dålig uppspelningskvalitet och buffertproblem. Dessa problem kan orsakas av en efterfrågan från användare som är högre än videostreamingtjänstens kapacitet. Resursskalningsmetoder kan öka tillgängliga resurser för att täcka behovet. De flesta resursskalningssystem är dock reaktiva och uppskalas automatiskt när en viss behovströskel överskrids. Under populärt livestreaminginnehåll kan efterfrågan vara så hög att även genom att skala upp i sista minuten kan systemet fortfarande vara underutnyttjat tillfälligt, vilket resulterar i en dålig användarupplevelse. Lösningen på detta problem är proaktiv skalning som är händelsebaserad och använder innehållsrelaterad information för att skala upp eller ner, enligt kunskap från tidigare händelser. Som ett resultat är proaktiv resursskalning en nyckelfaktor för att tillhandahålla tillförlitliga videostreamingtjänster. Användares visningsvanor påverkar efterfrågan kraftigt. För att ge en exakt modell för proaktiva resursskalningsverktyg måste dessa vanor modelleras. Denna avhandling ger en sådan prognosmodell för användarvyer som kan användas av en proaktiv resursskalningsmekanism. Denna modell är skapad genom att använda maskininlärningsalgoritmer på data från både live-TV och streamingtjänster. För att producera en modell med tillfredsställande noggrannhet ansågs ett flertal dataattribut relaterade till användare, innehåll och innehållsleverantörer. Resultaten av den här avhandlingen visar att efterfrågan på användare kan modelleras med hög noggrannhet utan att starkt förlita sig på användarrelaterade attribut utan istället genom att analysera tidigare händelseloggar och med kunskap om innehållsleverantörens schema, vare sig det är live-tv eller tjänster för videostreaming.

Electricity spot prices are difficult to predict since they depend on different unstable and erratic parameters, and also due to the fact that electricity is a commodity that cannot be stored efficiently. This results in a volatile, highly fluctuating behavior of the prices, with many peaks. Machine learning algorithms have outperformed traditional methods in various areas due to their ability to learn complex patterns. In the last decade, deep learning approaches have been introduced in electricity spot price prediction problems, often exceeding their predecessors. In this thesis, several deep learning models were built and evaluated for their ability to predict the spot prices 10-days ahead. Several conclusions were made. Firstly, it was concluded that rather simple neural network architectures can predict prices with high accuracy, except for the most extreme sudden peaks. Secondly, all the deep networks outperformed the benchmark statistical model. Lastly, the proposed LSTM and CNN provided forecasts which were statistically, significantly superior and had the lowest errors, suggesting they are the most suitable for the prediction task. / Elspotspriser är svåra att förutsäga eftersom de beror på olika instabila och oregelbundna faktorer, och också på grund av att elektricitet är en vara som inte kan lagras effektivt. Detta leder till ett volatilt, fluktuerande beteende hos priserna, med många plötsliga toppar. Maskininlärningsalgoritmer har överträffat traditionella metoder inom olika områden på grund av deras förmåga att lära sig komplexa mönster. Under det senaste decenniet har djupinlärningsmetoder introducerats till problem inom elprisprognostisering och ofta visat sig överlägsna sina föregångare. I denna avhandling konstruerades och utvärderades flera djupinlärningsmodeller på deras förmåga att förutsäga spotpriserna 10 dagar framåt. Den första slutsatsen är att relativt simpla nätverksarkitekturer kan förutsäga priser med hög noggrannhet, förutom för fallen med de mest extrema, plötsliga topparna. Vidare, så övertränade alla djupa neurala nätverken den statistiska modellen som användes som riktmärke. Slutligen, så gav de föreslagna LSTM- och CNN-modellerna prognoser som var statistiskt, signifikant överlägsna de andra och hade de lägsta felen, vilket tyder på att de är bäst lämpade för prognostiseringsuppgiften.