Detta arbete handlar om att prediktera energiproduktion för en solcellsanläggning som är installerat på ett flerbostadshus i Karlstad. Syftet är att skapa en modell som tar data från föregående dygn som input och baserad på det  predikterar solenergiproduktionen 1h framåt. För att uppnå arbetets syfte presenteras teorier om maskininlärning och statistiska utvärderingsmetoder. Modellen implementeras med hjälp av programkod i toolboxen deep learning i MATLAB. Där tränas det på tidigare data för att hitta någon form av mönster och baserad på det prediktera energiproduktionen för 1h framåt givet energiproduktionen från föregående 24h. Algoritmen som används i arbetet är LSTM. I arbetet undersöks också hur mycket data bakåt i tiden som modellen behöver tränas på för att predikteringen ska ge en god indikation på energiproducering. Resultatet visar att bästa modell erhålls genom att träna modellen med 1års data bakåt i tiden med specifika nätverksinställningar . Vidare, ger modellen en MAE på 0.998kWh och en RMSE på 1.765kWh. / This project is about predicting energy production for a photovoltaic system that is installed on a building in Karlstad. The aim is to create a model that takes data from the previous day as input and based on that predicts solar energy production 1h ahead. To achieve the purpose of the work, theories on machine learning as well as statistical evaluation methods are presented. The model is implemented using program code in deep learning toolbox in MATLAB. There, it is trained on previous data to find some pattern in the data and based on that predict energy production for 1h ahead given the energy production from the previous 24h. The algorithm used in the project is LSTM. The project also examines how much data back in time the model needs to be trained on to give a good indication of solar energy production. The results show that the best model derives from training models with 1 year of historic data and with specific network settings. Furthermore, models provide an MAE of 0.998kWh and an RMSE of 1.765kWh.

This paper presents a master’s thesis project in which deep learning methods are used to both calculate and subsequently attempt to maximize Customer Lifetime Value (CLV) for an insurance provider’s customers. Specifically, the report investigates whether panel data comprised of customers monthly insurance policy subscription history can be used with Recurrent Neural Networks (RNN) to achieve better predictive performance than the naïve forecasting model. In order to do this, the use of Long Short Term Memory (LSTM) for anomaly detection in a supervised manner is explored to determine which customers are more likely to change their subscription policies. Whether Deep Reinforcement Learning (DRL) can be used in this setting in order to maximize CLV is also investigated. The study found that the best RNN models outperformed the naïve model in terms of precision on the data set containing customers which are more likely to change their subscription policies. The models suffer, however, from several notable limitations so further research is advised. Selecting those customers was shown to be successful in terms of precision but not sensitivity which suggest that there is a room for improvement. The DRL models did not show a substantial improvement in terms of CLV maximization. / I detta examensarbete presenteras metoder där djupinlärning används för att både beräkna och maximera kundens lönsamhet över tid, Customer Lifetime Value (CLV), för en försäkringsleverantörs kunder. Specifikt undersöker rapporten historisk paneldata som består av kunders månatliga försäkringsinnehav där Recurrent Neural Networks (RNN) används för att uppnå bättre prediktiv prestanda än en naiv prognosmodell. Detta undersöks tillsammans med det neurala nätverket Long Short Term Memory (LSTM), där vi försöker finna anomalier på ett övervakat sätt. Där anomalier syftar på kunder som är mer benägna att ändra sin försäkringspolicy, då den största delen av populationen har samma innehav på månadsbasis. Även en gren av djupinlärning, Deep Reinforcement Learning (DRL), används för att undersöka möjligheten att maximera CLV för denna typ av data. Studien fann att de bästa RNN-modellerna överträffade den naiva modellen i termer av precision i data där kunder är mer benägna att ändra sin försäkringspolicy. Modellerna lider dock av flera anmärkningsvärda begränsningar, så ytterligare forskning rekommenderas. Att välja kunder med hjälp av LSTM visade sig vara framgångsrikt när det gäller precision men inte känslighet vilket tyder på att det finns utrymme för förbättring. DRL-modellerna visade inte någon väsentlig förbättring vad gäller CLV-maximering.

We explore the use of Long short-term memory (LSTM) for anomaly detection in temporal data. Due to the challenges in obtaining labeled anomaly datasets, an unsupervised approach is employed. We train recurrent neural networks (RNNs) with LSTM units to learn the normal time series patterns and predict future values. The resulting prediction errors are modeled to give anomaly scores. We investigate different ways of maintaining LSTM state, and the effect of using a fixed number of time steps on LSTM prediction and detection performance. LSTMs are also compared to feed-forward neural networks with fixed size time windows over inputs. Our experiments, with three real-world datasets, show that while LSTM RNNs are suitable for general purpose time series modeling and anomaly detection, maintaining LSTM state is crucial for getting desired results. Moreover, LSTMs may not be required at all for simple time series. / Vi undersöker Long short-term memory (LSTM) för avvikelsedetektion i tidsseriedata. På grund av svårigheterna i att hitta data med etiketter så har ett oövervakat an-greppssätt använts. Vi tränar rekursiva neuronnät (RNN) med LSTM-noder för att lära modellen det normala tidsseriemönstret och prediktera framtida värden. Vi undersö-ker olika sätt av att behålla LSTM-tillståndet och effekter av att använda ett konstant antal tidssteg på LSTM-prediktionen och avvikelsedetektionsprestandan. LSTM är också jämförda med vanliga neuronnät med fasta tidsfönster över indata. Våra experiment med tre verkliga datasetvisar att även om LSTM RNN är tillämpbara för generell tidsseriemodellering och avvikelsedetektion så är det avgörande att behålla LSTM-tillståndet för att få de önskaderesultaten. Dessutom är det inte nödvändigt att använda LSTM för enkla tidsserier.

Network traffic forecasting estimates future network traffic based on historical traffic observations. It has a wide range of applications, and substantial attention has been dedicated to this research area. Cellular networks serve as the backbone of modern-day communication systems, which support billions of users throughout the world and can help improve the quality of urban life to a great extent. Therefore, accurate traffic prediction is becoming more important for network planning, control management, and the Quality of Service. Diverse methods, including neural network-based methods and data mining methods, have been used for this goal. The Recurrent Neural family is well known for time series data modeling, which predicts the future time series based on the historical data being fed as input to neural nets which may have large time lags with variable lengths. RNN includes several network architectures, such as vanilla RNN and Long Short Term memory (LSTM), that can learn temporal patterns and long-term dependencies in vast sequences of arbitrary length. This paper proposes three models based on LSTM architecture, a multi-layer LSTM with Auto-Encoder, and an AE-LSTM combined with a Multi-Layer Perceptron neural network. The results of each model are discussed in the paper. Simulation outcomes were implemented in Python and compared to existing algorithms, demonstrating high efficacy and performance.

Turbulent flow is widespread in many applications, such as airplanes or cars. Such flow is characterized by being highly chaotic and impossible to predict far into the future. In turbulent flow, there exist regions that have different properties compared to neighboring flow; these regions are called coherent turbulent structures. These structures are connected to Reynolds stress which is essential for modeling turbulent flow. Machine learning techniques have recently had very impressive results for modeling turbulence. In this thesis, we investigate their capabilities of modeling coherent structures. We use data from a highly accurate simulation to create two different artifical neural networks. These networks are tuned by hand, trained, and then we evaluate their performance. We investigate the loss of the networks and the statistical properties of their predictions and compare them to the simulated data. / Turbulent flöde är utbrett i många applikationer, såsom flygplan eller bilar. Sådant flöde kännetecknas av att det är mycket kaotiskt och omöjligt att förutse långt in i framtiden. I turbulent flöde finns det regioner som har olika egenskaper jämfört med närliggande flöde; dessa regioner kallas coherent turbulent structures. Dessa strukturer är kopplade till Reynolds stress, som är avgörande för att modellera turbulent flöde. Maskininlärningstekniker har nyligen haft mycket imponerande resultat för modellering av turbulens. I denna avhandling undersöker vi deras förmåga att modelelera coherent turbulent structures. Vi använder data från en mycket exakt simulering för att skapa två olika artificiella neurala nätverk. Dessa nätverks hyperparameterar väljs manuellt, tränas och sedan utvärderar vi deras resultat. Vi undersöker förlusten av nätverken och de statistiska egenskaperna hos deras förutsägelser och jämför dem med simulerade data.

As organizations and critical infrastructure increasingly rely on computer networks for their function, cyber defense becomes more and more important. A recent trend is to employ predictive methods in cybersecurity. Attack projection attempts to predict the next step in an ongoing attack. Previous research has attempted to solve attack projection using deep learning relying solely on LSTM networks. In this work, by contrast, we solved the attack projection problem using three different neural network architectures: an LSTM, a Transformer, and a hybrid LSTM­Transformer model. We then proposed a way to integrate our neural models into an existing software framework that relies on sequential rule mining to predict future security alerts. The models were trained and evaluated on a publicly available dataset of network security alerts and evaluated with respect to precision and recall of alert predictions. We found that the Transformer architecture had the best overall performance in all but one experiment and that the LSTM architecture performed the worst across all experiments. / Då organisationer och kritisk infrastruktur blir alltmer beroende av datornätvärk för sin verksamhet, blir cyberförsvar alltmer viktigt. En pågående trend är att använda prediktiva metoder inom cybersäkerhet. Attackprojicering innebär att försöka förutspå nästa steg i en pågående cyberattack. Tidigare forskning som försökte tillämpa djupinlärning på attackprojicering använde sig enbart av LSTM­nätverk. I detta arbete använde vi däremot tre olika neurala arkitekturer: en LSTM, en Transformer och en LSTM­Transformer­hybrid. Vi föreslog sedan ett sätt att integrera våra modeller med ett befintligt mjukvaruramverk som använder sig av sekventiella regler för att förutspå kommande larm. Modellerna tränades och utvärderades på en publik datamängd och utvärderades med hänsyn till precision och återkallelse. Vi fann att Transformer­modellen hade bäst prestation i alla utom ett experiment och att LSTM­modellen presterade sämst i alla våra experiment.

This licentiate thesis is a collection of two essays that utilize time-series econometric methods in real estate finance. The first essay applies econometric modelling on Real Estate Investment Trust (REIT) index returns, focusing on estimating the effect of the quantitative easing (QE) and quantitative tightening (QT) programmes on U.S. equity REIT index returns, while controlling for several other important macro-financial factors. The second essay instead focuses on forecasting U.S. equity REIT index returns empirically, where the performance of a traditional econometric model (ARIMA) is compared to a modern state-of-the-art deep learning-based model (LSTM). Digitalization, which encompasses a broad range of technological advancements, is the main factor that we study for its impact on REIT investments. One perspective on the impact of digitalization on REITs is its effect on inflation. Digitalization has the potential to increase productivity and reduce costs, which could help to keep inflation low. This, in turn, has in the recent decades provided a supportive environment for REIT investments through lower interest rates, which we partly investigate in the first essay. Another perspective is that digitalization has not only led, but is also expected to lead, to significant innovations in the field of artificial intelligence (AI) and machine learning (ML), including deep learning (DL), which is a subset of ML. Many researchers and market practitioners are currently working to develop models that can use large amounts of data to make better forecasts and investment decisions. If successful, these models could significantly improve the performance of REIT investments. Can DL models be trained to make better forecasts for making investments? This is a question we ask ourselves in the second essay. The study of digitalization and its effects on inflation has been a growing area of interest in recent years, with researchers exploring the potential impact of technological advancements on macroeconomic trends, which founded the base to our studies. However, recent developments in the global economy have shifted the focus of this research, as inflation levels have unexpectedly risen from what was previously believed to be a low and stable environment. As a result, the setting and framework for our research on digitalization and inflation have been significantly altered, as we have tried to adapt to this changing landscape. / Denna licentiatuppsats är en samling av två forskningsartiklar som använder tidsserieekonometriska metoder inom finansiell ekonomi med fokus på fastighetsaktier. Den första artikeln tillämpar ekonometriska metoder på tidsseriedata för amerikanska börsnoterade fastighetsfonder, Real Estate Investment Trusts (REITs), med fokus på att uppskatta effekten av icke-konventionella penningpolitiska aktiviteter (kvantitativa lättnader och kvantitativ åtstramning) på avkastningsserierna, samtidigt som vi kontrollerar för andra viktiga makroekonomiska och finansiella variabler. Den andra artikeln fokuserar istället på att bygga modeller för prognoser av avkastningen på avkastningsserierna empiriskt, där prognosfelen för en traditionell ekonometrisk modell (ARIMA) jämförs med en modern djupinlärningsbaserad modell (LSTM). Digitalisering, som omfattar ett brett spektrum av tekniska framsteg, är den viktigaste faktorn som vi studerar för dess inverkan på REIT-investeringar. Ett perspektiv på digitaliseringens inverkan på REITs är dess effekt på inflationen. Digitalisering har potential att öka produktiviteten och minska kostnaderna, vilket kan bidra till att hålla inflationen låg. Detta har i sin tur under de senaste decennierna varit fördelaktigt för REIT-investeringar genom lägre räntor, vilket vi delvis undersöker i den första uppsatsen. Ett annat perspektiv är att digitaliseringen inte bara har lett, utan också förväntas leda, till betydande innovationer inom området artificiell intelligens (AI) och maskininlärning (ML), inklusive djupinlärning (DL), som är en delmängd av ML. Många forskare och professionella aktörer arbetar just nu med att utveckla modeller som kan använda stora mängder data för att göra bättre prognoser och investeringsbeslut. Om de lyckas kan dessa modeller förbättra resultatet för REITinvesteringar avsevärt. Kan DL-modeller tränas för att förbättra möjligheterna till att göra mer tillförlitliga prognoser och därmed öka chanserna till att göra mer lönsamma investeringar? Det är en fråga vi ställer oss i den andra artikeln. Digitalisering och dess effekter på inflationen har varit ett starkt växande fält inom såväl forskning som praktisk tillämpning de senaste åren, med forskare som undersöker den potentiella inverkan av tekniska framsteg på makroekonomiska trender, vilket har legat till grund för våra studier. Den senaste tidens utveckling i den globala ekonomin har dock flyttat fokus för denna forskning, eftersom inflationsnivåerna oväntat har stigit från vad som tidigare ansågs vara en låg och stabil miljö. Som ett resultat har miljön och ramarna för vår forskning om digitalisering och inflation ändrats avsevärt, eftersom vi har försökt anpassa oss till detta föränderliga landskap. / <p>QC 20231201</p>

The main thrust of time-series forecasting models in recent years has gone in the direction of pattern-based learning, in which the input variable for the models is a vector of past observations of the variable itself to predict. The most used models based on this traditional pattern-based approach are the autoregressive integrated moving average model (ARIMA) and long short-term memory neural networks (LSTM). The main drawback of the mentioned approaches is their inability to react when the underlying relationships in the data change resulting in a degrading predictive performance of the models. In order to solve this problem, various studies seek to incorporate external factors into the models treating the system as a black box using a machine learning approach which generates complex models that require a large amount of data for their training and have little interpretability. In this thesis, three different algorithms have been proposed to incorporate additional external factors into these pattern-based models, obtaining a good balance between forecast accuracy and model interpretability. After applying these algorithms in a study case of Ethereum price time-series forecasting, it is shown that the prediction error can be efficiently reduced by taking into account these influential external factors compared to traditional approaches while maintaining full interpretability of the model. / Huvudinstrumentet för prognosmodeller för tidsserier de senaste åren har gått i riktning mot mönsterbaserat lärande, där ingångsvariablerna för modellerna är en vektor av tidigare observationer för variabeln som ska förutsägas. De mest använda modellerna baserade på detta traditionella mönsterbaserade tillvägagångssätt är auto-regressiv integrerad rörlig genomsnittsmodell (ARIMA) och långa kortvariga neurala nätverk (LSTM). Den huvudsakliga nackdelen med de nämnda tillvägagångssätten är att de inte kan reagera när de underliggande förhållandena i data förändras vilket resulterar i en försämrad prediktiv prestanda för modellerna. För att lösa detta problem försöker olika studier integrera externa faktorer i modellerna som behandlar systemet som en svart låda med en maskininlärningsmetod som genererar komplexa modeller som kräver en stor mängd data för deras inlärning och har liten förklarande kapacitet. I denna uppsatsen har tre olika algoritmer föreslagits för att införliva ytterligare externa faktorer i dessa mönsterbaserade modeller, vilket ger en bra balans mellan prognosnoggrannhet och modelltolkbarhet. Efter att ha använt dessa algoritmer i ett studiefall av prognoser för Ethereums pristidsserier, visas det att förutsägelsefelet effektivt kan minskas genom att ta hänsyn till dessa inflytelserika externa faktorer jämfört med traditionella tillvägagångssätt med bibehållen full tolkbarhet av modellen.

The handwritten recognition system is a process of learning a pattern from a given image of text. The recognition process usually combines a computer vision task with sequence learning techniques. Transcribing texts from the scanned image remains a challenging problem, especially when the documents are highly degraded, or have excessive dusty noises. Nowadays, there are several handwritten recognition systems both commercially and in free versions, especially for Latin based languages. However, there is no prior study that has been built for Ge’ez handwritten ancient manuscript documents. In contrast, the language has many mysteries of the past, in human history of science, architecture, medicine and astronomy. In this thesis, we present two separate recognition systems. (1) A character-level recognition system which combines computer vision for character segmentation from ancient books and a vanilla Convolutional Neural Network (CNN) to recognize characters. (2) An end- to- end segmentation free handwritten recognition system using CNN, Multi-Dimensional Recurrent Neural Network (MDRNN) with Connectionist Temporal Classification (CTC) for the Ethiopic (Ge’ez) manuscript documents. The proposed character label recognition model outperforms 97.78% accuracy. In contrast, the second model provides an encouraging result which indicates to further study the language properties for better recognition of all the ancient books. / Det handskrivna igenkännings systemet är en process för att lära sig ett mönster från en viss bild av text. Erkännande Processen kombinerar vanligtvis en datorvisionsuppgift med sekvens inlärningstekniker. Transkribering av texter från den skannade bilden är fortfarande ett utmanande problem, särskilt när dokumenten är mycket försämrad eller har för omåttlig dammiga buller. Nuförtiden finns det flera handskrivna igenkänningar system både kommersiellt och i gratisversionen, särskilt för latin baserade språk. Det finns dock ingen tidigare studie som har byggts för Ge’ez handskrivna gamla manuskript dokument. I motsats till detta språk har många mysterier från det förflutna, i vetenskapens mänskliga historia, arkitektur, medicin och astronomi. I denna avhandling presenterar vi två separata igenkänningssystem. (1) Ett karaktärs nivå igenkänningssystem som kombinerar bildigenkänning för karaktär segmentering från forntida böcker och ett vanilj Convolutional Neural Network (CNN) för att erkänna karaktärer. (2) Ett änd-till-slut-segmentering fritt handskrivet igenkänningssystem som använder CNN, Multi-Dimensional Recurrent Neural Network (MDRNN) med Connectionist Temporal Classification (CTC) för etiopiska (Ge’ez) manuskript dokument. Den föreslagna karaktär igenkännings modellen överträffar 97,78% noggrannhet. Däremot ger den andra modellen ett uppmuntrande resultat som indikerar att ytterligare studera språk egenskaperna för bättre igenkänning av alla antika böcker.

The resources of mobile networks are expensive and limited, and as demand for mobile data continues to grow, improved resource utilisation is a prioritised issue. Traffic demand at base stations (BSs) vary throughout the day and week, but the capacity remains constant and utilisation could be significantly improved based on precise, robust, and efficient forecasting. This degree project proposes a fully attention- based Transformer model for traffic prediction at mobile network BSs. Similar approaches have shown to be extremely successful in other domains but there seems to be no previous work where a model fully based on the Transformer is applied to predict mobile traffic. The proposed model is evaluated in terms of prediction performance and required time for training by comparison to a recurrent long short- term memory (LSTM) network. The implemented attention- based approach consists of stacked layers of multi- head attention combined with simple feedforward neural network layers. It thus lacks recurrence and was expected to train faster than the LSTM network. Results show that the Transformer model is outperformed by the LSTM in terms of prediction error in all performed experiments when compared after training for an equal number of epochs. The results also show that the Transformer trains roughly twice as fast as the LSTM, and when compared on equal premises in terms of training time, the Transformer predicts with a lower error rate than the LSTM in three out of four evaluated cases. / Efterfrågan av mobildata ökar ständigt och resurserna vid mobila nätverk är både dyra och begränsade. Samtidigt bestäms basstationers kapacitet utifrån hur hög efterfrågan av deras tjänster är när den är som högst, vilket leder till låg utnyttjandegrad av basstationernas resurser när efterfrågan är låg. Genom robust, träffsäker och effektiv prediktion av mobiltrafik kan en lösning där kapaciteten istället följer efterfrågan möjliggöras, vilket skulle minska överflödig resursförbrukning vid låg efterfrågan utan att kompromissa med behovet av hög kapacitet vid hög efterfrågan. Den här studien föreslår en transformermetod, helt baserad på attentionmekanismen, för att prediktera trafik vid basstationer i mobila nätverk. Liknande metoder har visat sig extremt framgångsrika inom andra områden men transformers utan stöd från andra komplexa strukturer tycks vara obeprövade för prediktion av mobiltrafik. För att utvärderas jämförs metoden med ett neuralt nätverk, innefattande noder av typen long short- term memory (LSTM). Jämförelsen genomförs med avseende på träningstid och felprocent vid prediktioner. Transformermodellen består av flera attentionlager staplade i kombination med vanliga feed- forward- lager och den förväntades träna snabbare än LSTM- modellen. Studiens resultat visar att transformermodellen förutspår mobiltrafiken med högre felprocent än LSTM- nätverket när de jämförs efter lika många epoker av träning. Transformermodellen tränas dock knappt dubbelt så snabbt och när modellerna jämförs på lika grunder vad gäller träningstid presterar transformermodellen bättre än LSTM- modellen i tre av fyra utvärderade fall.