Network traffic forecasting estimates future network traffic based on historical traffic observations. It has a wide range of applications, and substantial attention has been dedicated to this research area. Cellular networks serve as the backbone of modern-day communication systems, which support billions of users throughout the world and can help improve the quality of urban life to a great extent. Therefore, accurate traffic prediction is becoming more important for network planning, control management, and the Quality of Service. Diverse methods, including neural network-based methods and data mining methods, have been used for this goal. The Recurrent Neural family is well known for time series data modeling, which predicts the future time series based on the historical data being fed as input to neural nets which may have large time lags with variable lengths. RNN includes several network architectures, such as vanilla RNN and Long Short Term memory (LSTM), that can learn temporal patterns and long-term dependencies in vast sequences of arbitrary length. This paper proposes three models based on LSTM architecture, a multi-layer LSTM with Auto-Encoder, and an AE-LSTM combined with a Multi-Layer Perceptron neural network. The results of each model are discussed in the paper. Simulation outcomes were implemented in Python and compared to existing algorithms, demonstrating high efficacy and performance.

Turbulent flow is widespread in many applications, such as airplanes or cars. Such flow is characterized by being highly chaotic and impossible to predict far into the future. In turbulent flow, there exist regions that have different properties compared to neighboring flow; these regions are called coherent turbulent structures. These structures are connected to Reynolds stress which is essential for modeling turbulent flow. Machine learning techniques have recently had very impressive results for modeling turbulence. In this thesis, we investigate their capabilities of modeling coherent structures. We use data from a highly accurate simulation to create two different artifical neural networks. These networks are tuned by hand, trained, and then we evaluate their performance. We investigate the loss of the networks and the statistical properties of their predictions and compare them to the simulated data. / Turbulent flöde är utbrett i många applikationer, såsom flygplan eller bilar. Sådant flöde kännetecknas av att det är mycket kaotiskt och omöjligt att förutse långt in i framtiden. I turbulent flöde finns det regioner som har olika egenskaper jämfört med närliggande flöde; dessa regioner kallas coherent turbulent structures. Dessa strukturer är kopplade till Reynolds stress, som är avgörande för att modellera turbulent flöde. Maskininlärningstekniker har nyligen haft mycket imponerande resultat för modellering av turbulens. I denna avhandling undersöker vi deras förmåga att modelelera coherent turbulent structures. Vi använder data från en mycket exakt simulering för att skapa två olika artificiella neurala nätverk. Dessa nätverks hyperparameterar väljs manuellt, tränas och sedan utvärderar vi deras resultat. Vi undersöker förlusten av nätverken och de statistiska egenskaperna hos deras förutsägelser och jämför dem med simulerade data.

As organizations and critical infrastructure increasingly rely on computer networks for their function, cyber defense becomes more and more important. A recent trend is to employ predictive methods in cybersecurity. Attack projection attempts to predict the next step in an ongoing attack. Previous research has attempted to solve attack projection using deep learning relying solely on LSTM networks. In this work, by contrast, we solved the attack projection problem using three different neural network architectures: an LSTM, a Transformer, and a hybrid LSTM­Transformer model. We then proposed a way to integrate our neural models into an existing software framework that relies on sequential rule mining to predict future security alerts. The models were trained and evaluated on a publicly available dataset of network security alerts and evaluated with respect to precision and recall of alert predictions. We found that the Transformer architecture had the best overall performance in all but one experiment and that the LSTM architecture performed the worst across all experiments. / Då organisationer och kritisk infrastruktur blir alltmer beroende av datornätvärk för sin verksamhet, blir cyberförsvar alltmer viktigt. En pågående trend är att använda prediktiva metoder inom cybersäkerhet. Attackprojicering innebär att försöka förutspå nästa steg i en pågående cyberattack. Tidigare forskning som försökte tillämpa djupinlärning på attackprojicering använde sig enbart av LSTM­nätverk. I detta arbete använde vi däremot tre olika neurala arkitekturer: en LSTM, en Transformer och en LSTM­Transformer­hybrid. Vi föreslog sedan ett sätt att integrera våra modeller med ett befintligt mjukvaruramverk som använder sig av sekventiella regler för att förutspå kommande larm. Modellerna tränades och utvärderades på en publik datamängd och utvärderades med hänsyn till precision och återkallelse. Vi fann att Transformer­modellen hade bäst prestation i alla utom ett experiment och att LSTM­modellen presterade sämst i alla våra experiment.

This licentiate thesis is a collection of two essays that utilize time-series econometric methods in real estate finance. The first essay applies econometric modelling on Real Estate Investment Trust (REIT) index returns, focusing on estimating the effect of the quantitative easing (QE) and quantitative tightening (QT) programmes on U.S. equity REIT index returns, while controlling for several other important macro-financial factors. The second essay instead focuses on forecasting U.S. equity REIT index returns empirically, where the performance of a traditional econometric model (ARIMA) is compared to a modern state-of-the-art deep learning-based model (LSTM). Digitalization, which encompasses a broad range of technological advancements, is the main factor that we study for its impact on REIT investments. One perspective on the impact of digitalization on REITs is its effect on inflation. Digitalization has the potential to increase productivity and reduce costs, which could help to keep inflation low. This, in turn, has in the recent decades provided a supportive environment for REIT investments through lower interest rates, which we partly investigate in the first essay. Another perspective is that digitalization has not only led, but is also expected to lead, to significant innovations in the field of artificial intelligence (AI) and machine learning (ML), including deep learning (DL), which is a subset of ML. Many researchers and market practitioners are currently working to develop models that can use large amounts of data to make better forecasts and investment decisions. If successful, these models could significantly improve the performance of REIT investments. Can DL models be trained to make better forecasts for making investments? This is a question we ask ourselves in the second essay. The study of digitalization and its effects on inflation has been a growing area of interest in recent years, with researchers exploring the potential impact of technological advancements on macroeconomic trends, which founded the base to our studies. However, recent developments in the global economy have shifted the focus of this research, as inflation levels have unexpectedly risen from what was previously believed to be a low and stable environment. As a result, the setting and framework for our research on digitalization and inflation have been significantly altered, as we have tried to adapt to this changing landscape. / Denna licentiatuppsats är en samling av två forskningsartiklar som använder tidsserieekonometriska metoder inom finansiell ekonomi med fokus på fastighetsaktier. Den första artikeln tillämpar ekonometriska metoder på tidsseriedata för amerikanska börsnoterade fastighetsfonder, Real Estate Investment Trusts (REITs), med fokus på att uppskatta effekten av icke-konventionella penningpolitiska aktiviteter (kvantitativa lättnader och kvantitativ åtstramning) på avkastningsserierna, samtidigt som vi kontrollerar för andra viktiga makroekonomiska och finansiella variabler. Den andra artikeln fokuserar istället på att bygga modeller för prognoser av avkastningen på avkastningsserierna empiriskt, där prognosfelen för en traditionell ekonometrisk modell (ARIMA) jämförs med en modern djupinlärningsbaserad modell (LSTM). Digitalisering, som omfattar ett brett spektrum av tekniska framsteg, är den viktigaste faktorn som vi studerar för dess inverkan på REIT-investeringar. Ett perspektiv på digitaliseringens inverkan på REITs är dess effekt på inflationen. Digitalisering har potential att öka produktiviteten och minska kostnaderna, vilket kan bidra till att hålla inflationen låg. Detta har i sin tur under de senaste decennierna varit fördelaktigt för REIT-investeringar genom lägre räntor, vilket vi delvis undersöker i den första uppsatsen. Ett annat perspektiv är att digitaliseringen inte bara har lett, utan också förväntas leda, till betydande innovationer inom området artificiell intelligens (AI) och maskininlärning (ML), inklusive djupinlärning (DL), som är en delmängd av ML. Många forskare och professionella aktörer arbetar just nu med att utveckla modeller som kan använda stora mängder data för att göra bättre prognoser och investeringsbeslut. Om de lyckas kan dessa modeller förbättra resultatet för REITinvesteringar avsevärt. Kan DL-modeller tränas för att förbättra möjligheterna till att göra mer tillförlitliga prognoser och därmed öka chanserna till att göra mer lönsamma investeringar? Det är en fråga vi ställer oss i den andra artikeln. Digitalisering och dess effekter på inflationen har varit ett starkt växande fält inom såväl forskning som praktisk tillämpning de senaste åren, med forskare som undersöker den potentiella inverkan av tekniska framsteg på makroekonomiska trender, vilket har legat till grund för våra studier. Den senaste tidens utveckling i den globala ekonomin har dock flyttat fokus för denna forskning, eftersom inflationsnivåerna oväntat har stigit från vad som tidigare ansågs vara en låg och stabil miljö. Som ett resultat har miljön och ramarna för vår forskning om digitalisering och inflation ändrats avsevärt, eftersom vi har försökt anpassa oss till detta föränderliga landskap. / <p>QC 20231201</p>

The main thrust of time-series forecasting models in recent years has gone in the direction of pattern-based learning, in which the input variable for the models is a vector of past observations of the variable itself to predict. The most used models based on this traditional pattern-based approach are the autoregressive integrated moving average model (ARIMA) and long short-term memory neural networks (LSTM). The main drawback of the mentioned approaches is their inability to react when the underlying relationships in the data change resulting in a degrading predictive performance of the models. In order to solve this problem, various studies seek to incorporate external factors into the models treating the system as a black box using a machine learning approach which generates complex models that require a large amount of data for their training and have little interpretability. In this thesis, three different algorithms have been proposed to incorporate additional external factors into these pattern-based models, obtaining a good balance between forecast accuracy and model interpretability. After applying these algorithms in a study case of Ethereum price time-series forecasting, it is shown that the prediction error can be efficiently reduced by taking into account these influential external factors compared to traditional approaches while maintaining full interpretability of the model. / Huvudinstrumentet för prognosmodeller för tidsserier de senaste åren har gått i riktning mot mönsterbaserat lärande, där ingångsvariablerna för modellerna är en vektor av tidigare observationer för variabeln som ska förutsägas. De mest använda modellerna baserade på detta traditionella mönsterbaserade tillvägagångssätt är auto-regressiv integrerad rörlig genomsnittsmodell (ARIMA) och långa kortvariga neurala nätverk (LSTM). Den huvudsakliga nackdelen med de nämnda tillvägagångssätten är att de inte kan reagera när de underliggande förhållandena i data förändras vilket resulterar i en försämrad prediktiv prestanda för modellerna. För att lösa detta problem försöker olika studier integrera externa faktorer i modellerna som behandlar systemet som en svart låda med en maskininlärningsmetod som genererar komplexa modeller som kräver en stor mängd data för deras inlärning och har liten förklarande kapacitet. I denna uppsatsen har tre olika algoritmer föreslagits för att införliva ytterligare externa faktorer i dessa mönsterbaserade modeller, vilket ger en bra balans mellan prognosnoggrannhet och modelltolkbarhet. Efter att ha använt dessa algoritmer i ett studiefall av prognoser för Ethereums pristidsserier, visas det att förutsägelsefelet effektivt kan minskas genom att ta hänsyn till dessa inflytelserika externa faktorer jämfört med traditionella tillvägagångssätt med bibehållen full tolkbarhet av modellen.

The handwritten recognition system is a process of learning a pattern from a given image of text. The recognition process usually combines a computer vision task with sequence learning techniques. Transcribing texts from the scanned image remains a challenging problem, especially when the documents are highly degraded, or have excessive dusty noises. Nowadays, there are several handwritten recognition systems both commercially and in free versions, especially for Latin based languages. However, there is no prior study that has been built for Ge’ez handwritten ancient manuscript documents. In contrast, the language has many mysteries of the past, in human history of science, architecture, medicine and astronomy. In this thesis, we present two separate recognition systems. (1) A character-level recognition system which combines computer vision for character segmentation from ancient books and a vanilla Convolutional Neural Network (CNN) to recognize characters. (2) An end- to- end segmentation free handwritten recognition system using CNN, Multi-Dimensional Recurrent Neural Network (MDRNN) with Connectionist Temporal Classification (CTC) for the Ethiopic (Ge’ez) manuscript documents. The proposed character label recognition model outperforms 97.78% accuracy. In contrast, the second model provides an encouraging result which indicates to further study the language properties for better recognition of all the ancient books. / Det handskrivna igenkännings systemet är en process för att lära sig ett mönster från en viss bild av text. Erkännande Processen kombinerar vanligtvis en datorvisionsuppgift med sekvens inlärningstekniker. Transkribering av texter från den skannade bilden är fortfarande ett utmanande problem, särskilt när dokumenten är mycket försämrad eller har för omåttlig dammiga buller. Nuförtiden finns det flera handskrivna igenkänningar system både kommersiellt och i gratisversionen, särskilt för latin baserade språk. Det finns dock ingen tidigare studie som har byggts för Ge’ez handskrivna gamla manuskript dokument. I motsats till detta språk har många mysterier från det förflutna, i vetenskapens mänskliga historia, arkitektur, medicin och astronomi. I denna avhandling presenterar vi två separata igenkänningssystem. (1) Ett karaktärs nivå igenkänningssystem som kombinerar bildigenkänning för karaktär segmentering från forntida böcker och ett vanilj Convolutional Neural Network (CNN) för att erkänna karaktärer. (2) Ett änd-till-slut-segmentering fritt handskrivet igenkänningssystem som använder CNN, Multi-Dimensional Recurrent Neural Network (MDRNN) med Connectionist Temporal Classification (CTC) för etiopiska (Ge’ez) manuskript dokument. Den föreslagna karaktär igenkännings modellen överträffar 97,78% noggrannhet. Däremot ger den andra modellen ett uppmuntrande resultat som indikerar att ytterligare studera språk egenskaperna för bättre igenkänning av alla antika böcker.

The resources of mobile networks are expensive and limited, and as demand for mobile data continues to grow, improved resource utilisation is a prioritised issue. Traffic demand at base stations (BSs) vary throughout the day and week, but the capacity remains constant and utilisation could be significantly improved based on precise, robust, and efficient forecasting. This degree project proposes a fully attention- based Transformer model for traffic prediction at mobile network BSs. Similar approaches have shown to be extremely successful in other domains but there seems to be no previous work where a model fully based on the Transformer is applied to predict mobile traffic. The proposed model is evaluated in terms of prediction performance and required time for training by comparison to a recurrent long short- term memory (LSTM) network. The implemented attention- based approach consists of stacked layers of multi- head attention combined with simple feedforward neural network layers. It thus lacks recurrence and was expected to train faster than the LSTM network. Results show that the Transformer model is outperformed by the LSTM in terms of prediction error in all performed experiments when compared after training for an equal number of epochs. The results also show that the Transformer trains roughly twice as fast as the LSTM, and when compared on equal premises in terms of training time, the Transformer predicts with a lower error rate than the LSTM in three out of four evaluated cases. / Efterfrågan av mobildata ökar ständigt och resurserna vid mobila nätverk är både dyra och begränsade. Samtidigt bestäms basstationers kapacitet utifrån hur hög efterfrågan av deras tjänster är när den är som högst, vilket leder till låg utnyttjandegrad av basstationernas resurser när efterfrågan är låg. Genom robust, träffsäker och effektiv prediktion av mobiltrafik kan en lösning där kapaciteten istället följer efterfrågan möjliggöras, vilket skulle minska överflödig resursförbrukning vid låg efterfrågan utan att kompromissa med behovet av hög kapacitet vid hög efterfrågan. Den här studien föreslår en transformermetod, helt baserad på attentionmekanismen, för att prediktera trafik vid basstationer i mobila nätverk. Liknande metoder har visat sig extremt framgångsrika inom andra områden men transformers utan stöd från andra komplexa strukturer tycks vara obeprövade för prediktion av mobiltrafik. För att utvärderas jämförs metoden med ett neuralt nätverk, innefattande noder av typen long short- term memory (LSTM). Jämförelsen genomförs med avseende på träningstid och felprocent vid prediktioner. Transformermodellen består av flera attentionlager staplade i kombination med vanliga feed- forward- lager och den förväntades träna snabbare än LSTM- modellen. Studiens resultat visar att transformermodellen förutspår mobiltrafiken med högre felprocent än LSTM- nätverket när de jämförs efter lika många epoker av träning. Transformermodellen tränas dock knappt dubbelt så snabbt och när modellerna jämförs på lika grunder vad gäller träningstid presterar transformermodellen bättre än LSTM- modellen i tre av fyra utvärderade fall.

Since 2019, COVID-19, as a new acute respiratory disease, has struck the whole world, causing millions of death and threatening the economy, politics, and civilization. Therefore, an accurate prediction of the future spread of COVID-19 becomes crucial in such a situation. In this comparative study, four different time-series analysis models, namely the ARIMA model, the Prophet model, the Long Short-Term Memory (LSTM) model, and the Transformer model, are investigated to determine which has the best performance when predicting the future case trends of COVID-19 in six countries. After obtaining the publicly available COVID-19 case data from Johns Hopkins University Center for Systems Science and Engineering database, we conduct repetitive experiments which exploit the data to predict future trends for all models. The performance is then evaluated by mean squared error (MSE) and mean absolute error (MAE) metrics. The results show that overall the LSTM model has the best performance for all countries that it can achieve extremely low MSE and MAE. The Transformer model has the second-best performance with highly satisfactory results in some countries, and the other models have poorer performance. This project highlights the high accuracy of the LSTM model, which can be used to predict the spread of COVID-19 so that countries can be better prepared and aware when controlling the spread. / Sedan 2019 har COVID-19, som en ny akut andningssjukdom, drabbat hela världen, orsakat miljontals dödsfall och hotat ekonomin, politiken och civilisationen. Därför blir en korrekt förutsägelse av den framtida spridningen av COVID-19 avgörande i en sådan situation. I denna jämförande studie undersöks fyra olika tidsseriemodeller, nämligen ARIMA-modellen, profetmodellen, Long Short-Term Memory (LSTM) -modellen och transformatormodellen, för att avgöra vilken som har bäst prestanda när man förutsäger framtida falltrender av COVID-19 i sex länder. Efter att ha fått offentligt tillgängliga COVID-19-falldata från Johns Hopkins University Center for Systems Science and Engineering-databasen utför vi repetitiva experiment som utnyttjar data för att förutsäga framtida trender för alla modeller. Prestandan utvärderas sedan med medelvärde för kvadratfel (MSE) och medelvärde för absolut fel (MAE). Resultaten visar att LSTM -modellen överlag har den bästa prestandan för alla länder att den kan uppnå extremt låg MSE och MAE. Transformatormodellen har den näst bästa prestandan med mycket tillfredsställande resultat i vissa länder, och de andra modellerna har sämre prestanda. Detta projekt belyser den höga noggrannheten hos LSTM-modellen, som kan användas för att förutsäga spridningen av COVID-19 så att länder kan vara bättre förberedda och medvetna när de kontrollerar spridningen.

Clean energy and machine learning are subjects that play significant roles in shaping our future. The current climate crisis has forced the world to take action towards more sustainable solutions. Arrangements such as the UN’s Sustainable Development Goals and the Paris Agreement are causing an increased interest in renewable energy solutions. Further, the EU Taxonomy Regulation, applied in 2020, aims to scale up sustainable investments and to direct cash flows toward sustainable projects and activities. These measures create interest in investing in renewable energy alternatives and predicting future movements of stocks related to these businesses. Machine learning models have previously been used to predict time series with promising results. However, predicting time series in the form of stock price indices has, throughout previous attempts, proved to be a difficult task due to the complexity of the variables that play a role in the indices’ movements. This paper uses the machine learning algorithm long short-term memory (LSTM) to predict the S&amp;P Global Clean Energy Index. The research question revolves around how well the LSTM model performs on this specific index and how the result is affected when past returns from correlating variables are added to the model. The researched variables are crude oil price, gold price, and interest. A model for each correlating variable was created, as well as one with all three, and one standard model which used only historical data from the index. The study found that while the model with the variable which had the strongest correlation performed best among the multivariate models, the standard model using only the target variable gave the most accurate result of any of the LSTM models. / Den pågående klimatkrisen har tvingat allt fler länder till att vidta åtgärder, och FN:s globala hållbarhetsmål och Parisavtalet ökar intresset för förnyelsebar energi. Vidare lanserade EU-kommissionen den 21 april 2021 ett omfattande åtgärdspaket, med syftet att öka investeringar i hållbara verksamheter. Detta skapar i sin tur ett ökat intresse för investeringar i förnyelsebar energi och metoder för att förutspå aktiepriser för dessa bolag. Maskininlärningsmodeller har tidigare använts för tidsserieanalyser med goda resultat, men att förutspå aktieindex har visat sig svårt till stor del på grund av uppgiftens komplexitet och antalet variabler som påverkar börsen. Den här uppsatsen använder sig av maskininlärningsmodellen long short-term memory (LSTM) för att förutspå S&amp;P:s Global Clean Energy Index. Syftet är att ta reda på hur träffsäkert en LSTM-modell kan förutspå detta index, och hur resultatet påverkas då modellen används med ytterligare variabler som korrelerar med indexet. De variabler som undersöks är priset på råolja, priset på guld, och ränta. Modeller för var variabel skapades, samt en modell med samtliga variabler och en med endast historisk data från indexet. Resultatet visar att den modell med den variabel som korrelerar starkast med indexet presterade bäst bland flervariabelmodellerna, men den modell som endast användes med historisk data från indexet gav det mest träffsäkra resultatet.

In this thesis, an anomaly detection framework has been developed to aid in maintenance of tightening tools. The framework is built using LSTM networks and gaussian naive bayes  classifiers. The suitability of LSTM networks for multi-variate sensor data and time-series prediction as a basis for anomaly detection has been explored. Current literature and research is mostly concerned with uni-variate data, where LSTM based approaches have had variable but often good results. However, most real world settings with sensor networks, such as the environment and tool from which this thesis data is gathered, are multi-variable. Thus, there is a need to research the effectiveness of the LSTM model in this setting. The thesis has emphasized the need of well defined evaluation metrics of anomaly detection approaches, the difficulties of defining anomalies and anomaly datasets, as well as illustrated the effectiveness of LSTM networks in multi-variate environments. / I den här uppsatsen har ett anomali detektions ramverk utvecklats för att bidra till underhållandet av åtdragarverktyg. Ramverket bygger på LSTM neurala nätverk och gaussian Naive Bayes klassificerare. Användbarheten av LSTM nätverk för multi-variabel data och tidsserie prediktion som basis för anomali detektion har undersökts. Nutida literatur och forskning berör mest envariabel data där LSTM baserade metoder ofta har presterat bra. Men, de flesta system i verkligheten är inte envariabel utan multivariabel, som den miljö verktyget, vars data undersöks i den här uppsatsen, opererar i. Därför anses det att det finns ett behov att undersöka användbarheten av LSTM modeller i den här typen av miljö. Det här arbetet har betonat vikten av väldefinierade utvärderingsvärden för anomali detektion, svårigheterna med att definiera anomalier och anomalidataset, samt illustrerat användbarheten av LSTM nätverk i multivariabla miljöer.