This thesis aims to develop a new model for stress-testing financial portfolios using Extreme Value Theory (EVT) and General Adversarial Networks (GANs). The current practice of risk management relies on mathematical or historical models, such as Value-at-Risk and expected shortfall. The problem with historical models is that the data which is available for very extreme events is limited, and therefore we need a method to interpolate and extrapolate beyond the available range. EVT is a statistical framework that analyzes extreme events in a distribution and allows such interpolation and extrapolation, and GANs are machine-learning techniques that generate synthetic data. The combination of these two areas can generate more realistic stress-testing scenarios to help financial institutions manage potential risks better. The goal of this thesis is to develop a new model that can handle complex dependencies and high-dimensional inputs with different kinds of assets such as stocks, indices, currencies, and commodities and can be used in parallel with traditional risk measurements. The evtGAN algorithm shows promising results and is able to mimic actual distributions, and is also able to extrapolate data outside the available data range. / Detta examensarbete handlar om att utveckla en ny modell för stresstestning av finansiella portföljer med hjälp av extremvärdesteori (EVT) och Generative Adversarial Networks (GAN). Dom modeller för riskhantering som används idag bygger på matematiska eller historiska modeller, som till exempel Value-at-Risk och Expected Shortfall. Problemet med historiska modeller är att det finns begränsat med data för mycket extrema händelser. EVT är däremot en del inom statistisk som analyserar extrema händelser i en fördelning, och GAN är maskininlärningsteknik som genererar syntetisk data. Genom att kombinera dessa två områden kan mer realistiska stresstestscenarier skapas för att hjälpa finansiella institutioner att bättre hantera potentiella risker. Målet med detta examensarbete är att utveckla en ny modell som kan hantera komplexa beroenden i högdimensionell data med olika typer av tillgångar, såsom aktier, index, valutor och råvaror, och som kan användas parallellt med traditionella riskmått. Algoritmen evtGAN visar lovande resultat och kan imitera verkliga fördelningar samt extrapolera data utanför tillgänglig datamängd.

Brain tumor is a disease characterized by uncontrolled growth of abnormal cells in the brain. The brain is responsible for regulating the functions of all other organs, hence, any atypical growth of cells in the brain can have severe implications for its functions. The number of global mortality in 2020 led by cancerous brains was estimated at 251,329. However, early detection of brain cancer is critical for prompt treatment and improving patient’s quality of life as well as survival rates. Manual medical image classification in diagnosing diseases has been shown to be extremely time-consuming and labor-intensive. Convolutional Neural Networks (CNNs) has proven to be a leading algorithm in image classification outperforming humans. This paper compares five CNN architectures namely: VGG-16, VGG-19, AlexNet, EffecientNetB7, and ResNet-50 in terms of performance and accuracy using transfer learning. In addition, the authors discussed in this paper the economic impact of CNN, as an AI approach, on the healthcare sector. The models’ performance is demonstrated using functions for loss and accuracy rates as well as using the confusion matrix. The conducted experiment resulted in VGG-19 achieving best performance with 97% accuracy, while EffecientNetB7 achieved worst performance with 93% accuracy. / Hjärntumör är en sjukdom som kännetecknas av okontrollerad tillväxt av onormala celler i hjärnan. Hjärnan är ansvarig för att styra funktionerna hos alla andra organ, därför kan all onormala tillväxt av celler i hjärnan ha allvarliga konsekvenser för dess funktioner. Antalet globala dödligheten ledda av hjärncancer har uppskattats till 251329 under 2020. Tidig upptäckt av hjärncancer är dock avgörande för snabb behandling och för att förbättra patienternas livskvalitet och överlevnadssannolikhet. Manuell medicinsk bildklassificering vid diagnostisering av sjukdomar har visat sig vara extremt tidskrävande och arbetskrävande. Convolutional Neural Network (CNN) är en ledande algoritm för bildklassificering som har överträffat människor. Denna studie jämför fem CNN-arkitekturer, nämligen VGG-16, VGG-19, AlexNet, EffecientNetB7, och ResNet-50 i form av prestanda och noggrannhet. Dessutom diskuterar författarna i studien CNN:s ekonomiska inverkan på sjukvårdssektorn. Modellens prestanda demonstrerades med hjälp av funktioner om förlust och noggrannhets värden samt med hjälp av en Confusion matris. Resultatet av det utförda experimentet har visat att VGG-19 har uppnått bästa prestanda med 97% noggrannhet, medan EffecientNetB7 har uppnått värsta prestanda med 93% noggrannhet.

Artificial intelligence techniques, such as artificial neural networks, random forests, or support vector machines, have been used to address a variety of problems in numerous industries. However, in many cases, models have to deal with issues such as imbalanced data or high multi-dimensionality. This thesis implements and compares the performance of support vector machines, random forests, and neural networks for a new bank account fraud detection, a use case defined by imbalanced data and high multi-dimensionality. The neural network achieved both the best AUC-ROC (0.889) and the best average precision (0.192). However, the results of the study indicate that the difference between the models’ performance is not statistically significant to reject the initial hypothesis that assumed equal model performances. / Artificiell intelligens, som artificiella neurala nätverk, random forests eller support vector machines, har använts för att lösa en mängd olika problem inom många branscher. I många fall måste dock modellerna hantera problem som obalanserade data eller hög flerdimensionalitet. Denna avhandling implementerar och jämför prestandan hos support vector machines, random forests och neurala nätverk för att upptäcka bedrägerier med nya bankkonton, ett användningsfall som definieras av obalanserade data och hög flerdimensionalitet. Det neurala nätverket uppnådde både den bästa AUC-ROC (0,889) och den bästa genomsnittliga precisionen (0,192). Resultaten av studien visar dock att skillnaden mellan modellernas prestanda inte är statistiskt signifikant för att förkasta den ursprungliga hypotesen som antog lika modellprestanda.

Participatory Sensing (PS) is a common mode of data collection where valuable data is gathered from many contributors, each providing data from the user’s or the device’s surroundings via a mobile device, such as a smartphone. This has the advantage of cost-efficiency and wide-scale data collection. One of the application areas for PS is the collection of traffic data. The cost of collecting roving sensor data, such as vehicle probe data, is significantly lower than that of traditional stationary sensors such as radar and inductive loops. The collected data could pave the way for providing accurate and high-resolution traffic information that is important to transportation planning. The problem with PS is that it is open, and anyone can register and participate in a sensing task. A malicious user is likely to submit false data without performing the sensing task for personal advantage or, even worse, to attack on a large scale with clear intentions. For example, in real-time traffic monitoring, attackers may report false alerts of traffic jams to divert traffic on the road ahead or directly interfere with the system’s observation and judgment of road conditions, triggering large-scale traffic guidance errors. An efficient method of assessing the trustworthiness of data is therefore required. The trustworthiness problem can be approximated as the problem of anomaly detection in time-series data. Traditional predictive model-based anomaly detection models include univariate models for univariate time series such as Auto Regressive Integrated Moving Average (ARIMA), hypothesis testing, and wavelet analysis, and recurrent neural networks (RNNs) for multiple time series such as Gated Recurrent Unit (GRU) and Long short-term memory (LSTM). When talking about traffic scenarios, some prediction models that consider both spatial and temporal dependencies are likely to perform better than those that only consider temporal dependencies, such as Diffusion Convolutional Recurrent Neural Network (DCRNN) and Spatial-Temporal Attention Wavenet (STAWnet). In this project, we built a detailed traffic condition participatory sensing scenario as well as an adversary model. The attacker’s intent is refined into four attack scenarios, namely faking congestion, prolonging congestion, and masking congestion from the beginning or midway through. On the basis, we established a mechanism for assessing the trustworthiness of the data using three traffic prediction models. One model is the time-dependent deep neural network prediction model DCRNN, and the other two are a simplified version of the model DCRNN-NoCov, which ignores spatial dependencies, and ARIMA. The ultimate goal of this evaluation mechanism is to give a list of attackers and to perform data filtering. We use the success rate of distinguishing users as benign or attackers as a metric to evaluate the system’s performance. In all four attack scenarios mentioned above, the system achieves a success rate of more than 80%, obtaining satisfactory results. We also discuss the more desirable attack strategies from the attacker’s point of view. / Participatory Sensing (PS) är ett vanligt sätt att samla in data där värdefulla data samlas in från många bidragsgivare, som alla tillhandahåller data från användarens eller enhetens omgivning via en mobil enhet, t.ex. en smartphone. Detta har fördelen av kostnadseffektivitet och omfattande datainsamling. Ett av tillämpningsområdena för PS är insamling av trafikdata. Kostnaden för att samla in data från mobila sensorer, t.ex. data från fordonssonderingar, är betydligt lägre än kostnaden för traditionella stationära sensorer, t.ex. radar och induktiva slingor. De insamlade uppgifterna skulle kunna bana väg för att tillhandahålla exakt och högupplöst trafikinformation som är viktig för transportplaneringen. Problemet med deltagande avkänning är att den är öppen och att vem som helst kan registrera sig och delta i en avkänningsuppgift. En illasinnad användare kommer sannolikt att lämna in falska uppgifter utan att utföra avkänningsuppgiften för personlig vinning eller, ännu värre, för att angripa en stor skala med tydliga avsikter. Vid trafikövervakning i realtid kan t.ex. angripare rapportera falska varningar om trafikstockningar för att avleda trafiken på vägen framåt eller direkt störa systemets observation och bedömning av vägförhållanden, vilket kan utlösa storskaliga fel i trafikstyrningen. Det finns därför ett akut behov av en effektiv metod för att bedöma uppgifternas tillförlitlighet. Problemet med trovärdighet kan approximeras som problemet med upptäckt av anomalier i tidsserier. Traditionella modeller för anomalidetektion som bygger på prediktiva modeller omfattar univariata modeller för univariata tidsserier, t.ex. ARIMA (Autoregressive Integrated Moving Average), hypotesprövning och waveletanalys, och återkommande neurala nätverk (RNN) för flera tidsserier, t.ex. GRU (Gated Recurrent Unit) och LSTM (Long short-term memory). När man talar om trafikscenarier kommer vissa prognosmodeller som tar hänsyn till både rumsliga och tidsmässiga beroenden sannolikt att prestera bättre än de som endast tar hänsyn till tidsmässiga beroenden, till exempel Diffusion Convolutional Recurrent Neural Network (DCRNN) och Spatial-Temporal Attention Wavenet (STAWnet). I det här projektet byggde vi upp ett detaljerat scenario för deltagande av trafikförhållanden och en motståndarmodell. Angriparens avsikt är raffinerad i fyra angreppsscenarier, nämligen att fejka trafikstockning, förlänga trafikstockning och maskera trafikstockning från början eller halvvägs in i processen. På grundval av detta har vi inrättat en mekanism för att bedöma uppgifternas tillförlitlighet med hjälp av tre typiska trafikprognosmodeller. Den ena modellen är den tidsberoende djupa neurala nätverksförutsägelsemodellen DCRNN, och de andra två är en förenklad version av modellen DCRNN-NoCov, som ignorerar rumsliga beroenden, och ARIMA. Det slutliga målet med denna utvärderingsmekanism är att ge en lista över angripare och att utföra datafiltrering. Vi använder framgångsfrekvensen när det gäller att särskilja användare som godartade eller angripare som ett mått för att utvärdera systemets prestanda. I alla fyra olika attackscenarier som nämns ovan uppnår systemet en framgångsfrekvens på mer än 80%, vilket ger tillfredsställande resultat. Vi diskuterar också de mer önskvärda angreppsstrategierna ur angriparens synvinkel.

This work presents an investigation of tailoring Network Representation Learning (NRL) for an application in the Financial Industry. NRL approaches are data-driven models that learn how to encode graph structures into low-dimensional vector spaces, which can be further exploited by downstream Machine Learning applications. They can potentially bring a lot of benefits in the Financial Industry since they extract in an automatic way features that can provide useful input regarding graph structures, called embeddings. Financial transactions can be represented as a network, and through NRL, it is possible to extract embeddings that reflect the intrinsic inter-connected nature of economic relationships. Such embeddings can be used for several purposes, among which Anomaly Detection to fight financial crime.This work provides a qualitative analysis over state-of-the-art NRL models, which identifies Graph Convolutional Network (ConvGNN) as the most suitable category of approaches for Financial Industry but with a certain need for further improvement. Financial Industry poses additional challenges when modelling a NRL solution. Despite the need of having a scalable solution to handle real-world graph with considerable dimensions, it is necessary to take into consideration several characteristics: transactions graphs are inherently dynamic since every day new transactions are executed and nodes can be heterogeneous. Besides, everything is further complicated by the need to have updated information in (near) real-time due to the sensitivity of the application domain. For these reasons, GraphSAGE has been considered as a base for the experiments, which is an inductive ConvGNN model. Two variants of GraphSAGE are presented: a dynamic variant whose weights evolve accordingly with the input sequence of graph snapshots, and a variant specifically meant to handle bipartite graphs. These variants have been evaluated by applying them to real-world data and leveraging the generated embeddings to perform Anomaly Detection. The experiments demonstrate that leveraging these variants leads toimagecomparable results with other state-of-the-art approaches, but having the advantage of being suitable to handle real-world financial data sets. / Detta arbete presenterar en undersökning av tillämpningar av Network Representation Learning (NRL) inom den finansiella industrin. Metoder inom NRL möjliggör datadriven kondensering av grafstrukturer till lågdimensionella och lätthanterliga vektorer.Dessa vektorer kan sedan användas i andra maskininlärningsuppgifter. Närmare bestämt, kan metoder inom NRL underlätta hantering av och informantionsutvinning ur beräkningsintensiva och storskaliga grafer inom den finansiella sektorn, till exempel avvikelsehantering bland finansiella transaktioner. Arbetet med data av denna typ försvåras av det faktum att transaktionsgrafer är dynamiska och i konstant förändring. Utöver detta kan noderna, dvs transaktionspunkterna, vara vitt skilda eller med andra ord härstamma från olika fördelningar.I detta arbete har Graph Convolutional Network (ConvGNN) ansetts till den mest lämpliga lösningen för nämnda tillämpningar riktade mot upptäckt av avvikelser i transaktioner. GraphSAGE har använts som utgångspunkt för experimenten i två olika varianter: en dynamisk version där vikterna uppdateras allteftersom nya transaktionssekvenser matas in, och en variant avsedd särskilt för bipartita (tvådelade) grafer. Dessa varianter har utvärderats genom användning av faktiska datamängder med avvikelsehantering som slutmål.

The increasing occurrence of structural deformations in the electrodes of the jelly roll has raised quality concerns during battery manufacturing, emphasizing the need to detect them automatically with the advanced techniques. This thesis aims to explore and provide two models based on traditional computer vision (CV) and deep neural network (DNN) techniques using computed tomography (CT) scan images of jelly rolls to ensure that the product is of high quality. For both approaches, electrode peaks as keypoints of anodes and cathodes in prismatic lithium battery jelly rolls are detected to extract the geometric features to identify if a particular jelly roll has some structural deformations. For traditional CV methods, the images undergo some pre-processing steps, extraction of foreground through adaptive thresholding, and morphological operations to extract contour edges, followed by applying Harris corner detector to detect electrode peaks. However, this approach shows limitations in detecting small or negative distance differences in deformed images. Furthermore, this study proposes another approach based on supervised transfer learning using pre-trained deep learning models on annotated data. After exploring different architectures, the VGG19 model pre-trained on ImageNet dataset outperformed as compared to other architectures, even with insufficient training data, achieving a maximum accuracy of 93.13 % for 1-pixel distance, 98.87 % for 5-pixel distance and 99.29 % for 10-pixel distance on test data, where the performance metrics, such as Percentage of Correct Keypoint (PCK), Mean-Square Error and Huber loss are utilized. As a result, this baseline proves to be a valuable tool for detecting structural deformations in jelly rolls. Moreover, a GUI-based executable application is developed using both approaches for raising the OK or NG flags for detecting structural deformations in each jelly roll. / Den ökande förekomsten av strukturella deformationer av elektroderna i så kallade jelly rolls har väckt kvalitetsproblem under batteritillverkning, och betonat behovet av att upptäcka dem automatiskt med avancerade tekniker. Denna avhandling syftar till att utforska och tillhandahålla två modeller baserade på traditionell datorseende (CV) och djupa neurala nätverk (DNN) tekniker med hjälp av bilder från datortomografisk skanning (CT) av jelly rolls för att säkerställa att produkten är av hög kvalitet. För båda metoderna detekteras elektrodtoppar som nyckelpunkter på anoder och katoder i prismatiska litiumbatteriers jelly rolls för att extrahera de geometriska egenskaperna för att identifiera om en viss jelly roll har några strukturella deformationer. För traditionella CV-metoder genomgår bilderna några förbehandlingssteg, extraktion av förgrund genom adaptiv tröskling och morfologiska operationer för att extrahera konturkanter, följt av användning av Harris hörndetektor för att upptäcka elektrodtoppar. Denna metod visar dock begränsningar i att detektera små eller negativa avståndsskillnader i deformerade bilder. Vidare föreslår denna studie en annan metod baserad på övervakad överföringsinlärning med förtränade djupinlärningsmodeller på annoterade data. Efter att ha utforskat olika arkitekturer presterade VGG19-modellen förtränad på ImageNet-datasetet bättre jämfört med andra arkitekturer, även med otillräcklig träningsdata, och uppnådde en maximal noggrannhet på 91,56% för 1-pixels avstånd, 97,49% för 5-pixels avstånd och 98,91% för 10-pixels avstånd på testdata, där prestationsmått som procentandel av korrekta nyckelpunkter (PCK), medelkvadratfel och Huber-förlust används. Som ett resultat visar sig denna grundlinje vara ett värdefullt verktyg för att upptäcka strukturella deformationer i jelly rolls. Dessutom har exekverbar applikation med grafiskt gränssnitt utvecklats med båda metoderna för att höja OK/NG-flaggorna för att upptäcka strukturella deformationer i varje jelly roll.

In the context of decarbonizing the electricity generation of French non-interconnected territories, the knowledge of future electricity demand, in particular annual and peak demand in the long-term, is crucial to design new renewable energy infrastructures. So far, these territories, mainly islands located in the Pacific and Indian ocean, relies mainly on fossil fuels powered facilities. Energy policies envision to widely develop renewable energies to move towards a low-carbon electricity mix by 2028.  This thesis focuses on the long-term forecasting of hourly electricity demand. A methodology is developed to design and select a model able to fit accurately historical data and to forecast future demand in these particular territories. Historical data are first analyzed through a clustering analysis to identify trends and patterns, based on a k-means clustering algorithm. Specific calendar inputs are then designed to consider these first observations. External inputs, such as weather data, economic and demographic variables, are also included.  Forecasting algorithms are selected based on the literature and they are than tested and compared on different input datasets. These input datasets, besides the calendar and external variables mentioned, include different number of lagged values, from zero to three. The combination of model and input dataset which gives the most accurate results on the testing set is selected to forecast future electricity demand. The inclusion of lagged values leads to considerable improvements in accuracy. Although gradient boosting regression features the lowest errors, it is not able to detect peaks of electricity demand correctly. On the contrary, artificial neural network (ANN) demonstrates a great ability to fit historical data and demonstrates a good accuracy on the testing set, as well as for peak demand prediction. Generalized additive model, a relatively new model in the energy forecasting field, gives promising results as its performances are close to the one of ANN and represent an interesting model for future research.  Based on the future values of inputs, the electricity demand in 2028 in Réunion was forecasted using ANN. The electricity demand is expected to reach more than 2.3 GWh and the peak demand about 485 MW. This represents a growth of 12.7% and 14.6% respectively compared to 2019 levels. / I samband med utfasningen av fossila källor för elproduktion i franska icke-sammankopplade territorier är kunskapen om framtida elbehov, särskilt årlig förbrukning och topplast på lång sikt, avgörande för att utforma ny infrastruktur för förnybar energi. Hittills är dessa territorier, främst öar som ligger i Stilla havet och Indiska oceanen, beroende av anläggningar med fossila bränslen. Energipolitiken planerar att på bred front utveckla förnybar energi för att gå mot en koldioxidsnål elmix till 2028.  Denna avhandling fokuserar på den långsiktiga prognosen för elbehov per timme. En metod är utvecklad för att utforma och välja en modell som kan passa korrekt historisk data och för att förutsäga framtida efterfrågan inom dessa specifika områden. Historiska data analyseras först genom en klusteranalys för att identifiera trender och mönster, baserat på en k-means klusteralgoritm. Specifika kalenderinmatningar utformas sedan för att beakta dessa första observationer. Externa inmatningar, såsom väderdata, ekonomiska och demografiska variabler, ingår också.  Prognosalgoritmer väljs utifrån litteraturen och de testas och jämförs på olika inmatade dataset. Dessa inmatade dataset, förutom den nämnda kalenderdatan och externa variabler, innehåller olika antal fördröjda värden, från noll till tre. Kombinationen av modell och inmatat dataset som ger de mest exakta resultaten på testdvärdena väljs för att förutsäga framtida elbehov. Införandet av fördröjda värden leder till betydande förbättringar i exakthet. Även om gradientförstärkande regression har de lägsta felen kan den inte upptäcka toppar av elbehov korrekt. Tvärtom, visar artificiella neurala nätverk (ANN) en stor förmåga att passa historiska data och visar en god noggrannhet på testuppsättningen, liksom för förutsägelse av toppefterfrågan. En generaliserad tillsatsmodell, en relativt ny modell inom energiprognosfältet, ger lovande resultat eftersom dess prestanda ligger nära den för ANN och representerar en intressant modell för framtida forskning.  Baserat på de framtida värdena på indata, prognostiserades elbehovet 2028 i Réunion med ANN. Elbehovet förväntas nå mer än 2,3 GWh och toppbehovet cirka 485 MW. Detta motsvarar en tillväxt på 12,7% respektive 14,6% jämfört med 2019 års nivåer.

Real-time semantic scene understanding is a challenging computer vision task for autonomous vehicles. A limited amount of research has been done regarding forestry and off-road scene understanding, as the industry focuses on urban and on-road applications. Studies have shown that Deep Convolutional Neural Network architectures, using parameters trained on large datasets, can be re-trained and customized with smaller off-road datasets, using a method called transfer learning and yield state-of-the-art classification performance. This master’s thesis served as an extension of such existing off-road semantic segmentation studies. The thesis focused on detecting and visualizing the general trade-offs between classification performance, classification time, and the network’s number of available classes. The results showed that the classification performance declined for every class that got added to the network. Misclassification mainly occurred in the class boundary areas, which increased when more classes got added to the network. However, the number of classes did not affect the network’s classification time. Further, there was a nonlinear trade-off between classification time and classification performance. The classification performance improved with an increased number of network layers and a larger data type resolution. However, the layer depth increased the number of calculations and the larger data type resolution required a longer calculation time. The network’s classification performance increased by 0.5% when using a 16-bit data type resolution instead of an 8-bit resolution. But, its classification time considerably worsened as it segmented about 20 camera frames less per second with the larger data type. Also, tests showed that a 101-layered network slightly degraded in classification performance compared to a 50-layered network, which indicated the nonlinearity to the trade-off regarding classification time and classification performance. Moreover, the class constellations considerably impacted the network’s classification performance and continuity. It was essential that the class’s content and objects were visually similar and shared the same features. Mixing visually ambiguous objects into the same class could drop the inference performance by almost 30%. There are several directions for future work, including writing a new and customized source code for the ResNet50 network. A customized and pruned network could enhance both the application’s classification performance and classification speed. Further, procuring a task-specific forestry dataset and transferring weights pre-trained for autonomous navigation instead of generic object segmentation could lead to even better classification performance. / Se filen

Värme står för det största energibehovet inom hushåll och andra byggnader i samhället och olika tekniker används för att kunna reducera mängden energi som går åt för att spara på både miljö och pengar. Ett angreppssätt på detta problem är genom informatiken, där maskininlärning kan användas för att analysera och förutspå värmebehovet. I denna studie används maskininlärning för att prognostisera framtida energiförbrukning för fjärrvärme utifrån historisk fjärrvärmedata från ett fjärrvärmebolag tillsammans med exogena variabler i form av väderdata från Sveriges meteorologiska och hydrologiska institut. Studien är skriven på svenska och utforskar effekter av preprocessering hos prediktionsmodeller som använder tidsseriedata för att prognostisera framtida datapunkter. Stegen som utförs i studien är normalisering, interpolering, hantering av numeric outliers och missing values, datetime feature engineering, säsongsmässighet, feature selection, samt korsvalidering. Maskininlärningsmodellen som används i studien är Multilayer Perceptron som är en subkategori av artificiellt neuralt nätverk. Forskningsfrågan som besvaras fokuserar på effekter av preprocessering och feature selection för prediktiva modellers prestanda inom olika datamängder och kombinationer av preprocesseringsmetoder. Modellerna delades upp i tre olika datamängder utifrån datumintervall: 2009, 2007–2011, samt 2007–2017, där de olika kombinationerna utgörs av preprocesseringssteg som kombineras inom en iterativ process. Procentuella ökningar på R2-värden för dessa olika intervall har uppnått 47,45% för ett år, 9,97% för fem år och 32,44% för 11 år. I stora drag bekräftar och förstärker resultatet befintlig teori som menar på att preprocessering kan förbättra prediktionsmodeller. Ett antal mindre observationer kring enskilda preprocesseringsmetoders effekter har identifierats och diskuterats i studien, såsom DateTime Feature Engineerings negativa effekter på modeller som tränats med ett mindre antal iterationer. / Heat accounts for the greatest energy needs in households and other buildings in society. Effective production and distribution of heat energy require techniques for minimising economic and environmental costs. One approach to this problem is through informatics where machine learning is used to analyze and predict the heating needs with the help of historical data from a district heating company and exogenous variables in the form of weather data from Sweden's Meteorological and Hydrological Institute (SMHI). This study is written in Swedish and explores the importance of preprocessing practices before training and using prediction models which utilizes time-series data to predict future energy consumption. The preprocessing steps explored in this study consists of normalization, interpolation, identification and management of numerical outliers and missing values, datetime feature engineering, seasonality, feature selection and cross-validation. The machine learning model used in this study is Multilayer Perceptron which is a subcategory of artificial neural network. The research question focuses on the effects of preprocessing and feature selection for predictive model performance within different datasets and combinations of preprocessing methods. The models were divided into three different data sets based on date ranges: 2009, 2007–2011, and 2007–2017, where the different combinations consist of preprocessing steps that are combined within an iterative process. Percentage increases in R2 values for these different ranges have reached 47,45% for one year, 9,97% for five years and 32,44% for 11 years. The results broadly confirm and reinforce the existing theory that preprocessing can improve prediction models. A few minor observations about the effects of individual preprocessing methods have been identified and discussed in the study, such as DateTime Feature Engineering having a detrimental effect on models with very few training iterations.

Vector Quantization (VQ) is a classic optimization problem and a simple approach to pattern recognition. Applications include lossy data compression, clustering and speech and speaker recognition. Although VQ has largely been replaced by time-aware techniques like Hidden Markov Models (HMMs) and Dynamic Time Warping (DTW) in some applications, such as speech and speaker recognition, VQ still retains some significance due to its much lower computational cost — especially for embedded systems. A recent study also demonstrates a multi-section VQ system which achieves performance rivaling that of DTW in an application to handwritten signature recognition, at a much lower computational cost. Adding sensitivity to temporal patterns to a VQ algorithm could help improve such results further. SOTPAR2 is such an extension of Neural Gas, an Artificial Neural Network algorithm for VQ. SOTPAR2 uses a conceptually simple approach, based on adding lateral connections between network nodes and creating “temporal activity” that diffuses through adjacent nodes. The activity in turn makes the nearest-neighbor classifier biased toward network nodes with high activity, and the SOTPAR2 authors report improvements over Neural Gas in an application to time series prediction. This report presents an investigation of how this same extension affects quantization and prediction performance of the self-organizing incremental neural network (SOINN) algorithm. SOINN is a VQ algorithm which automatically chooses a suitable codebook size and can also be used for clustering with arbitrary cluster shapes. This extension is found to not improve the performance of SOINN, in fact it makes performance worse in all experiments attempted. A discussion of this result is provided, along with a discussion of the impact of the algorithm parameters, and possible future work to improve the results is suggested. / Vektorkvantisering (VQ; eng: Vector Quantization) är ett klassiskt problem och en enkel metod för mönsterigenkänning. Bland tillämpningar finns förstörande datakompression, klustring och igenkänning av tal och talare. Även om VQ i stort har ersatts av tidsmedvetna tekniker såsom dolda Markovmodeller (HMM, eng: Hidden Markov Models) och dynamisk tidskrökning (DTW, eng: Dynamic Time Warping) i vissa tillämpningar, som tal- och talarigenkänning, har VQ ännu viss relevans tack vare sin mycket lägre beräkningsmässiga kostnad — särskilt för exempelvis inbyggda system. En ny studie demonstrerar också ett VQ-system med flera sektioner som åstadkommer prestanda i klass med DTW i en tillämpning på igenkänning av handskrivna signaturer, men till en mycket lägre beräkningsmässig kostnad. Att dra nytta av temporala mönster i en VQ-algoritm skulle kunna hjälpa till att förbättra sådana resultat ytterligare. SOTPAR2 är en sådan utökning av Neural Gas, en artificiell neural nätverk-algorithm för VQ. SOTPAR2 använder en konceptuellt enkel idé, baserad på att lägga till sidleds anslutningar mellan nätverksnoder och skapa “temporal aktivitet” som diffunderar genom anslutna noder. Aktiviteten gör sedan så att närmaste-granne-klassificeraren föredrar noder med hög aktivitet, och författarna till SOTPAR2 rapporterar förbättrade resultat jämfört med Neural Gas i en tillämpning på förutsägning av en tidsserie. I denna rapport undersöks hur samma utökning påverkar kvantiserings- och förutsägningsprestanda hos algoritmen självorganiserande inkrementellt neuralt nätverk (SOINN, eng: self-organizing incremental neural network). SOINN är en VQ-algorithm som automatiskt väljer en lämplig kodboksstorlek och också kan användas för klustring med godtyckliga klusterformer. Experimentella resultat visar att denna utökning inte förbättrar prestandan hos SOINN, istället försämrades prestandan i alla experiment som genomfördes. Detta resultat diskuteras, liksom inverkan av parametervärden på prestandan, och möjligt framtida arbete för att förbättra resultaten föreslås.