Animationer av karaktärer och objekt är en viktig del vid skapandet av spel. Detta är något som det läggs mycket fokus på att få så realistisk som möjligt, även spelfysik används till viss del här för att ge karaktärer möjlighet att anpassa sig till miljöer. Det här arbetet undersöker och implementerar ett styrsystem, som används för animations generering till en trasdocka, med hjälp av artificiell intelligens. Styrsystemet använder sig av en självorganiserande artificiell intelligens för att generera animationer som följer ett specifikt beteende, i det här arbetet har animationer som fokuserar på att skydda höften skapats. Arbetet har gett goda resultat som indikerar på att denna lösning fungerar för att generera animationer på en trasdocka, som ska följa ett visst beteende. Detta visade sig möjligt genom att använda artificiellt neuralt nätverk kombinerat med genetisk algoritm.

<p>Animationer av karaktärer och objekt är en viktig del vid skapandet av spel. Detta är något som det läggs mycket fokus på att få så realistisk som möjligt, även spelfysik används till viss del här för att ge karaktärer möjlighet att anpassa sig till miljöer. Det här arbetet undersöker och implementerar ett styrsystem, som används för animations generering till en trasdocka, med hjälp av artificiell intelligens. Styrsystemet använder sig av en självorganiserande artificiell intelligens för att generera animationer som följer ett specifikt beteende, i det här arbetet har animationer som fokuserar på att skydda höften skapats.</p><p>Arbetet har gett goda resultat som indikerar på att denna lösning fungerar för att generera animationer på en trasdocka, som ska följa ett visst beteende. Detta visade sig möjligt genom att använda artificiellt neuralt nätverk kombinerat med genetisk algoritm.</p>

Det här arbetet har undersökt hur inlärning av hur en datorstyrd karaktär fattar sina beslut baserat på det gällande speltillståndet, påverkar spelarens uppfattning om hur mänskligt intelligent dess resulterande beteende uppfattas, med bakgrunden att det finns ett behov av intelligentare beteenden hos karaktärer i spel. Undersökningen har genomförts genom att jämföra en tillståndsmaskin med ett artificiellt neuralt nätverk, implementerade i ett enklare actionspel med en spelare och en datorstyrd karaktär. Nätverket är konstruerat att initialt bete sig som tillståndsmaskinen, men sedan utveckla sitt beteende genom att lära från den individuella spelarens spelstil. Ett antal testpersoner har sedan fått spela spelet mot respektive teknik, och fått ange hur de upplevde respektive beteende i en enkätundersökning. Resultatet av undersökningens sammanställda data särskiljer inte det resulterande beteendet från tillståndsmaskinen med beteendet från det artificiella neurala nätverket, vilket kan ha en förklaring i undersökningens felkällor, samt den mindre domänen teknikerna implementerats i.

Under de senaste åren fick maskininlärning mer och mer popularitet i samhället. Den implementeras i stor utsträckning inom många datavetenskapliga områden, t.ex. igenkänning av tal, video, objekt, sentimentanalys osv. Dessutom genererar moderna datorsystem och program stora filer med loggdata under deras körning och användning. Dessa loggfiler innehåller vanligtvis enorma mängder data, vilket leder till svårigheter att bearbeta all data manuellt. Således är användning av maskininlärningstekniker vid analys av loggdata för detektering av anomalibeteende av stort intresse för att uppnå skalbar underhåll av systemen. Syftet med detta arbete var att undersöka tillgängliga framträdande metoder för att implementera maskininlärning för upptäckning av loggfel och utvärdera en av dessa metoder. Uppsatsen fokuserade på att utvärdera DeepLog artificiella neurala nätverk som innehåller Long short-term memory algoritm. Utvärderingen omfattade mätning av den exekveringstid som behövdes och vilken precision, återkallande, noggrannhet och F1-index uppnåddes med modellen för maskininlärningsfelsdetektering vid användning av två olika loggdatamängder, en från OpenStack och en annan från Hadoop Distributed File System. Resultaten visade att DeepLog presterade bättre när man använde OpenStack-datamängd genom att uppnå höga resultat för alla index, särskilt recallsindex på cirka 90% som minimerade falska negativa förutsägelser, vilket är viktigt vid loggfelsdetektering. När DeepLog användes med HDFS-datamängd förbättrades körningstiden något men noggrannheten och recall av modellen tappades. Framtida arbete inkluderar att försöka och testa modellen med andra loggdatamängder eller andra ML-modeller för upptäckning av loggfel. / During the last years machine learning was gaining more and more popularity in the society. It is widely implemented in many fields of computer science, e.g. recognition of speech, video, objects, sentiment analysis, etc. Additionally, modern computer systems and programs generate large files with log data through their execution. These log files contain usually immense amount of data, which is a struggle for processing it manually. Thus, using machine learning techniques in the analysis of log data for detection of anomaly behavior is of a high interest for achieving scalable maintaining of the systems. The purpose of this work was to look into available prominent approaches of implementing machine learning for log fault detection and evaluate one of them. The paper focused on evaluating DeepLog artificial neural network that incorporates Long short-term memory. The evaluation included measuring the execution time needed and what precision, recall, accuracy and F1-index were achieved by the machine learning fault detection model when using two different log datasets, one from OpenStack and another from Hadoop Distributed File System. The results showed that DeepLog performed better when using OpenStack dataset by achieving high results for all indexes, especially the recall index of around 90%, minimizing the false negative predictions, which is important in the log fault detection. When using DeepLog with HDFS dataset the execution time was slightly improved but the accuracy and recall of the model were dropped. Future works includes trying another log datasets or ML models for log fault detection.

In the context of decarbonizing the electricity generation of French non-interconnected territories, the knowledge of future electricity demand, in particular annual and peak demand in the long-term, is crucial to design new renewable energy infrastructures. So far, these territories, mainly islands located in the Pacific and Indian ocean, relies mainly on fossil fuels powered facilities. Energy policies envision to widely develop renewable energies to move towards a low-carbon electricity mix by 2028.  This thesis focuses on the long-term forecasting of hourly electricity demand. A methodology is developed to design and select a model able to fit accurately historical data and to forecast future demand in these particular territories. Historical data are first analyzed through a clustering analysis to identify trends and patterns, based on a k-means clustering algorithm. Specific calendar inputs are then designed to consider these first observations. External inputs, such as weather data, economic and demographic variables, are also included.  Forecasting algorithms are selected based on the literature and they are than tested and compared on different input datasets. These input datasets, besides the calendar and external variables mentioned, include different number of lagged values, from zero to three. The combination of model and input dataset which gives the most accurate results on the testing set is selected to forecast future electricity demand. The inclusion of lagged values leads to considerable improvements in accuracy. Although gradient boosting regression features the lowest errors, it is not able to detect peaks of electricity demand correctly. On the contrary, artificial neural network (ANN) demonstrates a great ability to fit historical data and demonstrates a good accuracy on the testing set, as well as for peak demand prediction. Generalized additive model, a relatively new model in the energy forecasting field, gives promising results as its performances are close to the one of ANN and represent an interesting model for future research.  Based on the future values of inputs, the electricity demand in 2028 in Réunion was forecasted using ANN. The electricity demand is expected to reach more than 2.3 GWh and the peak demand about 485 MW. This represents a growth of 12.7% and 14.6% respectively compared to 2019 levels. / I samband med utfasningen av fossila källor för elproduktion i franska icke-sammankopplade territorier är kunskapen om framtida elbehov, särskilt årlig förbrukning och topplast på lång sikt, avgörande för att utforma ny infrastruktur för förnybar energi. Hittills är dessa territorier, främst öar som ligger i Stilla havet och Indiska oceanen, beroende av anläggningar med fossila bränslen. Energipolitiken planerar att på bred front utveckla förnybar energi för att gå mot en koldioxidsnål elmix till 2028.  Denna avhandling fokuserar på den långsiktiga prognosen för elbehov per timme. En metod är utvecklad för att utforma och välja en modell som kan passa korrekt historisk data och för att förutsäga framtida efterfrågan inom dessa specifika områden. Historiska data analyseras först genom en klusteranalys för att identifiera trender och mönster, baserat på en k-means klusteralgoritm. Specifika kalenderinmatningar utformas sedan för att beakta dessa första observationer. Externa inmatningar, såsom väderdata, ekonomiska och demografiska variabler, ingår också.  Prognosalgoritmer väljs utifrån litteraturen och de testas och jämförs på olika inmatade dataset. Dessa inmatade dataset, förutom den nämnda kalenderdatan och externa variabler, innehåller olika antal fördröjda värden, från noll till tre. Kombinationen av modell och inmatat dataset som ger de mest exakta resultaten på testdvärdena väljs för att förutsäga framtida elbehov. Införandet av fördröjda värden leder till betydande förbättringar i exakthet. Även om gradientförstärkande regression har de lägsta felen kan den inte upptäcka toppar av elbehov korrekt. Tvärtom, visar artificiella neurala nätverk (ANN) en stor förmåga att passa historiska data och visar en god noggrannhet på testuppsättningen, liksom för förutsägelse av toppefterfrågan. En generaliserad tillsatsmodell, en relativt ny modell inom energiprognosfältet, ger lovande resultat eftersom dess prestanda ligger nära den för ANN och representerar en intressant modell för framtida forskning.  Baserat på de framtida värdena på indata, prognostiserades elbehovet 2028 i Réunion med ANN. Elbehovet förväntas nå mer än 2,3 GWh och toppbehovet cirka 485 MW. Detta motsvarar en tillväxt på 12,7% respektive 14,6% jämfört med 2019 års nivåer.

Värme står för det största energibehovet inom hushåll och andra byggnader i samhället och olika tekniker används för att kunna reducera mängden energi som går åt för att spara på både miljö och pengar. Ett angreppssätt på detta problem är genom informatiken, där maskininlärning kan användas för att analysera och förutspå värmebehovet. I denna studie används maskininlärning för att prognostisera framtida energiförbrukning för fjärrvärme utifrån historisk fjärrvärmedata från ett fjärrvärmebolag tillsammans med exogena variabler i form av väderdata från Sveriges meteorologiska och hydrologiska institut. Studien är skriven på svenska och utforskar effekter av preprocessering hos prediktionsmodeller som använder tidsseriedata för att prognostisera framtida datapunkter. Stegen som utförs i studien är normalisering, interpolering, hantering av numeric outliers och missing values, datetime feature engineering, säsongsmässighet, feature selection, samt korsvalidering. Maskininlärningsmodellen som används i studien är Multilayer Perceptron som är en subkategori av artificiellt neuralt nätverk. Forskningsfrågan som besvaras fokuserar på effekter av preprocessering och feature selection för prediktiva modellers prestanda inom olika datamängder och kombinationer av preprocesseringsmetoder. Modellerna delades upp i tre olika datamängder utifrån datumintervall: 2009, 2007–2011, samt 2007–2017, där de olika kombinationerna utgörs av preprocesseringssteg som kombineras inom en iterativ process. Procentuella ökningar på R2-värden för dessa olika intervall har uppnått 47,45% för ett år, 9,97% för fem år och 32,44% för 11 år. I stora drag bekräftar och förstärker resultatet befintlig teori som menar på att preprocessering kan förbättra prediktionsmodeller. Ett antal mindre observationer kring enskilda preprocesseringsmetoders effekter har identifierats och diskuterats i studien, såsom DateTime Feature Engineerings negativa effekter på modeller som tränats med ett mindre antal iterationer. / Heat accounts for the greatest energy needs in households and other buildings in society. Effective production and distribution of heat energy require techniques for minimising economic and environmental costs. One approach to this problem is through informatics where machine learning is used to analyze and predict the heating needs with the help of historical data from a district heating company and exogenous variables in the form of weather data from Sweden's Meteorological and Hydrological Institute (SMHI). This study is written in Swedish and explores the importance of preprocessing practices before training and using prediction models which utilizes time-series data to predict future energy consumption. The preprocessing steps explored in this study consists of normalization, interpolation, identification and management of numerical outliers and missing values, datetime feature engineering, seasonality, feature selection and cross-validation. The machine learning model used in this study is Multilayer Perceptron which is a subcategory of artificial neural network. The research question focuses on the effects of preprocessing and feature selection for predictive model performance within different datasets and combinations of preprocessing methods. The models were divided into three different data sets based on date ranges: 2009, 2007–2011, and 2007–2017, where the different combinations consist of preprocessing steps that are combined within an iterative process. Percentage increases in R2 values for these different ranges have reached 47,45% for one year, 9,97% for five years and 32,44% for 11 years. The results broadly confirm and reinforce the existing theory that preprocessing can improve prediction models. A few minor observations about the effects of individual preprocessing methods have been identified and discussed in the study, such as DateTime Feature Engineering having a detrimental effect on models with very few training iterations.

Vector Quantization (VQ) is a classic optimization problem and a simple approach to pattern recognition. Applications include lossy data compression, clustering and speech and speaker recognition. Although VQ has largely been replaced by time-aware techniques like Hidden Markov Models (HMMs) and Dynamic Time Warping (DTW) in some applications, such as speech and speaker recognition, VQ still retains some significance due to its much lower computational cost — especially for embedded systems. A recent study also demonstrates a multi-section VQ system which achieves performance rivaling that of DTW in an application to handwritten signature recognition, at a much lower computational cost. Adding sensitivity to temporal patterns to a VQ algorithm could help improve such results further. SOTPAR2 is such an extension of Neural Gas, an Artificial Neural Network algorithm for VQ. SOTPAR2 uses a conceptually simple approach, based on adding lateral connections between network nodes and creating “temporal activity” that diffuses through adjacent nodes. The activity in turn makes the nearest-neighbor classifier biased toward network nodes with high activity, and the SOTPAR2 authors report improvements over Neural Gas in an application to time series prediction. This report presents an investigation of how this same extension affects quantization and prediction performance of the self-organizing incremental neural network (SOINN) algorithm. SOINN is a VQ algorithm which automatically chooses a suitable codebook size and can also be used for clustering with arbitrary cluster shapes. This extension is found to not improve the performance of SOINN, in fact it makes performance worse in all experiments attempted. A discussion of this result is provided, along with a discussion of the impact of the algorithm parameters, and possible future work to improve the results is suggested. / Vektorkvantisering (VQ; eng: Vector Quantization) är ett klassiskt problem och en enkel metod för mönsterigenkänning. Bland tillämpningar finns förstörande datakompression, klustring och igenkänning av tal och talare. Även om VQ i stort har ersatts av tidsmedvetna tekniker såsom dolda Markovmodeller (HMM, eng: Hidden Markov Models) och dynamisk tidskrökning (DTW, eng: Dynamic Time Warping) i vissa tillämpningar, som tal- och talarigenkänning, har VQ ännu viss relevans tack vare sin mycket lägre beräkningsmässiga kostnad — särskilt för exempelvis inbyggda system. En ny studie demonstrerar också ett VQ-system med flera sektioner som åstadkommer prestanda i klass med DTW i en tillämpning på igenkänning av handskrivna signaturer, men till en mycket lägre beräkningsmässig kostnad. Att dra nytta av temporala mönster i en VQ-algoritm skulle kunna hjälpa till att förbättra sådana resultat ytterligare. SOTPAR2 är en sådan utökning av Neural Gas, en artificiell neural nätverk-algorithm för VQ. SOTPAR2 använder en konceptuellt enkel idé, baserad på att lägga till sidleds anslutningar mellan nätverksnoder och skapa “temporal aktivitet” som diffunderar genom anslutna noder. Aktiviteten gör sedan så att närmaste-granne-klassificeraren föredrar noder med hög aktivitet, och författarna till SOTPAR2 rapporterar förbättrade resultat jämfört med Neural Gas i en tillämpning på förutsägning av en tidsserie. I denna rapport undersöks hur samma utökning påverkar kvantiserings- och förutsägningsprestanda hos algoritmen självorganiserande inkrementellt neuralt nätverk (SOINN, eng: self-organizing incremental neural network). SOINN är en VQ-algorithm som automatiskt väljer en lämplig kodboksstorlek och också kan användas för klustring med godtyckliga klusterformer. Experimentella resultat visar att denna utökning inte förbättrar prestandan hos SOINN, istället försämrades prestandan i alla experiment som genomfördes. Detta resultat diskuteras, liksom inverkan av parametervärden på prestandan, och möjligt framtida arbete för att förbättra resultaten föreslås.

Software prediction is a complex area as there are no accurate models to represent reliability throughout the use of software, unlike hardware reliability. In the context of the software reliability of on-board train systems, ensuring good software reliability over time is all the more critical given the current density of rail traffic and the risk of accidents resulting from a software malfunction. This thesis proposes to use soft computing methods and historical failure data to predict the software reliability of on-board train systems. For this purpose, four machine learning models (Multi-Layer Perceptron, Imperialist Competitive Algorithm Multi-Layer Perceptron, Long Short-Term Memory Network and Convolutional Neural Network) are compared to determine which has the best prediction performance. We also study the impact of having one or more features represented in the dataset used to train the models. The performance of the different models is evaluated using the Mean Absolute Error, Mean Squared Error, Root Mean Squared Error and the R Squared. The report shows that the Long Short-Term Memory Network is the best performing model on the data used for this project. It also shows that datasets with a single feature achieve better prediction. However, the small amount of data available to conduct the experiments in this project may have impacted the results obtained, which makes further investigations necessary. / Att förutsäga programvara är ett komplext område eftersom det inte finns några exakta modeller för att representera tillförlitligheten under hela programvaruanvändningen, till skillnad från hårdvarutillförlitlighet. När det gäller programvarans tillförlitlighet i fordonsbaserade tågsystem är det ännu viktigare att säkerställa en god tillförlitlighet över tiden med tanke på den nuvarande tätheten i järnvägstrafiken och risken för olyckor till följd av ett programvarufel. I den här avhandlingen föreslås att man använder mjuka beräkningsmetoder och historiska data om fel för att förutsäga programvarans tillförlitlighet i fordonsbaserade tågsystem. För detta ändamål jämförs fyra modeller för maskininlärning (Multi-Layer Perceptron, Imperialist Competitive Algorithm Mult-iLayer Perceptron, Long Short-Term Memory Network och Convolutional Neural Network) för att fastställa vilken som har den bästa förutsägelseprestandan. Vi undersöker också effekten av att ha en eller flera funktioner representerade i den datamängd som används för att träna modellerna. De olika modellernas prestanda utvärderas med hjälp av medelabsolut fel, medelkvadratfel, rotmedelkvadratfel och R-kvadrat. Rapporten visar att Long Short-Term Memory Network är den modell som ger bäst resultat på de data som använts för detta projekt. Den visar också att dataset med en enda funktion ger bättre förutsägelser. Den lilla mängd data som fanns tillgänglig för att genomföra experimenten i detta projekt kan dock ha påverkat de erhållna resultaten, vilket gör att ytterligare undersökningar är nödvändiga.

Efficient price management is crucial for companies with many different products to keep track of, leading to the common practice of price logging. Today, these prices are often adjusted manually, but setting prices manually can be labor-intensive and prone to human error. This project aims to use machine learning to assist in the pricing of products by estimating the prices to be inserted. Multiple machine learning models have been tested, and an artificial neural network has been implemented for estimating prices effectively. Through additional experimentation, the design of the network was fine-tuned to make it compatible with the project’s needs. The libraries used for implementing and managing the machine learning models are mainly ScikitLearn and TensorFlow. As a result, the trained model has been saved into a file and integrated with an API for accessibility.