The data used in this paper is an open source data, that was collected in Portugal over a three year period between 2004 and 2007. It consists of the physiochemical parameters, and the quality grade of the wines. This study focuses on assessing which variables that primarily affect the quality of a wine and how the effects of the variables interact with each other, and also compare which of the different classification methods work the best and have the highest degree of accuracy. The data is divided into red and white wine where the response variable is ordered and consists of the grades of quality for the different wines. Due to the distribution in the response variable having too few observations in some of the quality grades, a new response variable was created where several grades were pooled together so that each different grade category would have a good amount of observations. The statistical methods used are Bayesian ordered logistic regression as well as two data mining techniques which are neural networks and decision trees. The result obtained showed that for the two types of wine it is primarily the alcohol content and the amount of volatile acid that are recurring parameters which have a great influence on predicting the quality of the wines. The results also showed that among the three different methods, decision trees were the best at classifying the white wines and the neural network were the best for the red wines.

Machine learning and its wide range of applications is becoming increasingly prevalent in both academia and industry. This thesis will focus on the two machine learning methods convolutional neural networks and reinforcement learning. Convolutional neural networks has seen great success in various applications for both classification and regression problems in a diverse range of fields, e.g. vision for self-driving cars or facial recognition. These networks are built on a set of trainable weights optimized on data, and a set of hyperparameters set by the designer of the network which will remain constant. For the network to perform well, the hyperparameters have to be optimized separately. The goal of this thesis is to investigate the use of reinforcement learning as a method for optimizing hyperparameters in convolutional neural networks built for classification problems. The reinforcement learning methods used are a tabular Q-learning and a new Q-learning inspired algorithm denominated max-table. These algorithms have been tested with different exploration policies based on each hyperparameter value’s covariance, precision or relevance to the performance metric. The reinforcement learning algorithms were mostly tested on the datasets CIFAR10 and MNIST fashion against a baseline set by random search. While the Q-learning algorithm was not able to perform better than random search, max-table was able to perform better than random search in 50% of the time on both datasets. Hyperparameterbased exploration policy using covariance and relevance were shown to decrease the optimizers’ performance. No significant difference was found between a hyperparameter based exploration policy using performance and an equally distributed exploration policy. / Maskininlärning och dess många tillämpningsområden blir vanligare i både akademin och industrin. Den här uppsatsen fokuserar på två maskininlärningsmetoder, faltande neurala nätverk och förstärkningsinlärning. Faltande neurala nätverk har sett stora framgångar inom olika applikationsområden både för klassifieringsproblem och regressionsproblem inom diverse fält, t.ex. syn för självkörande bilar eller ansiktsigenkänning. Dessa nätverk är uppbyggda på en uppsättning av tränbara parameterar men optimeras på data, samt en uppsättning hyperparameterar bestämda av designern och som hålls konstanta vilka behöver optimeras separat för att nätverket ska prestera bra. Målet med denna uppsats är att utforska användandet av förstärkningsinlärning som en metod för att optimera hyperparameterar i faltande neurala nätverk gjorda för klassifieringsproblem. De förstärkningsinlärningsmetoder som använts är en tabellarisk "Q-learning" samt en ny "Q-learning" inspirerad metod benämnd "max-table". Dessa algoritmer har testats med olika handlingsmetoder för utforskning baserade på hyperparameterarnas värdens kovarians, precision eller relevans gentemot utvärderingsmetriken. Förstärkningsinlärningsalgoritmerna var i största del testade på dataseten CIFAR10 och MNIST fashion och jämförda mot en baslinje satt av en slumpmässig sökning. Medan "Q-learning"-algoritmen inte kunde visas prestera bättre än den slumpmässiga sökningen, kunde "max-table" prestera bättre på 50\% av tiden på både dataseten. De handlingsmetoder för utforskning som var baserade på kovarians eller relevans visades minska algoritmens prestanda. Ingen signifikant skillnad kunde påvisas mellan en handlingsmetod baserad på hyperparametrarnas precision och en jämnt fördelad handlingsmetod för utforsking.

Eftersom mental ohälsa stiger i samhället och forskningen inte har ett tydligt svar så har vi i detta projekt formulerat en egen hypotes om varför vi ser den här trenden. Eftersom nyhetstjänster tjänar på att publicera negativa artiklar så leder det till att fler konsumerar negativa nyheter. Målet med projektet är att ta fram en nyhetsaggregator som utför sentimentanalys påaktuella nyheter från Aftonbladet, Expressen, DN och SVT där nyheterna kategoriseras i positiva, neutrala och negativa nyheter. Nyheterna samlas in med en egenutvecklad webskrapare som hämtar nyheterna från respektive källa. Sedan laddas nyheterna upp på en databas och bearbetas sedan för maskininlärning. För klassificering av nyhetsartiklar har vi tränat ett neuralt nätverk som utför klassificering av nyheter i det allmänna nyhetsflödet. Vi har även utvecklat en egen lexikonbaserad modell som är unik för varje användare för att kunna predicera användarspecifika sentiment. Resultat är en egendesignad hemsida med ett allmänt nyhetsflöde, samt ett anpassat flöde för registrerade användare, där man med ett reglage kan reglera vilken typ av nyheter och från vilka nyhetssajter som man vill se nyheter. På hemsidan presenteras även statistik över bland annat hur fördelningen av positiva, neutrala och negativa nyheter är på de olika nyhetssajterna

This report studies how a non-linear autoregressive neural network algorithm for stock market value prognoses is affected by unforeseen events. The study attempts to find out the recovery period for said algorithms after an event, and whether the magnitude of the event affects the recovery period. Tests of 1-day prognoses' deviations from the observed value are carried out on five real stock events and four created simulation sets which exclude the noisy data of the stock market and isolates different kinds of events. The study concludes that the magnitude has no discernible impact on recovery, and that a sudden event will allow recovery within days regardless of magnitude or change in price development rate. However, less sudden events will cause the recovery period to extend. Noise such as surrounding micro-events, aftershocks, or lingering instability of stock prices will affect accuracy and recovery time significantly. / Denna studie undersöker hur ett icke-linjärt autoregressivt neuronnät för aktiemarknadsprognoser påverkas av oväntade händelser. Studien ämnar finna återhämtningsperioden för nätverket efter en händelse, och ta reda på om den initiala påverkan av händelsen påverkar återhämtningen. Tester av endagsprognosers avvikelse från det verkliga värdet genomförs på fem verkliga aktier och fyra skapade dataset som exkluderar den omgivande variationen från aktiemarknaden. Dessa simulerade set isolerar därmed specifika typer av händelser. Studien drar slutsatsen att storleken av händelsen har försumbar betydelse på återhämtningstiden och att plötsliga händelser tillåter återhämtning på några dagar oavsett händelsens ursprungliga storlek eller förändring av prisutvecklingshastighet. Däremot förlänger utdragna händelser återhämtningstiden. Likaså påverkar efterskalv eller kvarvarande instabilitet i prisutvecklingen tillförlitlighet och återhämtningstid avsevärt.

Det här arbetet har undersökt om det är möjligt att klassificera bilder tagna av åtelkameror med hjälp av olika bildklassificeringsmetoder inom deep learning. Anledningen till att bilder från åtelkameror undersöktes, var på grund projektet ”Åtelkameror som verktyg för viltuppskattningar” vilket samlar in data och för statistik över främst älgbeståndet inom Gävleborgsregionen med hjälp av åtelkameror. Det undersöktes därför hur bildklassificering med neurala nätverk kunde användas för att automatisk klassificera bilder utifrån följande klassificeringsdomäner: är det ett djur på bilden?, vilka djurarter är på bilden?, om djuret är en älg är den då vuxen eller juvenil?   De bildklassificeringsmetoder som undersöktes var binärklassificering och objektdetektering. Binärklassificering användes för klassificeringsdomäner är det ett djur på bilden, objektdetektering användes för klassificeringsdomäner vilka djurarter är i bilden. Både binärklassificering och objektdetektering användes för att skilja en vuxen älg från en juvenil älg.  Resultaten för binärklassificeringen visade att ResNet generellt klassificerade bilder bättre än VGG-16, när det skulle avgöras om bilden innehöll ett djur eller inte. För att klassificera älgar som var vuxna eller juvenila så presterade VGG-16 och ResNet-101 bäst. Resultaten för objektdetekteringen visade generellt att YOLOv3 presterade bättre än YOLOv3-tiny, det gick även att se att båda neurala nätverken presterade bättre när de tränades med färre klasser. När tränings- och testdataseten delades upp så att träningsbilderna och testbilder kom från olika kameror så noterades en minskning av resultateten för både objektdetektering och binärklassificering.

The ability to extract useful information from texts and present them in the form of structured attributes is an important step towards making product comparison algorithm in fashion smarter and better. Some previous work exploits statistical features like the word frequency and graph models to predict keyphrases. In recent years, deep neural networks have proved to be the state-of-the-art methods to handle language modeling. Successful examples include Long Short Term Memory (LSTM), Gated Recurrent Units (GRU), Bidirectional Encoder Representations from Transformers(BERT) and their variations. In addition, some word embedding techniques like word2vec[1] are also helpful to improve the performance. Besides these techniques, a high-quality dataset is also important to the effectiveness of models. In this project, we aim to develop reliable and efficient machine learning models for keyphrase extraction. At Norna AB, we have a collection of product descriptions from different vendors without keyphrase annotations, which motivates the use of unsupervised methods. They should be capable of extracting useful keyphrases that capture the features of a product. To further explore the power of deep neural networks, we also implement several deep learning models. The dataset has two parts, the first part is called the fashion dataset where keyphrases are extracted by our unsupervised method. The second part is a public dataset in the domain of news. We find that deep learning models are also capable of extracting meaningful keyphrases and outperform the unsupervised model. Precision, recall and F1 score are used as evaluation metrics. The result shows that the model that uses LSTM and CRF achieves the optimal performance. We also compare the performance of different models with respect to keyphrase lengths and keyphrase numbers. The result indicates that all models perform better on predicting short keyphrases. We also show that our refined model has the advantage of predicting long keyphrases, which is challenging in this field. / Förmågan att extrahera användbar information från texter och presentera den i form av strukturerade attribut är ett viktigt steg mot att göra produktjämförelsesalgoritmen på ett smartare och bättre sätt. Vissa tidigare arbeten utnyttjar statistiska funktioner som ordfrekvens och grafmodeller för att förutsäga nyckelfraser. Under de senaste åren har djupa neurala nätverk visat sig vara de senaste metoderna för att hantera språkmodellering. Framgångsrika exempel inkluderar Long Short Term Memory (LSTM), Gated Recurrent Units (GRU), Bidirectional Encoder Representations from Transformers (BERT) och deras variationer. Dessutom kan vissa ordinbäddningstekniker som word2vec[1] också vara till hjälp för att förbättra prestandan. Förutom dessa tekniker är en datauppsättning av hög kvalitet också viktig för modellernas effektivitet. I detta projekt strävar vi efter att utveckla pålitliga och effektiva maskininlärningsmodeller för utvinning av nyckelfraser. På Norna AB har vi en samling produktbeskrivningar från olika leverantörer utan nyckelfrasnoteringar, vilket motiverar användningen av metoder utan tillsyn. De bör kunna extrahera användbara nyckelfraser som fångar funktionerna i en produkt. För att ytterligare utforska kraften i djupa neurala nätverk implementerar vi också flera modeller för djupinlärning. Datasetet har två delar, den första delen kallas modedataset där nyckelfraser extraheras med vår metod utan tillsyn. Den andra delen är en offentlig dataset i nyhetsdomänen. Vi finner att deep learning-modeller också kan extrahera meningsfulla nyckelfraser och överträffa den oövervakade modellen. Precision, återkallning och F1-poäng används som utvärderingsmått. Resultatet visar att modellen som använder LSTM och CRF uppnår optimal prestanda. Vi jämför också prestanda för olika modeller med avseende på keyphrase längder och nyckelfras nummer. Resultatet indikerar att alla modeller presterar bättre på att förutsäga korta tangentfraser. Vi visar också att vår raffinerade modell har fördelen att förutsäga långa tangentfraser, vilket är utmanande inom detta område.

In terms of pricing financial derivatives, contractual length plays a important role in pricing risk. A contract with long duration will have more associated risk in comparison with a contract with low duration, everything else equal. In this thesis work we examine whether information about the derivative contract and involved parties (the counterparty) could be used in a model to accurately predict both probability and time if the contract would terminate earlier than the predetermined contractual length. By modelling the termination time with deep neural networks and assuming the probability distribution of termination time directly, we find that it is possible to predict when early termination of derivative contracts would occur significantly more accurate than assuming that contracts will always live to their original maturity date. / För prissättningen av finansiella derivat har kontraktets längd stor roll i värderingen av risken. Ett kontrakt som sträcker sig över lång tid har mer associerad risk i jämförelse med ett kontrakt som sträcker sig över kort tid, under förutsättningen av att kontraktet i övrigt är detsamma. I detta examensarbete undersöker vi om information om derivaten och kontraktets parter (motparten) kan användas för att med kunna förutspå sannolikheten för att ett kontrakt stängs ner tidigt samt vad den verkliga tidslängden är om så är fallet. Genom att modellera tidpunkten för avslut med hjälp av neurala nätverk och genom att anta sannolikhetsfördelningen för tidpunkten för avslut, fann vi att det är möjligt att förutspå tidpunkten för tidigt avslut signifikant bättre i jämförelse mot att anta att kontraktet alltid lever till dess ursprungliga livslängd.

As the internet user base increases over the years, so do the logistic difficulties of handling higher and higher volumes of data. This large amount of information is now being exploited by Artificial Intelligence algorithms to deliver value to our society on a global scale. Among all the algorithms employed, the widespread adoption of Neural Networks in industrial settings is promoting the automation of tasks previously unsolvable by computers. As of today, efficiency limits the applicability of such technology on Big Data and efforts are being put to develop new acceleration solutions.In this project, we analyzes the computational capabilities of a multicore Digital Signal Processor called the EMCA (Ericsson Many-Core Architecture) when it comes to executing Neural Networks. The EMCA is a proprietary chip used for real-time processing of data in the pipeline of a Radio Base Station.We developed an inference engine to run Neural Networks on the EMCA. The software of such engine has been produced using a proprietary operating system called Flake OS, which runs on the EMCA. On top of the inference engine, we wrote a neural network squeezing pipeline based on quantization. On MNIST, the quantization algorithm can reduce the size of the networks by 4x folds with sub 1% accuracy degradation. The inference engine has been optimized to exploit the quantization utility and can run quantized neural networks. Tests have been done to understand the direct implications of using such algorithm. We show that the quantization is indeed beneficial for inference on DSPs.Finally, the EMCA has demonstrated state of the art computational capabilities for neural network inferencing. / Liksom antalet internetanvändare årligen ökar, så gör också de logistiska svårigheterna att hantera större och större volymer av data. Denna stora mängd av information används nu av artificiell intelligens algoritmer för att leverera värde till vårt samhälle på en global skala. Av alla använda algoritmer, så möjliggör det utbredda införandet av neurala nätverk i industriella omgivningar, att uppgifter som tidigare inte kunde lösas av datorer nu kan automatiseras. Idag så finns det effektivitetsfaktorer som begränsar användbarheten av dessa tekniker för stora datamängder och insatser görs därför för att utveckla nya accelererade lösningar. I det här projektet så analyserar vi beräkningsförmågan av en multicore digital signalprocessor kallad EMCA (Ericsson Many-Core Architecture) för att exekvera neurala nätverk. EMCAn är ett proprietärt mikro-chip som används för real-tids beräkningar av data i pipelinen av en radiobasstation. Vi utvecklade en inferensmotor för att köra neurala nätverk på EM-CAn. Mjukvaran för motorn använde ett proprietärt operativsystem, kallat Flake OS, som körs på EMCAn. Ovanpå inferensmotorn skrev vi en pipeline för att reducera storleken av det neurala nätverket med hjälp av kvantisering. På MNIST så kan kvantiseringsalgorit-men minska storleken av näten upp till 4 gånger med under 1% precisionsdegradering. Inferensmotorn har optimerats för att utnyttja kvantiseringsfunktionen och kan exekvera kvantiserade neurala nätverk. Tester har gjorts för att förstå de direkta följderna av att använda sådana algoritmer. Vi visar att kvantisering verkligen är till nytta för att göra inferens på DSPer. Slutligen, EMCAn har demonstrerat toppmodern beräkningsförmåga för inferens av neurala nätverk.

This thesis is a comparative study where the question is whether a neural network approach can outperform the principal component analysis (PCA) approach for predicting changes of interest rate curves. Today PCA is the industry standard model for predicting interest rate curves. Specifically the goal is to better understand the correlation structure between Swedish and European swap rates. The disadvantage with the PCA approach is that only the information contained in the covariance matrix can be used and not for example whether or not the curve might behave different depending on the current state. In other words, some information that might be quite important to the curve dynamic is lost in the PCA approach. This raises the question whether the lost information is important for prediction accuracy or not. As previously been shown by Alexei Kondratyev in the paper "Learning Curve Dynamics with Artificial Neural Networks", the neural network approach is able to use more information in the data and therefore has potential to outperform the PCA approach. Our thesis shows that the neural network approach is able to achieve the same or higher accuracy than PCA when performing long term predictions. The results show that the neural network model has potential to replace the PCA model, however, it is a more time consuming model. Higher accuracy can probably be achieved if the network is more optimized. / Det här är en jämförande studie där syftet är att undersöka hurvida noggrannare prediktioner kan uppnås genom att använda sig av artificiella neurala nätverk (ANN) istället för principalkomponentanalys (PCA) för att förutspå swapräntekurvor. PCA är idag industristandard för att förutspå räntekurvor. Specifikt är målet att bättre kunna förstå korrelationsstrukturen mellan de Svenska swapräntorna och de Europiska swapräntorna. En nackdel med PCA är att den enda tillgängliga informationen sparas i kovariansmatrisen. Det kan till exempel vara fallet att kurvan beter sig väldigt annorlunda beroende på om de nuvarande räntenivåerna är höga eller låga. Eftersom att sådan information går förlorad i PCA-modellen ligger intresset i att undersöka hur mycket noggrannare prediktionerna kan bli om man tar tillvara på ännu mer av informationen i datan. Som Alexei Kondratyev visar i rapporten "Learning Curve Dynamics with Artificial Neural Networks", så har ANN-modellen potential att ersätta PCA-modellen för att förutspå räntekurvor. I denna studie framgår det att ANN-modellen uppnår samma eller bättre resultat jämfört med PCA-modellen vid längre prediktioner.

Denna avhandling presenterar ett tillvägagångssätt för att förutspå förflyttning inom folkmassor med hjälp av LSTM-neurala nätverk. Specifikt analyseras inflytandet som olika frekvenser av tidsserier har på både prognosen för folkmassorna och designen i arkitekturen inom transport och handel. Arkitekturen påverkas även då frekvensändringar provocerar fram en ökning eller minskning i datamängd och arkitekturen därför bör anpassas. Tidigare forskning inom prognoser relaterade till folkmassor har huvudsakligen fokuserat på att förutspå folkmassans nästa förflyttning snarare än att definiera mängden människor på en specifik plats under ett specifikt tidsspann. Dessa studier har använt olika tekniker som till exempel Random Forest eller Feed Forward neurala nätverk för att ta reda på inflytandet som de olika frekvenserna har över prognosens resultat. Denna avhandling tillämpar istället LSTM-neurala nätverk för analysering av detta inflytande och använder specifika fältrelaterade tekniker för att hitta de bästa parametrarna för att förutspå framtida välstånd i folkmassor. Resultatet visar att frekvensordningen i en tidsserie tydligt påverkar resultatet av prognoserna inom transport och handel, och att detta inflytande är positivt när frekvensordningen av tidsserierna kan fånga upp frekvensens form i prognosen. Därför, med frekvensordningen i åtanke, visar resultaten i prognoserna för de analyserade platserna en förbättring på 40% för SMAPE och 50% för RMSE jämfört med inhemska tillvägagångssätt och andra tekniker. Utöver detta visar de även att det finns ett samband mellan frekvensordningen och komponenterna i arkitekturerna. / This thesis presents an approach to predict crowd movement in defined placesusing LSTM neural networks. Specifically, it analyses the influence that different frequencies of time series have in both the crowd forecast and the design of the architecture in the domains of transportation and retail. The architecture is also affected because changes in the frequency provokes an increment or decrement in the quantity of data and, therefore, the architecture should be adapted. Previous research in the field of crowd prediction has been mainly focused on anticipating the next movement of the crowd rather than defining the amount of people during a specific range of time in a particular place. These studies have used different techniques such as Random Forest or Feed-Forward neural networks in order to find out the influence that the different frequencies have in the results of the forecast. However, this thesis applies LSTM neural networks for analysing this influence and uses specific field-related techniques in order to find the best parameters for forecasting future crowd movement. The results show that the order of the frequency of a time series clearly affects the outcomes of the predictions in the field of transportation and retail, being this influence positive when the order of the frequency of time series is able to catch the shape of the frequency of the forecast. Therefore, taking into account the order of the frequency, the results of the forecast for the analyzed places show an improvement of 40% for SMAPE and 50% for RMSE compared to the Naive approach and other techniques. Furthermore, they point out that there is a relation between the order of the frequency and the components of the architectures.