The field of natural language processing has received increased attention lately, but less focus is put on comparing models, which differ in complexity. This thesis compares Random Forest to LSTM, for the task of classifying a message as question or non-question. The comparison was done by training and optimizing the models on historic chat data from the Swedish insurance company Hedvig. Different types of word embedding were also tested, such as Word2vec and Bag of Words. The results demonstrated that LSTM achieved slightly higher scores than Random Forest, in terms of F1 and accuracy. The models’ performance were not significantly improved after optimization and it was also dependent on which corpus the models were trained on. An investigation of how a chatbot would affect Hedvig’s adoption rate was also conducted, mainly by reviewing previous studies about chatbots’ effects on user experience. The potential effects on the innovation’s five attributes, relative advantage, compatibility, complexity, trialability and observability were analyzed to answer the problem statement. The results showed that the adoption rate of Hedvig could be positively affected, by improving the first two attributes. The effects a chatbot would have on complexity, trialability and observability were however suggested to be negligible, if not negative. / Det vetenskapliga området språkteknologi har fått ökad uppmärksamhet den senaste tiden, men mindre fokus riktas på att jämföra modeller som skiljer sig i komplexitet. Den här kandidatuppsatsen jämför Random Forest med LSTM, genom att undersöka hur väl modellerna kan användas för att klassificera ett meddelande som fråga eller icke-fråga. Jämförelsen gjordes genom att träna och optimera modellerna på historisk chattdata från det svenska försäkringsbolaget Hedvig. Olika typer av word embedding, så som Word2vec och Bag of Words, testades också. Resultaten visade att LSTM uppnådde något högre F1 och accuracy än Random Forest. Modellernas prestanda förbättrades inte signifikant efter optimering och resultatet var också beroende av vilket korpus modellerna tränades på. En undersökning av hur en chattbot skulle påverka Hedvigs adoption rate genomfördes också, huvudsakligen genom att granska tidigare studier om chattbotars effekt på användarupplevelsen. De potentiella effekterna på en innovations fem attribut, relativ fördel, kompatibilitet, komplexitet, prövbarhet and observerbarhet analyserades för att kunna svara på frågeställningen. Resultaten visade att Hedvigs adoption rate kan påverkas positivt, genom att förbättra de två första attributen. Effekterna en chattbot skulle ha på komplexitet, prövbarhet och observerbarhet ansågs dock vara försumbar, om inte negativ.

Locating and extracting useful data from images is a task that has been revolutionized in the last decade as computing power has risen to such a level to use deep neural networks with success. A type of neural network that uses the convolutional operation called convolutional neural network (CNN) is suited for image related tasks. Using the convolution operation creates opportunities for the network to learn their own filters, that previously had to be hand engineered. For locating objects in an image the state-of-the-art Faster R-CNN model predicts objects in two parts. Firstly, the region proposal network (RPN) extracts regions from the picture where it is likely to find an object. Secondly, a detector verifies the likelihood of an object being in that region.For this thesis, we review the current literature on artificial neural networks, object detection methods, proposal methods and present our new way of generating proposals. By replacing the RPN with our network, the multiscale proposal network (MPN), we increase the average precision (AP) with 12% and reduce the computation time per image by 10%. / Lokalisering av användbar data från bilder är något som har revolutionerats under det senaste decenniet när datorkraften har ökat till en nivå då man kan använda artificiella neurala nätverk i praktiken. En typ av ett neuralt nätverk som använder faltning passar utmärkt till bilder eftersom det ger möjlighet för nätverket att skapa sina egna filter som tidigare skapades för hand. För lokalisering av objekt i bilder används huvudsakligen Faster R-CNN arkitekturen. Den fungerar i två steg, först skapar RPN boxar som innehåller regioner där nätverket tror det är störst sannolikhet att hitta ett objekt. Sedan är det en detektor som verifierar om boxen är på ett objekt .I denna uppsats går vi igenom den nuvarande litteraturen i artificiella neurala nätverk, objektdektektering, förslags metoder och presenterar ett nytt förslag att generera förslag på regioner. Vi visar att genom att byta ut RPN med vår metod (MPN) ökar vi precisionen med 12% och reducerar tiden med 10%.

The data traffic has been growing drastic over the past few years due to digitization and new technologies that are introduced to the market, such as autonomous cars. In order to meet this demand, the MIMO-OFDM system is used in the fifth generation wireless network, 5G. Designing the optimal wireless network is currently the main research within the area of telecommunication. In order to achieve such a system, multiple factors has to be taken into account, such as the suppression of interference from other users. A traditional method called linear minimum mean square error filter is currently used to suppress the interferences. To derive such a filter, a selection of parameters has to be estimated. One of these parameters is the ideal interference plus noise covariance matrix. By gathering prior knowledge of the underlying structure of the interference channel matrices in terms of the number of interferers and their corresponding bandwidths, the estimation of the ideal covariance matrix could be facilitated. As for this thesis, machine learning algorithms were used to extract these prior knowledge. More specifically, a two or three hidden layer feedforward neural network and a support vector machine with a linear kernel was used. The empirical findings implies promising results with accuracies above 95% for each model. / Under de senaste åren har dataanvändningen ökat drastiskt på grund av digitaliseringen och allteftersom nya teknologier introduceras på marknaden, exempelvis självkörande bilar. För att bemöta denna efterfrågan används ett s.k. MIMO-OFDM system i den femte generationens trådlösa nätverk, 5G. Att designa det optimala trådlösa nätverket är för närvarande huvudforskningen inom telekommunikation och för att uppnå ett sådant system måste flera faktorer beaktas, bland annat störningar från andra användare. En traditionell metod som används för att dämpa störningarna kallas för linjära minsta medelkvadratfelsfilter. För att hitta ett sådant filter måste flera olika parametrar estimeras, en av dessa är den ideala störning samt bruskovariansmatrisen. Genom att ta reda på den underliggande strukturen i störningsmatriserna i termer av antal störningar samt deras motsvarande bandbredd, är något som underlättar uppskattningen av den ideala kovariansmatrisen. I följande avhandling har olika maskininlärningsalgoritmer applicerats för att extrahera dessa informationer. Mer specifikt, ett neuralt nätverk med två eller tre gömda lager samt stödvektormaskin med en linjär kärna har använts. De slutliga resultaten är lovande med en noggrannhet på minst 95% för respektive modell.

Neural networks are powerful tools for modelling complex non-linear mappings, but they often suffer from overfitting and provide no measures of uncertainty in their predictions. Bayesian techniques are proposed as a remedy to these problems, as these both regularize and provide an inherent measure of uncertainty from their posterior predictive distributions. By quantifying predictive uncertainty, we attempt to improve a systematic trading strategy by scaling positions with uncertainty. Exact Bayesian inference is often impossible, and approximate techniques must be used. For this task, this thesis compares dropout, variational inference and Markov chain Monte Carlo. We find that dropout and variational inference provide powerful regularization techniques, but their predictive uncertainties cannot improve a systematic trading strategy. Markov chain Monte Carlo provides powerful regularization as well as promising estimates of predictive uncertainty that are able to improve a systematic trading strategy. However, Markov chain Monte Carlo suffers from an extreme computational cost in the high-dimensional setting of neural networks. / Neurala nätverk är kraftfulla verktyg för att modellera komplexa icke-linjära avbildningar, men de lider ofta av överanpassning och tillhandahåller inga mått på osäkerhet i deras prediktioner. Bayesianska tekniker har föreslagits för att råda bot på dessa problem, eftersom att de både har en regulariserande effekt, samt har ett inneboende mått på osäkerhet genom den prediktiva posteriora fördelningen. Genom att kvantifiera prediktiv osäkerhet försöker vi förbättra en systematisk tradingstrategi genom att skala modellens positioner med den skattade osäkerheten. Exakt Bayesiansk inferens är oftast omöjligt, och approximativa metoder måste användas. För detta ändamål jämför detta examensarbete dropout, variational inference och Markov chain Monte Carlo. Resultaten indikerar att både dropout och variational inference är kraftfulla regulariseringstekniker, men att deras prediktiva osäkerheter inte kan användas för att förbättra en systematisk tradingstrategi. Markov chain Monte Carlo ger en kraftfull regulariserande effekt, samt lovande skattningar av osäkerhet som kan användas för att förbättra en systematisk tradingstrategi. Dock lider Markov chain Monte Carlo av en enorm beräkningsmässig komplexitet i ett så högdimensionellt problem som neurala nätverk.

Improved sales forecasts for individual products in retail stores can have a positive effect both environmentally and economically. Historically these forecasts have been done through a combination of statistical measurements and experience. However, with the increased computational power available in modern computers, there has been an interest in applying machine learning for this problem. The aim of this thesis was to utilize two years of sales data, yearly calendar events, and weather data to investigate which machine learning method could forecast sales the best. The investigated methods were XGBoost, ARIMAX, LSTM, and Facebook Prophet. Overall the XGBoost and LSTM models performed the best and had a lower mean absolute value and symmetric mean percentage absolute error compared to the other models. However, Facebook Prophet performed the best in regards to root mean squared error and mean absolute error during the holiday season, indicating that Facebook Prophet was the best model for the holidays. The LSTM model could however quickly adapt during the holiday season improved the performance. Furthermore, the inclusion of weather did not improve the models significantly, and in some cases, the results were worsened. Thus, the results are inconclusive but indicate that the best model is dependent on the time period and goal of the forecast. / Förbättrade försäljningsprognoser för individuella produkter inom detaljhandeln kan leda till både en miljömässig och ekonomisk förbättring. Historiskt sett har dessa utförts genom en kombination av statistiska metoder och erfarenhet. Med den ökade beräkningskraften hos dagens datorer har intresset för att applicera maskininlärning på dessa problem ökat. Målet med detta examensarbete är därför att undersöka vilken maskininlärningsmetod som kunde prognostisera försäljning bäst. De undersökta metoderna var XGBoost, ARIMAX, LSTM och Facebook Prophet. Generellt presterade XGBoost och LSTM modellerna bäst då dem hade ett lägre mean absolute value och symmetric mean percentage absolute error jämfört med de andra modellerna. Dock, gällande root mean squared error hade Facebook Prophet bättre resultat under högtider, vilket indikerade att Facebook Prophet var den bäst lämpade modellen för att förutspå försäljningen under högtider. Dock, kunde LSTM modellen snabbt anpassa sig och förbättrade estimeringarna. Inkluderingen av väderdata i modellerna resulterade inte i några markanta förbättringar och gav i vissa fall även försämringar. Övergripande, var resultaten tvetydiga men indikerar att den bästa modellen är beroende av prognosens tidsperiod och mål.

The implied volatility surface plays an important role for Front office and Risk Management functions at Nasdaq and other financial institutions which require mark-to-market of derivative books intraday in order to properly value their instruments and measure risk in trading activities. Based on the aforementioned business needs, being able to calibrate an end of day implied volatility surface based on new market information is a sought after trait. In this thesis a statistical learning approach is used to calibrate the implied volatility surface intraday. This is done by using OMXS30-2019 implied volatility surface data in combination with market information from close to at the money options and feeding it into 3 Machine Learning models. The models, including Feed Forward Neural Network, Recurrent Neural Network and Gaussian Process, were compared based on optimal input and data preprocessing steps. When comparing the best Machine Learning model to the benchmark the performance was similar, indicating that the calibration approach did not offer much improvement. However the calibrated models had a slightly lower spread and average error compared to the benchmark indicating that there is potential of using Machine Learning to calibrate the implied volatility surface. / Implicita volatilitetsytor är ett viktigt vektyg för front office- och riskhanteringsfunktioner hos Nasdaq och andra finansiella institut som behöver omvärdera deras portföljer bestående av derivat under dagen men också för att mäta risk i handeln. Baserat på ovannämnda affärsbehov är det eftertraktat att kunna kalibrera de implicita volatilitets ytorna som skapas i slutet av dagen nästkommande dag baserat på ny marknadsinformation. I denna uppsats används statistisk inlärning för att kalibrera dessa ytor. Detta görs genom att uttnytja historiska ytor från optioner i OMXS30 under 2019 i kombination med optioner nära at the money för att träna 3 Maskininlärnings modeller. Modellerna inkluderar Feed Forward Neural Network, Recurrent Neural Network och Gaussian Process som vidare jämfördes baserat på data som var bearbetat på olika sätt. Den bästa Maskinlärnings modellen jämfördes med ett basvärde som bestod av att använda föregående dags yta där resultatet inte innebar någon större förbättring. Samtidigt hade modellen en lägre spridning samt genomsnittligt fel i jämförelse med basvärdet som indikerar att det finns potential att använda Maskininlärning för att kalibrera dessa ytor.

Options are an important part in today's financial market. It's therefore of high importance to be able to understand when options are overvalued and undervalued to get a lead on the market. To determine this, the relation between the volatility of the underlying asset, called realized volatility, and the market's expected volatility, called implied volatility, can be analyzed. In this thesis five models were investigated for modeling the relation between implied and realized volatility. The five models consisted of one Ornstein–Uhlenbeck model, two autoregressive models and two artificial neural networks. To analyze the performance of the models, different accuracy measures were calculated for out-of-sample forecasts. Signals from the models were also calculated and used in a simulated options trading environment to get a better understanding of how well they perform in trading applications. The results suggest that artificial neural networks are able to model the relation more accurately compared to more traditional time series models. It was also shown that a trading strategy based on forecasting the relation was able to generate significant profits. Furthermore, it was shown that profits could be increased by combining a forecasting model with a signal classification model. / Optioner är en viktig del i dagens finansiella marknad. Det är därför viktigt att kunna förstå när optioner är över- och undervärderade för att vara i framkant av marknaden. För att bestämma detta kan relationen mellan den underliggande tillgångens volatilitet, kallad realiserad volatilitet, och marknadens förväntade volatilitet, kallad implicit volatilitet, analyseras. I den här avhandlingen undersöktes fem modeller för att modellera relationen mellan implicit och realiserad volatilitet. De fem modellerna var en Ornstein–Uhlenbeck modell, två autoregressiva modeller samt två artificiella neurala nätverk. För att analysera modellernas prestanda undersöktes olika nogrannhetsmått för prognoser från modellerna. Signaler från modellerna beräknades även och användes i en simulerad optionshandelsmiljö för att få en bättre förståelse för hur väl de presterar i en handelstillämpning. Resultaten tyder på att artificiella neurala nätverk kan modellera relationen bättre än mer traditionella tidsseriemodellerna. Det visades även att en handelsstrategi baserad på prognoser av relationen kunde generera en signifikant vinst. Det visades dessutom att vinster kunde ökas genom att kombinera en prognosmodell med en modell som klassificerar signaler.

I takt med att informationsmängden ökar i samhället ställs högre krav på mer förfinade metoder för sökning och hantering av information. Att utvinna relevant data från företagsinterna system blir en mer komplex uppgift då större informationsmängder måste hanteras och mycket kommunikation förflyttas till digitala plattformar. Metoder för vektorbaserad ordinbäddning har under senare år gjort stora framsteg; i synnerhet visade Google 2013 banbrytande resultat med modellen Word2vec och överträffade äldre metoder. Vi implementerar en sökmotor som utnyttjar ordinbäddningar baserade på Word2vec och liknande modeller, avsedd att användas på IT-företaget Kundo och för produkten Kundo Forum. Resultaten visar på potential för informationssökning med markant bättre täckning utan minskad precision. Kopplat till huvudområdet informationssökning genomförs också en analys av vilka implikationer en förbättrad sökmotor har ur ett marknads- och produktutvecklingsperspektiv. / As the abundance of information in society increases, so does the need for more sophisticated methods of information retrieval. Extracting information from internal systems becomes a more complex task when handling larger amounts of information and when more communications are transferred to digital platforms. Recent years methods for word embedding in vector space have gained traction. In 2013 Google sent ripples across the field of Natural Language Processing with a new method called Word2vec, significantly outperforming former practices. Among different established methods for information retrieval, we implement a retrieval method utilizing Word2vec and related methods of word embedding for the search engine at IT company Kundo and their product Kundo Forum. We demonstrate the potential to improve information retrieval recall by a significant margin without diminishing precision. Coupled with the primary subject of information retrieval we also investigate potential market and product development implications related to a different kind of search engine.

Machine learning has seen a rapid progress the last couple of decades, with more and more powerful neural network models continuously being presented. These neural networks require large amounts of data to train them. Labelled data is especially in great demand, but due to the time consuming and costly nature of data labelling, there exists a scarcity for labelled data, whereas there usually is an abundance of unlabelled data. In some cases, data from a certain distribution, or domain, is labelled, whereas the data we actually want to optimise our model on is unlabelled and from another domain. This falls under the umbrella of domain adaptation and the purpose of this thesis is to train a network using domain-adversarial training on eye image datasets consisting of a labelled source domain and an unlabelled target domain, with the goal of performing well on target data, i.e., overcoming the domain gap. This was done on two different datasets: a proprietary dataset from Tobii with real images and the public U2Eyes dataset with synthetic data. When comparing domain-adversarial training to a baseline model trained conventionally on source data and a oracle model trained conventionally on target data, the proposed DAT-ResNet model outperformed the baseline on both datasets. For the Tobii dataset, DAT-ResNet improved the Huber loss by 22.9% and the Intersection over Union (IoU) by 7.6%, and for the U2Eyes dataset, DAT-ResNet improved the Huber loss by 67.4% and the IoU by 37.6%. Furthermore, the IoU measures were extended to also include the portion of predicted ellipsis with no intersection with the corresponding ground truth ellipsis – referred to as zero-IoUs. By this metric, the proposed model improves the percentage of zero-IoUs by 34.9% on the Tobii dataset and by 90.7% on the U2Eyes dataset. / Maskininlärning har sett en snabb utveckling de senaste decennierna med mer och mer kraftfulla neurala nätverk-modeller presenterades kontinuerligt. Dessa neurala nätverk kräver stora mängder data för att tränas. Data med etiketter är det framförallt stor efterfrågan på, men på grund av det är tidskrävande och kostsamt att etikettera data så finns det en brist på sådan data medan det ofta finns ett överflöd av data utan etiketter. I vissa fall så är data från en viss fördelning, eller domän, etiketterad, medan datan som vi faktiskt vill optimera vår modell efter saknar etiketter och är från en annan domän. Det här faller under området domänadaptering och målet med det här arbetet är att träna ett nätverk genom att använda domänmoststående träning på dataset med ögonbilder som har en källdomän med etiketter och en måldomän utan etiketter, där målet är att prestera bra på data från måldomänen, i.e., att lösa ett domänadapteringsproblem. Det här gjordes på två olika dataset: ett dataset som ägs av Tobii med riktiga ögonbilder och det offentliga datasetet U2Eyes med syntetiska bilder. När domänadapteringsmodellen jämförs med en basmodell tränad konventionellt på källdata och en orakelmodell tränad konventionellt på måldata, så utklassar den presenterade DAT-ResNet-modellen basmodellen på båda dataseten. På Tobii-datasetet så förbättrade DAT-ResNet förlusten med 22.9% och Intersection over Union (IoU):n med 7.6%, och på U2Eyes-datasetet, förbättrade DAT-ResNet förlusten med 67.4% och IoU:n med 37.6%. Dessutom så utökades IoU-måtten till att också innefatta andelen av förutspådda ellipser utan något överlapp med tillhörande grundsanningsellipser – refererat till som noll-IoU:er. Enligt detta mått så förbättrar den föreslagna modellen noll-IoU:erna med 34.9% på Tobii-datasetet och 90.7% på U2Eyes-datasetet.

This thesis explores the possibility of using session-based customers data from Svenska Handelsbanken AB to detect fraudulent sessions. Tools within Topological Data Analysis are employed to analyse customers behavior and examine topological properties such as homology and stable rank at the individual level. Furthermore, a RNN-LSTM model is, on a general behaviour level, trained to predict the customers next event and investigate its potential to detect anomalous behavior. The results indicate that simplicial complexes and their corresponding stable rank can be utilized to describe differences between genuine and fraudulent sessions on individual level. The use of a neural network suggests that there are deviant behaviors on general level concerning the difference between fraudulent and genuine sessions. The fact that this project was done without internal bank knowledge of fraudulent behaviour or historical knowledge of general suspicious activity and solely by data handling and anomaly detection shows great potential in session-based detection. Thus, this study concludes that the use of Topological Data Analysis and Neural Networks for detecting fraud and anomalous events provide valuable insight and opens the door for future research in the field. Further analysis must be done to see how effectively one could detect fraud mid-session. / I följande uppsats undersöks möjligheten att använda sessionbaserad kunddata från Svenska Handelsbanken AB för att detektera bedrägliga sessioner. Verktyg inom Topologisk Dataanalys används för att analysera kunders beteende och undersöka topologiska egenskaper såsom homologi och stabil rang på individnivå. Dessutom tränas en RNN-LSTM modell på en generell beteende nivå för att förutsäga kundens nästa händelse och undersöka dess potential att upptäcka avvikande beteende. Resultaten visar att simpliciella komplex och deras motsvarande stabil rang kan användas för att beskriva skillnader mellan genuina och bedrägliga sessioner på individnivå. Användningen av ett neuralt nätverk antyder att det finns avvikande beteenden på en generell nivå avseende skillnaden mellan bedrägliga och genuina sessioner. Det faktum att detta projekt genomfördes utan intern bankkännedom om bedrägerier eller historisk kunskap om allmäna misstänksamma aktiviteter och enbart genom datahantering och anomalidetektion visar stor potential för sessionbaserad detektion. Därmed drar denna studie slutsatsen att användningen av topologisk dataanalys och neurala nätverk för att upptäcka bedrägerier och avvikande händelser ger värdefulla insikter och öppnar dörren för framtida fortsätta studier inom området. Vidare analyser måste göras för att se hur effektivt man kan upptäcka bedrägerier mitt i sessioner.