In this thesis, we apply unsupervised and supervised statistical learning methods on the high-yield corporate bond market with the goal of predicting its future excess return. We analyse the excess return of industry based indices of high-yield corporate bonds belonging to the Chemical, Metals, Paper, Building Materials, Packaging, Telecom, and Electric Utility industry. To predict the excess return of these high-yield corporate bond industry indices we utilised externally given market-observable financial time series from 96 different asset and indices that we believe to be of predictive value for the excess return. These input time series covers assets and indices of major equity indices, corporate credit spreads, FX-currencies, stock-, bond-, and FX volatility, swap rates, swap spreads, certain commodities, and macro economic surprise indices. After pre-processing the input data we arrive at 154 predictors that are used in a two-phase implementation procedure consisting of an unsupervised time series Agglomerative Hierarchical clustering and a supervised Random Forest regression model. We use the Hierarchical time series clustering and the Random Forest unbiased variable importance estimates as means to reduce our input predictor space to the ten most influential predictor variables for each industry. These ten most influential predictors are then used in a Random Forest regression model to predict [1, 3, 5, 10] day future cumulative excess return. To accommodate for the characteristics of sequential time series data we also apply a sliding window method to the input predictors and the response variable in our Random Forest model. The results show that excess returns in the various industries under study are predictable using Random Forest regression with our market-observable input data. The out-of-sample coefficient of determination R²out is in majority of the cases statistically significant at 0.01 level. The predictability varies across the industries and is in some cases dependent on whether we apply the sliding window method or not. Furthermore, applying the sliding window method on the predictors and the response variable showed in majority of the cases statistically significant improvements in the mean-squared prediction error. The variable importance estimates from such models show that the excess return time series exhibit some degree of autocorrelation. / I denna uppsats applicerar vi oövervakade och övervakade statistiska inlärningsmetoder på marknaden för högavkastande företagsobligationer med målet om att predicera dess framtida överavkastning. Vi analyserar överavkastningen för industribaserade index av företagsobligationer tillhörande Kemi-, Metal-, Pappers-, Byggnadsmaterial-, Paketerings-, Telekom-, och Kraftförsörjningsindustrin. För att predicera överavkastningen i dessa högavkastande företagsobligations-industriindex använder vi externa marknadsobserverande finansiella tidserier från 96 olika tillgångsklasser och index som vi tror är av prediktiv värde för överavkastningen. Denna input tidsserier täcker tillgångar och index för välkända aktieindex, företagskredit-spreadar, valutor, aktie-, obligations, och valutavolatilitet, swap räntor, swap spreadar, vissa råvaror, och makroekonomiska överraskningsindex. Efter att ha processat inputsdata har vi 154 olika prediktorer som används i en två-fas implementeringsprocedur bestående av en oövervakad tidserie Agglomerativ Hierarkisk klustering och en övervakad Random Forest regressionsmodell. Vi använder den hierarkiska klusteringen och Random Forest fördomsfria variabel viktighetsuppskattningar som medel för att reducera inputsvariabelrummet till de tio mest inuerande prediktorvariablerna för varje industri. Dessa tio mest influerande prediktorer användes sedan i en Random Forest regressionsmodell för att predicera [1, 3, 5, 10] dagars kumulativ överavkastning. För att tillgodose för de egenskaper som sekventiell tidserie data uppvisar applicerar vi en Sliding Window metod på inputsprediktorerna och på själva responsvariabeln i vår Random Forest model. Resultaten visar att överavkastningen i de olika industrierna som vi studerar är förutspåbar när man använder Random Forest regression med vår marknadsobserverande inputsdata. Ur-samplings determinationskoefficienten R²out visar i de flesta fall på statistisk signifikans på en 0.01 nivå. Förutsägbarheten varierar över de olika industrierna och är i vissa fall beroende på om Sliding Window metoden är applicerad eller inte. Vidare visar resultaten att applicerandet av Sliding Window metoden på prediktorerna och responsvariabeln uppvisar i de flesta fallen på statistisk signifikant förbättring av dem medel-kvadrerade prediktionsfelet. Variabel viktighetsuppskattningarna från dessa modeller visar att överavkastning tidserierna uppvisar en viss grad autokorrelation.

The least squares Monte Carlo (LSMC) approach is commonly used in the estimation of the solvency capital requirement (SCR), as a more computationally efficient alternative to a full nested Monte Carlo simulation. This study compares the performance of artificial neural networks (ANNs) to that of the LSMC approach in the estimation of the SCR of various financial portfolios. More specifically, feedforward ANNs with multiple hidden layers are implemented and the results show that an ANN is superior in terms of accuracy compared to the LSMC approach. The ANN and LSMC approaches reduce the computation time to approximately 2-5% compared to a full nested Monte Carlo simulation. Significant time is however spent on validating and tuning the ANNs in order to optimise their performance. Despite continuous improvements in tools and techniques available for optimization and visualisation of ANNs, they are to a certain degree still regarded as “black boxes”. This study employs various tools and techniques to visualise and validate the implemented ANN models as extensively as possible. Examples include software libraries such as TensorFlow and Seaborn as well as methods to prevent overfitting such as weight regularisation and dropout. These tools and techniques do indeed contribute to shedding some light on the black box. Certain aspects of ANNs are however still difficult to interpret, which might make them less manageable in practise. / Least squares Monte Carlo (LSMC) används ofta vid estimering av solvenskapitalkrav (SCR), som ett mer beräkningseffektivt alternativ till vad som annars kräver en stor mängd Monte Carlo-simuleringar (full nästlad Monte Carlo-simulering). Denna studie undersöker hur artificiella neuronnät (ANNs) presterar jämfört med LSMCmetoden vid estimering av SCR för ett antal olika finansiella portföljer. Mer specifikt implementeras feedforward ANNs med flertalet dolda lager och resultaten framhäver att ANNs överträffar LSMC med avseende på prediktionskapacitet. ANNs och LSMC minskar beräkningstiden till 2-5% jämfört med en full nästlad Monte Carlo-simulering. Utöver beräkningstid behöver dock betydande tid spenderas på att optimera och validera ANNs prestanda. Trots kontinuerliga framsteg inom tillgängliga verktyg och tekniker för optimering och visualisering av ANNs så upplevs de fortfarande till viss del som “svarta lådor”. För att visualisera och validera de implementerade ANN-modellerna på ett så utförligt sätt som möjligt, använder denna studie ett flertal verktyg och tekniker, som exempelvis mjukvarorna TensorFlow och Seaborn samt metoder för att undvika överpassade modeller så som regularisering av vikter och dropout. Dessa verktyg och tekniker bidrar till att kasta ljus över den svarta lådan, men vissa aspekter av ANNs är fortfarande svåra att tolka vilket kan göra dem svårhanterliga i praktiken.

Bayesian optimization is a well known class of derivative-free optimization algorithms mainly used for expensive black-box objective functions. Despite their efficiency, they suffer from a lack of rigorous convergence criterion which makes them more prone to be used as modeling tools rather than optimizing tools. This master thesis proposes, analyzes, and tests a globally convergent framework (that is to say the convergence to a stationary point regardless the initial sample) for Bayesian optimization algorithms. The framework design intends to preserve the global search characteristics for minimum while being rigorously monitored to converge. / Bayesiansk optimering är en välkänd klass av globala optimeringsalgoritmer som inte beror av derivator och främst används för optimering av dyra svartlådsfunktioner. Trots sin relativa effektivitet lider de av en brist av stringent konvergenskriterium som gör dem mer benägna att användas som modelleringsverktyg istället för som optimeringsverktyg. Denna rapport är avsedd att föreslå, analysera och testa en ett globalt konvergerande ramverk (på ett sätt som som beskrivs vidare) för Bayesianska optimeringsalgoritmer, som ärver de globala sökegenskaperna för minimum medan de noggrant övervakas för att konvergera.

This thesis conducts a statistical analysis of the won and lost sell data for SAAB AB. The method of choice is logistic regression analysis against believed and confirmed statistically significant dependable data. The sell data is split by different products so that each product gets an individual evaluation. The outcome of the regression analysis is then implemented on non-ventured markets for a specific product. This provide an implied probability of a successful sale of a product to different countries. These implied probabilities form a ranking of different countries for a specific product. The ranking tables are then supposed to be used as a statistical input for SAAB employees to use when evaluating potential future market gains. / Den här uppsatsen genomför en statistisk analys av SAAB ABs vunna och förlorade affärer från dess försäljningsdata. Metoden som valdes är logistisk regressionsanalys och den är implementerad mot statistiskt signifikant och beroende data. Försäljningsdatan är uppdelad på olika produktområden så att varje produkt får sin egen analys. Resultatet av regressionsanalysen är sedan implementerad på olika länder som SAAB inte har försökt att sälja den undersökta produkten till. Detta ger sannolikheten för att genomföra en lyckad försäljning av en viss produkt till ett land. Dessa sannolikheter bildar sedan en ranking för de olika länderna för en specifik produkt. Rankingtabellerna är tänkta att användas som statistiskt underlag för SAABs anställda när de utvärderar potentiella framtida affärer.

In continuum mechanics, the conservation laws for mass, momentum and energy coupled with the constitutive relations of the stress and heat flux could be a powerful solution method for continuum systems. However, it is required that the equations form a closed system, i.e. that the stress and heat flux are formulated as functions of the conserved variables. This thesis studies the constitutive relations of the stress and heat flux in the Fermi-Pasta-Ulam-Tsingou model with Langevin dynamics, by the means of molecular dynamics simulations. In essence, the model consists of a many particle system in the presence of a heat bath, where each particle is chained to its two neighbors by a nonlinear quadratic spring force. A numerical method is implemented to propagate the particle dynamics. Following Hardy [7], formulas relating the macroscopic entities to the particle dynamics are employed in order to study the behavior of the stress and heat flux in relation to the mass, momentum and energy. In fact, the numerical result show that the stress appears as a linear function of the energy. / En värdefull lösningsmetod för kontinuumsystem är att lösa det system av partiella differentialekvationer som utgörs av konserveringslagarna för massa, rörelsemängd och energi tillsammans med två konstitutiva relationer för spänning och värmeflöde. För detta krävs det att ekvationerna bildar ett slutet system, dvs. att spänningen och värmeflödet är funktioner av de konserverade storheterna. Detta examensarbete studerar de konstitutiva relationerna för spänningen och värmeflödet i Fermi-Pasta-Ulam-Tsingou modellen med Langevindynamik, som bestäms genom simulering av molekyldynamiken. Modellen består väsentligen av många partiklar som är kopplade till ett värmebad, där varje partikel är länkad till sina två grannar genom en ickelinjär fjäderkraft. En numerisk metod implementeras för att propagera partikeldynamiken. Baserat på Hardys arbete [7] bestäms först spänningen och värmeflödet, sedan studeras deras beroende av konserveringsvariablerna. De numeriska resultaten visar att spänningen är en linjär funktion av energin.

Topological data analysis has been shown to provide novel insight in many natural sciences. To our knowledge, the area is however relatively unstudied on financial data. This thesis explores the use of topological data analysis on one dimensional financial time series. Takens embedding theorem is used to transform a one dimensional time series to an $m$-dimensional point cloud, where $m$ is the embedding dimension. The point cloud of the time series represents the states of the dynamical system of the one dimensional time series. To see how the topology of the states differs in different partitions of the time series, sliding window technique is used. The point cloud of the partitions is then reduced to three dimensions by PCA to allow for computationally feasible persistent homology calculation. Synthetic examples are shown to illustrate the process. Lastly, persistence landscapes are used to allow for statistical analysis of the topological features. The topological properties of financial data are compared with quantum noise data to see if the properties differ from noise. Complexity calculations are performed on both datasets to further investigate the differences between high-frequency FX data and noise. The results suggest that high-frequency FX data differs from the quantum noise data and that there might be some property other than mutual information of financial data which topological data analysis uncovers. / Topologisk dataanalys har visat sig kunna ge ny insikt i många naturvetenskapliga discipliner. Till vår kännedom är tillämpningar av metoden på finansiell data relativt ostuderad. Uppsatsen utforskar topologisk dataanalys på en endimensionell finanstidsserie. Takens inbäddningsteorem används för att transformera en endimensionell tidsserie till ett $m$-dimensionellt punktmoln, där $m$ är inbäddningsdimensionen. Tidsseriens punktmoln representerar tillstånd hos det dynamiska systemet som associeras med den endimensionella tidsserien. För att undersöka hur topologiska tillstånd varierar inom tidsserien används fönsterbaserad teknik för att segmentera den endimensionella tidsserien. Segmentens punktmoln reduceras till 3D med PCA för att göra ihållande homologi beräkningsmässigt möjligt. Syntetiska exempel används för att illustrera processen. En jämförelse mellan topologiska egenskaper hos finansiell tidseries och kvantbrus utförs för att se skillnader mellan dessa. Även komplexitetsberäkningar utförs på dessa data set för att vidare utforska skillnaderna mellan kvantbrus och högfrekventa FX-data. Resultatet visar på att högfrekvent FX-data skiljer sig från kvantbrus och att det finns egenskaper förutom gemensam information hos finansiella tidsserier som topologisk dataanalys visar på.

State-of-the-art deep reinforcement learning models rely on asynchronous training using multiple learner agents and their collective updates to a central neural network. In this thesis, one of the most recent asynchronous policy gradientbased reinforcement learning methods, i.e. asynchronous advantage actor-critic (A3C), will be examined as well as improved using prior research from the machine learning community. With application of the Adam optimization method and addition of a long short-term memory (LSTM) with layer normalization, it is shown that the performance of A3C is increased. / Moderna modeller inom förstärkningsbaserad djupinlärning förlitar sig på asynkron träning med hjälp av ett flertal inlärningsagenter och deras kollektiva uppdateringar av ett centralt neuralt nätverk. I denna studie undersöks en av de mest aktuella policygradientbaserade förstärkningsinlärningsmetoderna, i.e. asynchronous advantage actor-critic (A3C) med avsikt att förbättra dess prestanda med hjälp av tidigare forskning av maskininlärningssamfundet. Genom applicering av optimeringsmetoden Adam samt långt korttids minne (LSTM) med nätverkslagernormalisering visar det sig att prestandan för A3C ökar.

At RISE Research Institutes of Sweden, there is an interest in computer simulations of the physics related to ionization gauges. The objective of this thesis is to find out if the open source code Warp can be used for simulating the physics of interest. In this thesis it is explained what an ionization gauge is and the physics and the governing mathematical equations of the simulations are described. How those governing equations are solved and the algorithms used in Warp is also discussed in this thesis. The results of the simulations are presented in the thesis and a discussion of which parts of Warp that need to be further developed to successfully simulate the physics is carried through. / På RISE Research Institutes of Sweden, är man intresserad av att göra datorsimuleringar av fysiken bakom joniserande tryckgivare. Målet med denna uppsats är att ta reda på om det är möjligt att använda den öppna källkoden Warp för att genomföra simuleringar av fysiken som man är intresserad av. I den här uppsatsen förklaras det vad en joniserande tryckgivare är och fysiken och de styrande matematiska ekvationerna bakom simuleringarna beskrivs. Hur dessa styrande ekvationer löses och algoritmerna som används i Warp diskuteras också i denna uppsats. Resultaten från simuleringarna presenteras i uppsatsen och det förs en diskussion om vilka delar utav Warp som behöver vidareutvecklas för att framgångsrikt kunna simulera fysiken.

The properties of high-frequency foreign exchange markets and how well they can be modeled using Hidden Markov Models will be studied in this thesis. Specifically, a Zero-inflated Poisson HMM will be implemented and evaluated for high-frequency price data for the EURSEK exchange rate. Furthermore, a trading strategy aimed at distributing large volumes optimally is developed and evaluated. The results show that the price model performs better than a random walk for some prediction horizons, both when used as a price predictor and as a classifier. The initial tests of the strategy indicate that it has good performance compared to the market benchmark. Both the price model and the strategy needs to undergo more testing before any final conclusions can be made. / Egenskaperna hos högfrekventa valutamarknader och hur dessa kan modelleras med Dolda Markovmodeller behandlas i detta examensarbete. Noll-utökade Poisson distributioner, tillsammans med Dolda Markovmodeller, implementeras och utvärderas för högfrekvent växelkursdata för valutaparet EURSEK. Vidare, utvecklas och utvärderas en handelsstrategi med målet att distribuera stora volymer optimalt. Resultaten visar att prismodellen presterar bättre än en slumpvandring för en del prediktionshorisonter, både när den används för prisprediktion och för klassificering. Initiala tester av strategin indikerar att prestandan är bra jämfört med marknadens prestandamått. Både prismodellen och strategin behöver dock undersökas mer innan några definitiva slutsatser kan dras.

Crew costs are the second highest costs for airlines therefore they represent a key factor for an airline survival and crew scheduling is one of the hardest combinatorial problem. The scheduling process is broken down into crew pairing and crew rostering and, in this thesis, a robust solution is described in detail for the former one. The purpose of the thesis is to present an efficient and robust crew pairing optimization tool which minimizes the pairings costs and reduces unnecessary overcovers. The model framework is based on a new concept which involves four stages. During the first stage all roundtrip combinations are generated then in the second stage the roundtrips generated are optimized and the optimal solution is used in the third stage to generate all pairing combinations. And the last one, the fourth stage, optimizes the pairings obtained from the third stage. An augmented set covering problem is used to for the problem formulation where the unknown variables can take just integer values. A mixed integer programming solver from Google OR has been used to solve the optimization problem. In the last chapter numerical results are presented which show the efficiency of using this model framework. / Besättningskostnader är den näst största kostnadsposten för ett flygbolag. De spelar därmed en nyckelroll i ett flygbolags överlevnad. Schemaläggning för besättning är ett mycket svårt kombinatoriskt problem. Schemaläggningsprocessen är indelad i två delmoment: crew pairing och crew rostering. I detta arbete presenteras en robust lösning på det tidigare problemet. Syftet med rapporten är att presentera ett effektivt och robust optimeringsvektyg för att minimera kostnaderna för pairingar och minska ickenödvändig övertäckning. Ramverket för modellen är baserat på ett nytt koncept vilket involverar fyra steg. I första steget skapas pairingar som rundresor, dvs. de slutar så snart en flight i pairingen når flygplatsen som pairingen började på. I det andra steget löses ett optimeringsproblem för attt hitta den optimala kombinationen av dessa rundresor, därefter genereras pairingar på nytt i det tredje steget. I detta steg genereras pairingar baserade på lösningen i det förra steget. Slutligen i det fjärde steget erhålles en optimal lösning baserat på en optimeringsmodell som använder sig av pairingar från det tredje steget, Optimeringsproblemet är formulerat som ett utvidgat övertäckningsproblem där variablerna enbart kan anta heltalsvärden, och en heltalslösare från Google OR tools används för att lösa detta problem. I det sista kapitlet presenteras numeriska resultat från modellen.