We have seen a rapid increase in the development of deep learning algorithms in recent decades. However, while these algorithms have unlocked new business areas and led to great development in many fields, they are usually limited to Euclidean data. Researchers are increasingly starting to find out that they can better represent the data used in many real-life applications as graphs. Examples include high-risk domains such as finding the side effects when combining medicines using a protein-protein network. In high-risk domains, there is a need for trust and transparency in the results returned by deep learning algorithms. In this work, we explore how we can quantify uncertainty in Graph Neural Network predictions using conventional methods for conformal prediction as well as novel methods exploiting graph connectivity information. We evaluate the methods on both static and dynamic graphs and find that neither of the novel methods offers any clear benefits over the conventional methods. However, we see indications that using the graph connectivity information can lead to more efficient conformal predictors and a lower prediction latency than the conventional methods on large data sets. We propose that future work extend the research on using the connectivity information, specifically the node embeddings, to boost the performance of conformal predictors on graphs. / De senaste årtiondena har vi sett en drastiskt ökad utveckling av djupinlärningsalgoritmer. Även fast dessa algoritmer har skapat nya potentiella affärsområden och har även lett till nya upptäckter i flera andra fält, är dessa algoritmer dessvärre oftast begränsade till Euklidisk data. Samtidigt ser vi att allt fler forskare har upptäckt att data i verklighetstrogna applikationer oftast är bättre representerade i form av grafer. Exempel inkluderar hög-risk domäner som läkemedelsutveckling, där man förutspår bieffekter från mediciner med hjälp av protein-protein nätverk. I hög-risk domäner finns det ett krav på tillit och att resultaten från djupinlärningsalgoritmer är transparenta. I den här tesen utforskar vi hur man kan kvantifiera osäkerheten i resultaten hos Neurala Nätverk för grafer (eng. Graph Neural Networks) med hjälp av konform prediktion (eng. Conformal Prediction). Vi testar både konventionella metoder för konform prediktion, samt originella metoder som utnyttjar strukturell information från grafen. Vi utvärderar metoderna både på statiska och dynamiska grafer, och vi kommer fram till att de originella metoderna varken är bättre eller sämre än de konventionella metoderna. Däremot finner vi indikationer på att användning av den strukturella informationen från grafen kan leda till effektivare prediktorer och till lägre svarstid än de konventionella metoderna när de används på stora grafer. Vi föreslår att framtida arbete i området utforskar vidare hur den strukturella informationen kan användas, och framförallt nod representationerna, kan användas för att öka prestandan i konforma prediktorer för grafer.

The far-reaching successes of deep neural networks in a wide variety of learning tasks have prompted research on how model properties account for high network performance. For a specific class of models whose activation functions are piecewise linear, one such property of interest is the number of linear regions that the network generates. Such models themselves define piecewise linear functions by partitioning input space into disjoint regions and fitting a different linear function on each such piece. It would be expected that the number or configuration of such regions would describe the model’s ability to fit complicated functions. However, previous works have shown difficulty in identifying linear regions as satisfactory predictors of model success. In this thesis, the question of whether the generation of linear regions due to training encode the properties of the learning problem is explored. More specifically, it is investigated whether change in linear region density due to model fitting is related to the geometric properties of the training data. In this work, data geometry is characterized in terms of the curvature of the underlying manifold. Models with ReLU activation functions are trained on a variety of regression problems defined on artificial manifolds and the change in linear region density is recorded along trajectories in input space. Learning is performed on problems defined on curves, surfaces and for image data. Experiments are repeated as the data geometry is varied and the change in density is compared with the manifold curvature measure used. In no experimental setting, was the observed change in density found to be clearly linked with curvature. However, density was observed to increase at points of discontinuity. This suggests that linear regions can in some instances model data complexities, however, the findings presented here do not support that data curvature is encoded by the formation of linear regions. Thus, the role that linear regions play in controlling the capacity of piecewise linear networks remains open. Future research is needed to gain further insights into how data geometry and linear regions are connected. / De breda framgångar som djupa neurala nätverk har uppvisat i en mängd olika inlärningsproblem har inspirerat ny forskning med syfte att förklara vilka modellegenskaper som resulterar i högpresterande nätverk. För neurala nätverk som använder styckvis linjära aktiveringsfunktioner är en intressant egenskap att studera de linjära regioner som nätverket genererar i det vektorrum som utgör träningsdatans definitionsmängd. Nätverk med styckvis linjära aktiveringsfunktioner delar upp definitionsmängden i distinkta regioner på vilka olika linjära funktioner avbildas. Dessa nätverk avbildar själva styckvis linjära funktioner. Genom att anpassa flera skilda linjära avbildningar går det att approximera funktioner som är icke-linjära. Därför skulle man kunna förvänta sig att antalet linjära regioner som en modell genererar och hur de är fördelade i rummet kunde fungera som mått på modellens förmåga att lära sig komplicerade funktioner. Tidigare efterforskingar inom detta område har dock inte kunnat demonstrera ett samband mellan antalet eller fördelningen av linjära regioner och modellens prestanda. I den här avhandlingen undersöks det vilken roll linjära regioner spelar i att förklara en modells kapacitet och vad den lär sig. Fångar de linjära regioner som ett nätverk lär sig de underliggande egenskaperna hos träningsdatan? Mer specifikt så studeras huruvida den lokala förändringen i antalet linjära regioner efter modellträning korrelerar med träningsdatans geometri. Träningsdata genereras från syntetiska mångfalder och datageometrin beskrivs i termer av mångfaldens krökning. På dessa mångfalder definieras regressionsproblem och träning upprepas för topologier av olika form och med olika krökning. Skillnaden i antalet linjära regioner efter träning mäts längs banor i definitionsdomänen och jämförs med datans krökning. Ingen av de experiment som utfördes lyckades påvisa något tydligt samband mellan förändring i antal regioner och datans krökning. Det observerades dock att antalet linjära regioner ökar i närheten av punkter som utgör diskontinuiteter. Detta antyder att linjära regioner under vissa omständigheter kan modellera komplexitet. Således förblir rollen som linjära regioner har i att förklara modellförmåga diffus.

The computer vision field has taken big steps forwards and the amount of models and datasets that are being released is increasing. A large number of contemporary models are the result of extensive training sessions on massive datasets, reflecting a significant investment of time and computational resources. This opens up a new opportunity on utilizing the knowledge from this pre-trained models. It is possible to transfer the knowledge from one domain to a more fine-tuned solution on a custom created dataset, and this can help the field of computer vision to improve rapidly. This project utilizes the pre-trained models ResNet50,ResNet18 and DensNet121, for dealing with the challenge of fine-tuning models on a custom created dataset, that is created of grayscale images. The project’s results show how it’s possible to use a pre-trained model for transferring the learned features from one domain to another. In addition to this, the project included creating a binary classifier that is fine-tuned on a balanced dataset and another classifier that was fine-tuned on an imbalanced dataset. / Området för datorseende har gjort stora framsteg senaste årtionden och mängden modeller för djup maskininlärning som har tagits fram och blivit tillgängliga har ökat, tillsammans med mängden publika dataset som har blivit skapade. Nya modeller som når state-of-the-art status är tränade på stora dataset och med mycket beräkningskraft och har blivit framtagna under lång tid. Det har skapat ett nytt område inom datorseendekallat överföringsinlärning, vilket innebär att dra nytta av en modell som är tränad på ett dataset som inte är det exakta dataset som du har samlat ihop. Detta används sedan för att träna nätverket med dina specifika bilder, och lagerna i nätverket kan anpassas för att angripa det specifika problemet. Detta skapar möjligheter att på kortare framtagnings-tid dra nytta av kunskapen modellen har lärt sig och du tränar den bara på dina bilder för att anpassa nätverket. I det här projektet används de tränade modellerna ResNet50,ResNet18 och DenseNet121, och deras kunskap från tidigare träning används för att klassificera det här projektets specifika dataset med svartvita bilder. Projektets resultat visar möjligheten att använda en för tränad modell och applicera den på ett avgränsat, specifikt problem som skiljer sig från ursprungs-uppgiften. I projektet visas resultaten av att skapa ett dataset av bilder samt en binär klassificering och en klassificering av flertalet klasser.

With the ever-increasing adoption of renewable energy sources, the seamless integration of PV systems into existing grids becomes imperative. Therefore, this study investigates the integration of a PV-ESS system into sustainable urban living. It entails the development and evaluation of forecasting models for PV production and electricity consumption using artificial neural network models, as well as the analysis of linear optimization algorithms. These investigations give insight into the benefits, challenges, and implications of implementing a PV-ESS system. The photovoltaic generation forecasting model demonstrates high accuracy in winter months while encountering complexity in dynamic summer conditions. The model for estimating power demand poses challenges due to a variety of factors, including human behaviour and data quality.Moreover, the study focuses on the formulation and assessment of linear optimization models with two aims: minimizing costs and optimizing self-consumption. The first continually reduces electricity costs while increasing self-consumption, whereas the second maximizes self-consumption, with limitations in winter battery use. Finally, forecast precision appears as a crucial factor for optimization models. Forecast errors have an impact on the system’s operation. Improving forecasting accuracy and adaptive control strategies are therefore critical. / Med den ständigt ökande användningen av förnybara energikällor blir sömlös integration av solcellssystem i befintliga elnät nödvändig. Därför undersöker denna studie integrationen av ett solcellsenergilagringssystem (PV-ESS) i hållbart stadsboende. Det innefattar utveckling och utvärdering av prognosmodeller för solcellsproduktion och elförbrukning med hjälp av artificiella neurala nätverksmodeller, samt analys av linjär optimeringsalgoritmer. Dessa undersökningar ger insikt om fördelarna, utmaningarna och konsekvenserna av att implementera ett PV-ESS-system. Modellen för prognostisering av solcellsgeneration visar hög noggrannhet under vintermånaderna men stöter på komplexitet under dynamiska sommarförhållanden. Modellen för att uppskatta elförbrukning står inför utmaningar på grund av olika faktorer, inklusive mänskligt beteende och datakvalitet. Dessutom fokuserar studien på formulering och utvärdering av linjära optimeringsmodeller med två mål: att minimera kostnader och optimera självkonsumtion. Den första minskar kontinuerligt elkostnader samtidigt som den ökar självkonsumtionen, medan den andra maximerar självkonsumtionen med begränsningar i vinterbatterianvändning. Slutligen framstår precision i prognoser som en avgörande faktor för optimeringsmodeller. Prognosfel påverkar systemets drift. Därför är förbättring av prognosnoggrannhet och adaptiva kontrollstrategier avgörande.

Information Extraction is a sub-field of Natural Language Processing that aims to extract structured data from unstructured sources. With the progress in digitization, extracting key information like account number, gross amount, etc. from business invoices becomes an interesting problem in both industry and academy. Such a process can largely facilitate online payment, as users do not have to type in key information by themselves. In this project, we design and implement an extraction system that combines Machine Learning and Heuristic Rules to solve the problem. Invoices are transformed into a graph structure and then Graph Neural Networks are used to give predictions of the role of each word appearing on invoices. Rule-based modules output the final extraction results based on aggregated information from predictions. Different variants of graph models are evaluated and the best system achieves 90.93% correct rate. We also study how the number of stacked graph neural layers influences the performance of the system. The ablation study compares the importance of each extracted feature and results show that the combination of features from different sources, rather than any single feature, plays the key role in the classification. Further experiments reveal the respective contributions of Machine Learning and rule-based modules for each label. / Informationsutvinning är ett delområde inom språkteknologi som syftar till att utvinna strukturerade data från ostrukturerade källor. I takt med den ökande digitaliseringen blir det ett intressant problem för både industrin och akademin att extrahera nyckelinformation som t.ex. kontonummer, bruttobelopp och liknande från affärsfakturor. En sådan process kan i hög grad underlätta onlinebetalningar, eftersom användarna inte behöver skriva in nyckelinformation själva. I det här projektet utformar och implementerar vi ett extraktionssystem som kombinerar maskininlärning och heuristiska regler för att lösa problemet. Fakturor kommer att omvandlas till en grafstruktur och sedan används grafiska neurala nätverk för att förutsäga betydelsen av varje ord som förekommer på fakturan. Regelbaserade moduler producerar de slutliga utvinningsresultaten baserat på aggregerad information från förutsägelserna. Olika varianter av grafmodeller utvärderas och det bästa systemet uppnår 90,93 % korrekta resultat. Vi studerar också hur antalet neurala graflager påverkar systemets prestanda. I ablationsstudien jämförs betydelsen av varje extraherat särdrag och resultaten visar att kombinationen av särdrag från olika källor, snarare än något enskilt särdrag, spelar en nyckelroll i klassificeringen. Ytterligare experiment visar hur maskininlärning och regelbaserade moduler på olika sätt bidrar till resultatet.

Since the global financial crisis of 2008, regulatory bodies worldwide have implementedincreasingly stringent requirements for measuring and pricing default risk in financialderivatives. Counterparty Credit Risk (CCR) serves as the measure for default risk infinancial derivatives, and Credit Valuation Adjustment (CVA) is the pricing method used toincorporate this default risk into derivatives prices. To calculate the CVA, one needs the risk-neutral Probability of Default (PD) for the counterparty, which is the centre in this type ofderivative.The traditional method for calculating risk-neutral probabilities of default involves constructingcredit curves, calibrated using the credit derivative Credit Default Swap (CDS). However,liquidity issues in CDS trading present a major challenge, as the majority of counterpartieslack liquid CDS spreads. This poses the difficult question of how to model risk-neutral PDwithout liquid CDS spreads.The current method for generating proxy credit curves, introduced by the Japanese BankNomura in 2013, involves a cross-sectional linear regression model. Although this model issufficient in most cases, it often generates credit curves unsuitable for larger counterpartiesin more volatile times. In this thesis, we introduce two Long Short-Term Memory (LSTM)models trained on similar entities, which use CDS spreads as input. Our introduced modelsshow some improvement in generating proxy credit curves compared to the Nomura model,especially during times of higher volatility. While the result were more in line with the tradedCDS-market, there remains room for improvement in the model structure by using a moreextensive dataset. / Ända sedan 2008 års finanskris har styrande finansiella organ ökat kraven för mätning ochprissättning av konkursrisk inom derivat. Ett område av särskilt högt intresse för detta arbete ärmotpartskreditrisker (CCR). I detta är Kreditvärdesjustering (CVA) den huvudsakliga metodenför prissättning av konkursrisk inom finansiella derivat och för att kunna få fram ett värde avCVA behövs en risk-neutral konkurssannolikhet (PD).En av de traditionella metoderna för att räkna ut denna sannolikhet är genom att skapakreditkurvor som sedan är kalibrerade utifrån CDS:ar. Detta handlade derivat (CDS) finns baraför ett mindre antal företag över hela världen vilket gör att en majoritet av marknaden saknaren tillräckligt handlad CDS. Lösning på detta är att ta fram proxy CDS för ett motsvarande bolag.Idag görs detta framförallt med en tvärsnitts-regressionsmodell som introducerades 2013 avden japanska banken Nomura. Den skapar i många fall rimliga kurvor men ett problem den harär att den oftare gör proxyn lägre än vad den borde vara.I detta arbete introducerar vi istället en LSTM modell som tränas på liknande företag. Resultatetav detta är att vi får en bättre modell i många fall för att skapa en proxy kurva men som delvishar liknande brister som Nomura modellen. Men med fortsatta undersökningar inom områdetsamt med mer data kan detta skapa en mer exakt och säkrare proxy modell.

Time-series forecasting is an area of machine learning that can be applied to many real-life problems. It is used in areas such as water level forecasting, which aims to help people evacuate on time for floods. This thesis aims to contribute to the research area of time-series forecasting, by introducing a simple but novel ensemble model: Force Linear to Exponential (FLEX). A FLEX ensemble first forecasts points that are exponentially further into the forecasting horizon. After this, the gaps between forecasted points are produced from said forecasted points, as well as the entire data history. This simple model is able to outperform all base models considered in this thesis, even when having the same amount of parameters to tune. / Tidsserieprognoser är ett område för maskininlärning som kan tillämpas på många verkliga problem. Det används i områden som vattenståndsprognoser, som syftar till att hjälpa människor att evakuera i tid för översvämningar. Denna uppsats syftar till att bidra till forskningsområdet tidsserieprognoser genom att introducera en enkel men ny ensemblemodell: Force Linear to Exponential (FLEX). En FLEX-ensemble prognostiserar först punkter som ligger exponentiellt längre in i prognoshorisonten. Efter detta produceras gapen mellan prognostiserade punkter från nämnda prognostiserade punkter, såväl som hela datahistoriken. Denna enkla modell kan överträffa alla basmodeller som behandlas i denna uppsats, även när den har samma mängd parametrar att ställa in.

Link prediction is a crucial task in many downstream applications of graph machine learning. Graph Neural Networks (GNNs) are a prominent approach for transductive link prediction, where the aim is to predict missing links or connections only within the existing nodes of a given graph. However, many real-life applications require inductive link prediction for the newly-coming nodes with no connections to the original graph. Thus, recent approaches have adopted a Multilayer Perceptron (MLP) for inductive link prediction based solely on node features. In this work, we show that incorporating both connectivity structure and features for the new nodes provides better model expressiveness. To bring such expressiveness to inductive link prediction, we propose LEAP, an encoder that features LEArnable toPology augmentation of the original graph and enables message passing with the newly-coming nodes. To the best of our knowledge, this is the first attempt to provide structural contexts for the newly-coming nodes via learnable augmentation under inductive settings. Conducting extensive experiments on four real- world homogeneous graphs demonstrates that LEAP significantly surpasses the state-of-the-art methods in terms of AUC and average precision. The improvements over homogeneous graphs are up to 22% and 17%, respectively. The code and datasets are available on GitHub*. / Att förutsäga länkar är en viktig uppgift i många efterföljande tillämpningar av maskininlärning av grafer. Graph Neural Networks (GNNs) är en framträdande metod för transduktiv länkförutsägelse, där målet är att förutsäga saknade länkar eller förbindelser endast inom de befintliga noderna i en given graf. I många verkliga tillämpningar krävs dock induktiv länkförutsägelse för nytillkomna noder utan kopplingar till den ursprungliga grafen. Därför har man på senare tid antagit en Multilayer Perceptron (MLP) för induktiv länkförutsägelse som enbart bygger på nodens egenskaper. I det här arbetet visar vi att om man införlivar både anslutningsstruktur och egenskaper för de nya noderna får man en bättre modelluttryck. För att ge induktiv länkförutsägelse en sådan uttrycksfullhet föreslår vi LEAP, en kodare som innehåller LEArnable toPology augmentation av den ursprungliga grafen och möjliggör meddelandeöverföring med de nytillkomna noderna. Såvitt vi vet är detta det första försöket att tillhandahålla strukturella sammanhang för de nytillkomna noderna genom en inlärningsbar ökning i induktiva inställningar. Omfattande experiment på fyra homogena grafer i den verkliga världen visar att LEAP avsevärt överträffar "state-of-the-art" metoderna när det gäller AUC och genomsnittlig precision. Förbättringarna jämfört med homogena grafer är upp till 22% och 17%. Koden och datamängderna finns tillgängliga på Github*.

In response to the Great Financial Crisis of 2008, a handful of measures were taken to increase the resilience toward a similar disaster in the future. Global financial regulatory entities implemented several new directives with the intention to enhance global capital markets, leading to regulatory frameworks where financial participants (FPs) are regulated with own fund's requirements for market risks. This thesis intends to investigate two different methods presented in the framework Capital Requirements Regulation 3 (CRR 3), a framework stemming from the Basel Committee and implemented in EU legislation for determining the capital requirements for an FP. The first method, The Alternative Standardised Approach (A-SA), looks at categorical data, whereas the second method, The Alternative Internal Model Approach (A-IMA), uses the risk measure Expected Shortfall (ES) for determining the capital requirement and therefore requires the FP to estimate ES using a proprietary/internal model based on time series data. The proprietary model in this thesis uses a recurrent neural network (RNN) with several long short-term memory (LSTM) layers to predict the next day's ES using the previous 20 day's returns. The data consisted of categorical and time series data of a portfolio with the Nasdaq 100 companies as positions. This thesis concluds that A-IMA with an LSTM-network as the proprietary model, gives a lower capital requirement compared to A-SA but is less reliable in real-life applications due to its behaviour as a "black box" and is, thus, less compliant from a regulatory standpoint. The LSTM-model showed promising results for capturing the overall trend in the data, for example periods with high volatility, but underestimated the true ES. / Efter finanskrisen 2008 vidtogs flera effektiva åtgärder av världens största finansiella myndigheter som ett svar på det tidigare icke transparenta klimatet inom finanssektorn med intentionen att förstärka de globala kapitalmarknaderna. Detta innebar att nya samt strängare regelverk etablerades med direktiv så som hårdare kapitalkrav. Detta examensarbete är en empirisk undersökning samt jämförelse mellan två metoder i regelverket "Captail Requirements Regulation 3" (CRR 3) som kan användas för att beräkna en finansiell institutions kapitalkrav. Den första metoden, så kallad "Den alternativa schablonmetoden" (A-SA), använder kategorisk data för att beräkna kapitalkravet medan den andra metoden, "Den alternativa internmodellen" (A-IMA), kräver en att först beräkna riskmåttet "Expected Shortfall" (ES), med hjälp av en internmodell baserad på tidsseriedata, för att sedan kapitalkravet ska kunna beräknas. CRR 3 innehåller tydliga riktlinjer om hur en sådan internmodell ska utformas och i detta projekt testas en modell baserad på "återkommande neurala nätverk" (RNN) med den specifika arkitekturen "Long Short-Term Memory" (LSTM) för att estimera ES. De slutsatserna som kan dras är att A-IMA med en LSTM-modell, ger ett mindre kapitalkrav än A-SA. Däremot är A-IMA mindre tillförlitliga inom riskappliceringar på grund av risken att neurala nätverk kan bete sig som svarta lådor, vilket gör modellen mindre kompatibel från ett regelverksperspektiv. LSTM-modellen visade sig kunna upptäcka den generella trenden i portföljdatan (exempelvis perioder med hög volaitet) men gav konservativa prediktioner i jämförelse med testdatan.

This study details the development of a neural network model designed for real-time semantic segmentation, specifically to distinguish sky pixels from other elements within an image. The model is incorporated into a feature for an Augmented Reality application in Unity, leveraging Unity Barracuda—a versatile neural network inference library. While Barracuda offers cross-platform compatibility, it poses challenges due to its lack of support for certain layers and operations. Consequently, it lacks the support of most state-of-the-art models, and this study aims to provide a model that works within Barracuda.  Given Unity's absence of a framework for model development, the development and training of the model was conducted in an open-source machine learning library. The model is continuously evaluated to optimize the trade-off between prediction accuracy and operational speed.   The resulting model is able to predict and classify each pixel in an image at around 137 frames per second. While its predictions might not be on par with some of the top-performing models in the industry, it effectively meets its objectives, particularly in the real-time classification of sky pixels within Barracuda. / Denna rapport beskriver utvecklingen av en neural nätverksmodell avsedd för semantisk segmentering i realtid, specifikt för att särskilja himlen från andra element inom en bild. Modellen integreras i en funktion för en applikation med augmenterad verklighet i Unity, med hjälp av Unity Barracuda - ett mångsidigt bibliotek för neurala nätverk. Även om Barracuda erbjuder kompatibilitet över olika plattformar, medför det utmaningar på grund av dess brist på stöd för vissa lager och operationer. Följaktligen saknar den stöd från de bäst presterande modellerna, och denna studie syftar till att erbjuda en modell som fungerar inom Barracuda. Med tanke på Unitys avsaknad av ett ramverk för modellutveckling valdes ett open-source maskininlärningsbibliotek. Modellen utvärderas kontinuerligt för att optimera avvägningen mellan förutsägelseprecision och driftshastighet. Den resulterande modellen kan förutsäga och klassificera varje pixel i en bild med en hastighet på cirka 137 bilder per sekund. Även om dess förutsägelseprecision inte är i nivå med några av de bäst presterande modellerna inom branschen, uppfyller den effektivt sina mål, särskilt när det gäller realtidsklassificering av himlen inom Barracuda.