With the continuing surge in digitalization within the travel industry and the increased demand of personalized services, understanding customer behaviour is becoming a requirement to survive for travel agencies. The number of cases that addresses this problem are increasing and machine learning is expected to be the enabling technique. This thesis will attempt to train two different models, a multi-layer perceptron and a support vector machine, to reliably predict whether a customer will add a seat reservation with their flight booking. The models are trained on a large dataset consisting of 69 variables and over 1.1 million historical recordings of bookings dating back to 2017. The results from the trained models are satisfactory and the models are able to classify the data with an accuracy of around 70%. This shows that this type of problem is solvable with the techniques used. The results moreover suggest that further exploration of models and additional data could be of interest since this could help increase the level of performance. / Med den fortsatta ökningen av digitalisering inom reseindustrin och det faktum att kunder idag visar ett stort behov av skräddarsydda tjänster så stiger även kraven på företag att förstå sina kunders beteende för att överleva. En uppsjö av studier har gjorts där man försökt tackla problemet med att kunna förutse kundbeteende och maskininlärning har pekats ut som en möjliggörande teknik. Inom maskininlärning har det skett en stor utveckling och specifikt inom området djupinlärning. Detta har gjort att användningen av dessa teknologier för att lösa komplexa problem spritt sig till allt fler branscher. Den här studien implementerar en Multi-Layer Perceptron och en Support Vector Machine och tränar dessa på befintliga data för att tillförlitligt kunna avgöra om en kund kommer att köpa en sätesreservation eller inte till sin bokning. Datat som användes bestod av 69 variabler och över 1.1 miljoner historiska bokningar inom tidsspannet 2017 till 2020. Resultaten från studien är tillfredställande då modellerna i snitt lyckas klassificera med en noggrannhet på 70%, men inte optimala. Multi-Layer Perceptronen presterar bäst på båda mätvärdena som användes för att estimera prestandan på modellerna, accuracy och F1 score. Resultaten pekar även på att en påbyggnad av denna studie med mer data och fler klassificeringsmodeller är av intresse då detta skulle kunna leda till en högre nivå av prestanda.

Fuel consumption is one of the key factors in determining expenses of operating a heavy-duty vehicle. A customer may therefor request an estimate of the fuel consumption of a given vehicle. Scania uses modular design when constructing heavy-duty vehicles. The modular design allows a customer to specify which building blocks to use when constructing the vehicle, such as gear box, engine and chassis type. The many possible combinations means that the same vehicle is rarely sold twice, which can make fuel consumption measurements unfeasible. This study investigates the accuracy of machine learning algorithms in predicting fuel consumption for heavy-duty vehicles. The study is conducted at Scania. Scania has also provided the data used in the study. This study also examines the prediction power of different parameters. Performance is evaluated by reporting the prediction error on both simulated data and operational measurements. The performance of Linear regression (LR), K-nearest neighbor (KNN) and Artificial neural networks (ANN) is compared using statistical hypothesis testing. It is found that using Country as an input parameter yields a performance increase in all the algorithms. The statistical evaluation procedure finds that ANNs have the lowest prediction error compared to LR and KNN in estimating fuel consumption on both simulated and operational data. The performance of the final models is comparable to models of previous studies in both the simulated and operational estimation scenarios. / Bränsleförbrukning utgör en av nyckelfaktorerna för att avgöra hur mycket det kostar att använda tunga lastbilar. En köpare av en tung lastbil kan därmed begära en uppskattning av hur mycket bränsle ett givet fordon förbrukar. Scania använder sig av en modulär designprincip vid fordonskonstruktion, vilket ger kunden möjlighet att bestämma vilka byggnadsblock som ska utgöra ett for- don. Detta gör att det kan vara omöjligt att mäta förbrukningen av ett tidigare icke-producerat fordon. Den här studien undersöker exaktheten av maskininlärningsalgoritmer för att estimera bränsleförbrukning av tunga lastbilar. Studien genomförs vid Scania, som även tillhandahåller data. Användbarheten av olika in-parametrar undersöks. Algoritmernas prestanda utvärderas genom att rapportera det kvadrerade felvärdet uppmätt mellan det riktiga uppmätta värdet och det av algoritmen uppskattade värdet. Bränsleförbrukning estimeras för simulerad data och för uppmätta värden från fordon i bruk. Tre kategorier av algoritmer undersöks: Artificiella neurala nätverk, linjär regression och K-nearest neighbor. Jämförelsen mellan algoritmer använder statistisk hypotes-testning. Resultatet visar att parametern som beskriver vilket land fordonet registrerats i förbättrar samtliga algoritmers estimering. Den statistiska utvärderingen finner att artificiella neurala nätverk ger det lägsta felet av de tre kategorierna av algoritmer i estimering av simulerade och uppmätta värden. De slutgiltiga modellernas exakthet är jämförbar med resultat från tidigare studier.

Due to the intermittent nature of renewable energy production, maintaining the stability of the power supply system is becoming a significant challenge of the energy transition. Besides, the penetration of Electric Vehicles (EVs) and the development of a large network of charging stations will inevitably increase the pressure on the electrical grid. However, this network and the batteries that are connected to it also constitute a significant resource to provide ancillary services and therefore a new opportunity to stabilize the power grid. This requires to be able to produce accurate short term forecasts of the power consumption of charging stations at distribution scale. This work proposes a full forecasting framework, from the transformation of discrete charging sessions logs into a continuous aggregated load profile, to the pre-processing of the time series and the generation of predictions. This framework is used to identify the most appropriate model to provide two days ahead predictions of the hourly load profile of large charging stations networks. Using three years of data collected at Amsterdam’s public stations, the performance of several state-of-the-art forecasting models, including Gradient Boosted Trees (GBTs) and Recurrent Neural Networks (RNNs) is evaluated and compared to a classical time series model (Auto Regressive Integrated Moving Average (ARIMA)). The best performances are obtained with an Extreme Gradient Boosting (XGBoost) model using harmonic terms, past consumption values, calendar information and temperature forecasts as prediction features. This study also highlights periodical patterns in charging behaviors, as well as strong calendar effects and an influence of temperature on EV usage. / På grund av den intermittenta karaktären av förnybar energiproduktion, blir upprätthållandet av elnäts stabilitet en betydande utmaning. Dessutom kommer penetrationen av elbilar och utvecklingen av ett stort nät av laddstationer att öka trycket på elnätet. Men detta laddnät och batterierna som är anslutna till det utgör också en betydande resurs för att tillhandahålla kompletterande tjänster och därför en ny möjlighet att stabilisera elnätet. För att göra sådant bör man kunna producera korrekta kortsiktiga prognoser för laddstationens strömförbrukning i distributions skala. Detta arbete föreslår ett fullständigt prognos protokoll, från omvandlingen av diskreta laddnings sessioner till en kontinuerlig förbrukningsprofil, till förbehandling av tidsserier och generering av förutsägelser. Protokollet används för att identifiera den mest lämpliga metoden för att ge två dagars förutsägelser av timförbrukning profilen för ett stort laddstation nät. Med hjälp av tre års data som samlats in på Amsterdams publika stationer utvärderas prestanda för flera avancerade prognosmodeller som är gradient boosting och återkommande neurala nätverk, och jämförs med en klassisk tidsseriemodell (ARIMA). De bästa resultaten uppnås med en XGBoost modell med harmoniska termer, tidigare förbrukningsvärden, kalenderinformation och temperatur prognoser som förutsägelse funktioner. Denna studie belyser också periodiska mönster i laddningsbeteenden, liksom starka kalendereffekter och temperaturpåverkan på elbilar-användning.

A process that historically has been hard to automate is interior design, mainly due to its subjective nature and lack of obvious guidelines. Scientifically, there is interest to examine if subjective processes can be automated using black box algorithms such as neural networks, as well as corporate interest in this subject to increase efficiency and create systems for automated floor plan design. This work focuses on finding the limitations of such a project, mainly in establishing the threshold of data points needed for an algorithm in this area to generate relevant results as well as an investigation into requirements to make systems of this kind incorporated in a production pipeline. In this work floor plans with functional area division were set out to be generated using a conditional, generative, adversarial network, cGAN. The system is applied on a use-case provided by NORNORM, a company providing a circular, subscription-based furnishing service for office spaces, also providing data in the form of floor plans. The algorithm is inspired by Yang et al.’s stateof-the-art model from 2019 and the network is tested with three data sets of different sizes, consisting of 100, 500 and 1000 floor plans respectively. This work includes a quantitative evaluation inspired by by Di and Yu, using the average intersection over union metric. Additionally, this work proposes a qualitative evaluation. The qualitative evaluation is carried out using interior designers, posed with a subjective, two-alternative, forced-choice (2AFC) approval or disapproval of the design as a first draft to a customer. This evaluation was not conducted due to insufficient results. The generated results suggests that the threshold for data lies above 1000 data points and, compared to the work by Yang et al., below 4000 data points, the quantitative evaluation concurred with this statement. This interval could be narrowed in future work. In relation as to whether or not the system could be production ready there are a few requirements unachieved, for instance automated data collection and preprocessing. Future work could include conducting the qualitative evaluation on a future implementation of this system. / Historiskt sett har subjektiva processer så som inredningsdesign varit svåra att automatisera, på grund av avsaknad av formella processer och riktlinjer. Det finns ett vetenskapligt intresse i att undersöka om processer som inredningsdesign kan automatiseras med hjälp av algoritmer eller neurala nätverk, men även ett industriellt intresse för att minimera resurser som läggs på detta. Det här projektet fokuserar på att hitta begränsningar av sådana system genom att fokusera på att hitta lägsta möjliga mängd data för att generera relevanta resultat samt undersöka vad som krävs för att använda systemet i produktion. I samarbete med företaget NORNORM skapades ett villkorligt generativt motståndsnätverk i syfte att generera planlösningar med funktionsområdesindelning. NORNORM är ett cirkulärt företag som erbjuder en abonnemangsbaserad tjänst för inredning av kontorslokaler och bidrog med data i form av färdiginredda planlösningar. Algoritmen som används är inspirerad av Yang et al.’s modell från 2019 som ligger i den vetenskapliga framkanten. Nätverket testades med tre olika dataset, som bestod av 100, 500 och 1000 datapunkter. Nätverket utvärderades kvantitativt med en utvärdering inspirerad av Di and Yu, som använder genomsnittlig skärningspunkt över union. Utöver detta föreslås en kvalitativ utvärdering i detta arbete, som utförs med utbildade interiördesigners. Varje desginer utsätts för ett subjektiv val att godkänna eller underkänna en design som ett första utkast till en kund. Utvärderingsmodellen användes inte i det här projektet på grund av bristande resultat. Den genererade resultaten visar att gränser för antalet datapunkter som krävs för att generera relevanta resultat ligger mellan 1000 och 4000 datapunkter, vilket styrks av den kvatitativa utvärderingen. Detta intervall kan förslagsvis avsmalna i framtida projekt. Vidare kräver systemet ett antal premisser för att kunna vara redo för produktion, till exempel automatiserad datainhämtning och behandlande. Framtida projekt kan utföra den föreslagna kvalitativa utvärderingen på liknande system.

Within the realm of computer vision tasks, Convolutional Neural Networks (CNN) and Transformers represent two predominant methodologies, often subject to extensive comparative analyses elucidating their respective merits and demerits. This thesis embarks on an exploration of these two models within the framework of continual learning, with a specific focus on their propensities for resisting catastrophic forgetting. We hypothesize that Transformer models exhibit a higher resilience to catastrophic forgetting in comparison to their CNN counterparts. To substantiate this hypothesis, a meticulously crafted experimental design was implemented, involving the selection of diverse models and continual learning approaches, and careful tuning of the networks to ensure an equitable comparison. In the majority of conducted experiments, encompassing both the contexts of class incremental learning settings and task incremental learning settings, our results substantiate the aforementioned hypothesis. Nevertheless, the insights garnered also underscore the necessity for more exhaustive and encompassing experimental evaluations to fully validate the asserted hypothesis. / Inom datorseende är Convolutional Neural Networks (CNN) och Transformers två dominerande metoder, som ofta är föremål för omfattande jämförande analyser som belyser deras respektive fördelar och nackdelar. Denna avhandling utforskar dessa två modeller inom ramen för kontinuerligt lärande, med särskilt fokus på deras benägenhet att motstå katastrofal glömska. Vi antar att Transformer-modeller uppvisar en ökad motståndskraft mot katastrofal glömska i jämförelse med deras CNN-motsvarigheter. För att underbygga denna hypotes implementerades en noggrant utformad experimentell design, som involverade val av olika modeller och kontinuerliga inlärningstekniker, och noggrann inställning av nätverken för att säkerställa en rättvis jämförelse. I majoriteten av de genomförda experimenten, som omfattade både inkrementell klassinlärning och inkrementell uppgiftsinlärning, bekräftade våra resultat den ovannämnda hypotesen. De insikter vi fått understryker dock också behovet av mer uttömmande och omfattande experimentella utvärderingar för att fullt ut validera den påstådda hypotesen.

In recent years, machine learning models have gained traction in the field of empirical asset pricing for their risk premium prediction performance. In this thesis, we build upon the work of [1] by first evaluating models similar to their best performing model in a similar fashion, by using the same dataset and measures, and then expanding upon that. We explore the impact of different feature extraction techniques, ranging from simply removing added complex- ity to representation learning techniques such as incremental PCA and autoen- coders. Furthermore, we also introduce recurrent connections with LSTM and combine them with the earlier mentioned representation learning techniques. We significantly outperform [1] in terms of monthly out-of-sample R2, reach- ing a score of over 3%, by using a condensed version of the dataset, without interaction terms and dummy variables, with a feedforward neural network. However, across the board, all of our models fall short in terms of Sharpe ratio. Even though we find that LSTM works better than the benchmark, it does not outperform the feedforward network using the condensed dataset. We reason that this is because the features already contain a lot of temporal information, such as recent price trends. Overall, the autoencoder based models perform poorly. While the linear incremental PCA based models perform better than the nonlinear autoencoder based ones, they still perform worse than the bench- mark. / Under de senaste åren har maskininlärningsmodeller vunnit kredibilitet inom området empirisk tillgångsvärdering för deras förmåga att förutsäga riskpre- mier. I den här uppsatsen bygger vi på [1]s arbetet genom att först implemente- ra modeller som liknar deras bäst presterande modell och utvärdera dem på ett liknande sätt, genom att använda samma data och mått, och sedan bygga vida- re på det. Vi utforskar effekterna av olika variabelextraktionstekniker, allt från att helt enkelt ta bort extra komplexitet till representationsinlärningstekniker som inkrementell PCA och autoencoders. Vidare introducerar vi även LSTM och kombinerar dem med de tidigare nämnda representationsinlärningstekni- kerna. Min bästa modell presterar betydligt bättre än [1]s i termer av månatlig R2 för testdatan, och når ett resultat på över 3%, genom att använda en kompri- merad version av datan, utan interaktionstermer och dummyvariabler, med ett feedforward neuralt nätverk. Men överlag så brister alla mina modeller i ter- mer av Sharpe ratio. Även om LSTM fungerar bättre än riktvärdet, överträffar det inte feedforward-nätverket med den komprimerade datamängden. Vi re- sonerar att detta är på grund av inputvariablerna som redan innehåller en hel del information över tid, som de senaste pristrenderna. Sammantaget presterar de autoencoderbaserade modellerna dåligt. Även om de linjära inkrementell PCA-baserade modellerna presterar bättre än de olinjära autoencoderbaserade modellerna, presterar de fortfarande sämre än riktvärdet.

Deep Reinforcement Learning (RL) has received much attention in recent years. This thesis investigates how reward functions, environment termination conditions, Neural Network (NN) architectures, and the type of the deep RL algorithm aect the performance for continuous control tasks. To this end, the Furuta pendulum swing-up task is adopted as the primary benchmark, since it oers low input- and state-dimensionality without being trivial. Focusing on model-free algorithms, the results indicate that DDPG, an actorcritic algorithm, performs significantly better than other algorithms. They also suggest that larger NN architectures may benefit performance in some instances. Comparing reward functions, Potential Based Reward Shaping (PBRS) applied to a sparse reward signal shows promising results compared to a reward function of previous work, and combining PBRS with large negative rewards for terminations due to unwanted behavior seems to improve performance for some algorithms. However, although designs such as PBRS can improve performance they are shown to not be necessary to achieve adequate performance, and the same applies to environment terminations upon unwanted behavior. Attempting to apply a DDPG agent trained in a simulator to a physical Furuta pendulum results in performance that closely resembles what is observed in the simulator for certain training seeds. The results and test suite of this thesis are available on GitHub and should hopefully help inspire future research in environment design and NN architectures for deep RL. Specifically, future work may investigate whether extensive parametertuning alters the results. / Djup förstärkningsinlärning har fått mycket uppmärksamhet de senaste åren. Detta arbete undersöker hur belöningsfunktioner, miljöers termineringsvillkor, neurala nätverksarkitekturer, och typen av djup förstärkningsinlärningsalgoritm påverkar prestandan för kontroll av kontinuerliga system. För att uppnå detta används uppsvängning av Furuta-pendeln som primärt referensproblem, ty det har få indata- och tillståndsdimensioner utan att vara trivialt. Fokus riktas mot modellfria algoritmer, där resultaten indikerar att DDPG, en aktörkritisk algoritm, presterar signifikant bättre än andra algoritmer. Resultaten indikerar också att större nätverksarkitekturer kan ge bättre prestanda i vissa fall. Vid jämförelse av belöningsfunktioner visar potentialbaseradbelöningsutformning (PBRS) applicerat på en gles belöningsfunktion lovande resultat jämfört med en belöningsfunktion från tidigare forskning, och kombinationen av PBRS med stora negativa belöningar för termineringar på grund av oönskat beteende verkar förbättra prestandan för vissa algoritmer. Dock, även om designer så som PBRS kan förbättra prestandan påvisas det att de inte är nödvändiga för att uppnå adekvat prestanda, och detsamma gäller miljötermineringar vid oönskat beteende. Försöket med applicering av en DDPG-agent tränad i en simulator på en fysisk Furuta-pendel resulterar i prestanda som nära efterliknar vad som uppnås i simulatorn för särskilda träningsfrön. Resultaten och testsviten för detta projekt finns tillgängliga på GitHub och kommer förhoppningsvis inspirera framtida forskning inom miljödesign och neurala nätverksarkitekturer för djup förstärkningsinlärning. Specifikt så kan framtida arbeten utreda huruvida utförlig parameterjustering påverkar resultaten.

CSAW-M is a dataset that contains about 10 000 x-ray images created from mammograms. Mammograms are used to identify patients with breast cancer through a screening process with the goal of catching cancer tumours early. Modern convolutional neural networks are very sophisticated and capable of identifying patterns nearly indistinguishable to humans. CSAW-M doesn’t contain images of active cancer tumours, rather, whether the patient will develop cancer or not. Classification tasks such as this are known to require large datasets for training, which is cumbersome to acquire in the biomedical domain. In this paper we investigate how classification performance of non-trivial classification tasks scale with the size of available annotated images. To research this, a wide range of data-sets are generated from CSAW-M, with varying sample size and cancer types. Three different convolutional neural networks were trained on all data-sets. The study showed that classification performance does increase with the size of the annotated dataset. All three networks generally improved their prediction on the supplied benchmarking dataset. However, the improvements were very small and the research question could not be conclusively answered. The primary reasons for this was the challenging nature of the classification task, and the size of the data-set. Further research is required to gain more understanding of how much data is needed to yield a usable model. / CSAW-M är ett dataset som innehåller ungefär 10 000 röntgenbilder skapade från ett stort antal mammografier. Mammografi används för att identifiera patienter med bröstcancer genom en screeningprocess med målet att fånga cancerfall tidigt. Moderna konvolutionella neurala nätverk är mycket sofistikerade och kan tränas till att identifiera mönster i bilder mycket bättre än människor. CSAW-M innehåller inga bilder av cancertumörer, utan istället data på huruvida patienten kommer att utveckla cancer eller inte. Klassificeringsuppgifter som denna är kända för att kräva stora datamängder för träning, vilket är svårt att införskaffa inom den biomedicinska domänen. I denna artikel undersöker vi hur klassificerings prestanda för svåra klassificeringsuppgifter skalar med storleken på tillgänglig annoterad data. För att undersöka detta, genererades ett antal nya dataset från CSAW-M, med varierande storleksurval och cancertyp. Tre olika konvolutionella neurala nätverk tränades på alla nya data-set. Studien visar att klassificeringsprestanda ökar med storleken på den annoterade datamängden. Alla tre nätverk förbättrade generellt sin klassificeringsprestanda desto större urval som gjordes från CSAW-M. Förbättringarna var dock små och den studerade frågan kunde inte besvaras fullständigt. De främsta anledningarna till detta var klassificeringsuppgiftens utmanande karaktär och storleken på det tillgängliga datat i CSAW-M. Ytterligare forskning krävs för att få mer förståelse för hur mycket data som behövs för att skapa en användbar modell.

Biometrics are widely used in identification systems, such as face, fingerprint, iris, etc. Polar code is the only code that can be strictly proved to achieve channel capacity, and it has been proved to be optimal for channel and source coding. In this degree project, our goal is to apply polar codes algorithms to biometric identification systems, and to design a biometric identification system with high identification accuracy, low system complexity, and good privacy preservation. This degree project has carried out specific and in-depth research in four aspects, following results are achieved: First, idea of polar codes is learnt, for example channel combination, channel splitting, successive cancellation decoding. The successive cancellation and successive cancellation list algorithm are also applied to encoding, which further realizes polar codes for source coding. Second, using autoencoder to process biometrics. Autoencoder is introduced to compress fingerprints into binary sequences of length 1024, it has 5 encoding layers and 12 decoding layers, achieved reconstruction error is 0.03. The distribution is close to Gaussian distribution, and compressed codes are quantized into binary sequences. Properties of sequences are similar with random sequences in terms of entropy, correlation, variance. Third, the identification system under Wyner-Ziv problem is studied with fingerprints. In enrollment phase, encoding algorithms are designed to compress biometrics, and in identification phase, decoding algorithms are designed to estimate the original sequence based on decoded results and noisy sequence. Maximum mutual information method is used to identify users. Results show that with smaller number of users, longer code length, smaller noise, then recognition error rate is lower. Fourth, human faces are used in the generated secret key system. After fully considering the trade off to achieve optimal results, in enrollment phase both public data and secure data are generated, in identification phase user’s index and secret key are estimated. A hierarchical structure is further studied. First, CNN is used to classify the age of faces, and then the generated secret key system is used for identification after narrowing the range. The system complexity is reduced by 80% and the identification accuracy is not reduced. / Biometriska kännetecken används i stor utsträckning i identifieringssystem, kännetecken såsom ansikte, fingeravtryck, iris, etc. Polär kod är den enda koden som strikt bevisats uppnå kanalkapacitet och den har visat sig vara optimal för kanal- och källkodning. Målet med detta examensarbete är att tillämpa polära kodalgoritmer på biometriska identifieringssystem, och att designa ett biometriskt identifieringssystem med hög identifieringsnoggrannhet, låg systemkomplexitet och bra integritetsskydd. Under examensarbetet har det genomförts specifik och djupgående forskning i fyra aspekter, följande resultat har uppnåtts: För det första introduceras idén om polära koder, till exempel kanalkombination, kanaluppdelning, successiv annulleringsavkodning. Algoritmerna för successiv annullering och successiv annulleringslista tillämpas även på kodning,vilket ytterligare realiserar polära koders användning för källkodning. För det andra används autoencoder för att bearbeta biometriska uppgifter. Autoencoder introduceras för att komprimera fingeravtryck till binära sekvenser med längden 1024, den har 5 kodningslager och 12 avkodningslager, det uppnådda rekonstruktionsfelet är 0,03. Fördelningen liknar en normaldistribution och komprimerade koder kvantiseras till binära sekvenser. Egenskaperna för sekvenserna liknar slumpmässiga sekvenser vad gäller entropi, korrelation, varians. För det tredje studeras identifieringssystemet under Wyner-Ziv-problemet med fingeravtryck. I inskrivningsfasen är kodningsalgoritmer utformade för att komprimera biometriska kännetecken, och i identifieringsfasen är avkodningsalgoritmer utformade för att estimera den ursprungliga sekvensen baserat på avkodade resultat och brusiga sekvenser. Maximal ömsesidig informationsmetod används för att identifiera användare. Resultaten visar att med ett mindre antal användare, längre kodlängd och mindre brus så är identifieringsfelfrekvensen lägre. För det fjärde används mänskliga ansikten i det genererade hemliga nyckelsystemet. Efter att noggrant ha övervägt kompromisser fullt ut för att uppnå det optimala resultatet genereras både offentlig data och säker data under registreringsfasen, i identifieringsfasen uppskattas användarens index och säkerhetsnyckel. En hierarkisk struktur studeras vidare. Först används CNN för att klassificera ålder baserat på ansikten och sedan används det genererade hemliga nyckelsystemet för identifiering efter att intervallet har begränsats. Systemkomplexiteten reduceras med 80% men identifieringsnoggrannheten reduceras inte.

Presented here is a method for automatic punctuation restoration in Swedish using a BERT model. The method is based on KB-BERT, a publicly available, neural network language model pre-trained on a Swedish corpus by National Library of Sweden. This model has then been fine-tuned for this specific task using a corpus of government texts. With a lower-case and unpunctuated Swedish text as input, the model is supposed to return a grammatically correct punctuated copy of the text as output. A successful solution to this problem brings benefits for an array of NLP domains, such as speech-to-text and automated text. Only the punctuation marks period, comma and question marks were considered for the project, due to a lack of data for more rare marks such as semicolon. Additionally, some marks are somewhat interchangeable with the more common, such as exclamation points and periods. Thus, the data set had all exclamation points replaced with periods. The fine-tuned Swedish BERT model, dubbed prestoBERT, achieved an overall F1-score of 78.9. The proposed model scored similarly to international counterparts, with Hungarian and Chinese models obtaining F1-scores of 82.2 and 75.6 respectively. As further comparison, a human evaluation case study was carried out. The human test group achieved an overall F1-score of 81.7, but scored substantially worse than prestoBERT on both period and comma. Inspecting output sentences from the model and humans show satisfactory results, despite the difference in F1-score. The disconnect seems to stem from an unnecessary focus on replicating the exact same punctuation used in the test set, rather than providing any of the number of correct interpretations. If the loss function could be rewritten to reward all grammatically correct outputs, rather than only the one original example, the performance could improve significantly for both prestoBERT and the human group. / Här presenteras en metod för automatisk återinföring av skiljetecken på svenska med hjälp av ett neuralt nätverk i formen av en BERT-modell. Metoden bygger på KB-BERT, en allmänt tillgänglig språkmodell, tränad på ett svensk korpus, av Kungliga Biblioteket. Denna modell har sedan finjusterats för den här specifika uppgiften med hjälp av ett korpus av offentliga texter från landsting och dylikt. Med svensk text utan versaler och skiljetecken som inmatning, ska modellen returnera en kopia av texten där korrekta skiljetecken har placerats ut på rätta platser. En framgångsrik modell ger fördelar för en rad domäner inom neurolingvistisk programmering, såsom tal- till- texttranskription och automatiserad textgenerering. Endast skiljetecknen punkt, kommatecken och frågetecken tas i beaktande i projektet på grund av en brist på data för de mer sällsynta skiljetecknen såsom semikolon. Dessutom är vissa skiljetecken någorlunda utbytbara mot de vanligaste tre, såsom utropstecken mot punkt. Således har datasetets alla utropstecken ersatts med punkter. Den finjusterade svenska BERT-modellen, kallad prestoBERT, fick en övergripande F1-poäng på 78,9. De internationella motsvarande modellerna för ungerska och kinesiska fick en övergripande F1-poäng på 82,2 respektive 75,6. Det tyder på att prestoBERT är på en liknande nivå som toppmoderna motsvarigheter. Som ytterligare jämförelse genomfördes en fallstudie med mänsklig utvärdering. Testgruppen uppnådde en övergripande F1-poäng på 81,7, men presterade betydligt sämre än prestoBERT på både punkt och kommatecken. Inspektion av utdata från modellen och människorna visar tillfredsställande resultat från båda, trots skillnaden i F1-poäng. Skillnaden verkar härstamma från ett onödigt fokus på att replikera exakt samma skiljetecken som används i indatan, snarare än att återge någon av de många korrekta tolkningar som ofta finns. Om loss-funktionen kunde skrivas om för att belöna all grammatiskt korrekt utdata, snarare än bara originalexemplet, skulle prestandan kunna förbättras avsevärt för både prestoBERT såväl som den mänskliga gruppen.