The growth of image collection sizes during the development has currently made manual annotation unfeasible, leading to the need for accurate and time efficient image annotation methods. This project evaluates a system for Automatic Image Annotation to see if it is possible to share annotations between images based on un-supervised clustering. The evaluation of the system included performing experiments with different algorithms and different unlabeled data sets. The system is also compared to an award winning Convolutional Neural Network model, used as a baseline, to see if the system’s precision and/or recall could be better than the baseline model’s. The results of the experiment conducted in this work showed that the precision and recall could be increased on the data used in this thesis, an increase of 0.094 in precision and 0.049 in recall in average for the system compared to the baseline. / Utvecklingen av bildkollektioners storlekar har fram till idag ökat behovet av ett pålitligt och effektivt annoteringsverktyg i och med att manuell annotering har blivit ineffektivt. Denna rapport utvärderar möjligheterna att dela bildtaggar mellan visuellt lika bilder med ett system för automatisk bildannotering baserat på klustring. Utvärderingen sker i form av flera experiment med olika algoritmer och olika omärkta datamängder. I experimenten är systemet jämfört med en prisbelönt konvolutionell neural nätverksmodell, vilken är använd som utgångspunkt, för att undersöka om systemets resultat kan bli bättre än utgångspunktens resultat. Resultaten visar att både precisionen och återkallelsen förbättrades i de experiment som genomfördes på den data använd i detta arbete. En precisionsökning med 0.094 och en återkallelseökning med 0.049 för det implementerade systemet jämfört med utgångspunkten, över det genomförda experimenten.

Online payment purchase flows are designed to be as effective and smooth as possible in regards to the user experience. The user is in the center of this process, who, to a certain degree decides whether the purchase eventually will be placed. What is left up to the payment provider is the process of enabling an effective purchase flow where information needs to be collected for various purposes. To design these purchase flows as efficiently as possible, this research investigates if and how consumer purchase behavior can be predicted. Which algorithms perform the best at modeling the outcome and what kind of underlying features can be used to model the outcome? The features are graded in regard to their feature importance to see how and how much they affect the best-performing model. To investigate consumer behavior, the task was set up as a supervised binary classification problem to model the outcome of user purchase sessions. Either the sessions result in a purchase or they do not. Several automatic machine learning (also referred to as automated machine learning) frameworks were considered before the choice of using H2O AutoML because of its historical performance on other supervised binary classification problems. The dataset contained information from user sessions relating to the consumer, the transaction, and the time when the purchase was initiated. These variables were either in a numerical or categorical format and were then evaluated using the SHAP importance metric as well as an aggregated SHAP summary plot, which describes how features are affecting the model. The results show that the Distributed Random Forest Algorithm performed the best, generating a 26 percentage points improvement in accuracy, predicting whether a session will be converted into a purchase from an undersampled baseline of 50%. Furthermore two of the most important features according to the model were categorical features related to the intersection of consumer and transaction information. Another time-based categorical variable also proved to be important in the model prediction. The research also shows that automatic machine learning has come a long way in the pre-processing of variables, enabling the developer of the models to more efficiently deploy these kinds of machine learning problems. The results echo some earlier findings confirming the possibility of predicting consumer purchase behavior and in particular, the outcome of a purchase flow consumer session. This implies that payment providers hypothetically could use these kinds of insights and predictions in the development of their flows, to individually cater to specific groups of consumers, enabling a more efficient and personalized payment flow. / Köpflöden för onlinebetalningar är utformade för att vara så effektiva och smidiga som möjligt med avseende på användarupplevelsen. I processen står användaren i centrum, som delvis avgör om köpet i slutändan konverteras eller ej. Det som är upp till betalningsleverantören är möjliggörandet av ett effektivt köpflöde där information behöver samlas in för olika ändamål. För att utforma dessa köpflöden så effektivt som möjligt undersöker detta arbete om och hur konsumenters köpbeteende kan förutsägas. Vilka algoritmer fungerar bäst på att modellera resultatet och vilken typ av underliggande attribut kan användas för att modellera resultatet? Dessa attribut graderas med avseende på deras relevans (feature importance) för att se hur och hur mycket de faktiskt påverkar den bäst presterande modellen. För att undersöka konsumentbeteendet sattes uppgiften upp som ett övervakat binärt klassificeringsproblem för att modellera resultatet av användarnas sessioner. Antingen resulterar sessionerna i ett köp eller så gör de det inte. Flera ramverk för automatisk maskininlärning övervägdes innan valet att använda H2O AutoML på grund av dess historiska prestanda på andra övervakade binära klassificeringsproblem. Dataunderlaget innehöll information från användarsessioner som rör konsumenten, transaktionen och tidpunkten då köpet påbörjades. Dessa variabler var antingen i ett numeriskt eller kategoriskt format och utvärderades sedan med hjälp av SHAP-viktighetsmåttet (SHAP Feature Importance) såväl som ett aggregerat SHAP-diagram, som beskriver hur de olika attributen påverkar modellen. Resultaten visar att Distributed Random Forest algoritmen presterade bäst, genererade en förbättring på 26 procentenheter i noggrannhet (accuracy), i prediktionen av ifall en session omvandlas till ett köp eller ej, baserat på ett undersamplat dataset med en baslinje på 50%. Dessutom var två av de viktigaste attributen enligt modellen kategoriska attribut relaterade till skärningspunkten mellan konsument- och transaktionsinformation. En annan tidsbaserad kategorisk variabel visade sig också vara viktig i prediktionen. Arbetet visar också att automatisk maskininlärning har kommit långt i förbearbetningen av variabler, vilket gör det möjligt för utvecklaren av modellerna att mer effektivt distribuera den här typen av maskininlärningsproblem. Resultaten återspeglar tidigare insikter som bekräftar möjligheten att förutsäga konsumenternas köpbeteende och i synnerhet resultatet av en konsumentsession i ett köpflöde. Detta innebär att betalningsleverantörer hypotetiskt skulle kunna använda denna typ av insikter och förutsägelser i utvecklingen av sina flöden, för att individuellt tillgodose specifika grupper av konsumenter, vilket möjliggör ett ännu mer effektivt och skräddarsytt betalningsflöde.

Denna rapport syftar primärt till att undersöka hur väl system för maskinöversättning kan prestera i relation till Scanias kravbild. Undersökningen riktar sig främst till att undersöka systemens förmåga till domänanpassning och vilken effekt det har på dess maskinöversättningar. Utvärdering görs dels med automatiska utvärderingsmetoder som på olika sätt mäter korrelation till existerande textinnehåll från diverse tjänster i samlingsplattformen MyScania, men även manuellt av översättare med erfarenhet inom Scanias språkbruk. Resultatet av denna undersökning visade att domänanpassning med egna data generellt ökar kvaliteten av maskinöversättningar. Det noteras även hur väl maskinöversättningarna presterar varierar mycket på faktorer som exempelvis språk. Google AutoML lyckas däremot prestera bäst i alla de testade språken. Detta visades vid både automatisk utvärdering och manuell utvärdering. Undersökningen visade även svagheter i automatisk utvärderingsmetrik vid fristående användning men samtidigt att det kan bidra med meningsfulla insikter när det kompletteras med mänsklig bedömning. Undersökningen bekräftar att mänsklig bedömning alltid bör användas om det är möjligt. / This report’s primary purpose is to examine how well systems for machine translation can perform in relation to what is sought after by Scania. This examination is primarily aimed at investigating the systems capability for domain customization and what effects these have on the results of machine translations. Evaluation is done partly using multiple automatic metrics that in different ways measure correlation to existing translations within MyScania, combined with manual evaluation done by translators experienced with Scania’s language usage.  The results of this examination showed that domain customization using own data generally increases the quality of machine translations. It is noted that how the machine translations perform is affected by many factors such as languages, Google AutoML however succeeds to perform the best in all the tested languages. This is proven both in evaluation using automatic metrics and manual evaluation. This investigation also showed weaknesses in automatic metrics in stand-alone use but that they can contribute with meaningful knowledge when complemented by manual evaluation. This investigation confirms that manual evaluation should always be used when possible.

In this study we explore the possibility of using ChatGPT, to summarise large contents of educational content and put it in a template that later can be used for dialogue purposes and will explore the challenges and solutions that occur during the implementation. Today there is a problem for users to create wellmade prompts for learning scenarios that fulfill all the requirements set by the user. This problem is significant as it addresses the challenges of information overload and how generating prompts for dialogue purposes can be trivialized for users. We solved this problem by doing an implementation for the company Fictive Reality in their application, conducting research, and performing tests. The implementation was made with the help of OpenAI’s application programming interface, ChatGPT-4 which is a model that is popular due to its wide range of domain knowledge, and we connected it to a web page where users could upload text or audio files. The method to find a suitable prompt to summarise text was primarily through experimentation supported by previous research. We used automatic metrics for evaluation like ROUGE, BERTScore, and ChatGPT(Self-Evaluation), we also had users give feedback on the implementation and quality of the result. This study shows that ChatGPT effectively summarizes extensive educational content and transforms it into dialogue templates for ChatGPT to use. The research demonstrates streamlined and improved prompt creation, addressing the challenges of information overload. The efficiency and quality were either equal to or surpassed user-generated prompts while preserving almost relevant information, and reduced the time-consumption of this task by a substantial margin. The biggest struggle we had was getting ChatGPT to grasp our instructions. However, with research and with an iterative approach the process became much smoother. ChatGPT exhibits robust potential for enhancing educational prompt generation. Future work could be dedicated to improving the prompt further, by making it more flexible. / I denna studie utforskar vi möjligheten att använda ChatGPT för att sammanfatta stora mängder utbildningsinnehåll och placera det i en mall som senare kan användas för dialogändamål. Vi kommer att undersöka de utmaningar och lösningar som uppstår under implementeringen. Idag finns det ett problem för användare att skapa välgjorda uppmaningar för lärandescenarier som uppfyller alla krav som användaren ställer. Detta problem är betydande då det tar upp utmaningarna med informationsöverbelastning och hur generering av uppmaningar för dialogändamål kan förenklas för användare. Vi löste detta problem genom att göra en implementation hos Fictive Reality där vi gjorde forskning, tester och programvara. Implementeringen gjordes med hjälp av OpenAI:s applikationsprogrammeringsgränssnitt, ChatGPT-4, som är en modell som är populär på grund av dess breda kunskap inom olika områden. Vi anslöt den till en webbsida där användare kunde ladda upp text- eller ljudfiler. Metoden för att hitta en lämpliga instruktioner för att sammanfatta texter var främst genom experimentering med stöd av tidigare forskning i området. Vi använde automatiska utvärderings verktyg, såsom ROUGE, BERTScore och ChatGPT (självutvärdering). Vi hade också användare som gav feedback om implementeringen och resultatets kvalitet. Denna studie visar att ChatGPT effektivt sammanfattar omfattande utbildningsinnehåll och omvandlar det till dialogmallar redo för ett lärnings scenario med ChatGPT. Forskningen visade bra resultat vid skapandet av instruktioner, vilket tacklar utmaningarna med informationsöverbelastning. Effektiviteten och kvaliteten var antingen likvärdig eller bättre än användarskapade instruktioner samtidigt som nästan all relevant information bevarades, och tidsåtgången för denna uppgift minskades avsevärt. Den största utmaningen vi stod inför var att få ChatGPT att förstå våra instruktioner. Dock blev processen mycket smidigare med forskning och en iterativ metodik. ChatGPT visar på stark potential för att förbättra genereringen av utbildningssammanfattningar. Framtida arbete kan fokusera på att ytterligare förbättra instruktionerna genom att göra den mer flexibel.

Hateful language is a growing problem in digital spaces. Human moderators are not enough to eliminate the problem. Automated hateful language detection systems are used to aid the human moderators. One of the issues with the systems is that their performance can differ depending on who is the target of a hateful text. This project evaluated the performance of the two systems (Perspective and Hatescan) with respect to who is the target of hateful texts. The analysis showed, that the systems performed the worst for texts directed at women and immigrants. The analysis involved tools such as a synthetic dataset based on the HateCheck test suite, as well as wild datasets created from forum data. Improvements to the test suite HateCheck have also been proposed. / Hatiskt språk är ett växande problem i digitala miljöer. Datamängderna är för stora för att enbart hanteras av mänskliga moderatorer. Automatiska system för hatdetektion används därför som stöd. Ett problem med dessa system är att deras prestanda kan variera beroende på vem som är målet för en hatfull text. Det här projektet evaluerade prestandan av de två systemen Perspective och Hatescan med hänsyn till olika mål för hatet. Analysen visade att systemen presterade sämst för texter där hatet riktades mot kvinnor och invandrare. Analysen involverade verktyg som ett syntetiskt dataset baserat på testsviten HateCheck och vilda dataset med texter inhämtade från diskussionsforum på internet. Dessutom har projektet utvecklat förslag på förbättringar till testsviten HateCheck.

Software testing is a crucial development technique to capture defects and slow code. When testing 3D graphics, it is hard to create automatic tests that detect errors or slow performance. Finding performance issues in game maps is a complex task that requires much manual work. Gaming companies such as EA DICE could benefit from automating the process of finding these performance issues in their game maps. This thesis tries to solve the problem by creating automatic tests where the camera is placed in a top-down perspective and flies over the in-game map, recording the time it takes to create render and client simulation frames for each map segment. The resulting trace is then visualised as a heatmap, where the mean frame creation times are rendered with pseudo colouring techniques to help pinpoint possible issues for the test engineers. The key findings of this thesis are that a heatmap visualisation of frame creation times saves much time for the developers trying to find these issues; it also lowers the amount of knowledge needed to find performance issues. This tool automates a process that formerly needed considerable manual work to get the same result. Now, artists with low coding experience can find performance issues without the technical knowledge of a Quality Assurance engineer. The thesis also highlights the drawbacks of a top-down perspective of camera trace since this is not how EA DICE games are usually rendered for the player in runtime. With this thesis as a base, other tests could be made with other ways of moving the camera and visualising the trace. / Mjukvarutestning är en viktig programvaruutvecklings teknik för att fånga felaktig eller långsam kod. Det är svårt att skapa automatiska tester för 3D grafik som hittar fel eller dålig prestanda i koden. Att hitta prestandaproblem i spelkartor är en komplex uppgift som kräver mycket manuellt arbete. Spelföretag såsom EA DICE skulle dra fördel av att automatisera processen att hitta dessa prestandaproblem i spelkartor. Denna uppsats försöker lösa detta genom att skapa automatiska tester där kameran placeras i ett uppifrån-och-ned-perspektiv och sedan flyger genom banan i spelet samtidigt som den samlar in data på hur lång tid det tar för renderings-bildrutor och klient-simulerings-bildrutor att skapas för varje ban-segment. Den resulterande datan är därefter visualiserade som ett färgdiagram, där medelvärdet på tiden för att skapa varje bildruta ritas upp med en psuedofärgningsteknik för att markera möjliga problemområden för testingenjörerna. Nyckelupptäckter för denna uppsats är att färgdiagramsvisualiseringen av bildruta-skapande-tider sparar mycket tid för utvecklare som försöker hitta prestandaproblem. Det minskar också kunskapströskeln som behövs för att lokalisera prestandaproblem. Detta verktyg automatiserar en process som tidigare krävde omfattande manuellt arbete för att få samma resultat. Numera kan game artists med låg koderfarenhet hitta dessa prestandaproblem utan den tekniska kunskapen hos en kvalitetskontroll-ingenjör. Den här uppsatsen visar också nackdelar med ett uppifrån-och-ned-perspektiv för kameran då det inte är så EA DICE spel normalt renderas för spelarna. Den här uppsatsen kan användas som utgångspunkt för andra som vill utveckla testverktyg och med fördel ta i beaktning de utvecklingspunkter denna uppsats belyser.

In the digital business environment, customer service communication has grown up to become a labor- intensive task. In consideration of high labor costs, automatic customer service could be such a good alternative for many companies. However, communication with customers can not be easily automated. Staffs of customer service always need task-specific knowledge and information, which is incapable for automated systems to reply. Therefore, industries with frequent communication to consumers need a semiauto completion system, to cut manpower cost. In this thesis project, I utilized the GPT2 model, which was pre-trained by OpenAI, and finetuned it on MultiWOZ dataset in unsupervised way to train a full-fledged and task-oriented language model. On the basis of this auto-regressive language model, I designed and deployed an auto-completion system that timely predicts words or sentences which users may input in the next moment and provides quick completing suggestions for subsequent dialogue. After that, I evaluated the performance of the language model and practicability of the auto-completion system, and furthermore proposed a possible optimization framework to balance the system’s endogenous contradictions. / I den digitala affärsmiljön har kundservicekommunikation vuxit upp till att bli en arbetsintensiv uppgift. Med tanke på höga arbetskraftskostnader kan automatisk kundservice vara ett bra alternativ för många företag. Kundtjänstpersonal behöver alltid uppgiftspecifik kunskap och information, vilket inte är möjligt för automatiska system att leverera. Därför behöver industrier med frekvent kommunikation till konsumenterna ett semiautomatiskt kompletteringssystem, för att sänka arbetskraftskostnaderna. I detta avhandlingsprojekt använde jag GPT-2-modellen, som förtränats av OpenAI, och finjusterade den på MultiWOZ-datamängden på ett oövervakat sätt för att träna en fullfjädrad och uppgiftsorienterad språkmodell. På grundval av denna autoregressiva språkmodell designade och implementerade jag ett system för automatisk komplettering som i rätt tid förutsäger ord eller meningar som användarna kan mata in i nästa ögonblick och ger snabba kompletteringsförslag för efterföljande dialog. Därefter utvärderade jag prestandan för språkmodellen och genomförbarheten för det automatiska kompletteringssystemet och föreslog dessutom en möjlig optimeringsram för att balansera systemets endogena motsägelser.

The quality of automatic speech recognition has increased dramatically the last few years, but the performance for low and middle resource languages such as Swedish is still far from optimal. In this project a language model trained on large written corpora called KB-BERT is utilized to improve the quality of transcriptions for Swedish. The large language model is inserted as a repairing module after the automatic speech recognition, aiming to repair the original output into a transcription more closely resembling the ground truth by using a sequence to sequence translating approach. Two automatic speech recognition models are used to transcribe the speech, one of the models are developed in this project using the Kaldi framework, the other model is Microsoft’s Azure Speech to text platform. The performance of the translator is evaluated with four different datasets, three consisting of read speech and one of spontaneous speech. The spontaneous speech and one of the read datasets include both native and non-native speakers. The performance is measured by three different metrics, word error rate, a weighted word error rate and a semantic similarity. The repairs improve the transcriptions of two of the read speech datasets significantly, decreasing the word error rate from 13.69% to 3.05% and from 36.23% to 21.17%. The repairs improve the word error rate from 44.38% to 44.06% on the data with spontaneous speech, and fail on the last read dataset, instead increasing the word error rate. The lower performance on the latter is likely due to lack of data. / Automatisk taligenkänning har förbättrats de senaste åren, men för små språk såsom svenska är prestandan fortfarande långt ifrån optimal. Det här projektet använder KB-BERT, en neural språkmodell tränad på stora mängder skriven text, för att förbättra kvalitén på transkriptioner av svenskt tal. Transkriptionerna kommer från två olika taligenkänningsmodeller, dels en utvecklad i det här projektet med hjälp av mjukvarubiblioteket Kaldi, dels Microsoft Azures plattform för tal till text. Transkriptionerna repareras med hjälp av en sequence-to-sequence översättningsmodell, och KB-BERT används för att initiera modellen. Översättningen sker från den urpsrungliga transkriptionen från en av tal-till-text-modellerna till en transkription som är mer lik den korrekta, faktiska transkriptionen. Kvalitéen på reparationerna evalueras med tre olika metriker, på fyra olika dataset. Tre av dataseten är läst tal och det fjärde spontant, och det spontana talet samt ett av de lästa dataseten kommer både från talare som har svenska som modersmål, och talare som har det som andraspråk. De tre metrikerna är word error rate, en viktad word error rate, samt ett mått på semantisk likhet. Reparationerna förbättrar transkriptionerna från två av de lästa dataseten markant, och sänker word error rate från 13.69% till 3.05% och från 36.23% till 21.17%. På det spontana talet sänks word error rate från 44.38% till 44.06%. Reparationerna misslyckas på det fjärde datasetet, troligen på grund av dess lilla storlek.

Cancer is a group of diseases that are characterized by abnormal cell growth and is considered a leading cause of death globally. There are a number of different cancer treatment modalities, one of which is radiation therapy. In radiation therapy treatment planning, it is important to make sure that enough radiation is delivered to the tumor and that healthy organs are spared, while also making sure to account for uncertainties such as misalignment of the patient during treatment. To reduce the workload on clinics, data-driven automated treatment planning can be used to generate treatment plans for new patients based on previously delivered plans. In this thesis, we propose a novel method for robust automated treatment planning where a deep learning model is trained to deform a dose in accordance with a set of potential scenarios that account for the different uncertainties while maintaining certain statistical properties of the input dose. The predicted scenario doses are then used in a robust optimization problem with the goal of finding a treatment plan that is robust to these uncertainties. The results show that the proposed method for deforming doses yields realistic doses of high quality and that the proposed pipeline can potentially generate doses that conform better to the target than the current state of the art but at the cost of dose homogeneity. / Cancer är ett samlingsnamn för sjukdomar som karaktäriseras av onormal celltillväxt och betraktas som en ledande dödsorsak globalt. Det finns olika typer av cancerbehandling, varav en är strålterapi. Inom strålterapiplanering är det viktigt att säkerställa att tillräckligt med strålning ges till tumören, att friska organ skonas, och att osäkerheter som felplacering av patienten under behandlingen räknas med. För att minska arbetsbelastningen på kliniker används data-driven automatisk strålterapiplanering för att generera behandlingsplaner till nya patienter baserat på tidigare levererade behandlingar. I denna uppsats föreslår vi en ny metod för robust automatisk strålterapiplanering där en djupinlärningsmodell tränas till att deformera en dos i enlighet med en mängd potentiella scenarion som motsvarar de olika osäkerheterna medan vissa statistiska egenskaper bibehålls från originaldosen. De predicerade scenariodoserna används sedan i ett robust optimeringsproblem där målet är att hitta en behandlingsplan som är robust mot dessa osäkerheter. Resultaten visar att den föreslagna metoden för dosdeformation ger realistiska doser av hög kvalitet, vilket i sin tur kan leda till robusta doser med högre doskonformitet än tidigare metoder men på bekostnad av doshomogenitet.

Recent developments in the field of Semi-Supervised Learning are working to avoid the bottleneck of data labeling. This can be achieved by leveraging unlabeled data to limit the amount of labeled data needed for training deep learning models. Semi-supervised learning algorithms are showing promising results; however, research has been focusing on algorithm development, without proceeding to test their effectiveness in real-world applications. This research project has adapted and tested some semi-supervised learning algorithms on a dataset extracted from the manufacturing en-vironment, in the context of the surface analysis of stainless steel, in collaboration with Outokumpu Stainless Oy. In particular, a simple algorithm combining Pseudo-Labeling and Consistency Regularization has been developed, inspired by the state-of-the-art algorithm Fix match. The results show some potential, because the usage of Semi-Supervised Learning techniques has significantly reduced overfitting on the training set, while maintaining a good accuracy on the test set. However, some doubts are raised regarding the application of these techniques in a real environment, due to the imperfect nature of real datasets and the high algorithm development cost due to the increased complexity introduced with these methods. / Den senaste utvecklingen inom området Semi-Supervised Learning arbetarför att undvika flaskhalsen med datamärkning. Detta kan uppnås genom att utnyttja omärkta data för att begränsa mängden märkt data som behövs för att träna modeller för djupinlärning. Semi-övervakade inlärningsalgoritmer visarlovande resultat; forskning har dock fokuserat på algoritmutveckling, utan att testa deras effektivitet i verkliga tillämpningar. Detta forskningsprojekt har anpassat och testat några semi-övervakade in-lärningsalgoritmer på en datauppsättning extraherad från tillverkningsmiljön, i samband med ytanalys av rostfritt stål, i samarbete med Outokumpu Stainless Oy. I synnerhet har en enkel algoritm som kombinerar Pseudo-Labeling och Consistency Regularization utvecklats, inspirerad av den toppmoderna algoritmen Fixmatch .Resultaten visar en viss potential, eftersom användningen av Semi-Supervised Learning-tekniker avsevärt har minskat överanpassningen av träningssetet, samtidigt som en god noggrannhet på testsetet bibehålls. Vissa tvivel reses dock angående tillämpningen av dessa tekniker i en verklig miljö, på grund av den ofullkomliga karaktären hos riktiga datauppsättningar och den höga algoritmutvecklingskostnaden på grund av den ökade komplexiteten som introduceras med dessa metoder.