Clustering keywords is an important Natural Language Processing task that can be adopted by several businesses since it helps to organize and group related keywords together. By clustering keywords, businesses can better understand the topics their customers are interested in. This thesis project provides a detailed comparison of two different approaches that might be used for performing this task and aims to investigate whether having the labels associated with the keywords improves the clusters obtained. The keywords are clustered using both supervised learning, training a neural network and applying community detection algorithms such as Louvain, and unsupervised learning algorithms, such as HDBSCAN and K-Means. The evaluation is mainly based on metrics like NMI and ARI. The results show that supervised learning can produce better clusters than unsupervised learning. By looking at the NMI score, the supervised learning approach composed by training a neural network with Margin Ranking Loss and applying Kruskal achieves a slightly better score of 0.771 against the 0.693 of the unsupervised learning approach proposed, but by looking at the ARI score, the difference is more relevant. HDBSCAN achieves a lower score of 0.112 compared to the supervised learning approach with the Margin Ranking Loss (0.296), meaning that the clusters formed by HDBSCAN may lack meaningful structure or exhibit randomness. Based on the evaluation metrics, the study demonstrates that supervised learning utilizing the Margin Ranking Loss outperforms unsupervised learning techniques in terms of cluster accuracy. However, when trained with a BCE loss function, it yields less accurate clusters (NMI: 0.473, ARI: 0.108), highlighting that the unsupervised algorithms surpass this particular supervised learning approach. / Klustring av nyckelord är en viktig uppgift inom Natural Language Processing som kan användas av flera företag eftersom den hjälper till att organisera och gruppera relaterade nyckelord tillsammans. Genom att klustra nyckelord kan företag bättre förstå vilka ämnen deras kunder är intresserade av. Detta examensarbete ger en detaljerad jämförelse av två olika metoder som kan användas för att utföra denna uppgift och syftar till att undersöka om de etiketter som är associerade med nyckelorden förbättrar de kluster som erhålls. Nyckelorden klustras med hjälp av både övervakad inlärning, träning av ett neuralt nätverk och tillämpning av algoritmer för community-detektering, t.ex. Louvain, och algoritmer för oövervakad inlärning, t.ex. HDBSCAN och KMeans. Utvärderingen baseras huvudsakligen på mått som NMI och ARI. Resultaten visar att övervakad inlärning kan ge bättre kluster än oövervakad inlärning. Om man tittar på NMI-poängen uppnår den övervakade inlärningsmetoden som består av att träna ett neuralt nätverk med Margin Ranking Loss och tillämpa Kruskal en något bättre poäng på 0,771 jämfört med 0,693 för den föreslagna oövervakade inlärningsmetoden, men om man tittar på ARI-poängen är skillnaden mer relevant. HDBSCAN uppnår en lägre poäng på 0,112 jämfört med den övervakade inlärningsmetoden med Margin Ranking Loss (0,296), vilket innebär att de kluster som bildas av HDBSCAN kan sakna meningsfull struktur eller uppvisa slumpmässighet. Baserat på utvärderingsmetrikerna visar studien att övervakad inlärning som använder Margin Ranking Loss överträffar tekniker för oövervakad inlärning när det gäller klusternoggrannhet. När den tränas med en BCEförlustfunktion ger den dock mindre exakta kluster (NMI: 0,473, ARI: 0,108), vilket belyser att de oövervakade algoritmerna överträffar denna speciella övervakade inlärningsmetod.

In this project, we address the task of nested noun phrase identification in English sentences, where a phrase is defined as a group of words functioning as one unit in a sentence. Prior research has extensively explored the identification of various phrases for language understanding and text generation tasks. Our aim is to tackle the novel challenge of identifying nested noun phrases within sentences. To accomplish this, we first review existing work on related topics such as partial parsing and noun phrase identification. Subsequently, we propose a novel approach based on transformer models to recursively identify nested noun phrases in sentences. We fine-tune a pre-trained uncased BERT model to detect phrase structures in a sentence and determine whether they represent noun phrases. Our recursive approach involves merging relevant segments of a sentence and assigning labels to the noun phrases at each step, facilitating the identification of nested structures. The evaluation of our model demonstrates promising results, achieving a high accuracy of up to 93.6% when considering all noun phrases in isolation and 90.9% when accounting for the predicted phrase structure of the sentence. Additionally, our model exhibits a recall rate of 83.5% and 81.2% at both levels, respectively. Overall, our model proves to be effective in identifying nested noun phrases, showcasing the potential of transformer-based models in phrase structure identification. Future research should explore further applications and enhancements of such models in this domain. / I detta projekt tar vi upp uppgiften att identifiera nästlade substantivfraser i engelska meningar, där en fras definieras som en grupp ord som fungerar som en enhet i en mening. Tidigare forskning har utförligt utforskat identifieringen av olika fraser för språkförståelse och textgenereringsuppgifter. Vårt mål är att ta itu med den nya utmaningen att identifiera nästlade substantivfraser i meningar. För att åstadkomma detta granskar vi först befintligt arbete med relaterade ämnen som partiell analys och identifiering av substantivfraser. Därefter föreslår vi en ny metod baserad på transformers-modeller för att rekursivt identifiera nästlade substantivfraser i meningar. Vi finjusterar en förtränad BERT-modell utan kapsling för att upptäcka frasstrukturer i en mening och avgöra om de representerar substantivfraser. Vårt rekursiva tillvägagångssätt innebär att sammanfoga relevanta segment av en mening och att tilldela etiketter till substantivfraserna vid varje steg, vilket underlättar identifieringen av nästlade strukturer. Utvärderingen av vår modell visar lovande resultat och uppnår en hög precision på upp till 93,6% när man tar hänsyn till alla substantivfraser isolerat och 90,9% när man tar hänsyn till meningens förutsagda frasstruktur. Dessutom uppvisar vår modell en täckning (recall) på 83,5% respektive 81,2% på båda nivåerna. Sammantaget visar vår modell sig vara effektiv för att identifiera nästlade substantivfraser, vilket visar potentialen hos transformers-modeller för identifiering av frasstruktur. Framtida forskning bör utforska ytterligare tillämpningar och förbättringar av sådana modeller på detta område.

This thesis investigates the possibilities of conditionally generating English sentences based on keywords-framing content and different difficulty levels of vocabulary. It aims to contribute to the field of Conditional Text Generation (CTG), a type of Natural Language Generation (NLG), where the process of creating text is based on a set of conditions. These conditions include words, topics, content or perceived sentiments. Specifically, it compares the performances of two well-known model architectures: Sequence-toSequence (Seq2Seq) and Autoregressive (AR). These are applied to two different tasks, individual and combined. The Common European Framework of Reference (CEFR) is used to assess the vocabulary level of the texts. In the absence of openly available CEFR-labelled datasets, the author has developed a new methodology with the host company to generate suitable datasets. The generated texts are evaluated on accuracy of the vocabulary levels and readability using readily available formulas. The analysis combines four established readability metrics, and assesses classification accuracy. Both models show a high degree of accuracy when classifying texts into different CEFR-levels. However, the same models are weaker when generating sentences based on a desired CEFR-level. This study contributes empirical evidence suggesting that: (1) Seq2Seq models have a higher accuracy than AR models in generating English sentences based on a desired CEFR-level and keywords; (2) combining Multi-Task Learning (MTL) with instructiontuning is an effective way to fine-tune models on text-classification tasks; and (3) it is difficult to assess the quality of computer generated language using only readability metrics. / I den här studien undersöks möjligheterna att villkorligt generera engelska meningar på så-kallad “naturligt” språk, som baseras på nyckelord, innehåll och vokabulärnivå. Syftet är att bidra till området betingad textgenerering, en underkategori av naturlig textgenerering, vilket är en metod för att skapa text givet vissa ingångsvärden, till exempel ämne, innehåll eller uppfattning. I synnerhet jämförs prestandan hos två välkända modellarkitekturer: sekvenstill-sekvens (Seq2Seq) och autoregressiv (AR). Dessa tillämpas på två uppgifter, såväl individuellt som kombinerat. Den europeiska gemensamma referensramen (CEFR) används för att bedöma texternas vokabulärnivå. I och med avsaknaden av öppet tillgängliga CEFR-märkta dataset har författaren tillsammans med värdföretaget utvecklat en ny metod för att generera lämpliga dataset. De av modellerna genererade texterna utvärderas utifrån vokabulärnivå och läsbarhet samt hur väl de uppfyller den sökta CEFRnivån. Båda modellerna visade en hög träffsäkerhet när de klassificerar texter i olika CEFR-nivåer. Dock uppvisade samma modeller en sämre förmåga att generera meningar utifrån en önskad CEFR-nivå. Denna studie bidrar med empiriska bevis som tyder på: (1) att Seq2Seq-modeller har högre träffsäkerhet än AR-modeller när det gäller att generera engelska meningar utifrån en önskad CEFR-nivå och nyckelord; (2) att kombinera inlärning av multipla uppgifter med instruktionsjustering är ett effektivt sätt att finjustera modeller för textklassificering; (3) att man inte kan bedömma kvaliteten av datorgenererade meningar genom att endast använda läsbarhetsmått.

This study is concerned with using the popular Recurrent Neural Network (RNN) model, and its variants Gated Recurrent Unit (GRU) and Long-Short Term Memory (LSTM), on the novel problem of Sentiment Forecasting (SF). The goal of SF is to predict what the sentiment of a response will be in a conversation, using only the previous utterance. In more every day terms, we want to be able to predict the sentiment of person B’s response to something person A said, before B has said anything and using only A’s utterance. The RNN models were trained on a Swedish email database containing email conversations, where the task was to predict the average sentiment of the response emails to an initial mass-sent business email. The emails didn’t come with sentiment labels, so the Valence Aware Dictionary and sEntiment Reasoner (VADER) system was used to determine sentiments. Seventy-five training-and-testing experiments were run with varying RNN models and data conditions. The accuracy, precision, recall, and F1 scores were used to determine to what extent the models had been able to solve the problem. In particular, the F1 score of the models were compared to the F1 score of a dummy classifier that only answered with positive sentiment, with the success case being that a model was able to reach a higher F1 score than the dummy. The results led to the findings that the varying RNN models performed worse or comparably to the dummy classifier, with only 5 out of 75 experiments resulting in the RNN model reaching a higher F1 score than the positive classifier, and with the average performance of the rare succeeding models only going 2.6 percentage points over the positive only classifier, which isn’t considered worthwhile in relation to the time and resource investment involved in training RNNs. In the end, the results led to the conclusion that the RNN may not be able to solve the problem on its own, and a different approach might be needed. This conclusion is somewhat limited by the fact that more work could have been done on experimenting with the data and pre-processing techniques. The same experiments on a different dataset may show different results. Some of the observations showed that the RNN, particularly the Deep GRU, might be used as the basis for a more complex model. Complex models built on top of RNNs have been shown to be useful on similar research problems within Sentiment Analysis, so this may prove a valuable avenue of research. / Denna studie handlade om att använda den populära Recurrent Neural Network (RNN) modellen, och dess varianter Gated Recurrent Unit (GRU) och Long- Short Term Memory (LSTM), på det hittils understuderade problemet Sentiment Forecasting (SF). Målet med SF är att förutsäga vad sentimentet av ett svar kommer att vara i en konversation, med endast det tidigare uttalandet. I mer vardagliga termer vill vi kunna förutsäga känslan av person B: s svar på något som person A sagt, innan B har sagt någonting och att vi endast använder A:s yttrande. RNN-modellerna tränades med en svensk e-postdatabas som innehöll epostkonversationer, där uppgiften var att förutsäga den genomsnittliga känslan av svarsmeddelandena till ett initialt utskickat massmeddelande. E-postmeddelandena kom inte med sentimentetiketter, så Valence Aware Dictionary and sEntiment Reasoner (VADER)-systemet användes för att utvinna etiketter. Sjuttio-fem experiment genomfördes med varierande RNN-modeller och dataförhållanden. Accuracy, precision, recall och F1-score användes för att avgöra i vilken utsträckning modellerna hade kunnat lösa problemet. F1- Score:n för modellerna jämfördes med F1-Score:n för en dummy-klassificerare som endast svarade med positivt sentiment, med framgångsfallet att en modell kunde nå en högre F1-poäng än dummy:n. Resultaten ledde till fynden att de olika RNN-modellerna presterade sämre eller jämförbart med dummyklassificeraren, med endast 5 av 75 experiment som resulterade i att RNN-modellen nådde en högre F1-score än den positiva klassificeraren, och den genomsnittliga prestandan för de sällsynta framgångsrika modellerna bara kom 2,6 procentenheter över den positiva klassificeraren, vilket inte anses lönsamt i förhållande till den tid och resursinvestering som är involverad i träning av RNNs. I slutändan ledde resultaten till slutsatsen att RNN och dess varianter inte riktigt kan lösa problemet på egen hand, och en annan metod kan behövas. Denna slutsats begränsas något av det faktum att mer arbete kunde ha gjorts med att experimentera med data och förbehandlingstekniker. En annan databas skulle möjligtvis leda till ett annat resultat. Några av observationerna visade att RNN, särskilt Deep GRU, kan användas som grund för en mer komplex modell. Komplexa modeller bygga ovanpå RNNs har visat goda resultat på liknande forskningsproblem, och kan vara en värdefull forskningsriktning.

Auto-completion is a task that requires an algorithm to give suggestions for completing sentences. Specifically, the history of live chat and the words already typed by the agents are provided to the algorithm for outputting the suggestions to finish the sentences. This study aimed to investigate if the above task can be handled by fine-tuning a pre-trained T5 model on the target dataset. In this thesis, both an English and a Portuguese dataset were selected. Then, T5 and its multilingual version mT5were fine-tuned on the target datasets. The models were evaluated with different metrics (log perplexity, token level accuracy, and multi-word level accuracy), and the results are compared to those of the baseline methods. The results on these different metrics show that a method based on pre-trained T5 is a promising approach to handle the target task. / Automatisk komplettering är en uppgift som kräver en algoritm för att ge förslag på hur man kan slutföra meningar. Specifikt levereras historien om livechatt och de ord som redan har skrivits av agenterna till algoritmen för att mata ut förslagen för att avsluta meningarna. Denna studie syftade till att undersöka om ovanstående uppgift kan hanteras genom att finjustera en förtränad T5-modell på måldatamängden. I denna avhandling valdes både en engelsk och en portugisisk datamängd. Därefter finjusterades T5 och dess flerspråkiga version mT5 på måldatauppsättningarna. Modellerna utvärderades med olika mätvärden (log-perplexitet, precision på ordnivå och flerordsnivå), och resultaten jämförs med baslinjemetoderna. Resultaten på dessa olika mätvärden visar att en metod baserad på en förtränad T5 är ett lovande tillvägagångssätt för att hantera uppgiften.

Technologies such as Artificial Intelligence (AI) and Machine Learning (ML)are disrupting industries worldwide and are being categorized as drivers of a technological revolution. The economic impact is hypothesized to amount to hundreds of billions of US dollars in losses of wages, affecting governmental tax revenue streams consequentially. Firms that manage to leverage these technologies by developing sustained competitive advantage are ultimately the firms that will prosper. Competitive advantage stems from the dynamic capabilities, characterizing the organizational and managerial processes in place to withstand the effects of external environmental turbulence, as with the technological revolution galvanized by AI. This research aimed to analyze how a tele- & cloud-communication company manages to leverage AI to materialize competitive advantage. The research was conducted in two principal parts. First, by developing an ML model for language agnostic document retrieval (LaDPR) and evaluating the performance vs. Facebook’s Dense Passage Retrieval (DPR) model. The ML experiments show that the developed LaDPR model outperforms Facebook’s DPR model by over 2x on average, on multilingual document retrieval. This performance increase rises to over 4x when excluding English, which is the language that DPR was trained on. Secondly, interviews were conducted with key representatives to research how such technological advancements can be exploited in the organizational goal for competitive advantage. Specific vital capabilities such as automated decision-making, knowledge integration, and platform maturity are the three prominent organizational and managerial processes that advanced AI systems can undergird. The results pinpoint that the process of a high-technology department focused solely on developing such AI systems, packaging them with engineering competence to then transfer ownership internally in the organization, ultimately coalesce into hard-to-imitate dynamic capabilities, materializing competitive advantage. / Teknologier som Artificiell Intelligens (AI) och Maskininlärning (ML) splittrar industrier världen över, och kategoriseras som drivkrafter bakom en teknologisk revolution. Effekterna på ekonomin spekuleras uppnå hundratals miljarder USD, som påverkar staters skatteintäkter markant. Företag som lyckas begagna sådan teknologi genom att utveckla långvariga konkurrensfördelar är i slutändan de företag som kommer se framgång. Dessa fördelar härstammar från de dynamiska förmågorna i ett företag, och karakteriseras av organisationella och lednings-orienterade processer som används för att stå emot effekterna av utomstående fluktuationer i marknaden, exemplifierat av den teknologiska revolutionen driven av AI. Den bedrivna forskningen ämnade att analysera hur ett företag inom tele- och molnkommunikation begagnar AI för att materialisera konkurrensfördelar. Forskningen bedrevs i två primära delar. Först, genom att utveckla en ML modell för språkagnostisk dokumenthämtning (LaDPR), och utvärdera prestandan i jämförelse med Facebooks Dense Passage Retrieval (DPR) modell. ML experimenten visar att den utvecklade LaDPR modellen presterar i snitt 2x bättre än Facebooks DPR modell på flerspråkig dokument-hämtning. Prestandaförbättringarna stiger upp till 4x, ifall engelska exkluderas, vilket är det språk som DPR tränades på. Genom att föra intervjuer med nyckelpersoner undersöktes det hur sådana teknologiska framsteg exploateras i de organisationella målen för konkurrensfördelar. Specifika nyckelförmågor som automatiserat beslutsfattande, kunskapsintegrering och plattformmognad är tre huvudsakliga organisationella och ledningsorienterade processer som avancerade AI system kan underbinda. Resultaten visar att processen av en högteknologisk avdelning som fokuserar på utveckling av avancerade AI system, som sedan paketeras tillsammans med ingenjörskompetens, för slutgiltig överföring av ägarskap, i slutändan förenas i svårimiterade dynamiska förmågor, som materialiseras i konkurrensfördelar.

Studien undersöker vilka metoder som är mest lämpliga för rekryteringsprocesser genom att inkludera tre befintliga Artificiell intelligens (AI) verktyg samt en egenutvecklad prototyp. Tidigare studier har visat att AI kan förbättra rekryteringsprocessen genom att öka effektiviteten och minska fördomar, men också att det finns begränsningar i hur väl AI kan bedöma kandidaternas kompetenser. Målet är att bestämma de mest effektiva AI-lösningar för att matcha kvalificerade kandidater till ledande positioner. Identifierade möjligheter till förbättringar i hastighet, noggrannhet och kvalitet av rekryteringsprocessen. Fokuset för detta arbete ligger på analys av befintliga AI-lösningar parallellt med utvecklingen och testningen av en prototyp. Prototypen har designats för att hantera de brister som identifierats i de befintliga metoderna, såsom matchning av nyckelord mellan Curriculum Vitae (CV) och jobbannonsen. Denna metod har begränsningar i hur väl den kan identifiera kandidaters verkliga kompetenser och relevans för jobbet, vilket utforskas i denna studie. Resultatet från denna studie visar att AI för närvarande har en begränsad, men växande betydelse i rekryteringsprocesser. Detta pekar på en betydande potential för AI att erbjuda nya lösningar som kan leda till mer rättvisa och effektiva rekryteringsprocesser i framtiden. / The study examines which methods are most suitable for recruitment processes by including three existing artificial intelligence AI-tools as well as a custom-developed prototype. Previous studies have shown that AI can improve recruitment processes by increasing efficiency and reducing biases, but also that there are limitations in how well AI can assess candidate’s competencies. The goal is to determine the most effective AI solutions for matching qualified candidates to leading positions. Opportunities for improvement in speed, accuracy, and quality of the recruitment process have been identified. The focus of this work is on analyzing existing AI-solutions in parallel with the development and testing of a prototype. The prototype has been designed to address the deficiencies identified in existing methods, such as matching keywords between Curriculum Vitae (CV) and job advertisements. This method has limitations in how well it can identify candidate’s real competencies and relevance for the job, which is explored in this study. The results from this study show that AI currently has a limited, but growing significance in recruitment processes. This points to significant potential for AI to provide new solutions that can lead to fairer and more efficient recruitment processes in the future.

As the world becomes increasingly digitalized, new technologies like Artificial Intelligence (AI) are now more than ever before an important tool for organizations to meet future challenges. This is true for the private as well as the public sector, however, certain organizational functions are falling behind on AI-adoption, with public procurement being a standout example. This study examines the feasibility of integrating AI-solutions in public procurement. Using the theoretical lens of technology adoption and the AI-adapted Technology Organization Environment (TOE)-framework, a series of interviews were conducted with procurement practitioners, experts and solutions providers, identifying what factors drive or inhibit AI-adoption. The results confirmed that the previously identified TOE-factors relative advantage, management support, and external pressure are drivers of AI-adoption in public procurement, while competence, resources and procurement regulation are inhibitors. Additionally, three new factors were identified in the interviews; available solutions, resistance to change and public policy. The findings of the study contributed to the proposal of an updated TOE-framework for AI-adoption in public procurement. They further confirm the findings of previous studies utilizing the TOE-framework to investigate public organizations. / I takt med att världen blir alltmer digitaliserad är nya teknologier som artificiell intelligens (AI) nu viktigare verktyg än någonsin för organisationers förmåga att bemöta framtida utmaningar. Detta gäller både den privata och den offentliga sektorn, men vissa organisatoriska funktioner ligger efter när det gäller AI-implementation, där den offentliga upphandlingsfunktionen är ett tydligt exempel. Denna studie undersöker möjligheterna att integrera AI-lösningar inom offentlig upphandling. Genom att använda organisationell teori om teknologiadoption som teoretisk lins och mer specifikt det AI-anpassade (TOE)-ramverket genomfördes en serie intervjuer med upphandlingspraktiker, experter och produktägare för att identifiera vilka faktorer som driver eller hämmar AI-implementation. Resultaten bekräftade att de tidigare identifierade TOE-faktorerna relativ fördel, ledningsstöd och extern press är drivkrafter för AI-implementation inom offentlig upphandling, medan kompetens, resurser och upphandlingsregler är hinder. Dessutom identifierades tre nya faktorer i intervjuerna; tillgängliga lösningar, motstånd mot förändring och offentlig styrning. Studiens resultat bidrog vidare till att föreslå ett uppdaterat TOE-ramverk för AI-implementation inom offentlig upphandling. Den bekräftar vidare resultaten från tidigare studier som använder TOE-ramverket för att undersöka teknikinförande inom offentliga organisationer.

The interest in using State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) in product development is growing. The fact that developers can use PLM has changed the way to build reliable models, and it is the go-to method for many companies and organizations. Selecting the Natural Language Processing (NLP) model with the highest accuracy is the usual way of deciding which PLM to use. However, with growing concerns about negative climate changes, we need new ways of making decisions that consider the impact on our future needs. The best solution with the highest accuracy might not be the best choice when other parameters matter, such as sustainable development. This thesis investigates how to calculate an approximate total cost considering Operating Expenditure (OPEX) and CO2~emissions for a deployed NLP solution over a given period, specifically the inference phase. We try to predict the total cost with Floating Point Operation (FLOP) and test NLP models on a classification task. We further present the tools to make energy measurements and examine the metric FLOP to predict costs. Using a bottom-up approach, we investigate the components that affect the cost and measure the energy consumption for different deployed models. By constructing this cost model and testing it against real-life examples, essential information about a given NLP implementation and the relationship between monetary and environmental costs will be derived. The literature studies reveal that the derival of a cost model is a complex area, and the results confirm that it is not a straightforward procedure to approximate energy costs. Even if a cost model was not feasible to derive with the resources given, this thesis covers the area and shows why it is complex by examine FLOP. / Intresset att använda State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) i produktutveckling växer. Det faktum att utvecklare kan använda PLM har förändrat sättet att träna tillförlitliga modeller på och det är den bästa metoden för många företag och organisationer att använda SOTA Naturlig Språkbehandling (NLP). Att välja NLP-modellen med högsta noggrannhet är det vanliga sättet att bestämma vilken PLM som ska användas. Men med växande oro för miljöförändringar behöver vi nya sätt att fatta beslut som kommer att påverka våra framtida behov. Denna avhandling undersöker hur man beräknar en ungefärlig totalkostnad med hänsyn till Operating Expenditure (OPEX) och CO2~utsläpp för en utplacerad NLP-lösning under en given period, dvs slutledningsfasen. Vi försöker förutspå den totala kostnaden med flyttalsoperationer och testar mot en klassificerings uppgift. Vi undersöker verktygen för att göra mätningar samt variabeln Flyttalsoperationer för att förutspå energiförbrukning.

Trouble and bug reports are essential in software maintenance and for identifying faults—a challenging and time-consuming task. In cases when the fault and reports are similar or identical to previous and already resolved ones, the effort can be reduced significantly making the prospect of automatically detecting duplicates very compelling. In this work, common methods and techniques in the literature are evaluated and compared on domain-specific and multimodal trouble reports from Ericsson software. The number of samples is few, which is a case not so well-studied in the area. On this basis, both traditional and more recent techniques based on deep learning are considered with the goal of accurately detecting duplicates. Firstly, the more traditional approach based on natural language processing and machine learning is evaluated using different vectorization techniques and similarity measures adapted and customized to the domain-specific trouble reports. The multimodality and many fields of the trouble reports call for a wide range of techniques, including term frequency-inverse document frequency, BM25, and latent semantic analysis. A pipeline processing each data field of the trouble reports independently and automatically weighing the importance of each data field is proposed. The best performing model achieves a recall rate of 89% for a duplicate candidate list size of 10. Further, obtaining knowledge on which types of data are most important for duplicate detection is explored through what is known as Shapley values. Results indicate that utilizing all types of data indeed improve performance, and that date and code parameters are strong indicators. Secondly, a Siamese network based on Transformer-encoders is evaluated on data fields believed to have some underlying representation of the semantic meaning or sequentially important information, which a deep model can capture. To alleviate the issues when having few samples, pre-training through automatic data labeling is studied. Results show an increase in performance compared to not pre-training the Siamese network. However, compared to the more traditional model it performs on par, indicating that traditional models may perform equally well when having few samples besides also being simpler, more robust, and faster. / Buggrapporter är kritiska för underhåll av mjukvara och för att identifiera fel — en utmanande och tidskrävande uppgift. I de fall då felet och rapporterna liknar eller är identiska med tidigare och redan lösta ärenden, kan tiden som krävs minskas avsevärt, vilket gör automatiskt detektering av dubbletter mycket önskvärd. I detta arbete utvärderas och jämförs vanliga metoder och tekniker i litteraturen på domänspecifika och multimodala buggrapporter från Ericssons mjukvara. Antalet tillgängliga träningsexempel är få, vilket inte är ett så välstuderat fall. Utifrån detta utvärderas både traditionella samt nyare tekniker baserade på djupinlärning med målet att detektera dubbletter så bra som möjligt. Först utvärderas det mer traditionella tillvägagångssättet baserat på naturlig språkbearbetning och maskininlärning med hjälp av olika vektoriseringstekniker och likhetsmått specialanpassade till buggrapporterna. Multimodaliteten och de många datafälten i buggrapporterna kräver en rad av tekniker, så som termfrekvens-invers dokumentfrekvens, BM25 och latent semantisk analys. I detta arbete föreslås en modell som behandlar varje datafält i buggrapporterna separat och automatiskt sammanväger varje datafälts betydelse. Den bäst presterande modellen uppnår en återkallningsfrekvens på 89% för en lista med 10 dubblettkandidater. Vidare undersöks vilka datafält som är mest viktiga för dubblettdetektering genom Shapley-värden. Resultaten tyder på att utnyttja alla tillgängliga datafält förbättrar prestandan, och att datum och kodparametrar är starka indikatorer. Sedan utvärderas ett siamesiskt nätverk baserat på Transformator-kodare på datafält som tros ha en underliggande representation av semantisk betydelse eller sekventiellt viktig information, vilket en djup modell kan utnyttja. För att lindra de problem som uppstår med få träningssexempel, studeras det hur den djupa modellen kan förtränas genom automatisk datamärkning. Resultaten visar på en ökning i prestanda jämfört med att inte förträna det siamesiska nätverket. Men jämfört med den mer traditionella modellen presterar den likvärdigt, vilket indikerar att mer traditionella modeller kan prestera lika bra när antalet träningsexempel är få, förutom att också vara enklare, mer robusta, och snabbare.