Emerging machine learning (ML) techniques are showing great potential in prediction performance. However, research and development is often conducted in an environment with extensive computational resources and blinded by prediction performance. In reality, computational resources might be contained on constrained hardware where energy and memory consumption must be restrained. Furthermore, shortages of sufficiently large datasets for ML is a frequent problem, combined with the cost of data retention. This generates a significant demand for sustainable ML. With sustainable ML, practitioners can train ML models on less data, which reduces memory and energy consumption during the training process. To explore solutions to these problems, this thesis dives into several techniques that have been introduced in the literature to achieve energy-savings when training machine learning models. These techniques include Quantization-Aware Training, Model Distillation, Quantized Distillation, Continual Learning and a deeper dive into Siamese Neural Networks (SNNs), one of the most promising techniques for sustainability. Empirical evaluations are conducted using several datasets to illustrate the potential of these techniques and their contribution to sustainable ML. The findings of this thesis show that the energy-saving techniques could be leveraged in some cases to make machine learning models more manageable and sustainable whilst not compromising significant model prediction performance. In addition, the deeper dive into SNNs shows that SNNs can outperform standard classification networks, under both the standard multi-class classification case and the Continual Learning case, whilst being trained on significantly less data. / Maskininlärning har i den senaste tidens forskning visat stor potential och hög precision inom klassificering. Forskning, som ofta bedrivs i en miljö med omfattande beräkningsresurser, kan lätt bli förblindad av precision. I verkligheten är ofta beräkningsresurser lokaliserade på hårdvara där energi- och minneskapacitet är begränsad. Ytterligare ett vanligt problem är att uppnå en tillräckligt stor datamängd för att uppnå önskvärd precision vid träning av maskininlärningsmodeller. Dessa problem skapar en betydande efterfrågan av hållbar maskininlärning. Hållbar maskininlärning har kapaciteten att träna modeller på en mindre datamängd, vilket minskar minne- och energiförbrukning under träningsprocessen. För att utforska hållbar maskininlärning analyserar denna avhandling Quantization-Aware Training, Model Distillation, Quantized Distillation, Continual Learning och en djupare evaluering av Siamesiska Neurala Nätverk (SNN), en av de mest lovande teknikerna inom hållbar maskininlärning. Empiriska utvärderingar utfördes med hjälp av flera olika datamängder för att illustrera potentialen hos dessa tekniker. Resultaten visar att energibesparingsteknikerna kan utnyttjas för att göra maskininlärningsmodeller mer hållbara utan att kompromissa för precision. Dessutom visar undersökningen av SNNs att de kan överträffa vanliga neurala nätverk, med och utan Continual Learning, även om de tränas på betydligt mindre data.

Trouble and bug reports are essential in software maintenance and for identifying faults—a challenging and time-consuming task. In cases when the fault and reports are similar or identical to previous and already resolved ones, the effort can be reduced significantly making the prospect of automatically detecting duplicates very compelling. In this work, common methods and techniques in the literature are evaluated and compared on domain-specific and multimodal trouble reports from Ericsson software. The number of samples is few, which is a case not so well-studied in the area. On this basis, both traditional and more recent techniques based on deep learning are considered with the goal of accurately detecting duplicates. Firstly, the more traditional approach based on natural language processing and machine learning is evaluated using different vectorization techniques and similarity measures adapted and customized to the domain-specific trouble reports. The multimodality and many fields of the trouble reports call for a wide range of techniques, including term frequency-inverse document frequency, BM25, and latent semantic analysis. A pipeline processing each data field of the trouble reports independently and automatically weighing the importance of each data field is proposed. The best performing model achieves a recall rate of 89% for a duplicate candidate list size of 10. Further, obtaining knowledge on which types of data are most important for duplicate detection is explored through what is known as Shapley values. Results indicate that utilizing all types of data indeed improve performance, and that date and code parameters are strong indicators. Secondly, a Siamese network based on Transformer-encoders is evaluated on data fields believed to have some underlying representation of the semantic meaning or sequentially important information, which a deep model can capture. To alleviate the issues when having few samples, pre-training through automatic data labeling is studied. Results show an increase in performance compared to not pre-training the Siamese network. However, compared to the more traditional model it performs on par, indicating that traditional models may perform equally well when having few samples besides also being simpler, more robust, and faster. / Buggrapporter är kritiska för underhåll av mjukvara och för att identifiera fel — en utmanande och tidskrävande uppgift. I de fall då felet och rapporterna liknar eller är identiska med tidigare och redan lösta ärenden, kan tiden som krävs minskas avsevärt, vilket gör automatiskt detektering av dubbletter mycket önskvärd. I detta arbete utvärderas och jämförs vanliga metoder och tekniker i litteraturen på domänspecifika och multimodala buggrapporter från Ericssons mjukvara. Antalet tillgängliga träningsexempel är få, vilket inte är ett så välstuderat fall. Utifrån detta utvärderas både traditionella samt nyare tekniker baserade på djupinlärning med målet att detektera dubbletter så bra som möjligt. Först utvärderas det mer traditionella tillvägagångssättet baserat på naturlig språkbearbetning och maskininlärning med hjälp av olika vektoriseringstekniker och likhetsmått specialanpassade till buggrapporterna. Multimodaliteten och de många datafälten i buggrapporterna kräver en rad av tekniker, så som termfrekvens-invers dokumentfrekvens, BM25 och latent semantisk analys. I detta arbete föreslås en modell som behandlar varje datafält i buggrapporterna separat och automatiskt sammanväger varje datafälts betydelse. Den bäst presterande modellen uppnår en återkallningsfrekvens på 89% för en lista med 10 dubblettkandidater. Vidare undersöks vilka datafält som är mest viktiga för dubblettdetektering genom Shapley-värden. Resultaten tyder på att utnyttja alla tillgängliga datafält förbättrar prestandan, och att datum och kodparametrar är starka indikatorer. Sedan utvärderas ett siamesiskt nätverk baserat på Transformator-kodare på datafält som tros ha en underliggande representation av semantisk betydelse eller sekventiellt viktig information, vilket en djup modell kan utnyttja. För att lindra de problem som uppstår med få träningssexempel, studeras det hur den djupa modellen kan förtränas genom automatisk datamärkning. Resultaten visar på en ökning i prestanda jämfört med att inte förträna det siamesiska nätverket. Men jämfört med den mer traditionella modellen presterar den likvärdigt, vilket indikerar att mer traditionella modeller kan prestera lika bra när antalet träningsexempel är få, förutom att också vara enklare, mer robusta, och snabbare.