Masspektrometri (MS) är en analysmetod som indikerar provers kemiska sammansättning. Provernas innehåll fragmenteras och joniseras, varefter jonernas förhållande mellan massa och laddning (m/z) och sammanlagda intensiteter mäts i form av ett masspektrum. Tandem-masspektrometri (MS/MS eller MS2) innebär att prover utsätts för MS i två omgångar, där den första resulterar i s.k precursor-joner med skilda m/z och den följande MS omgången analyserar masspektrum från varje precursor-jon. MS2 leder till masspektrum med hög upplösning vilket är användbart vid analys av komplexa prover. Proteinsammansättning i biologiska prover är ett exempel på en typ av vetenskapligt- och kliniskt viktig provtyp samt en mycket komplex sådan. Analysmetoder där MS2 används för sådan analys kallas shotgun-proteomik, vilka tar hänsyn till det extremt stora antalet möjliga peptider genom att använda specifika algoritmer för databehandling. Målet är att identifiera peptid-spektrum matchningar (PSMs), d.v.s att uppskatta vilka peptider som gett upphov till de observerade MS2-spektrumen. I detta syfte används sökmotorer som uppskattar vilka peptider som bäst matchar de precursor-jonerna som för varje MS-spektrum, och bibliotekssökning där MS2-spektrum jämförs med dokumenterade MS2-spektrum som härstammar från diverse peptider för att hitta bäst matchning. I detta projekt utnyttjas en nyligen utvecklad algoritm, en spektrumprediktor, för att skapa en workflow där peptiders masspektrum predikeras utifrån PSMs som hittats av en sökmotor. Därefter jämförs predikerade spektrum med de experimentella spektrumen som användes av sökmotorn, och likheten mellan paren av spektrum räknas ut. Projektet har som mål att kombinera fördelarna med sökmotorer och med bibliotekssökning genom att använda de uträknade likheterna mellan spektrum för att öka antalet PSMs som kan identifieras för den experimentella datan. Genom att använda PSM post-processorn Percolator så kan den uträknade likheten mellan par av spektrum leda till fler PSM-identifikationer då likheten implementeras som features i Percolator. Resultaten av detta visar att Percolator kan identifiera PSMs utifrån features baserade på likhet mellan par av spektrum, varav vissa har q-värden under 0.01 och vissa inte kunde identifieras då Percolator användes i kombination med sökmotorn Crux. Om metoden kan förbättras genom att öka den genomsnittliga likheten mellan par av spektrum, samt om fler mått på likhet implementeras, så kan metoden som beskrivs i projektet bidra till att öka antalet PSM-identifikationer utifrån sökmotorresultat. / Mass spectrometry (MS) is an analysis method revealing chemical composition of samples by fragmenting and ionizing the sample contents and measuring the mass-to-charge ratio (m/z) and cumulative intensity of each produced ion as an ion mass spectrum. Tandem mass spectrometry (MS/MS or MS2) uses two round of MS, the first to produce a set of precursor ions with distinct m/z, and then sequentially analyzing the ionization pattern of each precursor ion with a second round of MS. For complex samples, MS2 provides vastly increased ability to resolve the sample contents. Protein contents of biological samples represents both a critically important analysis target and a highly complex sample type. Analysis of such samples using MS2 is known as shotgun proteomics. The vast number of possible peptides in these samples necessitates the use of specialized algorithms when interpreting MS2 results data which aim to find peptide-spectrum matches (PSMs) between spectra and peptides identities. This includes search engines that predict which peptides best match each MS2 precursor ion, as well as library searching which match known peptide spectra to the MS2 spectral data. This project uses a recent advancement in shotgun proteomics, spectrum predictors, in a workflow that predicts peptide fragment spectra based on peptide identities suggested by a search engine, and calculates spectral similarity between the predicted peptide spectra and the experimental spectra which were assigned these peptides. This method aims to combine the strengths of both search engines and library searching, and to use the similarity score between experimental and predicted spectra to increase the number of spectra that can be confidently matched to a peptide identity. This project utilizes the PSM post-processor Percolator to rescore PSMs after introducing predicted spectrum similarity as a feature of the PSMs. The results indicate that the predicted spectrum similarity score is able to identify additional PSMs when used as a Percolator feature, when compared to the default Percolator PSM features. When using a combination of three similarity scores as a Percolator feature set, a number of PSMs are identified with q-values below 0.01 which were not identified by the corresponding Crux followed by Percolator workflow. If the average spectral similarity of predicted- and experimental spectra can be increased, and additional effective similarity scores can be added, this workflow could provide a useful tool for increasing PSM identifications from search engine results.

This study investigates the performance of two keypoint detection algorithms, SIFTand LoFTR, for vehicle re-recognition on a 2+1 road in Täby, utilizing three differentmethods: proportion of matches, ”gates” based on the values of the features andSupport Vector Machines (SVM). Data was collected from four strategically placedcameras, with a subset of the data manually annotated and divided into training,validation, and testing sets to minimize overfitting and ensure generalization. TheF1-score was used as the primary metric to evaluate the performance of the variousmethods. Results indicate that LoFTR outperforms SIFT across all methods, with theSVM method demonstrating the best performance and adaptability. The findings havepractical implications in security, traffic management, and intelligent transportationsystems, and suggest directions for future research in real-time implementation andgeneralization across varied camera placements.

This research project focuses on improving Near-Earth Object (NEO) detection using advanced machine learning techniques, particularly Vision Transformers (ViTs). The study addresses challenges such as noise, limited data, and class imbalance. The ViT model, initially designed for natural language tasks, has been adapted for image processing to effectively capture complex patterns and relationships in astronomical data. The methodology involved preparing a curated dataset of NEO images, resizing them to 128x128 pixels, and organizing them into triplet sequences. ViTs processed these sequences, leveraging self-attention and feed-forward neural networks (FFNNs) to distinguish NEOs from other objects as well as track the NEO’s trajectory. Multiple learning rates and batch sizes were tested, revealing the optimal combinations for stability and accuracy. The results revealed distinct behaviors associated with varying learning rates. Notably, the learning rate of 0.001 consistently demonstrated stable convergence in training and high accuracy in testing across different batch sizes. In contrast, a learning rate of 0.01 exhibited significant fluctuations in the loss function, indicating challenges in training stability. Conversely, a learning rate of 0.0001 showcased relatively low and consistent loss values during training. These insights highlight the potential of the ViT model for enhancing NEO detection by effectively capturing temporal and spatial patterns. Furthermore, the study emphasizes the significance of larger and more diverse datasets, addressing class imbalances, and enhancing model transparency for guiding future research. In summary, ViTs hold the potential to enhance NEO detection by shedding light on the dynamics of celestial objects and contributing to planetary defense initiatives. The knowledge gained from parameter exploration serves as valuable guidance for optimizing ViT models for NEO detection. Moreover, continuous advancements in NEO detection techniques pave the way for the discovery of previously unknown celestial entities. / Detta forskningsprojekt fokuserar på att förbättra detektering av Near-Earth Object (NEO) med hjälp av avancerad maskininlärningsteknik, särskilt Vision Transformers (ViTs). Studien tar upp utmaningar som buller, begränsad data och klassobalans. ViT-modellen, från början designad för naturliga språkuppgifter, har anpassats för bildbehandling för att effektivt fånga komplexa mönster och samband i astronomiska data. Metodiken innebar att förbereda en kurerad datauppsättning av NEO-bilder, ändra storlek på dem till 128x128 pixlar och organisera dem i triplettsekvenser. ViTs bearbetade dessa sekvenser, utnyttjade självuppmärksamhet och feedforward neurala nätverk (FFNNs) för att skilja NEOs från andra objekt samt spåra NEO’s bana. Flera inlärningshastigheter och batchstorlekar testades, vilket avslöjade de optimala kombinationerna för stabilitet och noggrannhet. Resultaten avslöjade distinkta beteenden associerade med varierande inlärningshastigheter. Noterbart visade inlärningshastigheten på 0,001 konsekvent stabil konvergens i träning och hög noggrannhet i testning över olika batchstorlekar. Däremot uppvisade en inlärningshastighet på 0,01 signifikanta fluktuationer i förlustfunktionen, vilket indikerar utmaningar i träningsstabilitet. Omvänt visade en inlärningshastighet på 0,0001 relativt låga och konsekventa förlustvärden under träning. Dessa insikter belyser potentialen hos ViT-modellen för att förbättra NEO-detektering genom att effektivt fånga tids- och rumsmönster. Dessutom betonar studien betydelsen av större och mer varierande datauppsättningar, tar itu med klassobalanser och förbättrar modelltransparensen för att vägleda framtida forskning.svis har ViTs potentialen att förbättra NEO-detektering genom att belysa dynamiken hos himmelska objekt och bidra till planetariska försvarsinitiativ. Kunskapen från parameterutforskning fungerar som värdefull vägledning för att optimera ViT-modeller för NEO-detektering. Dessutom banar kontinuerliga framsteg inom NEO-detektionstekniker vägen för upptäckten av tidigare okända himmelska entiteter.

Extractive question answering is a popular domain in the field of natural language processing, where machine learning models are tasked with answering questions given a context. Historically the field has been centered on monolingual models, but recently more and more multilingual models have been developed, such as Google’s MT5 [1]. Because of this, machine translations of English have been used when training and evaluating these models, but machine translations can be degraded and do not always reflect their target language fairly. This report investigates if complementary information stored in other languages can improve monolingual QA performance for languages where only machine translations are available. It also investigates if exposure to more languages can improve zero-shot cross-lingual QA performance (i.e. when the question and answer do not have matching languages) by providing complementary information. We fine-tune 3 different MT5 models on QA datasets consisting of machine translations, as well as one model on the datasets together in combination with 3 other datasets that are not translations. We then evaluate the different models on the MLQA and XQuAD datasets. The results show that for 2 out of the 3 languages evaluated, complementary information stored in other languages had a positive effect on the QA performance of the MT5. For zero-shot cross-lingual QA, the complementary information offered by the fused model lead to improved performance compared to 2/3 of the MT5 models trained only on translated data, indicating that complementary information from other languages do not offer any improvement in this regard. / Frågebesvaring (QA) är en populär domän inom naturlig språkbehandling, där maskininlärningsmodeller har till uppgift att svara på frågor. Historiskt har fältet varit inriktat på enspråkiga modeller, men nyligen har fler och fler flerspråkiga modeller utvecklats, till exempel Googles MT5 [1]. På grund av detta har maskinöversättningar av engelska använts vid träning och utvärdering av dessa modeller, men maskinöversättningar kan vara försämrade och speglar inte alltid deras målspråk rättvist. Denna rapport undersöker om kompletterande information som lagras i andra språk kan förbättra enspråkig QA-prestanda för språk där endast maskinöversättningar är tillgängliga. Den undersöker också om exponering för fler språk kan förbättra QA-prestanda på zero-shot cross-lingual QA (dvs. där frågan och svaret inte har matchande språk) genom att tillhandahålla kompletterande information. Vi finjusterar 3 olika modeller på QA-datamängder som består av maskinöversättningar, samt en modell på datamängderna tillsammans i kombination med 3 andra datamängder som inte är översättningar. Vi utvärderar sedan de olika modellerna på MLQA- och XQuAD-datauppsättningarna. Resultaten visar att för 2 av de 3 utvärderade språken hade kompletterande information som lagrats i andra språk en positiv effekt på QA-prestanda. För zero-shot cross-lingual QA leder den kompletterande informationen som erbjuds av den sammansmälta modellen till förbättrad prestanda jämfört med 2/3 av modellerna som tränats endast på översättningar, vilket indikerar att kompletterande information från andra språk inte ger någon förbättring i detta avseende.

Transformer models perform well on Natural Language Processing and Natural Language Understanding tasks. Training and fine-tuning of these models consume a large amount of data and computing resources. Fast inference also requires high-end hardware for user-facing products. While distillation, quantization, and head-pruning for transformer models are well- explored domains in academia, the practical application is not straightforward. Currently, for good accuracy of the optimized models, it is necessary to fine-tune them for a particular task. This makes the generalization of the model difficult. If the same model has to be used for multiple downstream tasks, then it would require applying the process of optimization with fine-tuning for each task. This thesis explores the techniques of quantization and pruning for optimization of the Language-Agnostic BERT Sentence Embedding (LaBSE) model without fine-tuning for a downstream task. This should enable the model to be generalized enough for any downstream task. The techniques explored in this thesis are dynamic quantization, static quantization, quantize-aware training quantization, and head-pruning. The downstream performance is evaluated using sentiment classification, intent classification, and language-agnostic classification tasks. The results show that LaBSE can be accelerated on the CPU to 2.6x its original inference time without any loss of accuracy. Head-pruning 50% of the heads from each layer leads to 1.2x speedup while removing all heads but one leads to 1.32x speedup. A speedup of almost 9x is achieved by combining quantization with head-pruning with average 8% drop in accuracy on downstream evaluation tasks. / Transformer-modeller ger bra resultat i uppgifter som rör behandling av och förståelse för naturligt språk. Träning och finjustering av dessa modeller kräver dock en stor mängd data och datorresurser. Snabb inferensförmåga kräver också högkvalitativ hårdvara för användarvänliga produkter och tjänster. Även om destillering, kvantisering och head-pruning för transformer-modeller är väl utforskade områden inom den akademiska världen är den praktiska tillämpningen inte okomplicerad. För närvarande är det nödvändigt att finjustera de optimerade modellerna för en viss uppgift för att uppnå god noggrannhet där. Detta gör det svårt att generalisera modellerna. Om samma modell skall användas för flera uppgifter i sekvens så måste man tillämpa optimeringsprocessen med finjustering för varje uppgift. I den här uppsatsen undersöks tekniker för kvantisering och prunering för optimering av LaBSE- modellen (Language-Agnostic BERT Sentence Embedding) utan finjustering för en downstream-uppgift. Detta bör göra det möjligt att generalisera modellen tillräckligt mycket för alla efterföljande uppgifter. De tekniker som undersöks är dynamisk kvantisering, statisk kvantisering, samt kvantisering för träning och head-pruning. Prestandan i efterföljande led utvärderas med hjälp av klassificering av känslor, avsiktsklassificering och språkagnostiska klassificeringsuppgifter. Resultaten visar att LaBSE kan öka effektiviteten hos CPU:n till 2,6 gånger sin ursprungliga inferenstid utan någon förlust av noggrannhet. Om 50% av huvudena från varje lager tas bort leder det till 1,2 gånger snabbare hastighet, medan det leder till 1,32 gånger snabbare hastighet om alla huvuden utom ett tas bort. Genom att kombinera kvantisering med head-pruning uppnås en ökning av hastigheten med nästan 9x, med en genomsnittlig minskning av noggrannheten med 8% i utvärderingsuppgifter nedströms.

The best performing Transformer-based Language Models are monolingual and mainly focus on high-resource languages such as English. In an attempt to extend their usage to more languages, multilingual models have been introduced. Nevertheless, multilingual models still underperform on a specific language when compared to a similarly sized monolingual model that has been trained solely on that specific language. The main objective of this thesis project is to explore how a multilingual model can be improved for Swedish which is a low-resource language. We study if a multilingual model can benefit from further pre-training on Swedish or on a mix of English and Swedish text before fine-tuning. Our results on the task of semantic text similarity show that further pre-training increases the Pearson Correlation Score by 5% for specific cross-lingual language settings. Taking into account the responsibilities that arise from the increased use of Language Models in real-world applications, we supplement our work by additional experiments that measure stereotypical biases associated to gender. We use a new dataset that we designed specifically for that purpose. Our systematic study compares Swedish to English as well as various model sizes. The insights from our exploration indicate that the Swedish language carries less bias associated to gender than English and that higher manifestation of gender bias is associated to the use of larger Language Models. / De bästa Transformerbaserade språkmodellerna är enspråkiga och fokuserar främst på resursrika språk som engelska. I ett försök att utöka deras användning till fler språk har flerspråkiga modeller introducerats. Flerspråkiga modeller underpresterar dock fortfarande på enskilda språk när man jämför med en enspråkig modell av samma storlek som enbart har tränats på det specifika språket. Huvudsyftet med detta examensarbete är att utforska hur en flerspråkig modell kan förbättras för svenska som är ett resurssnålt språk. Vi studerar om en flerspråkig modell kan dra nytta av ytterligare förträning på svenska eller av en blandning av engelsk och svensk text innan finjustering. Våra resultat på uppgiften om semantisk textlikhet visar att ytterligare förträning ökar Pearsons korrelationspoäng med 5% för specifika tvärspråkiga språkinställningar. Med hänsyn till det ansvar som uppstår från den ökade användningen av språkmodeller i verkliga tillämpningar, kompletterar vi vårt arbete med ytterligare experiment som mäter stereotypa fördomar kopplade till kön. Vi använder en ny datauppsättning som vi har utformat specifikt för det ändamålet. Vår systematiska studie jämför svenska med engelska samt olika modellstorlekar. Insikterna från vår forskning tyder på att det svenska språket har mindre partiskhet förknippat med kön än engelska, samt att högre manifestation av könsfördomar är förknippat med användningen av större språkmodeller.

Open Domain Question Answering (OpenQA) systems find an answer to a question from a large collection of unstructured documents. In this information era, we have an immense amount of data at our disposal. However, filtering all the content and trying to find the answers to our questions can be too time-consuming and ffdiicult. In addition, in such a globalised world, the information we look for to answer a question may be in a different language. Current research is focused on improving monolingual (English) OpenQA performance. This creates a disparity between the tools accessible between English and non-English speakers. The techniques explored in this study involve the combination of different methods, such as data augmentation and hard negative filtering for performance increase, and binary embeddings for improving the efficiency, with multilingual Transformers. The downstream performance is evaluated using sentiment multilingual datasets covering Cross-Lingual Transfer (XLT), question and answer in the same language, and Generalised Cross-Lingual Transfer (G-XLT), different languages for question and answer. The results show that data augmentation increased Recall by 37.0% and Mean Average Precision (MAP) by 67.0% using languages absent from the test set for XLT. Combining binary embeddings and hard negatives can reduce inference time and index size to 12.5% and 3.1% of the original, retaining 97.1% of the original Recall and 94.8% of MAP (averages of XLT and MAP). / Open Domain Question Answering (OpenQA)-system hittar svar på frågor till stora samlingar av ostrukturerade dokument. I denna informationsepok har vi en enorm mängd kunskap till vårt förfogande. Att filtrera allt innehåll för att försöka att hitta svar på våra frågor kan dock vara mycket tidskrävande och svårt. I en globaliserad värld kan informationen vi söker för att besvara en fråga dessutom vara på ett annat språk. Nuvarande forskning är primärt inriktad på att förbättra OpenQA:s enspråkiga (engelska) prestanda. Detta skapar ett gap mellan de verktyg som är tillgängliga för engelsktalande och icke-engelsktalande personer. De tekniker som undersöks i den här studien innebär en kombination av olika metoder, t.ex. dataförstärkning och hård negativ filtrering för att öka prestandan, och binära embeddings för att förbättra effektiviteten med flerspråkiga Transformatorer. Prestandan nedströms utvärderas med hjälp av flerspråkiga dataset som omfattar Cross-Lingual Transfer (XLT), fråga och svar på samma språk, och Generalised Cross-Lingual Transfer (G-XLT), olika språk för fråga och svar. Resultaten visar att dataförstärkning ökade recall med 37.0% och 67.0% för Mean Average Precision (MAP) med hjälp av språk som inte fanns med i testuppsättningen för XLT. Genom att kombinera binära embeddings och hårda negationer kan man minska tiden för inferens och indexstorleken till 12.5% och 3.1% av originalet, samtidigt som man behåller 97.1% av ursprunglig recall samt 94.8% av MAP (medelvärden av XLT och MAP).

An impedance-based core loss measurement technique for power ferrites, the modeling and analysis of mechanisms of high-frequency losses, and design methodology for optimization for high-frequency magnetics are presented. The high-frequency losses of ferrite materials are characterized employing a large-signal impedance measurement technique. The impedance analyzer controlled through an IEEE-488 interface, measures the impedance of the inductor under test under large signal excitation via a power amplifier. The core loss is a form of a parallel resistance is derived from measured impedance characteristics. A wideband impedance probe, enables core loss characterization up to 100 MHz. A comprehensive analysis of all major loss mechanisms in ferrites is presented. A new form of residual losses due to a magnetoelectric effect is postulated to account for losses at high frequencies. Two models of losses in ferrites are proposed, one with emphasis on analysis of loss mechanisms, and the other with an emphasis on the design of high-frequency magnetic components. Both models include the important effect of static bias field, which is the case in many power electronics applications. Magnetic losses due to magnetostriction are measured. Dependence of magnetoelastic resonances on the magnetic bias. core material, core shape and size is studied. The influence of diffusion after-effect on core loss under time-varying bias field is investigated. Thermal stability of high-frequency magnetics is studied. A verification of one- and two- dimensional models of winding losses for solid and litz wire is performed. The optimum design method for high-frequency power transformers and inductors is proposed. / PhD

<p dir="ltr">Modeling and simulation play a pivotal role in engineering and research, enabling cost effective solutions for design, manufacturing, and failure analysis, especially where physical testing is infeasible. This work explores numerical methods for multi-scale domains, where structures span diverse length scales, presenting unique challenges in meshing and accuracy. Advanced approaches such as domain decomposition and global-local methods are discussed, with an emphasis on their application in heterogeneous integration (HI) for advanced packaging. HI, which addresses the limitations of Moore’s Law, integrates diverse components into 2.5D and 3D architectures but introduces complex mechanical and thermo-mechanical challenges. This research addresses gaps in multi-scale numerical frameworks, proposing novel methods to handle non-linear physical evolution while maintaining compatibility with existing tools. A non-intrusive global-local inspired methodology that couples the local subdomain back to the global subdomain was implemented to increase the accuracy in non-linear multi-scale simulations involving evolution at local scale. The developed framework was then generalized to solve rate dependent and rate independent phenomenon. The work further extends into numerical methods for design of HI packages as well. Unlike detailed analysis, the design stage analysis prioritizes speed of computation with a first order accuracy of results. This is achieved using machine learning techniques for efficient design space exploration in HI. The study overall aims to advance computational frameworks tailored for accuracy in reliability analysis and speed in design stages, focusing on semiconductors and advanced packaging applications.</p>

The present work studies the disturbances created in the electric system of a pumped storage power plant, which is an hydraulic generation facility where the machines can work as turbines or pumps, by the operation of a static frequency converter (SFC). The SFC is used for starting the synchronous machines at the station when in the pump mode. During the starting process several equipment is connected to the SFC being possible to get affected by the disturbances generated. These disturbances mainly include the creation of transient overvoltages during the commutation of the semiconductor devices of the SFC and the introduction of harmonics in the network currents and voltages. This work analyzes the possible effects of the SFC operation over the station equipment based on computer simulations. For this purpose, the complete system was modeled and the starting process simulated in a computer transient simulator program. The work begins with a general review of the effects of electric disturbances over high voltage equipment and in particular of the disturbances generated by power electronics conversion equipment. Then the models for the different kind of equipment present in the system are discussed and formulated. The control system that governs the operation of the SFC during the starting process is analyzed later as well as the operation conditions. Once the model of the system is set up, the harmonic analysis of the electric network is done by frequency domain and time domain methods. Time domain methods are also employed for the analysis of the commutation transient produced by the SFC operation. Finally, the simulation results are used to evaluate the impact of the SFC operation on the station equipment, especially on the generator step up transformer. / Master of Science