When two human beings engage in a conversation, feedback is generally present since it helps in modulating and guiding the conversation for the involved parties. When a robotic agent engages in a conversation with a human, the robot is not capable of understanding the feedback given by the human as other humans would. In this thesis, we model human feedback as a Multivariate Time Series to be classified as positive, negative or neutral. We explore state-of-the-art Deep Learning architectures such as InceptionTime, a Convolutional Neural Network approach, and the Time Series Encoder, a Transformer approach. We demonstrate state-of-the art performance in accuracy, loss and f1-score of such models and improved performance in all metrics when compared to best performing approaches in previous studies such as the Random Forest Classifier. While InceptionTime and the Time Series Encoder reach an accuracy of 85.09% and 84.06% respectively, the Random Forest Classifier stays back with an accuracy of 81.99%. Moreover, InceptionTime reaches an f1-score of 85.07%, the Time Series Encoder of 83.27% and the Random Forest Classifier of 77.61%. In addition to this, we study the data classified by both Deep Learning approaches to outline relevant, redundant and trivial human feedback signals over the whole dataset as well as for the positive, negative and neutral cases. / När två människor konverserar, är feedback (återmatning) en del av samtalet eftersom det hjälper till att styra och leda samtalet för de samtalande parterna. När en robot-agent samtalar med en människa, kan den inte förstå denna feedback på samma sätt som en människa skulle kunna. I den här avhandlingen modelleras människans feedback som en flervariabeltidsserie (Multivariate Time Series) som klassificeras som positiv, negativ eller neutral. Vi utforskar toppmoderna djupinlärningsarkitekturer som InceptionTime, en CNN-metod och Time Series Encoder, som är en Transformer-metod. Vi uppnår hög noggrannhet, F1 och lägre värden på förlustfunktionen jämfört med tidigare högst presterande metoder, som Random Forest-metoder. InceptionTime och Time Series Encoder uppnår en noggrannhet på 85,09% respektive 84,06%, men Random Forest-klassificeraren uppnår endast 81,99%. Dessutom uppnår InceptionTime ett F1 på 85,07%, Time Series Encoder 83,27%, och Random Forest-klassificeraren 77,61. Utöver detta studerar vi data som har klassificerats av båda djupinlärningsmetoderna för att hitta relevanta, redundanta och enklare mänskliga feedback-signaler över hela datamängden, samt för positiva, negativa och neutrala datapunkter.

There is a growing use of the internet and alongside that, there has been an increase in the use of toxic language towards other people that can be harmful to those that it targets. The usefulness of artificial intelligence has exploded in recent years with the development of natural language processing, especially with the use of transformers. One of the first ones was BERT, and that has spawned many variations including ones that aim to be more lightweight than the original ones. The goal of this project was to train three different kinds of transformer models, RoBERTa, ALBERT, and DistilBERT, and find out which one was best at identifying toxic language online. The models were trained on a handful of existing datasets that had labelled data as abusive, hateful, harassing, and other kinds of toxic language. These datasets were combined to create a dataset that was used to train and test all of the models. When tested against data collected in the datasets, there was very little difference in the overall performance of the models. The biggest difference was how long it took to train them with ALBERT taking approximately 2 hours, RoBERTa, around 1 hour and DistilBERT just over half an hour. To understand how well the models worked in a real-world scenario, the models were evaluated by labelling text as toxic or non-toxic on three different subreddits. Here, a larger difference in performance showed up. DistilBERT labelled significantly fewer instances as toxic compared to the other models. A sample of the classified data was manually annotated, and it showed that the RoBERTa and DistilBERT models still performed similarly to each other. A second evaluation was done on the data from Reddit and a threshold of 80% certainty was required for the classification to be considered toxic. This led to an average of 28% of instances being classified as toxic by RoBERTa, whereas ALBERT and DistilBERT classified an average of 14% and 11% as toxic respectively. When the results from the RoBERTa and DistilBERT models were manually annotated, a significant improvement could be seen in the performance of the models. This led to the conclusion that the DistilBERT model was the most suitable model for training and classifying toxic language of the lightweight models tested in this work.

Training a deep neural network from scratch can be very expensive in terms of resources.In addition, training a neural network on a new task is usually done by training themodel form scratch. Recently there are new approaches in machine learning which usesthe knowledge from a pre-trained deep neural network on a new task. The technique ofreusing the knowledge from previously trained deep neural networks is called Transferlearning. In this paper we are going to evaluate transfer learning capabilities of deep neuralnetwork architectures for image classification. This research attempts to implementtransfer learning with different datasets and models in order to investigate transfer learningin different situations.

Bidirectional Encoder Representations from Transformers (BERT) is a recently proposed language representation model, designed to pre-train deep bidirectional representations, with the goal of extracting context-sensitive features from an input text [1]. One of the challenging problems in the field of Natural Language Processing is Conversational Machine Comprehension (CMC). Given a context passage, a conversational question and the conversational history, the system should predict the answer span of the question in the context passage. The main challenge in this task is how to effectively encode the conversational history into the prediction of the next answer. In this thesis work, we investigate the use of the BERT language model for the CMC task. We propose a new architecture, named BERT-CMC, using the BERT model as a base. This architecture includes a new module for encoding the conversational history, inspired by the Transformer-XL model [2]. This module serves the role of memory throughout the conversation. The proposed model is trained and evaluated on the Conversational Question Answering dataset (CoQA) [3]. Our hypothesis is that the BERT-CMC model will effectively learn the underlying context of the conversation, leading to better performance than the baseline model proposed for CoQA. Our results of evaluating the BERT-CMC on the CoQA dataset show that the model performs poorly (44.7% F1 score), comparing to the CoQA baseline model (66.2% F1 score). In the light of model explainability, we also perform a qualitative analysis of the model behavior in questions with various linguistic phenomena eg coreference, pragmatic reasoning. Additionally, we motivate the critical design choices made, by performing an ablation study of the effect of these choices on the model performance. The results suggest that fine tuning the BERT layers boost the model performance. Moreover, it is shown that increasing the number of extra layers on top of BERT leads to bigger capacity of the conversational memory. / Bidirectional Encoder Representations from Transformers (BERT) är en nyligen föreslagen språkrepresentationsmodell, utformad för att förträna djupa dubbelriktade representationer, med målet att extrahera kontextkänsliga särdrag från en inmatningstext [1]. Ett utmanande problem inom området naturligtspråkbehandling är konversationsförståelse (förkortat CMC). Givet en bakgrundstext, en fråga och konversationshistoriken ska systemet förutsäga vilken del av bakgrundstexten som utgör svaret på frågan. Den viktigaste utmaningen i denna uppgift är hur man effektivt kan kodifiera konversationshistoriken i förutsägelsen av nästa svar. I detta examensarbete undersöker vi användningen av BERT-språkmodellen för CMC-uppgiften. Vi föreslår en ny arkitektur med namnet BERT-CMC med BERT-modellen som bas. Denna arkitektur innehåller en ny modul för kodning av konversationshistoriken, inspirerad av Transformer-XL-modellen [2]. Den här modulen tjänar minnets roll under hela konversationen. Den föreslagna modellen tränas och utvärderas på en datamängd för samtalsfrågesvar (CoQA) [3]. Vår hypotes är att BERT-CMC-modellen effektivt kommer att lära sig det underliggande sammanhanget för konversationen, vilket leder till bättre resultat än basmodellen som har föreslagits för CoQA. Våra resultat av utvärdering av BERT-CMC på CoQA-datasetet visar att modellen fungerar dåligt (44.7% F1 resultat), jämfört med CoQAbasmodellen (66.2% F1 resultat). För att bättre kunna förklara modellen utför vi också en kvalitativ analys av modellbeteendet i frågor med olika språkliga fenomen, t.ex. koreferens, pragmatiska resonemang. Dessutom motiverar vi de kritiska designvalen som gjorts genom att utföra en ablationsstudie av effekten av dessa val på modellens prestanda. Resultaten tyder på att finjustering av BERT-lager ökar modellens prestanda. Dessutom visas att ökning av antalet extra lager ovanpå BERT leder till större konversationsminne.

Detta arbete har undersökt påverkan av en ökad solcellsinstallation på fördelningsstationen FS25 Änge med hjälp av historiska data och antaganden. Det har även undersökts hur ett batterilagringssystem skulle kunna hjälpa nätet vid den ökade mängden solcellsinstallationer. Arbetet har riktat sig mot den dagen då solproduktion förväntas vara som högst samtidigt som övrig tid på året beaktats. Den komponent som varit huvudfokus är transformatorerna i nätet. Tre scenarion har kollat på där solcellsimplementering skett i graderna 100%, 70% och 50% av alla kunder under respektive nätstation. Det visade sig att det största problemet är i fördelningsstationen som är dimensionerad utefter sammanlagring. När det kommer till solproduktion går det inte räkna med sammanlagring då den producerar som högst för alla anläggningar samtidigt. Därefter diskuteras de möjligheter som finns för att hjälpa FS25 Änge under överbelastning där BESS implementerades men även flexmarknaden kom upp som en möjlighet. Avslutningsvis diskuterades framtida arbete som skulle behöva göras på detta ämne, där det arbetet som är mest aktuellt är att se påverkan hos elsystemet om det installerades batterier hos alla kunder och inte bara de som ligger under en överbelastad transformator. / This work has examined the impact of increased PV-implementation on distribution station FS25 Änge using historical data and assumptions. It has also examined how a battery energy storage system could assist the grid with the increased amount of PV- installations. The focus of the work has been on the day when the solar production is expected to be at its highest while considering the rest of the year. The component that has been the focus is the power transformers in the grid. Three scenarios have been examined where solar cell implementation has occurred to the degrees of 100%, 70%, and 50% of all customers at each substation, respectively. It turned out that the biggest problem is in the distribution station, which is dimensioned based on aggregated storage. When it comes to solar production, aggregated storage cannot be considered as it produces at its highest for all consumers simultaneously. Furthermore, the possibilities to assist FS25 Änge during overload were discussed, where Battery Energy Storage Systems (BESS) were implemented, and the flexibility local market emerged as a potential solution. Finally, future work that needs to be done on this topic was discussed, with the most relevant being to examine the impact on the electrical system if batteries were installed for all customers, not just those under an overloaded power transformer.

La diffusion des Fake News sur les réseaux sociaux est devenue un problème central ces dernières années. Notamment, hoaxy rapporte que les efforts de fact checking prennent généralement 10 à 20 heures pour répondre à une fake news, et qu'il y a un ordre de magnitude en plus de fake news que de fact checking. Le fact checking automatique pourrait aider en accélérant le travail humain et en surveillant les tendances dans les fake news. Dans un effort contre la désinformation, nous résumons le domaine de Fact Checking Automatique basé sur le contenu en 3 approches: les modèles avec aucune connaissances externes, les modèles avec un Graphe de Connaissance et les modèles avec une Base de Connaissance. Afin de rendre le Fact Checking Automatique plus accessible, nous présentons pour chaque approche une architecture efficace avec le poids en mémoire comme préoccupation, nous discutons aussi de comment chaque approche peut être appliquée pour faire usage au mieux de leur charactéristiques. Nous nous appuyons notamment sur la version distillée du modèle de langue BERT tinyBert, combiné avec un partage fort des poids sur 2 approches pour baisser l'usage mémoire en préservant la précision. / The spreading of fake news on social media has become a concern in recent years. Notably, hoaxy found that fact checking generally takes 10 to 20 hours to respond to a fake news, and that there is one order of magnitude more fake news than fact checking. Automatic fact checking could help by accelerating human work and monitoring trends in fake news. In the effort against disinformation, we summarize content-based automatic fact-checking into 3 approaches: models with no external knowledge, models with a Knowledge Graph and models with a Knowledge Base. In order to make Automatic Fact Checking more accessible, we present for each approach an effective architecture with memory footprint in mind and also discuss how they can be applied to make use of their different characteristics. We notably rely on distilled version of the BERT language model tinyBert, combined with hard parameter sharing on two approaches to lower memory usage while preserving the accuracy.

Masspektrometri (MS) är en analysmetod som indikerar provers kemiska sammansättning. Provernas innehåll fragmenteras och joniseras, varefter jonernas förhållande mellan massa och laddning (m/z) och sammanlagda intensiteter mäts i form av ett masspektrum. Tandem-masspektrometri (MS/MS eller MS2) innebär att prover utsätts för MS i två omgångar, där den första resulterar i s.k precursor-joner med skilda m/z och den följande MS omgången analyserar masspektrum från varje precursor-jon. MS2 leder till masspektrum med hög upplösning vilket är användbart vid analys av komplexa prover. Proteinsammansättning i biologiska prover är ett exempel på en typ av vetenskapligt- och kliniskt viktig provtyp samt en mycket komplex sådan. Analysmetoder där MS2 används för sådan analys kallas shotgun-proteomik, vilka tar hänsyn till det extremt stora antalet möjliga peptider genom att använda specifika algoritmer för databehandling. Målet är att identifiera peptid-spektrum matchningar (PSMs), d.v.s att uppskatta vilka peptider som gett upphov till de observerade MS2-spektrumen. I detta syfte används sökmotorer som uppskattar vilka peptider som bäst matchar de precursor-jonerna som för varje MS-spektrum, och bibliotekssökning där MS2-spektrum jämförs med dokumenterade MS2-spektrum som härstammar från diverse peptider för att hitta bäst matchning. I detta projekt utnyttjas en nyligen utvecklad algoritm, en spektrumprediktor, för att skapa en workflow där peptiders masspektrum predikeras utifrån PSMs som hittats av en sökmotor. Därefter jämförs predikerade spektrum med de experimentella spektrumen som användes av sökmotorn, och likheten mellan paren av spektrum räknas ut. Projektet har som mål att kombinera fördelarna med sökmotorer och med bibliotekssökning genom att använda de uträknade likheterna mellan spektrum för att öka antalet PSMs som kan identifieras för den experimentella datan. Genom att använda PSM post-processorn Percolator så kan den uträknade likheten mellan par av spektrum leda till fler PSM-identifikationer då likheten implementeras som features i Percolator. Resultaten av detta visar att Percolator kan identifiera PSMs utifrån features baserade på likhet mellan par av spektrum, varav vissa har q-värden under 0.01 och vissa inte kunde identifieras då Percolator användes i kombination med sökmotorn Crux. Om metoden kan förbättras genom att öka den genomsnittliga likheten mellan par av spektrum, samt om fler mått på likhet implementeras, så kan metoden som beskrivs i projektet bidra till att öka antalet PSM-identifikationer utifrån sökmotorresultat. / Mass spectrometry (MS) is an analysis method revealing chemical composition of samples by fragmenting and ionizing the sample contents and measuring the mass-to-charge ratio (m/z) and cumulative intensity of each produced ion as an ion mass spectrum. Tandem mass spectrometry (MS/MS or MS2) uses two round of MS, the first to produce a set of precursor ions with distinct m/z, and then sequentially analyzing the ionization pattern of each precursor ion with a second round of MS. For complex samples, MS2 provides vastly increased ability to resolve the sample contents. Protein contents of biological samples represents both a critically important analysis target and a highly complex sample type. Analysis of such samples using MS2 is known as shotgun proteomics. The vast number of possible peptides in these samples necessitates the use of specialized algorithms when interpreting MS2 results data which aim to find peptide-spectrum matches (PSMs) between spectra and peptides identities. This includes search engines that predict which peptides best match each MS2 precursor ion, as well as library searching which match known peptide spectra to the MS2 spectral data. This project uses a recent advancement in shotgun proteomics, spectrum predictors, in a workflow that predicts peptide fragment spectra based on peptide identities suggested by a search engine, and calculates spectral similarity between the predicted peptide spectra and the experimental spectra which were assigned these peptides. This method aims to combine the strengths of both search engines and library searching, and to use the similarity score between experimental and predicted spectra to increase the number of spectra that can be confidently matched to a peptide identity. This project utilizes the PSM post-processor Percolator to rescore PSMs after introducing predicted spectrum similarity as a feature of the PSMs. The results indicate that the predicted spectrum similarity score is able to identify additional PSMs when used as a Percolator feature, when compared to the default Percolator PSM features. When using a combination of three similarity scores as a Percolator feature set, a number of PSMs are identified with q-values below 0.01 which were not identified by the corresponding Crux followed by Percolator workflow. If the average spectral similarity of predicted- and experimental spectra can be increased, and additional effective similarity scores can be added, this workflow could provide a useful tool for increasing PSM identifications from search engine results.

This study investigates the performance of two keypoint detection algorithms, SIFTand LoFTR, for vehicle re-recognition on a 2+1 road in Täby, utilizing three differentmethods: proportion of matches, ”gates” based on the values of the features andSupport Vector Machines (SVM). Data was collected from four strategically placedcameras, with a subset of the data manually annotated and divided into training,validation, and testing sets to minimize overfitting and ensure generalization. TheF1-score was used as the primary metric to evaluate the performance of the variousmethods. Results indicate that LoFTR outperforms SIFT across all methods, with theSVM method demonstrating the best performance and adaptability. The findings havepractical implications in security, traffic management, and intelligent transportationsystems, and suggest directions for future research in real-time implementation andgeneralization across varied camera placements.

This research project focuses on improving Near-Earth Object (NEO) detection using advanced machine learning techniques, particularly Vision Transformers (ViTs). The study addresses challenges such as noise, limited data, and class imbalance. The ViT model, initially designed for natural language tasks, has been adapted for image processing to effectively capture complex patterns and relationships in astronomical data. The methodology involved preparing a curated dataset of NEO images, resizing them to 128x128 pixels, and organizing them into triplet sequences. ViTs processed these sequences, leveraging self-attention and feed-forward neural networks (FFNNs) to distinguish NEOs from other objects as well as track the NEO’s trajectory. Multiple learning rates and batch sizes were tested, revealing the optimal combinations for stability and accuracy. The results revealed distinct behaviors associated with varying learning rates. Notably, the learning rate of 0.001 consistently demonstrated stable convergence in training and high accuracy in testing across different batch sizes. In contrast, a learning rate of 0.01 exhibited significant fluctuations in the loss function, indicating challenges in training stability. Conversely, a learning rate of 0.0001 showcased relatively low and consistent loss values during training. These insights highlight the potential of the ViT model for enhancing NEO detection by effectively capturing temporal and spatial patterns. Furthermore, the study emphasizes the significance of larger and more diverse datasets, addressing class imbalances, and enhancing model transparency for guiding future research. In summary, ViTs hold the potential to enhance NEO detection by shedding light on the dynamics of celestial objects and contributing to planetary defense initiatives. The knowledge gained from parameter exploration serves as valuable guidance for optimizing ViT models for NEO detection. Moreover, continuous advancements in NEO detection techniques pave the way for the discovery of previously unknown celestial entities. / Detta forskningsprojekt fokuserar på att förbättra detektering av Near-Earth Object (NEO) med hjälp av avancerad maskininlärningsteknik, särskilt Vision Transformers (ViTs). Studien tar upp utmaningar som buller, begränsad data och klassobalans. ViT-modellen, från början designad för naturliga språkuppgifter, har anpassats för bildbehandling för att effektivt fånga komplexa mönster och samband i astronomiska data. Metodiken innebar att förbereda en kurerad datauppsättning av NEO-bilder, ändra storlek på dem till 128x128 pixlar och organisera dem i triplettsekvenser. ViTs bearbetade dessa sekvenser, utnyttjade självuppmärksamhet och feedforward neurala nätverk (FFNNs) för att skilja NEOs från andra objekt samt spåra NEO’s bana. Flera inlärningshastigheter och batchstorlekar testades, vilket avslöjade de optimala kombinationerna för stabilitet och noggrannhet. Resultaten avslöjade distinkta beteenden associerade med varierande inlärningshastigheter. Noterbart visade inlärningshastigheten på 0,001 konsekvent stabil konvergens i träning och hög noggrannhet i testning över olika batchstorlekar. Däremot uppvisade en inlärningshastighet på 0,01 signifikanta fluktuationer i förlustfunktionen, vilket indikerar utmaningar i träningsstabilitet. Omvänt visade en inlärningshastighet på 0,0001 relativt låga och konsekventa förlustvärden under träning. Dessa insikter belyser potentialen hos ViT-modellen för att förbättra NEO-detektering genom att effektivt fånga tids- och rumsmönster. Dessutom betonar studien betydelsen av större och mer varierande datauppsättningar, tar itu med klassobalanser och förbättrar modelltransparensen för att vägleda framtida forskning.svis har ViTs potentialen att förbättra NEO-detektering genom att belysa dynamiken hos himmelska objekt och bidra till planetariska försvarsinitiativ. Kunskapen från parameterutforskning fungerar som värdefull vägledning för att optimera ViT-modeller för NEO-detektering. Dessutom banar kontinuerliga framsteg inom NEO-detektionstekniker vägen för upptäckten av tidigare okända himmelska entiteter.

Extractive question answering is a popular domain in the field of natural language processing, where machine learning models are tasked with answering questions given a context. Historically the field has been centered on monolingual models, but recently more and more multilingual models have been developed, such as Google’s MT5 [1]. Because of this, machine translations of English have been used when training and evaluating these models, but machine translations can be degraded and do not always reflect their target language fairly. This report investigates if complementary information stored in other languages can improve monolingual QA performance for languages where only machine translations are available. It also investigates if exposure to more languages can improve zero-shot cross-lingual QA performance (i.e. when the question and answer do not have matching languages) by providing complementary information. We fine-tune 3 different MT5 models on QA datasets consisting of machine translations, as well as one model on the datasets together in combination with 3 other datasets that are not translations. We then evaluate the different models on the MLQA and XQuAD datasets. The results show that for 2 out of the 3 languages evaluated, complementary information stored in other languages had a positive effect on the QA performance of the MT5. For zero-shot cross-lingual QA, the complementary information offered by the fused model lead to improved performance compared to 2/3 of the MT5 models trained only on translated data, indicating that complementary information from other languages do not offer any improvement in this regard. / Frågebesvaring (QA) är en populär domän inom naturlig språkbehandling, där maskininlärningsmodeller har till uppgift att svara på frågor. Historiskt har fältet varit inriktat på enspråkiga modeller, men nyligen har fler och fler flerspråkiga modeller utvecklats, till exempel Googles MT5 [1]. På grund av detta har maskinöversättningar av engelska använts vid träning och utvärdering av dessa modeller, men maskinöversättningar kan vara försämrade och speglar inte alltid deras målspråk rättvist. Denna rapport undersöker om kompletterande information som lagras i andra språk kan förbättra enspråkig QA-prestanda för språk där endast maskinöversättningar är tillgängliga. Den undersöker också om exponering för fler språk kan förbättra QA-prestanda på zero-shot cross-lingual QA (dvs. där frågan och svaret inte har matchande språk) genom att tillhandahålla kompletterande information. Vi finjusterar 3 olika modeller på QA-datamängder som består av maskinöversättningar, samt en modell på datamängderna tillsammans i kombination med 3 andra datamängder som inte är översättningar. Vi utvärderar sedan de olika modellerna på MLQA- och XQuAD-datauppsättningarna. Resultaten visar att för 2 av de 3 utvärderade språken hade kompletterande information som lagrats i andra språk en positiv effekt på QA-prestanda. För zero-shot cross-lingual QA leder den kompletterande informationen som erbjuds av den sammansmälta modellen till förbättrad prestanda jämfört med 2/3 av modellerna som tränats endast på översättningar, vilket indikerar att kompletterande information från andra språk inte ger någon förbättring i detta avseende.