Training deep-learning networks to segment a particular region of interest (ROI) in 3D medical acquisitions (also called volumes) usually requires annotating a lot of data upstream because of the predominant fully supervised nature of the existing stateof-the-art models. To alleviate this annotation burden for medical experts and the associated cost, leveraging self-learning models, whose strength lies in their ability to be trained with unlabeled data, is a natural and straightforward approach. This work thus investigates a self-supervised model (called “self-learning” in this study) to segment the liver as a whole in medical acquisitions, which is very valuable for doctors as it provides insights for improved patient care. The self-learning pipeline utilizes only a single-slice (or a few-slice) groundtruth annotation to propagate the annotation iteratively in 3D and predict the complete segmentation mask for the entire volume. The segmentation accuracy of the tested models is evaluated using the Dice score, a metric commonly employed for this task. Conducting this study on Computed Tomography (CT) acquisitions to annotate the liver, the initial implementation of the self-learning framework achieved a segmentation accuracy of 0.86 Dice score. Improvements were explored to address the drifting of the mask propagation, which eventually proved to be of limited benefits. The proposed method was then compared to the fully supervised nnU-Net baseline, the state-of-the-art deep-learning model for medical image segmentation, using fully 3D ground-truth (Dice score ∼ 0.96). The final framework was assessed as an annotation tool. This was done by evaluating the segmentation accuracy of the state-of-the-art nnU-Net trained with annotation predicted by the self-learning pipeline for a given expert annotation budget. While the self-learning framework did not generate accurate enough annotation from a single slice annotation yielding an average Dice score of ∼ 0.85, it demonstrated encouraging results when two ground-truth slice annotations per volume were provided for the same annotation budget (Dice score of ∼ 0.90). / Att träna djupinlärningsnätverk för att segmentera en viss region av intresse (ROI) i medicinska 3D-bilder (även kallade volymer) kräver vanligtvis att en stor mängd data kommenteras uppströms på grund av den dominerande helt övervakade karaktären hos de befintliga toppmoderna modellerna. För att minska annoteringsbördan för medicinska experter samt den associerade kostnaden är det naturligt och enkelt att utnyttja självlärande modeller, vars styrka ligger i förmågan att tränas med omärkta data. Detta arbete undersöker således en självövervakad modell (“kallas ”självlärande” i denna studie) för att segmentera levern som helhet i medicinska skanningar, vilket är mycket värdefullt för läkare eftersom det ger insikter för förbättrad patientvård. Den självlärande pipelinen använder endast en enda skiva (eller några få skivor) för att sprida annotationen iterativt i 3D och förutsäga den fullständiga segmenteringsmasken för hela volymen. Segmenteringsnoggrannheten hos de testade modellerna utvärderas med hjälp av Dice-poängen, ett mått som vanligtvis används för denna uppgift. Vid genomförandet av denna studie på CT-förvärv för att annotera levern uppnådde den initiala implementeringen av det självlärande ramverket en segmenteringsnoggrannhet på 0,86 Dice-poäng. Förbättringar undersöktes för att hantera driften av maskutbredningen, vilket så småningom visade sig ha begränsade fördelar. Den föreslagna metoden jämfördes sedan med den helt övervakade nnU-Net-baslinjen, den toppmoderna djupinlärningsmodellen för medicinsk bildsegmentering, med hjälp av helt 3D-baserad sanning (Dice-poäng ∼ 0, 96). Det slutliga ramverket bedömdes som ett annoteringsverktyg. Detta gjordes genom att utvärdera segmenteringsnoggrannheten hos det toppmoderna nnU-Net som tränats med annotering som förutspåtts av den självlärande pipelinen för en given budget för expertannotering. Det självlärande ramverket genererade inte tillräckligt noggranna annoteringar från baserat på endast en snittannotering och resulterade i en genomsnittlig Dice-poäng på ∼ 0, 85, men uppvisade uppmuntrande resultat när två verkliga snittannoteringar per volym tillhandahölls för samma anteckningsbudget (Dice-poäng på ∼ 0, 90).

Deep learning works best with vast andd well-distributed data collections. However, collecting and annotating large data sets can be very time-consuming and expensive. Moreover, deep learning is specific to domain knowledge, even with data and computation. E.g., models trained to classify animals would probably underperform when they classify vehicles. Although techniques such as domain adaptation and transfer learning have been popularised recently, tasks in cross-domain knowledge transfer have also taken off. However, most of these works are limited to computer vision. In the domain of time series, this is relatively underexplored. This thesis explores methods to use time series data from one domain to classify data generated from another domain via transfer learning. It focuses on using accelerometer data from running recordings to improve the classification performance on jumping data based on the apparent similarity of individual recordings. Thus, transfer learning and domain adaptation techniques were used to use the learning acquired through deep model training on running sequences. This thesis has performed four experiments to test this domain similarity. The first one consists of transforming time series with the continuous wavelet transform to get both time and frequency information. The model is then pre-trained within a contrastive learning framework. However, the continuous wavelet transformation (CWT) did not improve the classification results. The following two experiments consisted of pre-training the models with self-supervised learning. The first one with a contrastive pretext-task improved the classification results, and the resilience to data decrease. The second one with a forward forecasting pretext-task improved the results when all the data was available but was very sensitive to data decrease. Finally, the domain adaptation was tested and showed interesting performances on the classification task. Although some of the employed techniques did not show improvement, pre-training using contrastive learning on the running dataset has shown great improvement to classify the jumping dataset. / Djupinlärning fungerar bäst med stora och väl distribuerade datasamlingar. Det kan dock vara mycket tidskrävande och dyrt att samla in och kommentera stora datamängder. Även med alla data och beräkningar är djupinlärning specifik för domänkunskap. Exempelvis skulle modeller som tränats för att klassificera djur förmodligen underprestera när de klassificerar fordon. Även om tekniker som domänanpassning och överföringsinlärning har populariserats på senare tid, har även uppgifter inom kunskapsöverföring mellan olika domäner tagit fart. De flesta av dessa arbeten är dock begränsade till datorseende. Inom tidsseriernas område är detta relativt outforskat. I den här avhandlingen undersöks metoder för att använda tidsseriedata från en domän för att klassificera data från en annan domän med hjälp av djupinlärning. Fokus ligger på att använda accelerometerdata från löpning för att förbättra klassificeringen av hoppdata, baserat på den uppenbara likheten mellan löpning och hoppning. Således användes tekniker för överföringsinlärning och domänanpassning för att använda den inlärning som förvärvats genom träning av djupa modeller på löpsekvenser. I den här avhandlingen har fyra experiment utförts för att testa denna domänlikhet. Det första består av att omvandla tidsserier med den kontinuerliga wavelettransformen för att få fram både tids- och frekvensinformation. Modellen förtränas sedan inom en ram för kontrastiv inlärning. Användningen av CWT förbättrade dock inte klassificeringsresultaten. De följande två experimenten bestod av att förträna modellerna med självövervakad inlärning. Det första försöket med en kontrasterande förtextuppgift förbättrade klassificeringsresultaten och motståndskraften mot dataförlust. Det andra försöket med en prognostiserande förtextuppgift förbättrade resultaten när alla data var tillgängliga, men var mycket känslig för dataförlust. Slutligen testades domänanpassningen och visade intressanta resultat i klassificeringsuppgiften. Även om några av de använda teknikerna inte visade någon förbättring, har förträning med hjälp av kontrastinlärning på löpande dataset visat sig ge stora förbättringar när det gäller klassificering av hoppdata.

Transformers have shown remarkable results in the domains of Natural Language Processing and Computer Vision. This naturally raises the question whether the success could be replicated in other domains. However, due to Transformers being inherently data hungry and sensitive to weight initialization, applying the Transformer to new domains is quite a challenging task. Previously, the data demands have been met using large scale supervised or self-supervised pre-training on a similar task before supervised fine-tuning on a target down stream task. We show that Transformers are applicable for the task of multi-label error classification of trace data, and that masked data modelling based self-supervised learning methods can be used to leverage unlabelled data to increase performance compared to a baseline supervised learning approach. / Transformers har visat upp anmärkningsvärda resultat inom områdena Natural Language Processing och Computer Vision. Detta väcker naturligtvis frågan om dessa framgångar kan upprepas inom andra områden. På grund av att transformatorer i sig är datahungriga och känsliga för initialisering av vikt är det dock en utmaning att tillämpa transformatorn på nya områden. Tidigare har datakraven tillgodosetts med hjälp av storskalig övervakad eller självövervakad förträning på en liknande uppgift före övervakad finjustering på en måluppgift i efterföljande led. Vi visar att transformatorer kan användas för klassificering av spårdata med flera etiketter och att metoder för självövervakad inlärning som bygger på modellering av maskerade data kan användas för att utnyttja omärkta data för att öka prestandan jämfört med en grundläggande övervakad inlärningsmetod.

With the ever growing media and music catalogs, tools that search and navigate this data are important. For more complex search queries, meta-data is needed, but to manually label the vast amounts of new content is impossible. In this thesis, automatic labeling of musical instrument activities in song mixes is investigated, with a focus on ways to alleviate the lack of annotated data for instrument activity detection models. Two methods for alleviating the problem of small amounts of data are proposed and evaluated. Firstly, a self-supervised approach based on automatic labeling and mixing of randomized instrument stems is investigated. Secondly, a domain-adaptation approach that trains models on sampled MIDI files for instrument activity detection on recorded music is explored. The self-supervised approach yields better results compared to the baseline and points to the fact that deep learning models can learn instrument activity detection without an intrinsic musical structure in the audio mix. The domain-adaptation models trained solely on sampled MIDI files performed worse than the baseline, however using MIDI data in conjunction with recorded music boosted the performance. A hybrid model combining both self-supervised learning and domain adaptation by using both sampled MIDI data and recorded music produced the best results overall. / I och med de ständigt växande media- och musikkatalogerna krävs verktyg för att söka och navigera i dessa. För mer komplexa sökförfrågningar så behövs det metadata, men att manuellt annotera de enorma mängderna av ny data är omöjligt. I denna uppsats undersöks automatisk annotering utav instrumentsaktivitet inom musik, med ett fokus på bristen av annoterad data för modellerna för instrumentaktivitetsigenkänning. Två metoder för att komma runt bristen på data föreslås och undersöks. Den första metoden bygger på självövervakad inlärning baserad på automatisk annotering och slumpartad mixning av olika instrumentspår. Den andra metoden använder domänadaption genom att träna modeller på samplade MIDI-filer för detektering av instrument i inspelad musik. Metoden med självövervakning gav bättre resultat än baseline och pekar på att djupinlärningsmodeller kan lära sig instrumentigenkänning trots att ljudmixarna saknar musikalisk struktur. Domänadaptionsmodellerna som endast var tränade på samplad MIDI-data presterade sämre än baseline, men att använda MIDI-data tillsammans med data från inspelad musik gav förbättrade resultat. En hybridmodell som kombinerade både självövervakad inlärning och domänadaption genom att använda både samplad MIDI-data och inspelad musik gav de bästa resultaten totalt.

Modern day society is vastly complex, with information and data constantly being posted, shared, and collected everywhere. There is often an abundance of massive amounts of unlabeled data that can not be leveraged in a supervised machine learning context. Thus, there exists an incentive to research and develop machine learning methods which can learn without labels. Selfsupervised learning (SSL) is a newly emerged machine learning paradigm that aims to learn representations that can later be used in domain specific downstream tasks. In this degree project three SSL models based on the Simple Framework for Contrastive Learning of Visual Representations (SimCLR) are evaluated. Each model aims to learn sleep deprivation related representations on magnetoencephalography (MEG) measurements. MEG is a non-invasive neuroimaging technique that is used on humans to investigate neuronal activity. The data was acquired through a collaboration with Karolinska Institutet and Stockholm University, where the SLEMEG project was conducted to study the neurophysiological response to partial sleep deprivation. The features extracted by the SSL-models are analyzed both qualitatively and quantitatively, and also used to perform classification and regression tasks on subject labels. The results show that the evaluated Signal- and Recording SimCLR models can learn sleep deprivation related features, whilst simultaneously learning other co-occuring information also. Furthermore, the results indicate that the learned representations are informative and can be utilized for multiple downstream tasks. However, it is noted that what has been learned is mostly related to subject-specific individual variance, which leads to poor generalization performance on classification and regression downstream tasks. Thus, it is believed that the models would perform better with access to more MEG data, and that source localized MEG data could remove part of the individual variance that is learned. / Den moderna dagens samhälle är enormt komplext, information och data blir konstant postat, delat, och insamlat överallt. På grund av det så finns det ofta ett överflöd av massiva mängder omärkt data some inte kan användas i ett övervakat maskininlärnings-sammanhang. Därmed finns det ett incitament att forska om och utveckla maskininlärningsmetoder som kan lära modeller utan tillgång till märkningar. Självövervakad inlärning (SSL) är en modern metod som nyligen har fått mycket fokus, vars mål är att lära sig representationer av datat som sedan kan användas i domänspecifika nedströmsuppgifter. I det här examensarbetet så är tre SSL metoder evaluerade där de alla strävar efter att lära sig representationer relaterat till sömndeprivering på magnetoencefalografi (MEG) mätningar. MEG är en icke-invasiv metod som används på människor för att undersöka neuronal aktivitet. Datat var förvärvat genom ett sammarbeta med Karolinska Institutet och Stockholms Universitet, där SLEMEG studien hade blivit genomförd för att studera neurofysiologisk respons på sömndeprivering. De av SSL-modellerna extraherade särdragen är analyserade både kvalitativt samt kvantitativt, och sedan använda för att genomföra klassificerings och regressions-uppgifter. Resultaten visar på att de evaluerade Signal- och Recording SimCLR modellerna kan lära sig särdrag relaterade till sömndepriverad, men samtidigt också lära sig annan samförekommande information. Dessutom så indikerar resultaten att de lärda representationerna är informativa och kan då användas i flera olika nedströmsuppgifter. Dock så noteras det att det som blivit inlärt är mestadels relaterat till individ-specifik varians, vilket leder till dålig generaliseringsprestanda. Således är det trott att modellerna hade presterat bättre med tillgång till mer MEG data, samt att källlokalisering av MEG datat hade kunnat ta bort en del av den individuella variansen som blir inlärd.