Thanks to the advancement of technological progress in networking and signal processing, we can access a large amount of musical content. In order for users to search among these vast catalogs, they need to have access to music-related information beyond the pure digital music file. Manual annotation of music is too expensive, therefore automated annotation would be of great use. A meaningful description of the musical pieces requires the incorporation of information about the instruments present in them. In this work, we present an approach for musical instrument recognition using the scattering transform, which is a transformation that gives a translation invariant representation, that is stable to deformations and preserves high frequency information for classication. We study recognition in both singleinstrument and multiple-instrument contexts. We compare the performance of models using the scattering transform to those using other standard features. We also examine the impact of the amount of training data. The experiments carried out do not show a clear superior performance of either feature representation. Still, the scattering transform is worth taking into account when choosing a way to extract features if we want to be able to characterize non-stationary signal structures. / Tack vare den tekniska utvecklingen i nätverk och signalbehandling kan vi få tillgång till en stor mängd musikaliskt innehåll. For att användare ska söka bland dessa stora kataloger måste de ha tillgång till musikrelaterad information utöver den rena digitala musikfilen. Eftersom den manuella annotationsprocessen skulle vara för dyr måste den automatiseras. En meningsfull beskrivning av musikstyckena kräver införlivande av information om instrumenten som finns i dem. I det här arbetet presenterar vi en metod for igenkänning av musikinstrument med hjälp av den scattering transform, som är en transformation som ger en översattnings-invariant representation, som är stabil för deformationer och bevarar högfrekvensinformation för klassicering. Vi studerar igenkännande i både enskilda instrument- och flera instrumentförhållanden. Vi jämför modellerna med den scattering transforms prestanda med de som använder andra standardfunktioner. Vi undersöker också effekterna av mangden traningsdata. Experimenten som utförs visar inte en tydlig överlagsen prestanda for någon av representationsföreställningarna jämfört med den andra. Fortfarande är den scattering transform värd att ta hänsyn till när man väljer ett sätt att extrahera funktioner om vi vill kunna karakterisera icke-stationära signalstrukturer.

With the inception of music streaming and media content delivery platforms, there has been a tremendous increase in the music available on the internet and the metadata associated with it. In this study, we address the problem of violin artist identification, which tries to classify the performing artist based on the learned features. Even though numerous previous works studied the problem in detail and developed features and deep learning models that can be used, an interesting fact was that most studies focused on artist identification in western popular music and less on Indian classical music. For the same reason, there was no standardized dataset for this purpose. Hence, we curated a new dataset consisting of audio recordings from 6 renowned South Indian Carnatic violin artists. In this study, we explore the use of log-Mel-spectrogram feature and the embeddings generated by a pre-learned VGGish network on a Convolutional Neural Network and Convolutional Recurrent Neural Network Model. From the experiments, we observe that the Convolutional Recurrent Neural Network model trained using the log-Mel-spectrogram feature gave the optimal performance with a classification accuracy of 71.70%. / Med starten av plattformar för musikströmning och leverans av mediainnehåll har det skett en enorm ökning av musiken tillgänglig på internet och den metadata som är associerad med den. I denna studie tar vi upp problemet med fiolkonstnärsidentifikation, som försöker klassificera den utövande konstnären utifrån de inlärda dragen. Även om många tidigare verk studerade problemet i detalj och utvecklade funktioner och modeller för djupinlärning som kan användas, var ett intressant faktum att de flesta studier fokuserade på artistidentifiering i västerländsk populärmusik och mindre på indisk klassisk musik. Av samma anledning fanns det ingen standardiserad datauppsättning för detta ändamål. Därför kurerade vi en ny datauppsättning bestående av ljudinspelningar från 6 kända sydindiska karnatiska violinkonstnärer. I den här studien utforskar vi användningen av log-Melspektrogramfunktionen och inbäddningarna som genereras av ett förinlärt VGGishnätverk på ett Convolutional Neural Network och Convolutional Recurrent Neural Network Model. Från experimenten observerar vi att modellen Convolutional Recurrent Neural Network tränad med hjälp av log-Mel-spektrogramfunktionen gav optimal prestanda med en klassificeringsnoggrannhet på 71,70%.

With the ever growing media and music catalogs, tools that search and navigate this data are important. For more complex search queries, meta-data is needed, but to manually label the vast amounts of new content is impossible. In this thesis, automatic labeling of musical instrument activities in song mixes is investigated, with a focus on ways to alleviate the lack of annotated data for instrument activity detection models. Two methods for alleviating the problem of small amounts of data are proposed and evaluated. Firstly, a self-supervised approach based on automatic labeling and mixing of randomized instrument stems is investigated. Secondly, a domain-adaptation approach that trains models on sampled MIDI files for instrument activity detection on recorded music is explored. The self-supervised approach yields better results compared to the baseline and points to the fact that deep learning models can learn instrument activity detection without an intrinsic musical structure in the audio mix. The domain-adaptation models trained solely on sampled MIDI files performed worse than the baseline, however using MIDI data in conjunction with recorded music boosted the performance. A hybrid model combining both self-supervised learning and domain adaptation by using both sampled MIDI data and recorded music produced the best results overall. / I och med de ständigt växande media- och musikkatalogerna krävs verktyg för att söka och navigera i dessa. För mer komplexa sökförfrågningar så behövs det metadata, men att manuellt annotera de enorma mängderna av ny data är omöjligt. I denna uppsats undersöks automatisk annotering utav instrumentsaktivitet inom musik, med ett fokus på bristen av annoterad data för modellerna för instrumentaktivitetsigenkänning. Två metoder för att komma runt bristen på data föreslås och undersöks. Den första metoden bygger på självövervakad inlärning baserad på automatisk annotering och slumpartad mixning av olika instrumentspår. Den andra metoden använder domänadaption genom att träna modeller på samplade MIDI-filer för detektering av instrument i inspelad musik. Metoden med självövervakning gav bättre resultat än baseline och pekar på att djupinlärningsmodeller kan lära sig instrumentigenkänning trots att ljudmixarna saknar musikalisk struktur. Domänadaptionsmodellerna som endast var tränade på samplad MIDI-data presterade sämre än baseline, men att använda MIDI-data tillsammans med data från inspelad musik gav förbättrade resultat. En hybridmodell som kombinerade både självövervakad inlärning och domänadaption genom att använda både samplad MIDI-data och inspelad musik gav de bästa resultaten totalt.