Thanks to the advancement of technological progress in networking and signal processing, we can access a large amount of musical content. In order for users to search among these vast catalogs, they need to have access to music-related information beyond the pure digital music file. Manual annotation of music is too expensive, therefore automated annotation would be of great use. A meaningful description of the musical pieces requires the incorporation of information about the instruments present in them. In this work, we present an approach for musical instrument recognition using the scattering transform, which is a transformation that gives a translation invariant representation, that is stable to deformations and preserves high frequency information for classication. We study recognition in both singleinstrument and multiple-instrument contexts. We compare the performance of models using the scattering transform to those using other standard features. We also examine the impact of the amount of training data. The experiments carried out do not show a clear superior performance of either feature representation. Still, the scattering transform is worth taking into account when choosing a way to extract features if we want to be able to characterize non-stationary signal structures. / Tack vare den tekniska utvecklingen i nätverk och signalbehandling kan vi få tillgång till en stor mängd musikaliskt innehåll. For att användare ska söka bland dessa stora kataloger måste de ha tillgång till musikrelaterad information utöver den rena digitala musikfilen. Eftersom den manuella annotationsprocessen skulle vara för dyr måste den automatiseras. En meningsfull beskrivning av musikstyckena kräver införlivande av information om instrumenten som finns i dem. I det här arbetet presenterar vi en metod for igenkänning av musikinstrument med hjälp av den scattering transform, som är en transformation som ger en översattnings-invariant representation, som är stabil för deformationer och bevarar högfrekvensinformation för klassicering. Vi studerar igenkännande i både enskilda instrument- och flera instrumentförhållanden. Vi jämför modellerna med den scattering transforms prestanda med de som använder andra standardfunktioner. Vi undersöker också effekterna av mangden traningsdata. Experimenten som utförs visar inte en tydlig överlagsen prestanda for någon av representationsföreställningarna jämfört med den andra. Fortfarande är den scattering transform värd att ta hänsyn till när man väljer ett sätt att extrahera funktioner om vi vill kunna karakterisera icke-stationära signalstrukturer.

En aquesta tesi presentem un mètode general per al reconeixement automàtic d’instruments musicals partint d’un senyal d’àudio. A diferència de molts enfocs relacionats, el nostre evita restriccions artificials o artificioses pel que fa al disseny algorísmic, les dades proporcionades al sistema, o el context d’aplicació. Per tal de fer el problema abordable, limitem el procés a l’operació més bàsica consistent a reconèixer l’instrument predominant en un breu fragment d’àudio. Així ens estalviem la separació de fonts sonores en la mescla i, més específicament, predim una font sonora a partir del timbre general del so analitzat. Per tal de compensar aquesta restricció incorporem, addicionalment, informació derivada d’una anàlisi musical jeràrquica: primer incorporem context temporal a l’hora d’extraure etiquetes dels instruments, després incorporem aspectes formals de la peça que poden ajudar al reconeixement de l’instrument, i finalment incloem informació general gràcies a l’explotació de les associacions entre gèneres musicals i instruments. / In this dissertation we present a method for the automatic recognition of musical instruments from music audio signal. Unlike most related approaches, our specific conception mostly avoids laboratory constraints on the method’s algorithmic design, its input data, or the targeted application context. To account for the complex nature of the input signal, we limit the basic process in the processing chain to the recognition of a single predominant musical instrument from a short audio fragment. We thereby prevent resolving the mixture and rather predict one source from the timbre of the sound. To compensate for this restriction we further incorporate information derived from a hierarchical music analysis; we first incorporate musical context to extract instrumental labels from the time-varying model decisions. Second, the method incorporates information regarding the piece’s formal aspects into the process. Finally, we include information from the collection level by exploiting associations between musical genres and instrumentations.

With the ever growing media and music catalogs, tools that search and navigate this data are important. For more complex search queries, meta-data is needed, but to manually label the vast amounts of new content is impossible. In this thesis, automatic labeling of musical instrument activities in song mixes is investigated, with a focus on ways to alleviate the lack of annotated data for instrument activity detection models. Two methods for alleviating the problem of small amounts of data are proposed and evaluated. Firstly, a self-supervised approach based on automatic labeling and mixing of randomized instrument stems is investigated. Secondly, a domain-adaptation approach that trains models on sampled MIDI files for instrument activity detection on recorded music is explored. The self-supervised approach yields better results compared to the baseline and points to the fact that deep learning models can learn instrument activity detection without an intrinsic musical structure in the audio mix. The domain-adaptation models trained solely on sampled MIDI files performed worse than the baseline, however using MIDI data in conjunction with recorded music boosted the performance. A hybrid model combining both self-supervised learning and domain adaptation by using both sampled MIDI data and recorded music produced the best results overall. / I och med de ständigt växande media- och musikkatalogerna krävs verktyg för att söka och navigera i dessa. För mer komplexa sökförfrågningar så behövs det metadata, men att manuellt annotera de enorma mängderna av ny data är omöjligt. I denna uppsats undersöks automatisk annotering utav instrumentsaktivitet inom musik, med ett fokus på bristen av annoterad data för modellerna för instrumentaktivitetsigenkänning. Två metoder för att komma runt bristen på data föreslås och undersöks. Den första metoden bygger på självövervakad inlärning baserad på automatisk annotering och slumpartad mixning av olika instrumentspår. Den andra metoden använder domänadaption genom att träna modeller på samplade MIDI-filer för detektering av instrument i inspelad musik. Metoden med självövervakning gav bättre resultat än baseline och pekar på att djupinlärningsmodeller kan lära sig instrumentigenkänning trots att ljudmixarna saknar musikalisk struktur. Domänadaptionsmodellerna som endast var tränade på samplad MIDI-data presterade sämre än baseline, men att använda MIDI-data tillsammans med data från inspelad musik gav förbättrade resultat. En hybridmodell som kombinerade både självövervakad inlärning och domänadaption genom att använda både samplad MIDI-data och inspelad musik gav de bästa resultaten totalt.