Syftet med denna undersökning har varit att titta på hur rytmisk kvantisering påverkar lyssnarens uppfattning av musik. Undersökningen har gjorts med hjälp av en enkät som kompletterats med intervjuer med syftet att få en kombination av kvantitativ data och kvalitativ inblick. Deltagarna har fått lyssna till och jämföra 2 olika versioner av tre låtar i olika genre, där den ena versionen har varit ett naturligt framförande och där den andra versionen korrigerats för att bli rytmiskt exakt. Undersökningen visar att det finns skillnader i hur musiken uppfattas innan och efter rytmisk korrigering och dessa skillnader tycks även finnas mellan de olika genrerna som ljudexemplen bestått av. Det är dock svårt att identifiera någon specifik effekt som kvantiseringen kan tänkas ha. Resultatet visar att korrigeringen å ena sidan kan leda till en professionell, levande och energisk uppfattning men också att musiken å andra sidan uppfattas som steril och tråkig. Likaså uppfattas även de naturliga versionerna som mer levande av vissa och livlösa av andra.

Den konstnärliga delen av detta arbete var en EP inom metalsubgenren metalcore/melodisk hardcore. I den skriftliga delen av arbetet redogörs min trumproduktion i den EP:n. Vidare kommer olika musikproduktionsmässiga genrenormer för trumproduktion inom subgenren att definieras och reflekteras över. Tankar och åsikter från aktiva musiker i stora band inom subgenren presenteras även. I arbetet så utforskas vilken relation jag vill att min trumproduktion ska ha till de genrenormer som identifierats. De genrenormer som jag valt att fokusera på är kvantisering och hur man jobbar med trumsamplingar. Vidare så redogörs hur musiken har skrivits och hur processen har sett ut för trumproduktionen från ax till limpa. Därefter beskrivs förberedelserna inför truminspelningen, hur jag valde att redigera trummorna, hur man kan efterlikna en analog inspelningssession i datorn, postproduktionen och varför olika genrenormer har följts eller brutits. Jag kom fram till två centrala faktorer som påverkar hur jag förhåller mig till dessa genrenormer. Den ena är tid och den andra är den konstnärliga visionen som funnits för projektet.

As the internet user base increases over the years, so do the logistic difficulties of handling higher and higher volumes of data. This large amount of information is now being exploited by Artificial Intelligence algorithms to deliver value to our society on a global scale. Among all the algorithms employed, the widespread adoption of Neural Networks in industrial settings is promoting the automation of tasks previously unsolvable by computers. As of today, efficiency limits the applicability of such technology on Big Data and efforts are being put to develop new acceleration solutions.In this project, we analyzes the computational capabilities of a multicore Digital Signal Processor called the EMCA (Ericsson Many-Core Architecture) when it comes to executing Neural Networks. The EMCA is a proprietary chip used for real-time processing of data in the pipeline of a Radio Base Station.We developed an inference engine to run Neural Networks on the EMCA. The software of such engine has been produced using a proprietary operating system called Flake OS, which runs on the EMCA. On top of the inference engine, we wrote a neural network squeezing pipeline based on quantization. On MNIST, the quantization algorithm can reduce the size of the networks by 4x folds with sub 1% accuracy degradation. The inference engine has been optimized to exploit the quantization utility and can run quantized neural networks. Tests have been done to understand the direct implications of using such algorithm. We show that the quantization is indeed beneficial for inference on DSPs.Finally, the EMCA has demonstrated state of the art computational capabilities for neural network inferencing. / Liksom antalet internetanvändare årligen ökar, så gör också de logistiska svårigheterna att hantera större och större volymer av data. Denna stora mängd av information används nu av artificiell intelligens algoritmer för att leverera värde till vårt samhälle på en global skala. Av alla använda algoritmer, så möjliggör det utbredda införandet av neurala nätverk i industriella omgivningar, att uppgifter som tidigare inte kunde lösas av datorer nu kan automatiseras. Idag så finns det effektivitetsfaktorer som begränsar användbarheten av dessa tekniker för stora datamängder och insatser görs därför för att utveckla nya accelererade lösningar. I det här projektet så analyserar vi beräkningsförmågan av en multicore digital signalprocessor kallad EMCA (Ericsson Many-Core Architecture) för att exekvera neurala nätverk. EMCAn är ett proprietärt mikro-chip som används för real-tids beräkningar av data i pipelinen av en radiobasstation. Vi utvecklade en inferensmotor för att köra neurala nätverk på EM-CAn. Mjukvaran för motorn använde ett proprietärt operativsystem, kallat Flake OS, som körs på EMCAn. Ovanpå inferensmotorn skrev vi en pipeline för att reducera storleken av det neurala nätverket med hjälp av kvantisering. På MNIST så kan kvantiseringsalgorit-men minska storleken av näten upp till 4 gånger med under 1% precisionsdegradering. Inferensmotorn har optimerats för att utnyttja kvantiseringsfunktionen och kan exekvera kvantiserade neurala nätverk. Tester har gjorts för att förstå de direkta följderna av att använda sådana algoritmer. Vi visar att kvantisering verkligen är till nytta för att göra inferens på DSPer. Slutligen, EMCAn har demonstrerat toppmodern beräkningsförmåga för inferens av neurala nätverk.

Transformer models perform well on Natural Language Processing and Natural Language Understanding tasks. Training and fine-tuning of these models consume a large amount of data and computing resources. Fast inference also requires high-end hardware for user-facing products. While distillation, quantization, and head-pruning for transformer models are well- explored domains in academia, the practical application is not straightforward. Currently, for good accuracy of the optimized models, it is necessary to fine-tune them for a particular task. This makes the generalization of the model difficult. If the same model has to be used for multiple downstream tasks, then it would require applying the process of optimization with fine-tuning for each task. This thesis explores the techniques of quantization and pruning for optimization of the Language-Agnostic BERT Sentence Embedding (LaBSE) model without fine-tuning for a downstream task. This should enable the model to be generalized enough for any downstream task. The techniques explored in this thesis are dynamic quantization, static quantization, quantize-aware training quantization, and head-pruning. The downstream performance is evaluated using sentiment classification, intent classification, and language-agnostic classification tasks. The results show that LaBSE can be accelerated on the CPU to 2.6x its original inference time without any loss of accuracy. Head-pruning 50% of the heads from each layer leads to 1.2x speedup while removing all heads but one leads to 1.32x speedup. A speedup of almost 9x is achieved by combining quantization with head-pruning with average 8% drop in accuracy on downstream evaluation tasks. / Transformer-modeller ger bra resultat i uppgifter som rör behandling av och förståelse för naturligt språk. Träning och finjustering av dessa modeller kräver dock en stor mängd data och datorresurser. Snabb inferensförmåga kräver också högkvalitativ hårdvara för användarvänliga produkter och tjänster. Även om destillering, kvantisering och head-pruning för transformer-modeller är väl utforskade områden inom den akademiska världen är den praktiska tillämpningen inte okomplicerad. För närvarande är det nödvändigt att finjustera de optimerade modellerna för en viss uppgift för att uppnå god noggrannhet där. Detta gör det svårt att generalisera modellerna. Om samma modell skall användas för flera uppgifter i sekvens så måste man tillämpa optimeringsprocessen med finjustering för varje uppgift. I den här uppsatsen undersöks tekniker för kvantisering och prunering för optimering av LaBSE- modellen (Language-Agnostic BERT Sentence Embedding) utan finjustering för en downstream-uppgift. Detta bör göra det möjligt att generalisera modellen tillräckligt mycket för alla efterföljande uppgifter. De tekniker som undersöks är dynamisk kvantisering, statisk kvantisering, samt kvantisering för träning och head-pruning. Prestandan i efterföljande led utvärderas med hjälp av klassificering av känslor, avsiktsklassificering och språkagnostiska klassificeringsuppgifter. Resultaten visar att LaBSE kan öka effektiviteten hos CPU:n till 2,6 gånger sin ursprungliga inferenstid utan någon förlust av noggrannhet. Om 50% av huvudena från varje lager tas bort leder det till 1,2 gånger snabbare hastighet, medan det leder till 1,32 gånger snabbare hastighet om alla huvuden utom ett tas bort. Genom att kombinera kvantisering med head-pruning uppnås en ökning av hastigheten med nästan 9x, med en genomsnittlig minskning av noggrannheten med 8% i utvärderingsuppgifter nedströms.

Quantization of Neural Networks is popular technique for adopting computation intensive Deep Learning applications to edge devices. In this work, low bit mixed precision quantization of FPN-Resnet18 model trained for the task of semantic segmentation is explored using Cityscapes and Arriver datasets. The Hessian information of each layer in the model is used to determine the bit precision for each layer and in some experiments the bit precision for the layers are determined randomly. The networks are quantization-aware trained with bit combinations 2, 4 and 8. The results obtained for both Cityscapes and Arriver datasets show that the quantization-aware trained networks with the low bit mixed precision technique offer a performance at par with the 8-bit quantization-aware trained networks and the segmentation performance degrades when the network activations are quantized below 8 bits. Also, it was found that the usage of the Hessian information had little effect on the network’s performance. / Kvantisering av Neurala nätverk är populär teknik för att införa beräknings-intensiva Deep Learning -applikationer till edge-enheter. I detta arbete utforskas låg bitmixad precisionskvantisering av FPN-Resnet18-modellen som är utbildad för uppgiften för semantisk segmentering med hjälp av Cityscapes och Arriverdatauppsättningar. Hessisk information från varje lager i modellen, används för att bestämma bitprecisionen för respektive lager. I vissa experiment bestäms bitprecision för skikten slumpmässigt. Nätverken är kvantiserings medvetna utbildade med bitkombinationer 2, 4 och 8. Resultaten som erhållits för både Cityscapes och Arriver datauppsättningar visar att de kvantiserings medvetna utbildade nätverken med lågbit blandad precisionsteknik erbjuder en prestanda i nivå med 8-bitars kvantiseringsmedvetna utbildade nätverk och segmenteringens prestationsgrader när nätverksaktiveringarna kvantiseras under 8 bitar. Det visade sig också att användningen av hessisk information hade liten effekt på nätets prestanda.

The video on demand streaming is raising drastically in popularity, bringing new challenges to the video coding field. There is a need for new video coding techniques that improve performance and reduce the bitrates. One of the most promising areas of research is perceptual video coding where attributes of the human visual system are considered to minimize visual redundancy. The visual attention only makes it possible for humans to focus on a smaller region at the time, which is led by different cues, and with deep neural networks it has become possible to create high-accuracy models of this. The purpose of this study is therefore to investigate how adaptive quantization (AQ) based on a deep visual attention model can be used to improve the subjective video quality for low bitrates. A deep visual attention model was integrated into the encoder x265 to control how the bits are distributed on frame level by adaptively setting the quantization parameter. The effect on the subjective video quality was evaluated through A/B testing where the solution was compared to one of the standard methods for AQ in x265. The results show that the ROI-based AQ was perceived to be of better quality in one out of ten cases. The results can partly be explained by certain methodological choices, but also highlights a need for more research on how to make use of visual attention modeling in more complex real-world streaming scenarios to make streaming content more accessible and reduce bitrates. / "Video on demand"-streamingen ökar kraftigt i popularitet vilket skapar nya utmaningar inom video kodning. Det finns ett behov av nya videokodningstekniker som ökar prestanda och reducerar bithastigheten. Ett av de mest lovade forskningsområdena är perceptuell videokodning där man tar hänsyn till synens egenskaper för att minimera visuell redundans. Det visuella fokuset gör att människan bara kan fokusera på ett mindre områden åt gången, lett av olika typer av signaler, och med hjälp av djupa neurala nätverk har det blivit möjligt att skapa välpresterande modeller av det. Syftet med denna studie är därför att undersöka hur adaptiv kvantisering baserat på en djupinlärningsmodell av visuellt fokus kan användas för att förbättra den subjektiva videokvaliteten för låga bithastigheter. En djup modell av visuellt fokus var integrerad i videokodaren x265 för att kontrollera hur bitarna ditribueras på bildnivå genom att adaptivt sätta kvantiseringsparametern. Den subjektiva videokvaliteten utvärderades genom A/B tester där lösningen jämfördes med en standardmetod för adaptiv kvantisering i x265. Resultaten visar att den visuellt fokus-baserade adaptiva kvantiseringen upplevdes ge bättre kvalitet i ett av tio fall. Detta resultat kan delvis förklaras av vissa metodval, men visar också på ett behov för mer forskning på hur modeller för visuellt fokus kan användas i mer komplexa och verkliga streamingscenarion för att kunna göra innehållet mer tillgängligt och reducera bithastigheten.

This thesis focuses on addressing the limitations of existing human motion prediction models by extending the prediction horizon to very long-term forecasts. The objective is to develop a model that achieves one of the best stable prediction horizons in the field, providing accurate predictions without significant error increase over time. Through the utilization of quantization based models our research successfully achieves the desired objective with the proposed aligned version of Mean Per Joint Position Error. The first of the two proposed models, an attention-based Vector Quantized Variational AutoEncoder, demonstrates good performance in predicting beyond conventional time boundaries, maintaining low error rates as the prediction horizon extends. While slight discrepancies in joint positions are observed, the model effectively captures the underlying patterns and dynamics of human motion, which remains highly applicable in real-world scenarios. Furthermore, our investigation into a correlation-based Vector Quantized Variational AutoEncoder, as an alternative to attention-based one, highlights the challenges in capturing complex relationships and meaningful patterns within the data. The correlation-based VQ-VAE’s tendency to predict flat outputs emphasizes the need for further exploration and innovative approaches to improve its performance. Overall, this thesis contributes to the field of human motion prediction by extending the prediction horizon and providing insights into model performance and limitations. The developed model introduces a novel option to consider when contemplating long-term prediction applications across various domains and sets the foundation for future research to enhance performance in long-term scenarios. / Denna avhandling fokuserar på att hantera begränsningarna i befintliga modeller för förutsägelse av mänskliga rörelser genom att utöka förutsägelsehorisonten till mycket långsiktiga prognoser. Målet är att utveckla en modell som uppnår en av de bästa stabila prognoshorisonterna inom området, vilket ger korrekta prognoser utan betydande felökning över tiden. Genom att använda kvantiseringsbaserade modeller uppnår vår forskning framgångsrikt det önskade målet med den föreslagna anpassade versionen av Mean Per Joint Position Error. Den första av de två föreslagna modellerna, en uppmärksamhetsbaserad Vector Quantized Variational AutoEncoder, visar goda resultat när det gäller att förutsäga bortom konventionella tidsgränser och bibehåller låga felfrekvenser när förutsägelsehorisonten förlängs. Även om små avvikelser i ledpositioner observeras, fångar modellen effektivt de underliggande mönstren och dynamiken i mänsklig rörelse, vilket förblir mycket tillämpligt i verkliga scenarier. Vår undersökning av en korrelationsbaserad Vector Quantized Variational AutoEncoder, som ett alternativ till en uppmärksamhetsbaserad sådan, belyser dessutom utmaningarna med att fånga komplexa relationer och meningsfulla mönster i data. Den korrelationsbaserade VQ-VAE:s tendens att förutsäga platta utdata understryker behovet av ytterligare utforskning och innovativa metoder för att förbättra dess prestanda. Sammantaget bidrar denna avhandling till området för förutsägelse av mänskliga rörelser genom att utöka förutsägelsehorisonten och ge insikter om modellens prestanda och begränsningar. Den utvecklade modellen introducerar ett nytt alternativ att ta hänsyn till när man överväger långsiktiga prediktionstillämpningar inom olika områden och lägger grunden för framtida forskning för att förbättra prestanda i långsiktiga scenarier.