En 4x4x4 kub konstrueras av RGB LED's med integrerad drivrutin och via en Arduino styrs den av musiken som spelas. Arduinon får musiken som input och med hjälp av fouriertransform delas signalen upp i 128 logaritmiskt uppdelade bins. Efter många olika teorier om hur bas, volym och känsla skulle kunna bestämmas i Arduinon bestämdes slutligen att de skulle bero av olika frekvensintervall; basen i 50-250 Hz, volymen i 500-2000 Hz och känslan i 2000-4000 Hz. Basen förflyttar mönstret framåt, volymen bestämmer ljusintensiteten (mellan 50% - 100% av max) och känslan avgör vilket av 6 mönster som aktiveras.

Denna studie undersöker hur dynamisk musik i spel kan visualiseras för att eventuellt döva eller hörselskadade personer ska kunna förstå vad som sker i ljudbilden. En undersökning genomfördes där fem deltagare fick se en ljudlös video bestående av spelsekvenser och musikvisualisering. Samtliga deltagare fick därefter svara på frågor i en semistrukturerad intervju. Respondenterna fick beskriva och identifiera byten av musikspår, adaptering i musiken och andra frågor kring musikvisualisering i spel. Efter insamlad data sammanställdes deltagarnas svar och studien visade sig vara mestadels framgångsrikt ideltagarnas upptäckande av dynamisk musik. I fåtal tillfällen kunde musikvisualiseringen upplevas diffus i framförandet av information. Experimentets utförande kan ha påverkat resultatet negativt. Samt att studien använde sig utav för få deltagare för att kunna få en slutsats med stark validitet.

The thesis project concerns the development and evaluation of a real-time music visualization system aimed at creating a multi-modal perceptual experience of music emotions. The purpose of the project is to provide singers with real-time visual feedback on their singing, to enhance their expression of emotions in the music. Built upon results from previous studies on emotional expression in music, crossmodal correspondences, and associations among sound, shape, color, and emotions, a singing voice visualization system is proposed that generates real-time graphics to reflect the emotional expression in the input singing in an intuitive fashion. A mapping between musical and visual features was established and tested within a user study regarding the setting of its polarities. The singing voice visualization system was developed as as a software system that runs on personal computers, utilizing Pure Data and Unity. This implementation allows for instantaneous feedback to the user during their singing. The mapping was evaluated in a user study, where participants engage in expressive singing to test the system,in order to assess the meaningfulness of the visual feedback and the effectiveness of the mapping, as well as the impact of the polarity. The results show that color as a strong visual cue of emotional expression provided meaningful information on some participants’ expression of typical happiness and sadness. Other cues of the visual feedback possibly enhanced some participants’ emotional expression of singing in an indirect way. The polarity had a noticeable impact on the perception of the visual feedback. The current study is limited by the reliability of the techniques used for the extracting acoustic features from real-time singing, particularly in the detection of attack speed. The evaluation were limited by the broad definition of one of the research questions. The findings of this study suggest potential applications for the singing voice visualization system in fields of music education, art, and entertainment. Additionally, the research highlights the need for further exploration and refinement in the design of the mapping and the evaluation methodology. / Avhandlingsprojektet handlar om utveckling och utvärdering av ett realtidssystem för musikvisualisering som syftar till att skapa en multimodal perceptuell upplevelse av musikkänslor. Syftet med projektet är att ge sångare visuell feedback i realtid på deras sång, för att förstärka deras uttryck av känslor i musiken. Med utgångspunkt i resultat från tidigare studier om känslouttryck i musik, korsmodala korrespondenser och associationer mellan ljud, form, färg och känslor, föreslås ett visualiseringssystem för sångstämmor som genererar realtidsgrafik för att på ett intuitivt sätt återspegla känslouttrycket i den inmatade sången. En mappning mellan musikaliska och visuella funktioner etablerades och testades i en användarstudie avseende inställningen av dess polariteter. Visualiseringssystemet för sångröst utvecklades som ett mjukvarusystem som körs på persondatorer med Pure Data och Unity. Denna implementering möjliggör omedelbar feedback till användaren under dennes sång. Kartläggningen utvärderades i en användarstudie, där deltagarna fick sjunga uttrycksfullt för att testa systemet, för att bedöma meningsfullheten i den visuella feedbacken och kartläggningens effektivitet, samt polaritetens inverkan. Resultaten visar att färg som en stark visuell signal för känslomässiga uttryck gav meningsfull information om vissa deltagares uttryck av typisk lycka och sorg. Andra ledtrådar i den visuella återkopplingen förstärkte möjligen vissa deltagares känslomässiga uttryck av sång på ett indirekt sätt. Polariteten hade en märkbar inverkan på uppfattningen av den visuella feedbacken. Den aktuella studien begränsas av tillförlitligheten hos de tekniker som används för att extrahera akustiska egenskaper från sång i realtid, särskilt när det gäller att upptäcka attackhastighet. Utvärderingen begränsades av den breda definitionen av en av forskningsfrågorna. Resultaten av denna studie visar på potentiella tillämpningar för visualiseringssystemet för sångröster inom musikutbildning, konst och underhållning. Dessutom belyser forskningen behovet av ytterligare utforskning och förfining av kartläggningens utformning och utvärderingsmetodiken.