Music and its effects on the brain has been discussed from many different angels. Everything from “The Mozart effect” that shows that listening to music can improve your brain’s performance, to several studies showing that playing an instrument creates plastic changes to the brain. When we listen to music, areas related to motor control and language are activated, and humans are using sound and music from a very early age to communicate wants and needs to their surroundings. Since music seems to have a positive effect on the human brain and a connection to human communication skills, would it then be possible to use music playing to enhance togetherness and communication among pre-verbal individuals? As a first step towards examining this, this paper will investigate how playing music together with others affect pre-verbal individuals’ initiatives to communication. A set of musical instruments were developed that assists the players by sounding good together no matter how you play them, by keeping the same tempo and staying in the same part of the song composition. This was to take away focus from the challenges of playing an instrument, and instead being able to enjoy the feeling of playing music together and also have room for connecting with the other persons in the group. The results showed that playing the instruments created several opportunities for social interaction, but that the interaction in most cases happened between the participant and one of the assistants rather than between the participants. Focusing on playing the instrument and at the same time notice your peers and their playing, takes some practice. By optimizing the setup of the playing sessions, and taking time to get comfortable with the instrument and the situation, the chance of this communicative connection happening is likely. / Musik och dess effekter på hjärnan har diskuterats utifrån många olika vinklar. Allt från "Mozarteffekten" som visar att musiklyssnande kan förbättra hjärnans funktioner, till studier som visar att instrumentspelande skapar plastiska förändringar i hjärnan. När vi lyssnar på musik aktiveras områden relaterade till både motorik och språk, och människan använder sig av ljud och musik från en mycket tidig ålder för att kommunicera önskemål och behov till sin omgivning. Eftersom musik verkar ha både en positiv effekt på den mänskliga hjärnan och vara kopplat till kommunikation, skulle det då vara möjligt att använda musikspelande för att öka känslor av grupptillhörighet och underlätta kommunikation mellan preverbala individer? Som ett första steg mot att undersöka detta, kommer denna artikel att undersöka hur musikspelande tillsammans med andra påverkar preverbala individers initiativ till kommunikation. Till studien utvecklades en uppsättning musikinstrument som hjälper användarna att hålla sig till en gemensam takt, tempo och till samma del av låtkompositionen, vilket gör att instrumenten alltid låter bra tillsammans oavsett hur deltagarna spelar på dem. Detta var för att ta bort fokus från de kognitivt mest utmanande delarna med att spela ett instrument, och i stället kunna njuta av känslan av att spela musik tillsammans och öka möjligheten att även kunna ta in musiken från de andra personerna i gruppen. Resultaten visade att spelandet skapade flera möjligheter till social interaktion, men att interaktionen i de flesta fall skedde mellan deltagare och assistent snarare än mellan deltagarna. Att både fokusera på att spela sitt instrument och samtidigt ta in kamraterna och deras spelande, kräver längre tid av övning. Genom att optimera uppbyggnaden och strukturen av sessionerna och ge deltagarna längre tid för att bli bekväma med både instrumentspelandet och situationen som helhet, finns det goda chanser att social interaktion och kommunikation mellan deltagarna ökar.

The thesis project concerns the development and evaluation of a real-time music visualization system aimed at creating a multi-modal perceptual experience of music emotions. The purpose of the project is to provide singers with real-time visual feedback on their singing, to enhance their expression of emotions in the music. Built upon results from previous studies on emotional expression in music, crossmodal correspondences, and associations among sound, shape, color, and emotions, a singing voice visualization system is proposed that generates real-time graphics to reflect the emotional expression in the input singing in an intuitive fashion. A mapping between musical and visual features was established and tested within a user study regarding the setting of its polarities. The singing voice visualization system was developed as as a software system that runs on personal computers, utilizing Pure Data and Unity. This implementation allows for instantaneous feedback to the user during their singing. The mapping was evaluated in a user study, where participants engage in expressive singing to test the system,in order to assess the meaningfulness of the visual feedback and the effectiveness of the mapping, as well as the impact of the polarity. The results show that color as a strong visual cue of emotional expression provided meaningful information on some participants’ expression of typical happiness and sadness. Other cues of the visual feedback possibly enhanced some participants’ emotional expression of singing in an indirect way. The polarity had a noticeable impact on the perception of the visual feedback. The current study is limited by the reliability of the techniques used for the extracting acoustic features from real-time singing, particularly in the detection of attack speed. The evaluation were limited by the broad definition of one of the research questions. The findings of this study suggest potential applications for the singing voice visualization system in fields of music education, art, and entertainment. Additionally, the research highlights the need for further exploration and refinement in the design of the mapping and the evaluation methodology. / Avhandlingsprojektet handlar om utveckling och utvärdering av ett realtidssystem för musikvisualisering som syftar till att skapa en multimodal perceptuell upplevelse av musikkänslor. Syftet med projektet är att ge sångare visuell feedback i realtid på deras sång, för att förstärka deras uttryck av känslor i musiken. Med utgångspunkt i resultat från tidigare studier om känslouttryck i musik, korsmodala korrespondenser och associationer mellan ljud, form, färg och känslor, föreslås ett visualiseringssystem för sångstämmor som genererar realtidsgrafik för att på ett intuitivt sätt återspegla känslouttrycket i den inmatade sången. En mappning mellan musikaliska och visuella funktioner etablerades och testades i en användarstudie avseende inställningen av dess polariteter. Visualiseringssystemet för sångröst utvecklades som ett mjukvarusystem som körs på persondatorer med Pure Data och Unity. Denna implementering möjliggör omedelbar feedback till användaren under dennes sång. Kartläggningen utvärderades i en användarstudie, där deltagarna fick sjunga uttrycksfullt för att testa systemet, för att bedöma meningsfullheten i den visuella feedbacken och kartläggningens effektivitet, samt polaritetens inverkan. Resultaten visar att färg som en stark visuell signal för känslomässiga uttryck gav meningsfull information om vissa deltagares uttryck av typisk lycka och sorg. Andra ledtrådar i den visuella återkopplingen förstärkte möjligen vissa deltagares känslomässiga uttryck av sång på ett indirekt sätt. Polariteten hade en märkbar inverkan på uppfattningen av den visuella feedbacken. Den aktuella studien begränsas av tillförlitligheten hos de tekniker som används för att extrahera akustiska egenskaper från sång i realtid, särskilt när det gäller att upptäcka attackhastighet. Utvärderingen begränsades av den breda definitionen av en av forskningsfrågorna. Resultaten av denna studie visar på potentiella tillämpningar för visualiseringssystemet för sångröster inom musikutbildning, konst och underhållning. Dessutom belyser forskningen behovet av ytterligare utforskning och förfining av kartläggningens utformning och utvärderingsmetodiken.