Vårt mål med detta kandidatarbete var att tillsammans med en rhizomatisk och med en ljudteoretisk synvinkel utforska och förverkliga alternativa sätt att gestalta ljud. Vi ville både ifrågasätta våra egna förutfattade meningar och den generella uppfattningen om audiell interaktion. Vi har tagit inspiration från Michel Chions analysprocess lyssnar modus och teorin synchresis för att realisera en utgångspunkt och en grundpelare vilket löper genom hela arbetet. Våra teorier och tester har skett på både ett reaktionärt och proaktivt sätt då vi både har producerat prototyper utifrån förstudier och genomfört tester med prototyperna i sökande efter externa åsikter. Testerna genomfördes genom att vi bjöd in utomstående att delta i undersökningen och på ett så naturligt sätt som möjligt utfört kvalitativa studier i form av intervjuer och observation för att tillsammans utforskat de semantiska beskaffenheter ljud besitter. Resultatet av vår undersökning brottas med människans biologiska förutsättningar. Att avkontextualisera ljud helt är ett åliggande som anses vara en utopi som vi i undersökningen har behandlat. Hur våra situeringar och våra källor har påverkat vår granskning, vårt skrivande och vårt prövande är en interpretation som vi diskuterar i slutet av undersökningen. / Our goal with this Bachelor Thesis was to explore and realize alternative ways of synthesizing sound, together with a rhizomatic and an audio-theoretical point of view. We both question our preconceived assumptions and the general perception of audio interaction. We have been inspired by Michel Chion's analysis process, modes of listening and the theory of synchresis to realize a starting point and a mainstay that runs throughout the thesis. Our theories and tests have taken place in both a reactionary and proactive manner as we have both produced prototypes based on preliminary studies and conducted tests with prototypes in search of external opinions. The tests were conducted by inviting third parties to participate in the survey and, in as natural a way as possible, conducted qualitative studies in the form of interviews and observation to jointly explore the semantic characteristics sound possesses. The result of our study is in conflict with the human biological conditions. To decontextualise audio completely is an issue that is considered an utopia and something that we have taken in consideration in the survey. At the end of the survey we will discuss if our situated mind and our references have influenced our scrutiny, our writing and our testing.

Syftet med denna studie är att genom djupintervjuer undersöka hur en ljuddesigners tankeprocess kring skapandet av spelljud ser ut och bidra med kunskap om ämnet. Frågeställningarna var följande: Hur ser en ljuddesigners tankeprocess ut kring skapandet av spelljud? Hur går man tillväga för att designa ljud till något som saknar en verklig referens? Tidigare forskning och teori visar på att det går att skapa ljud av vad som helst så länge ljud och bild är i synk. Resultatet i denna studie stärker tidigare forskning och respondenterna uppger att det är en kreativ process. Undersökningen bidrar till kunskap för nya personer inom ljuddesign till spel, men även för de personer som redan är etablerade inom branschen men vill lära sig mer.

Denna artikel beskriver processen av att återskapa ljud från IADS ljudbibliotek via audiell analys samt applicering av dessa ljud i film. Tre filmklipp valdes ut från olika filmer och för dessa skapades två olika ljudläggningar som menar att generera en viss huvudsaklig känsla från IADS. En enkät skickades ut som grund för att undersöka vilka känslor som alstrades. Resultaten indikerar att IADS-2 och IADS-E har potential att skapa känslomässiga responser i film. Detta fungerar dock endast under omständigheter där varken ljud eller bild tar över utan tillåts samarbeta för att skapa ett narrativ tillsammans. / This article covers the process of recreating sounds from the IADS libraries via audial analysis and applying them in a film context. Three movie clips were chosen from different movies and two different sound versions were created for each. Each version intended to provoke a certain emotional response from IADS. A survey was sent out as a basis for the evaluation of which emotions were generated. The results indicate that IADS-2 and IADS-E has potential to provoke emotional responses in movies. Although, this only works under circumstances where neither image nor sound takes over, but rather is allowed to work together to set the narrative.

Under flera generationer har människan försökt tolka relationen mellan bild och ljud. Finns det en vetenskaplig koppling mellan ljusets frekvens och ljudets frekvens? Kan man uppleva båda modaliteter samtidigt? En liten procent av jordens befolkning kan uppleva denna symbios av modaliteter, en sinnenas union där hjärnan korskopplar två eller flera sinnen, denna funktionsvariation kallas för synestesi. Den digitala utvecklingen har möjliggjort denna korskoppling där man med nummer som material kan gestalta synestesi och skapa och uppleva flera modaliteter i symbios. Detta kandidatarbete syftar på att med hjälp av kinesonisk interaktion undersöka relationen mellan kropp, bild och ljud, hur man med kroppen som verktyg kan sammanväva och skapa bild och ljud samtidigt på ett naturligt och organiskt sätt. Genom etnografiska observationer, fokusgrupper och frågeformulär har vi undersökt olika funktioner som kan bidra till känslan av att ljudet känns naturligt till kroppsliga rörelser och visuell stimuli. Genom agentiell realism har vi sedan förankrat vår kunskap och de beslut vi tagit som designers för att presentera det ramverk vi föreslår för att skapa en multimodal upplevelse där kropp, ljud och bild möts. / For generations humans have strived to interpret the relationships between picture and sound. Is there a scientific connection between the lightwave-spectrum and the sound-frequency domain? Is it possible to experience both modalities at once? A fraction of the population can experience a symbiosis of these modalities, a union of the senses where the brain cross connects two or more, seemingly unrelated senses. This variation of sensory function is known as synesthesia. The rapid development in digital media has enabled this cross connection through numbers, creating a form of art where sound triggers or generates visual elements or vice versa. This bachelor thesis is aimed towards examining the relationship between picture, sound, bodily interaction and how we can weave these modalities together to create visual and sonic elements in real time in a natural and organic fashion through the concept of kinesonic interaction. We have through ethnographic observation, focus groups and questionnaires examined various functions which contributes to the sensation of embodied sound, retaining a natural feeling towards the body movements and visual cues. We’ve anchored our research, knowledge and decisions as designers in agential realism to present a framework which we suggest creates an intertwining multimodal experience where body, sound and picture meet.

The folio of compositions and critical commentary documents a major practice-led research project that was carried out from 2003-09 on the topic of ‘electroacoustic music with moving images’. The written report analyses and expands on the creative works by supplying detailed information concerning the ‘process’ of composing for the genre, and the ‘language’ of audiovisual media pairing. Sixteen extracts of creative work featuring specific qualities of language are also provided as a means of focussing discussion points. The folio of compositions is comprised of four creative works: Shifting Ground (2005), Mouth Piece (2008), Abide With Me (2009), and Eyepiece (2009), which present a one-hour audiovisual programme. The series was premiered in a special concert Seeing With Ears: Video Works By John Coulter as part of the proceedings of the New Zealand Electroacoustic Music Symposium (NZEMS) 2-4 September 2009, School of Music, University of Auckland, New Zealand. Part 1 of the thesis seeks to illuminate a general process of creative practice that is relevant to all forms of studio-based composition. Three frameworks are examined: those that contain singular creative tasks, those that contain multiple tasks, and those that contain multiple creative projects. A 3-tiered model of reflective practice is then offered, and procedures common to all electroacoustic composers are discussed. The action research paradigm is then presented, followed by domain-specific guidelines for undertaking research. Key differences between ‘composing’ and ‘researching’ are examined, and principles of conducting practice and research simultaneously are submitted. For those working in studio-based settings, the study provides a model, and a vocabulary for discussing his/her creative process, as well as procedural guidelines for contributing to expert domain knowledge through practice-led research. Part 2 of the thesis directly addresses a common paradox faced by composers working with sounds and moving images. On one hand, audiovisual materials appear to offer the possibility of complementing one another - of forming a highly effective means of communicating artistic ideas, and on the other, they appear to carry the risk of detracting from one another – of deforming the musical language that he/she has worked so hard to create. The study seeks to transcend this paradox through the identification of audiovisual materials that function in different ways. Examples of creative work are offered to illustrate more general points of language, a model for classifying media pairs is put forward, and practical methods of audiovisual composition are proposed. The narrow findings of the study offer a vocabulary for discussing the functionality of audiovisual materials, detailed methods of media pairing and techniques of parametric alignment, while the wider findings extend to associated domains such as live electronic music, and hyper-instrument design. In summary, the study recognises both creative works and written works as knowledge-bearing documents. Succinctly stated, the essential research findings are presented and supported by both phenomenological and nominal means - through aspects of creative works that make themselves apparent during the listening process, and through retrospective logical enquiry.

Denna undersökning syftar till att studera förhållandet mellan ljud, bild och spelare i en TV- och datorspelssituation. Med hjälp av fokusgruppdiskussioner berörs frågor på det audiovisuella området, där deltagarna är aktiva spelare som har tillryggalagt ett mycket stort antal speltimmar som de bygger sina kunskaper på. Här framkommer att ljud och musik fyller viktiga funktioner för spelarens möjlighet att interagera och leva sig in i spelet och att varje spel har en unik ljud- eller musikmiljö som spelarna tycks förhålla sig till på olika sätt beroende på varför man spelar och om man spelar ensam eller tillsammans med andra, det vill säga singelplayer eller multiplayer. Informanternas kunskaper utgör styrkan i denna undersökning men det vore önskvärt att utöka studien med fler fokusgruppdiskussioner samt djupintervjuer med utvalda informanter för att fördjupa materialet. Som förslag på vidare forskning vore det intressant att studera användandet av virtuella headsets där en stereoskopisk 3D bild skapas som spårar huvudets rörelser, för att undersöka om detta kan ha en inverkan på hur vi uppfattar ljudet i ett spel.

Le sujet de ce travail est le rôle du son dans le cinéma d’animation, à partir du concept d’audio-vision. Ce concept, provenant du théoricien Michel Chion, exprime une activité ou une modalité de la perception qui s’active –est qui est la face subjective– des produits audiovisuels qui dans le cas de l’animation donnent lieu à des expériences singulières. Le lieu de rencontre entre ces instances est la scène sémiotique d’une expérience de sens où une forme de textualité (résultat d’une écriture sonore et visuelle) inscrite dans un support matériel s’active et rencontre un corps vivant, qui la transforme en un récit audiovisuel, ou bien aussi en une pure expérience corporelle, rythmique ou vibratoire, qui est aussi une forme de sens. Cette scène pratique est comprise d’après le concept de dispositif, provenant de la théorie filmique, mais ici liée à la théorie de l’énonciation. Pour aborder cette scène si complexe, j’ai choisi de mettre l’accent sur un aspect particulier : le son, l’écoute, et les approches sémiotiques que se sont occupées de cette dimension de l’expérience perceptive, notamment la sémiotique du son. Pour tester cette approche, dans cette thèse on fait des analyses pratiques d’un type de productions animées que, selon le critère, on peut appeler « indépendantes », « expérimentales », ou même « abstraites » : les courts métrages animés de Norman McLaren et de Mirai Mizue. Néanmoins, pour éloignées que semblent ces productions de l’animation traditionnelle on va proposer qu’à la base de toutes ces productions il y a un même dispositif et un même type de pratique (dans le sens sémiotique du terme), un « faire technique » sur lequel on projettera des contenus divers (narratifs, dynamiques, musicaux, énergétiques). / The subject of this work is the role of sound in animation, from the concept of audio-vision. This concept, from theorist Michel Chion, expresses an activity or mode of perception that is activated –and that is is the subjective side- of audiovisual productions. In the case of animation this activity gives rise to unique experiences. The meeting point between these aspects is the semiotic scene of a meaningful experience, where a form of textuality (the result of an aural and a visual writing) registered in a physical medium, is activated by a living body. This experience is interpreted as an audio-visual narrative, or as a pure physical experience of rhythm and vibration, which is also a form of sense. This practical scene is understood from the concept of ‘apparatus’, coined in the field of the film theory, but connected here with enunciation theory. To address this complex scene, I chose to focus on a particular aspect: sound and listening, from a semiotic perspective. To test this approach, in this work I propose practical analysis of a type of animated productions that according to the criteria, can be called