This diploma thesis The Role of Sound in Audiovision focuses on the topic of perception of viewers of the audio component in audiovisual outputs. The aim of the work is to find out to what extent viewers perceive all sound components of these works and whether they consider sound important. The theoretical part of the work provides insight into the psychology of sound in terms of affecting the perception of viewers, the types of sounds used in the media and their use. The research part presents the obtained data and their evaluation to find answers to questions focused on sound perception.

I denna undersökning presenteras tillvägagångssättet för att ta fram en process för hur man på ett enkelt sätt kan arbeta med ljud i spel. Det kommer att lyftas fram information som togs fram genom att intervjua personer från spelbranschen vars uppgift handlar om ljudskapande och andra akademiska underlag inom området. Undersökningen genomfördes med hjälp av The Analysis Project och innebär att lösa olika problem genom att kolla på existerande lösningar. Perspektivet ger en bredare bild kring hur ljud i spel fungerar och kunna bidra med ett tillvägagångssätt som är tydligt. Undersökningen är baserad på tidigare forskning inom detta område såsom egna erfarenheter kring fakta och den praktiska delen. Genom intervjuerna har frågeställningen blivit besvarad på ett systematiskt sätt som hjälper läsaren att förstå de olika processer som ljuddesigner har. Undersökningen resulterade i en tydlig process som beskriver olika tekniker som kan användas av andra ljuddesigners i sina processer. / This bachelor thesis presents the approach that has developed a process for how one can easily work with sounds in games. Here, information will be highlighted by interviewing people from the gaming industry whose task is to create sound and other academic material in the field. The survey was carried out with the help of The Analysis Project and involves solving various problems by looking at existing solutions. Through this perspective, develop a broader picture of how sounds in games work and to contribute a guide with a clear approach. The study is based on previous research in the area, such as our own experiences regarding facts and the practical part. Through the interview the issue has been answered in a systematic manner which helps the reader to understand the processes in which sound designers are working with. This body of work resulted in a clear process that defines different techniques from which other sound designers can use in their own works.

Interactive evolution is explored and applied for the automatic generation of 8-bit sound effects (SFX). Procedurally generating a type of content can result in greater accessibility, cut development costs, and more. However, a natural problem that follows this approach is user fatigue. An 8-bit SFX generator is developed, tested, and then evaluated to understand its capabilities, usability, and effectiveness of several applicable solutions for reducing user fatigue. Results indicate that the software is intuitive to learn and use while providing a decent variety to the generated content with a probable feeling of progression. The implemented solutions for abating user fatigue show promise towards making the software practically viable. However, there are still areas in the developed artifact that suggest for further study.

Submitted by Filipe dos Santos (fsantos@pucsp.br) on 2018-07-04T12:24:09Z No. of bitstreams: 1 Fernanda Manzo Ceretta.pdf: 64197918 bytes, checksum: 89e46d8729046a5162627527f8dcd7bc (MD5) / Made available in DSpace on 2018-07-04T12:24:09Z (GMT). No. of bitstreams: 1 Fernanda Manzo Ceretta.pdf: 64197918 bytes, checksum: 89e46d8729046a5162627527f8dcd7bc (MD5) Previous issue date: 2018-06-26 / Conselho Nacional de Pesquisa e Desenvolvimento Científico e Tecnológico - CNPq / This research analyzes the sound design of movie monsters, especially their voices. Chewbacca (Star Wars, 1977), Godzilla (1954) and Predator (1987) constitute our corpus. These monsters have voices composed by designers who have experimented different creation processes, using sounds generated by nature, body and manipulated objects, in order to create the sound identity of these characters. We investigate the contexts of these creation processes and the resulting sounds in their particularities to make a proposition of a method for creating the sound of monsters. Our method covers the potential sources of base sounds and other sonic characteristics such as frequencies, timbre and intensity. The research was based in the observation of the selected audio-visual materials and in the documentation available regarding the making ofs (which is vast, given the popularity of the selected monsters). The thesis is based mainly on articulations with the works of Rick Altman, Michel Chion and William Whittington, on the cinematographic sound, and of Theo Van Leeuwen in his proposition of sonorous analysis / Este trabalho analisa o sound design de monstros do cinema, sobretudo suas vozes. Chewbacca (Star Wars, 1977), Godzilla (1954) e Predador (1987) constituem o corpus da presente pesquisa. Estes monstros possuem vozes compostas por designers que experimentaram diferentes processos de criação, utilizando sons na natureza, do corpo e de objetos manipulados para criar a identidade sonora destas personagens. investigamos os contextos destes processos de criação e os sons criados, em suas particularidades, para compor uma proposta de método de composição de som de monstros, o qual abarca as potenciais fontes dos sons de base e demais características sonoras, como frequências, timbres e intensidade. A pesquisa foi feita a partir da observação dos materiais audiovisuais selecionados e do resgate da documentação disponível sobre os bastidores da criação dos mesmos (bastante vasta dada a popularidade dos monstros selecionados). A tese se baseia sobretudo em articulações com obras de Rick Altman, Michel Chion, William Whittington acerca do som cinematográfico e em Theo Van Leeuwen em sua proposição de análise sonora

Muitos pesquisadores têm se interessado em explorar o vasto poder computacional das recentes unidades de processamento gráfico (GPUs) em aplicações fora do domínio gráfico. Essa tendência ao desenvolvimento de propósitos gerais com a GPU (GPGPU) foi intensificada com a produção de APIs não-gráficas, tais como a Compute Unified Device Architecture (CUDA), da NVIDIA. Com elas, estudou-se a solução na GPU de muitos problemas de processamento de sinal 2D e 3D envolvendo álgebra linear e equações diferenciais parciais, mas pouca atenção tem sido dada ao processamento de sinais 1D, que também podem exigir recursos computacionais significativos. Já havia sido demonstrado que a GPU pode ser usada para processamento de sinais em tempo-real, mas alguns processos não se adequavam bem à arquitetura da GPU. Neste trabalho, apresento uma nova técnica para implementar um filtro digital linear recursivo usando a GPU. Até onde eu sei, a solução aqui apresentada é a primeira na literatura. Uma comparação entre esta abordagem e uma implementação equivalente baseada na CPU demonstra que, quando usada em um sistema de processamento de áudio em temporeal, esta técnica permite o processamento de duas a quatro vezes mais coeficientes do que era possível anteriormente. A técnica também elimina a necessidade de processar o filtro na CPU - evitando transferências de memória adicionais entre CPU e GPU - quando se deseja usar o filtro junto a outros processos, tais como síntese de som. A recursividade estabelecida pela equação do filtro torna difícil obter uma implementação eficiente em uma arquitetura paralela como a da GPU. Já que cada amostra de saída é computada em paralelo, os valores necessários de amostras de saída anteriores não estão disponíveis no momento do cômputo. Poder-se-ia forçar a GPU a executar o filtro sequencialmente usando sincronização, mas isso seria um uso ineficiente da GPU. Este problema foi resolvido desdobrando-se a equação e "trocando-se" as dependências de amostras próximas à saída atual por outras precedentes, assim exigindo apenas o armazenamento de um certo número de amostras de saída. A equação resultante contém convoluções que então são eficientemente computadas usando a FFT. A implementação da técnica é geral e funciona para qualquer filtro recursivo linear invariante no tempo. Para demonstrar sua relevância, construímos um filtro LPC para sintetizar em tempo-real sons realísticos de colisões de objetos feitos de diferentes materiais, tais como vidro, plástico e madeira. Os sons podem ser parametrizados por material dos objetos, velocidade e ângulo das colisões. Apesar de flexível, esta abordagem usa pouca memória, exigindo apenas alguns coeficientes para representar a resposta ao impulso do filtro para cada material. Isso torna esta abordagem uma alternativa atraente frente às técnicas tradicionais baseadas em CPU que apenas realizam a reprodução de sons gravados. / Many researchers have been interested in exploring the vast computational power of recent graphics processing units (GPUs) in applications outside the graphics domain. This trend towards General-Purpose GPU (GPGPU) development has been intensified with the release of non-graphics APIs for GPU programming, such as NVIDIA's Compute Unified Device Architecture (CUDA). With them, the GPU has been widely studied for solving many 2D and 3D signal processing problems involving linear algebra and partial differential equations, but little attention has been given to 1D signal processing, which may demand significant computational resources likewise. It has been previously demonstrated that the GPU can be used for real-time signal processing, but several processes did not fit the GPU architecture well. In this work, a new technique for implementing a digital recursive linear filter using the GPU is presented. To the best of my knowledge, the solution presented here is the first in the literature. A comparison between this approach and an equivalent CPU-based implementation demonstrates that, when used in a real-time audio processing system, this technique supports processing of two to four times more coefficients than it was possible previously. The technique also eliminates the necessity of processing the filter on the CPU - avoiding additional memory transfers between CPU and GPU - when one wishes to use the filter in conjunction with other processes, such as sound synthesis. The recursivity established by the filter equation makes it difficult to obtain an efficient implementation on a parallel architecture like the GPU. Since every output sample is computed in parallel, the necessary values of previous output samples are unavailable at the time the computation takes place. One could force the GPU to execute the filter sequentially using synchronization, but this would be a very inefficient use of GPU resources. This problem is solved by unrolling the equation and "trading" dependences on samples close to the current output by other preceding ones, thus requiring only the storage of a limited number of previous output samples. The resulting equation contains convolutions which are then efficiently computed using the FFT. The proposed technique's implementation is general and works for any time-invariant recursive linear filter. To demonstrate its relevance, an LPC filter is designed to synthesize in real-time realistic sounds of collisions between objects made of different materials, such as glass, plastic, and wood. The synthesized sounds can be parameterized by the objects' materials, velocities and collision angles. Despite its flexibility, this approach uses very little memory, requiring only a few coefficients to represent the impulse response for the filter of each material. This turns this approach into an attractive alternative to traditional CPU-based techniques that use playback of pre-recorded sounds.

Muitos pesquisadores têm se interessado em explorar o vasto poder computacional das recentes unidades de processamento gráfico (GPUs) em aplicações fora do domínio gráfico. Essa tendência ao desenvolvimento de propósitos gerais com a GPU (GPGPU) foi intensificada com a produção de APIs não-gráficas, tais como a Compute Unified Device Architecture (CUDA), da NVIDIA. Com elas, estudou-se a solução na GPU de muitos problemas de processamento de sinal 2D e 3D envolvendo álgebra linear e equações diferenciais parciais, mas pouca atenção tem sido dada ao processamento de sinais 1D, que também podem exigir recursos computacionais significativos. Já havia sido demonstrado que a GPU pode ser usada para processamento de sinais em tempo-real, mas alguns processos não se adequavam bem à arquitetura da GPU. Neste trabalho, apresento uma nova técnica para implementar um filtro digital linear recursivo usando a GPU. Até onde eu sei, a solução aqui apresentada é a primeira na literatura. Uma comparação entre esta abordagem e uma implementação equivalente baseada na CPU demonstra que, quando usada em um sistema de processamento de áudio em temporeal, esta técnica permite o processamento de duas a quatro vezes mais coeficientes do que era possível anteriormente. A técnica também elimina a necessidade de processar o filtro na CPU - evitando transferências de memória adicionais entre CPU e GPU - quando se deseja usar o filtro junto a outros processos, tais como síntese de som. A recursividade estabelecida pela equação do filtro torna difícil obter uma implementação eficiente em uma arquitetura paralela como a da GPU. Já que cada amostra de saída é computada em paralelo, os valores necessários de amostras de saída anteriores não estão disponíveis no momento do cômputo. Poder-se-ia forçar a GPU a executar o filtro sequencialmente usando sincronização, mas isso seria um uso ineficiente da GPU. Este problema foi resolvido desdobrando-se a equação e "trocando-se" as dependências de amostras próximas à saída atual por outras precedentes, assim exigindo apenas o armazenamento de um certo número de amostras de saída. A equação resultante contém convoluções que então são eficientemente computadas usando a FFT. A implementação da técnica é geral e funciona para qualquer filtro recursivo linear invariante no tempo. Para demonstrar sua relevância, construímos um filtro LPC para sintetizar em tempo-real sons realísticos de colisões de objetos feitos de diferentes materiais, tais como vidro, plástico e madeira. Os sons podem ser parametrizados por material dos objetos, velocidade e ângulo das colisões. Apesar de flexível, esta abordagem usa pouca memória, exigindo apenas alguns coeficientes para representar a resposta ao impulso do filtro para cada material. Isso torna esta abordagem uma alternativa atraente frente às técnicas tradicionais baseadas em CPU que apenas realizam a reprodução de sons gravados. / Many researchers have been interested in exploring the vast computational power of recent graphics processing units (GPUs) in applications outside the graphics domain. This trend towards General-Purpose GPU (GPGPU) development has been intensified with the release of non-graphics APIs for GPU programming, such as NVIDIA's Compute Unified Device Architecture (CUDA). With them, the GPU has been widely studied for solving many 2D and 3D signal processing problems involving linear algebra and partial differential equations, but little attention has been given to 1D signal processing, which may demand significant computational resources likewise. It has been previously demonstrated that the GPU can be used for real-time signal processing, but several processes did not fit the GPU architecture well. In this work, a new technique for implementing a digital recursive linear filter using the GPU is presented. To the best of my knowledge, the solution presented here is the first in the literature. A comparison between this approach and an equivalent CPU-based implementation demonstrates that, when used in a real-time audio processing system, this technique supports processing of two to four times more coefficients than it was possible previously. The technique also eliminates the necessity of processing the filter on the CPU - avoiding additional memory transfers between CPU and GPU - when one wishes to use the filter in conjunction with other processes, such as sound synthesis. The recursivity established by the filter equation makes it difficult to obtain an efficient implementation on a parallel architecture like the GPU. Since every output sample is computed in parallel, the necessary values of previous output samples are unavailable at the time the computation takes place. One could force the GPU to execute the filter sequentially using synchronization, but this would be a very inefficient use of GPU resources. This problem is solved by unrolling the equation and "trading" dependences on samples close to the current output by other preceding ones, thus requiring only the storage of a limited number of previous output samples. The resulting equation contains convolutions which are then efficiently computed using the FFT. The proposed technique's implementation is general and works for any time-invariant recursive linear filter. To demonstrate its relevance, an LPC filter is designed to synthesize in real-time realistic sounds of collisions between objects made of different materials, such as glass, plastic, and wood. The synthesized sounds can be parameterized by the objects' materials, velocities and collision angles. Despite its flexibility, this approach uses very little memory, requiring only a few coefficients to represent the impulse response for the filter of each material. This turns this approach into an attractive alternative to traditional CPU-based techniques that use playback of pre-recorded sounds.

Muitos pesquisadores têm se interessado em explorar o vasto poder computacional das recentes unidades de processamento gráfico (GPUs) em aplicações fora do domínio gráfico. Essa tendência ao desenvolvimento de propósitos gerais com a GPU (GPGPU) foi intensificada com a produção de APIs não-gráficas, tais como a Compute Unified Device Architecture (CUDA), da NVIDIA. Com elas, estudou-se a solução na GPU de muitos problemas de processamento de sinal 2D e 3D envolvendo álgebra linear e equações diferenciais parciais, mas pouca atenção tem sido dada ao processamento de sinais 1D, que também podem exigir recursos computacionais significativos. Já havia sido demonstrado que a GPU pode ser usada para processamento de sinais em tempo-real, mas alguns processos não se adequavam bem à arquitetura da GPU. Neste trabalho, apresento uma nova técnica para implementar um filtro digital linear recursivo usando a GPU. Até onde eu sei, a solução aqui apresentada é a primeira na literatura. Uma comparação entre esta abordagem e uma implementação equivalente baseada na CPU demonstra que, quando usada em um sistema de processamento de áudio em temporeal, esta técnica permite o processamento de duas a quatro vezes mais coeficientes do que era possível anteriormente. A técnica também elimina a necessidade de processar o filtro na CPU - evitando transferências de memória adicionais entre CPU e GPU - quando se deseja usar o filtro junto a outros processos, tais como síntese de som. A recursividade estabelecida pela equação do filtro torna difícil obter uma implementação eficiente em uma arquitetura paralela como a da GPU. Já que cada amostra de saída é computada em paralelo, os valores necessários de amostras de saída anteriores não estão disponíveis no momento do cômputo. Poder-se-ia forçar a GPU a executar o filtro sequencialmente usando sincronização, mas isso seria um uso ineficiente da GPU. Este problema foi resolvido desdobrando-se a equação e "trocando-se" as dependências de amostras próximas à saída atual por outras precedentes, assim exigindo apenas o armazenamento de um certo número de amostras de saída. A equação resultante contém convoluções que então são eficientemente computadas usando a FFT. A implementação da técnica é geral e funciona para qualquer filtro recursivo linear invariante no tempo. Para demonstrar sua relevância, construímos um filtro LPC para sintetizar em tempo-real sons realísticos de colisões de objetos feitos de diferentes materiais, tais como vidro, plástico e madeira. Os sons podem ser parametrizados por material dos objetos, velocidade e ângulo das colisões. Apesar de flexível, esta abordagem usa pouca memória, exigindo apenas alguns coeficientes para representar a resposta ao impulso do filtro para cada material. Isso torna esta abordagem uma alternativa atraente frente às técnicas tradicionais baseadas em CPU que apenas realizam a reprodução de sons gravados. / Many researchers have been interested in exploring the vast computational power of recent graphics processing units (GPUs) in applications outside the graphics domain. This trend towards General-Purpose GPU (GPGPU) development has been intensified with the release of non-graphics APIs for GPU programming, such as NVIDIA's Compute Unified Device Architecture (CUDA). With them, the GPU has been widely studied for solving many 2D and 3D signal processing problems involving linear algebra and partial differential equations, but little attention has been given to 1D signal processing, which may demand significant computational resources likewise. It has been previously demonstrated that the GPU can be used for real-time signal processing, but several processes did not fit the GPU architecture well. In this work, a new technique for implementing a digital recursive linear filter using the GPU is presented. To the best of my knowledge, the solution presented here is the first in the literature. A comparison between this approach and an equivalent CPU-based implementation demonstrates that, when used in a real-time audio processing system, this technique supports processing of two to four times more coefficients than it was possible previously. The technique also eliminates the necessity of processing the filter on the CPU - avoiding additional memory transfers between CPU and GPU - when one wishes to use the filter in conjunction with other processes, such as sound synthesis. The recursivity established by the filter equation makes it difficult to obtain an efficient implementation on a parallel architecture like the GPU. Since every output sample is computed in parallel, the necessary values of previous output samples are unavailable at the time the computation takes place. One could force the GPU to execute the filter sequentially using synchronization, but this would be a very inefficient use of GPU resources. This problem is solved by unrolling the equation and "trading" dependences on samples close to the current output by other preceding ones, thus requiring only the storage of a limited number of previous output samples. The resulting equation contains convolutions which are then efficiently computed using the FFT. The proposed technique's implementation is general and works for any time-invariant recursive linear filter. To demonstrate its relevance, an LPC filter is designed to synthesize in real-time realistic sounds of collisions between objects made of different materials, such as glass, plastic, and wood. The synthesized sounds can be parameterized by the objects' materials, velocities and collision angles. Despite its flexibility, this approach uses very little memory, requiring only a few coefficients to represent the impulse response for the filter of each material. This turns this approach into an attractive alternative to traditional CPU-based techniques that use playback of pre-recorded sounds.

El Exorcista, una película del género de terror dirigida por William Friedkin en 1973, no solo es un clásico del género; también es un referente para el cine de horror realizado después. Ello se debe a su tratamiento de asuntos que resultaban inéditos para el género, como la sexualidad infantil, y a las características de la representación del proceso de transformación física de una niña poseída, así como al diseño de su banda sonora y de todos sus componentes: la palabra, los ruidos o efectos sonoros, las atmósferas creadas con ellos, la música y el silencio. Todos ellos se orientan a la creación de un clima de horror visceral, donde el miedo provocado por el género convive con el disgusto, el asco y la repulsión causados por los elementos de la representación fílmica. Este artículo describe e interpreta la singularidad de ese tratamiento sonoro de El Exorcista, apuntando aquello que ha resultado influyente en el curso de la historia del género de terror. / The Exorcist, a film of horror genre directed by William Friedkin in 1973, is not only a classic of the genre; it is also a reference to horror films made later. This is due to its treatment of issues that were unprecedented for the genre, such as infantile sexuality, and the characteristics of the representation of the process of physical transformation of a possessed girl, and the design of the soundtrack and all its components: voice, sound effects, atmospheres created with them, music and silence. They are aimed at creating a climate of visceral horror, where fear caused by gender coexists with disgust, repugnance and repulsion caused by the elements of filmic representation. This article describes and interprets the uniqueness of the sound treatment of The Exorcist, pointing what has been influential in the course of the history of the horror genre. / Trabajo de investigación

Hlavním cílem této práce je obohatit hudební signály charakteristikami lidské řeči. Práce zahrnuje tvorbu audioefektu inspirovaného efektem talk-box: analýzu hlasového ústrojí vhodným algoritmem jako je lineární predikce, a aplikaci odhadnutého filtru na hudební audio-signál. Důraz je kladen na dokonalou kvalitu výstupu, malou latenci a nízkou výpočetní náročnost pro použití v reálném čase. Výstupem práce je softwarový plugin využitelný v profesionálních aplikacích pro úpravu audia a při využití vhodné hardwarové platformy také pro živé hraní. Plugin emuluje reálné zařízení typu talk-box a poskytuje podobnou kvalitu výstupu s unikátním zvukem.

I dagens samhälle blir underhållningen mer digital, det blir allt mer vanligt att lyssna på en ljudbok istället för att läsa själv. Eftersom spelindustrin är en av de populäraste formerna av underhållning idag ville vi undersöka hur man kan använda sig av audionarrotologi inom spel. Audionarratologi är läran och studien om ljudets funktion inom ett narrativ. Termen är ett paraplybegrepp från narratologi vilket är läran och studien om narrativ. Vi har använt oss audionarratologi för att se hur ljudet kan samverka med ett textbaserat solo-äventyrsspel, eftersom ljudeffekter vanligtvis inte är ett fokus i spel av denna genre. Vi har utvecklat ett textbaserat spel utan en visuell bild med fokus på text och ljud för att kunna utföra vår undersökning om ljudets roll i ett textbaserat spel. Vi har utfört en kvalitativ studie för att ta reda på vad som är det mest optimala sättet att använda sig av ljud för att förstärka narrativet i ett spel. Programmet som användes för utvecklandet av spelet var Twine. I vårt spel får spelare göra olika val för att kunna fortsätta berättelsen, undersökningen utfördes genom att respondenterna fick fylla i ett frågeformulär och svara på vad de tyckte om ljudet i spelet och hur det påverkade narrativet. Med hjälp av svaren har vi sedan dragit slutsatsen att en bra ljudmix och jämna mellanrum mellan ljud och röster stärker narrativet / In today's society where entertainment is becoming more digital, and it is becoming more common to listen to an audiobook instead of reading one yourself. The game media is one of the most popular forms of entertainment in today's society, we want to see how to make use of audionarrotolgy in video games. Audionarratology is the doctrine and study of the function of sound within a story and a narrative, the term is an umbrella concept from narratology which is the doctrine and study of narration. We've used audionarrotolgy to see how the sound can cooperate with a text-based solo adventure story game, because sound effects are usually not a focus in games of this genre. We have developed a text-based game without visual imagery and with a focus on text and sound, in order to perform research on the role of sound in a text-based game. We conducted a qualitative study to find out what the most optimal way to use sound to reinforce the story in a game. The program that was used to develop the game was Twine. The survey was conducted by respondents filling out a questionnaire and answering what they liked about the sound of the game and how it affected the story. With the help of the answers we have then made our own conclusions for how the sound can interact with the story. We came to the conclusion that having a good sound mix and even intervals for sounds and voices, would make the sound reinforce the narrative.