Submitted by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-01-25T15:21:54Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Mauro J. B. Amazonas.pdf: 8997981 bytes, checksum: 8ce1a9258e6673aa1cff3808ecb1ecca (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-01-25T15:22:12Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Mauro J. B. Amazonas.pdf: 8997981 bytes, checksum: 8ce1a9258e6673aa1cff3808ecb1ecca (MD5) / Made available in DSpace on 2018-01-25T15:22:12Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Mauro J. B. Amazonas.pdf: 8997981 bytes, checksum: 8ce1a9258e6673aa1cff3808ecb1ecca (MD5) Previous issue date: 2017-12-01 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Sound localization is a skill that the human being possesses, which allows him to determine the direction of a certain sound source. To exploit this ability today, spatialized sound is widely used in art, film industry, gaming and virtual reality. In many of these scenarios, an engineer or sound designer is the central actor responsible for giving emotion to the projected images. He is the sound designer who orchestrates the distribution of each element of a sound scene by the sound boxes scattered in an environment, being his obligatory participation in the spatialization, so far. There are several applications that provide a spatial sound in real time, but in most cases, the process still depends on this character. In art, when it comes to an electroacoustic music concert, this character is also present, as responsible for controlling the sound. In games and in virtual reality, the sonorization of the elements and their behaviors follow a defined script. In order to supply the demand for tools that provide a sound spatialization, considering different sound sources to be controlled collaboratively by different actors, this work presents a scalable framework that provides real time spatialization, based on Project of Sonic interaction, applicable to multiple contexts. As opposed to other existing works aimed at real-time sound spatialization, this framework, developed in the Pure Data environment, provides a flexibility in the configuration of the speakers to be used, also allowing total and individual control of the location of various sound sources being processed in real time. By making use of custom code generation, this framework provides independence, scalability and performance for the applications, thus eliminating the centralizing figure of the sound designer. Being applicable in performances of electroacoustic music, or even in collaborative performances in which each user becomes an audience and composer at the same time. There is also the facilitation of the development of independent applications that exploit sound processing in real time, such as games, simulators and virtual reality. As a basis for solving the problem of spatial spatialization, Design Thinking (DT) was used, a solution-focused approach to complex problems in innovative and creative ways. The prototypes generated from the DT process gave rise to the developed framework; an analysis was made in at least three different contexts: Sound saturation point analysis, collaborative composition of spatialized electroacoustic music and sound spatialization of games. / A localização sonora é uma habilidade que o ser humano possui, a qual lhe permite determinar a direção de uma certa fonte sonora. Para explorar essa habilidade, atualmente, o som espacializado é amplamente utilizado na arte, na indústria cinematográfica, em jogos e na realidade virtual. Em muitos desses cenários, um engenheiro ou um projetista de som é o ator central e responsável por dar emoção às imagens projetadas. É o projetista de som que orquestra a distribuição de cada elemento de uma cena sonora pelas caixas de som espalhadas em um ambiente, sendo sua participação obrigatória na espacialização, até o momento. Existem várias aplicações que proporcionam uma espacialização sonora em tempo real, mas, na maioria dos casos, o processo ainda depende desse personagem. Na arte, quando se trata de um concerto de música eletroacústica, esse personagem também está presente, como responsável pelo controle do som. Nos jogos e na realidade virtual, a sonorização dos elementos e seus comportamentos seguem um roteiro definido. Com o propósito de suprir a demanda por ferramentas que proporcionem uma espacialização sonora, considerando diferentes fontes sonoras a serem controladas colaborativamente por atores distintos, este trabalho apresenta um framework escalável que proporciona espacialização de sons em tempo real, baseado em Projeto de Interação Sônica, aplicável a múltiplos contextos. De maneira oposta a outros trabalhos existentes voltados para a espacialização sonora em tempo real, esse framework, desenvolvido no ambiente Pure Data, traz uma flexibilidade da configuração de alto-falantes a serem utilizados, permitindo também o controle total e individual da localização de várias fontes sonoras sendo processadas em tempo real. Por fazer uso de geração de código personalizado, esse framework traz independência, escalabilidade e performance para as aplicações, possibilitando, assim, a eliminação da figura centralizadora do projetista de som. Sendo aplicável em performances de música eletroacústica, ou mesmo em performances colaborativas em que cada usuário se torna plateia e compositor, ao mesmo tempo. Há, também, a facilitação do desenvolvimento de aplicações independentes que explorem o processamento de som em tempo real, como em jogos, simuladores e realidade virtual. Como base para a resolução do problema de espacialização sonora foi utilizado o Design Thinking (DT), uma abordagem focada em soluções para problemas complexos de maneiras inovadoras e criativas. Os protótipos gerados a partir do processo de DT deram origem ao framework; uma vez desenvolvido, foi realizada uma análise em pelo menos três contextos diferentes: Análise do ponto de saturação do som, composição colaborativa de música eletroacústica espacializada e espacialização sonora de jogos.

Orientador: Adolfo Maia Júnior / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Artes / Made available in DSpace on 2018-08-23T23:03:27Z (GMT). No. of bitstreams: 2 Rimoldi_Gabriel_M.pdf: 4111537 bytes, checksum: c97c96d2f2a3272f97c2895b3b82e914 (MD5) Lima_GabrielRimoldiDe_M_Anexo.zip: 71564485 bytes, checksum: a7fc3171d3e3a698be2ed561f33b8675 (MD5) Previous issue date: 2013 / Resumo: Este trabalho apresenta um estudo sobre modelos interativos aplicados à síntese e espacialização sonora em tempo real. Mais especificamente, aborda sobre o desenvolvimento de métodos matemáticos e algorítmicos para geração e controle espacial de fluxos granulares através de parâmetros sonoros extraídos do sinal sonoro dos grãos. Abordamos inicialmente aspectos teóricos que fundamentam o campo da pesquisa proposta e, em seguida, apresentamos um modelo computacional desenvolvido para controle espacial de fluxos granulares. Discutimos primariamente acerca de elementos conceituais sobre a espacialização sonora, relacionados à escuta espacial, contextos históricos da espacialização na música, técnicas de auralização e sistemas de espacialização em tempo real e, em seguida, apresentamos um estudo sobre o domínio microtemporal como modelo de representação musical, abordando aspectos referentes à análise, síntese sonora e composição musical. Com base nestes estudos, desenvolvemos um software em Pure Data (PD) para espacialização de sons granulares em tempo real que denominamos GTSpat - Granular Timbre Spatialization. No modelo elaborado, um vetor de características extraído através de descritores acústicos é atribuído a cada grão, que por sua vez é virtualmente localizado na espacialização sonora em função do mesmo. Através de três distintas propostas interativas, criamos módulos interativos em que o usuário pode manipular diferentes propriedades da espacialização e da síntese sonora. Propomos ainda dois modelos de distribuição espacial automática dos grãos sonoros, baseando-se em estratégias adaptativas do sistema em função da interação proposta pelo usuário. Por último, apresentamos algumas aplicações artísticas que utilizam o sistema GTSpat como suporte para criação e que, deste modo, servem como mecanismo de avaliação das ferramentas desenvolvidas / Abstract: This dissertation presents a study on interactive models applied to the real time synthesis and sound spatialization. More specifically addresses on the development of mathematical and algorithmic methods for generation and spatial control of granular flows through similarities measures between the grains. Initially approached theoretical aspects underlying the field of proposed research and then present a computational model developed for spatial control of granular flows. We discuss primarily about conceptual elements on the sound spatialization, related to spatial hearing, historical contexts of spatial music, techniques and systems for real time auralization, and then present a study of microtemporal representation as support for analysis, sound synthesis and music composition. Based on these studies, we developed a software in Pure Data (PD) for real time granular spatialization called GTSpat - Granular Timbre spatialization. In this model, one feature vector extracted by audio features are assigned to each grain, which is virtually located in the spatialization as a function thereof. Via three distinct interactive proposals, we create modules that the user can manipulate the different properties of sound synthesis and spatialization. We also propose two models of the automatic spatial distribution of the grains, based on adaptive strategies of the system depending on the proposed user interaction. Finally, we present some artistic applications using the system for creating GTSpat as support and, thus, serve as a mechanism for assessing the developed tools / Mestrado / Fundamentos Teoricos / Mestre em Música

Buscando-se a aplicação prática da teoria de Wave Field Synthesis (WFS) na música, foi feita uma pesquisa visando à modelagem de um sistema de sonorização capaz de criar imagens sonoras espaciais com a utilização desta técnica. Diferentemente da maioria das outras técnicas de sonorização, que trabalham com uma região de escuta pequena e localizada, WFS permite projetar os sons de cada fonte sonora - como instrumentos musicais e vozes - em diferentes pontos do espaço de audição, em uma região de escuta que pode abranger quase toda a área compreendida por este espaço, dependendo da quantidade de alto-falantes instalados. O desenvolvimento de um código de estrutura modular para WFS foi baseado na plataforma orientada a patches Pure Data (Pd), e no sistema de auralização AUDIENCE, desenvolvido na USP, sendo integrável como ferramenta para espacialização sonora interativa. A solução emprega patches dinâmicos e uma arquitetura modular, permitindo flexibilidade e manutenabilidade do código, com vantagens frente a outros software existentes, particularmente na instalação, operação e para lidar com um número elevado de fontes sonoras e alto-falantes. Para este sistema também foram desenvolvidos alto-falantes especiais com características que facilitam seu uso em aplicações musicais. / Seeking the practical application of the theory of Wave Field Synthesis (WFS) in music, a research aimed at modeling a sound system capable of creating spatial sound images with the use of this technique was made. Unlike most other techniques for sound projection that work with a small, localized listening area, WFS allows projecting the sounds of each sound source - such as musical instruments and voices - at different points within the hearing space, in a region that can cover almost the entire area comprised by this space, depending on the amount of installed speakers. The development of a modular structured code for WFS was based on the patch-oriented platform Pure Data (Pd), and on the AUDIENCE auralization system developed at USP, and it is integrable as a tool for interactive sound spatialization. The solution employs dynamic patches and a modular architecture, allowing code flexibility and maintainability, with advantages compared to other existing software, particularly in the installation, operation and to handle a large number of sound sources and speakers. For this system special speakers with features that facilitate its use in musical applications were also developed.

Buscando-se a aplicação prática da teoria de Wave Field Synthesis (WFS) na música, foi feita uma pesquisa visando à modelagem de um sistema de sonorização capaz de criar imagens sonoras espaciais com a utilização desta técnica. Diferentemente da maioria das outras técnicas de sonorização, que trabalham com uma região de escuta pequena e localizada, WFS permite projetar os sons de cada fonte sonora - como instrumentos musicais e vozes - em diferentes pontos do espaço de audição, em uma região de escuta que pode abranger quase toda a área compreendida por este espaço, dependendo da quantidade de alto-falantes instalados. O desenvolvimento de um código de estrutura modular para WFS foi baseado na plataforma orientada a patches Pure Data (Pd), e no sistema de auralização AUDIENCE, desenvolvido na USP, sendo integrável como ferramenta para espacialização sonora interativa. A solução emprega patches dinâmicos e uma arquitetura modular, permitindo flexibilidade e manutenabilidade do código, com vantagens frente a outros software existentes, particularmente na instalação, operação e para lidar com um número elevado de fontes sonoras e alto-falantes. Para este sistema também foram desenvolvidos alto-falantes especiais com características que facilitam seu uso em aplicações musicais. / Seeking the practical application of the theory of Wave Field Synthesis (WFS) in music, a research aimed at modeling a sound system capable of creating spatial sound images with the use of this technique was made. Unlike most other techniques for sound projection that work with a small, localized listening area, WFS allows projecting the sounds of each sound source - such as musical instruments and voices - at different points within the hearing space, in a region that can cover almost the entire area comprised by this space, depending on the amount of installed speakers. The development of a modular structured code for WFS was based on the patch-oriented platform Pure Data (Pd), and on the AUDIENCE auralization system developed at USP, and it is integrable as a tool for interactive sound spatialization. The solution employs dynamic patches and a modular architecture, allowing code flexibility and maintainability, with advantages compared to other existing software, particularly in the installation, operation and to handle a large number of sound sources and speakers. For this system special speakers with features that facilitate its use in musical applications were also developed.