Este trabalho apresenta uma ferramenta para conferência de áudio 3D (espacial) implementando conceitos de Realidade Aumentada (RA). O objetivo desta ferramenta é aprimorar a sensação de presença e melhorar a interatividade entre seus participantes remotos, por meio de benefícios proporcionados pela utilização de técnicas de áudio espacial (implementadas em avatares de áudio) pela: maior facilidade de concentração e atenção em um único participante e pelos efeitos positivos na memorização dos conteúdos pelos participantes como conseqüência da melhor inteligibilidade e compreensão. A motivação desta implementação reside em sua utilização como ferramenta de comunicação síncrona no ambiente de aprendizagem eletrônica Tidia-Ae, auxiliando na realização de atividades colaborativas e, possivelmente, nos processos de ensino e aprendizagem à distância. A ferramenta implementada foi integrada ao sistema Tidia-Ae e os resultados dos experimentos realizados demonstraram sua efetividade com relação às melhorias proporcionadas pelo processamento de áudio espacial. / This work presents a 3D (spatial) audio conference tool implementing Augmented Reality (AR) concepts. The main intent of this tool is to enhance the sense of presence and increase the interactivity among remote participants, by implementing spatial audio techniques in audio avatars. The use of such techniques facilitates focusing the attention on anyone specific participant of the conference and enables a positive effect on memory retention, resulting in a better intelligibility and comprehension. The motivation of this implementation lies on its appliance as a synchronous communication tool within the Tidia-Ae e-Learning system, thus aiding on collaborative activities realization and, possibly, on teaching and learning processes. The results of the experiments showed the effectiveness provided by the spatial audio processing when applied in such environment.

Este trabalho tem como proposta discutir a restauração sonora de filmes no Brasil. Através de entrevistas realizadas com profissionais da área de som que já participaram de diversos projetos com este objetivo, da pesquisa de textos sobre o assunto e da experiência do seu autor nessa área, o texto busca oferecer um panorama acerca das questões técnicas e dos procedimentos de trabalho envolvidos nas etapas da restauração sonora, bem como um histórico de alguns dos trabalhos já realizados e das principais dificuldades encontradas pelos profissionais que atuam nesse campo. Como resultado, o presente trabalho busca apresentar as diferentes filosofias de trabalho que tendem a ser assumidas para o processo de restauração sonora e como cada escolha pode afetar a originalidade e o conceito da obra. Assim, mais do que na discussão teórica sobre a restauração, o viés desse trabalho incide na relação entre técnica e postura conceitual do restaurador, bem como no modo como essa relação afeta o resultado da restauração descrito pelas experiências práticas destes profissionais. / This work aims at discussing movie audio restoration in Brazil. By means of interviews with audio professionals who have previously worked on such projects, research on writings about the subject, and the author\'s own experience in the field of sound restoration, this work tries to offer a panorama of the technical questions and operating procedures involved in sound restoration. It also offers a history of previously performed work and expounds the main difficulties faced by professionals working in this area. As a result, this study presents the different work philosophies that are most commonly adopted during the sound restoration process, and how each choice can affect the originality and conception of the work. Thus, more than a theoretical discussion on restoration, this work concentrates on the relationship between the technique and the conceptual posture of the restorer, as well as the way this relationship influences the restoration results as described by these professionals practical experience.

A representação dos elementos básicos da música - tais como notas, ornamentos e estruturas intervalares - em termos do som discretizado é bastante utilizada em software e rotinas para criação musical e tratamento sonoro. Não há, entretanto, uma abordagem concisa que relacione estes elementos às amostras sonoras. Nesta dissertação, cada elemento musical é descrito por equações que resultam diretamente nas sequências temporais do som em sua representação discretizada. O elemento fundamental, a nota musical básica com duração, volume, altura e timbre, é relacionado quantitativamente às características do sinal digital. As variações internas, como tremolos, vibratos e flutuações espectrais, também são contempladas, o que permite sintetizar notas com inspiração nos instrumentos musicais reais além de sonoridades novas. A partir desta representação das notas, dispomos de recursos para a geração de estruturas musicais, como a métrica rítmica, os intervalos de altura e os ciclos. As equações deram origem a uma caixa de ferramentas computacionais: scripts que realizam cada equação e geram exemplos sonoros simples. Nomeamos MASSA, Música e Áudio em Sequências e Séries Amostrais, este ferramental e sua eficácia foi comprovada com a síntese de pequenas peças usando notas básicas, notas incrementadas e notas em música. É possível, também, sintetizar álbuns inteiros através de colagens dos scripts e parametrização especificada pelo usuário. Com o paradigma de implementação em código aberto, a (caixa de ferramentas) MASSA pode ser expandida em processos de co-autoria e usada livremente por músicos, engenheiros e outros interessados. De fato, o sistema já foi empregado por usuários externos para a produção de músicas, apresentações artísticas, experimentos psico-acústicos e a difusão da linguagem computacional através do apelo lúdico dos artefatos audiovisuais. / The representation of the basic elements of music - such as notes, ornaments and intervalar structures - in terms of discrete audio signal is often used in software for music creation and design. Nevertheless, there is no unified approach that relates these elements to the sound discrete samples. In this dissertation, each musical element is described by equations that represent the sonic time samples, which are then implemented in scripts within a software toolbox, referred to as MASSA (Music and Audio in Sequences and Samples). The fundamental element, the musical note with duration, volume, pitch and timbre, is related quantitatively to the characteristics of the digital signal. Internal variations, such as tremolos, vibratos and spectral fluctuations, are also considered, which enables the synthesis of notes inspired by real instruments and new sonorities. With this representation of notes, resources are provided for the generation of musical structures, such as rhythmic meter, pitch intervals and cycles. The efficacy of MASSA was confirmed by the synthesis of small musical pieces using basic notes, incremented notes and notes in music. It is possible to synthesize whole albums through collage of the scripts and parameterization specified by the user. With the paradigm of open source implementation, MASSAtoolbox can be expanded in co-authorship processes and used freely by musicians, engineers and other interested parties. In fact, MASSAhas already been employed by external users for diverse purposes which include music production, artistic presentations, psychoacoustic experiments and computer language diffusion where the appeal of audiovisual artifacts is exploited.

Submitted by Filipe dos Santos (fsantos@pucsp.br) on 2018-12-04T11:46:19Z No. of bitstreams: 1 Felipe Antunes de Oliveira Rodrigues.pdf: 2502573 bytes, checksum: b9be7ad020151fc8cbad343711414219 (MD5) / Made available in DSpace on 2018-12-04T11:46:19Z (GMT). No. of bitstreams: 1 Felipe Antunes de Oliveira Rodrigues.pdf: 2502573 bytes, checksum: b9be7ad020151fc8cbad343711414219 (MD5) Previous issue date: 2018-09-24 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This dissertation has the objective of analyzing the experience of immersive audio in digital games, as perceived by the player as a listener and agent in the soundscape of virtual reality. The first chapter seeks to briefly examine and define the concepts of immersion and presence, in order to allow a deeper study of immersive audio to be possible. It also presents considerations about the coupling devices through which immersion in digital games is possible, in particular headphones, so common in the gamer routine. The second chapter is dedicated to the analysis of sound elements found in the virtual reality of digital games through the crossing of concepts and theories by authors such as Schafer, Meneguette, Huiberts, Droumeva among others. By doing so it seeks a comprehensive understanding of what can typically be heard in this medium in order to stimulate the immersive experience. The chapter also deals with problems and solutions that might interfere in the immersion in positive or negative ways, in order to clarify the relevance of the minutiae with respect to immersive audio. The third chapter approaches the subject from another angle, seeking an understanding of how the immersive experience of audio em digital games presents itself to the player. Next, analysis of of the game can hear the soundscape in the game are made. At the end of the chapter the concepts are reviewed, aiming to presenting an understanding of how the player is given the immersive experience of audio in digital games. The fourth and last chapter consists of a case study, in order to demonstrate, in a practical way, the immersive experience of audio studied so far / Esta dissertação tem como objetivo a análise da experiência do áudio imersivo em jogos digitais, como percebida pelo jogador enquanto ouvinte e agente na paisagem sonora da realidade virtual. O primeiro capítulo busca examinar e definir brevemente os conceitos de imersão e presença, de forma a permitir que um estudo mais aprofundado sobre o áudio imersivo seja possível. Também apresenta considerações sobre aparatos de acoplamento através dos quais a imersão em jogos digitais é possível, em particular os fones de ouvido, tão comuns na rotina gamer. O segundo capítulo é dedicado a análise dos elementos sonoros encontrados na realidade virtual dos jogos digitais através do cruzamento de conceitos de teorias de autores como Schafer, Meneguette, Huiberts, Droumeva entre outros. Busca-se assim um entendimento abrangente daquilo que tipicamente pode ser ouvido nessa mídia de forma a estimular a experiência imersiva. O capítulo também trata de problemas e soluções que possam interferir na imersão de forma positiva ou negativa, de forma a clarificar a relevância das minúcias no que diz respeito ao áudio imersivo. O terceiro capítulo aborda o assunto de outro ângulo, buscando um entendimento das formas como o áudio é apresentado ao jogador através de convenções e escolhas de design. Em seguida são feitas análises das diferentes formas como o jogador pode ouvir a paisagem sonora do jogo. Ao fim do capítulo são revisados os conceitos estudados, visando apresentar um entendimento de como se dá para o jogador a experiência imersiva do áudio em jogos digitais. O quarto e último capítulo consiste em um estudo de caso, com a finalidade de demonstrar, de forma prática, a experiência imersiva do áudio, estudada até então

O trabalho envolve a pesquisa de técnicas para espacialização sonora musical e o desenvolvimento de um sistema de espacialização sonora sobre uma arquitetura de áudio multicanal aberta (AUDIENCE) para a auralização imersiva. Utilizando-se a técnica Ambisonics, o sistema construído permite a recriação de um campo sonoro tridimensional. O sistema reproduz virtualmente peças musicais espacializadas, por meio de um arranjo de alto-falantes em torno do ouvinte, onde as fontes sonoras podem assumir posições incomuns e movimentar-se no espaço. Através dos resultados dos experimentos musicais realizados com o sistema, chega-se a conclusão de que o sistema pode ser utilizado por compositores, regentes e produtores para a tarefa de espacialização musical. / This work involves the research of techniques for musical spatialization, and the development of a spatialization system, based on an open multichannel audio architecture (AUDIENCE) for immersive auralization. The constructed system uses the Ambisonics technique, which allows the recreation of a three-dimensional sound field. The system reproduces spatial music through an arrangement of loudspeakers around the listener where sound sources can assume some uncommon positions, and also be put into motion. From the results of experiments with a musical piece it follows that the system can be used by composers, conductors, and producers to the musical spatialization task.

Este trabalho apresenta uma ferramenta para conferência de áudio 3D (espacial) implementando conceitos de Realidade Aumentada (RA). O objetivo desta ferramenta é aprimorar a sensação de presença e melhorar a interatividade entre seus participantes remotos, por meio de benefícios proporcionados pela utilização de técnicas de áudio espacial (implementadas em avatares de áudio) pela: maior facilidade de concentração e atenção em um único participante e pelos efeitos positivos na memorização dos conteúdos pelos participantes como conseqüência da melhor inteligibilidade e compreensão. A motivação desta implementação reside em sua utilização como ferramenta de comunicação síncrona no ambiente de aprendizagem eletrônica Tidia-Ae, auxiliando na realização de atividades colaborativas e, possivelmente, nos processos de ensino e aprendizagem à distância. A ferramenta implementada foi integrada ao sistema Tidia-Ae e os resultados dos experimentos realizados demonstraram sua efetividade com relação às melhorias proporcionadas pelo processamento de áudio espacial. / This work presents a 3D (spatial) audio conference tool implementing Augmented Reality (AR) concepts. The main intent of this tool is to enhance the sense of presence and increase the interactivity among remote participants, by implementing spatial audio techniques in audio avatars. The use of such techniques facilitates focusing the attention on anyone specific participant of the conference and enables a positive effect on memory retention, resulting in a better intelligibility and comprehension. The motivation of this implementation lies on its appliance as a synchronous communication tool within the Tidia-Ae e-Learning system, thus aiding on collaborative activities realization and, possibly, on teaching and learning processes. The results of the experiments showed the effectiveness provided by the spatial audio processing when applied in such environment.

O trabalho envolve a pesquisa de técnicas para espacialização sonora musical e o desenvolvimento de um sistema de espacialização sonora sobre uma arquitetura de áudio multicanal aberta (AUDIENCE) para a auralização imersiva. Utilizando-se a técnica Ambisonics, o sistema construído permite a recriação de um campo sonoro tridimensional. O sistema reproduz virtualmente peças musicais espacializadas, por meio de um arranjo de alto-falantes em torno do ouvinte, onde as fontes sonoras podem assumir posições incomuns e movimentar-se no espaço. Através dos resultados dos experimentos musicais realizados com o sistema, chega-se a conclusão de que o sistema pode ser utilizado por compositores, regentes e produtores para a tarefa de espacialização musical. / This work involves the research of techniques for musical spatialization, and the development of a spatialization system, based on an open multichannel audio architecture (AUDIENCE) for immersive auralization. The constructed system uses the Ambisonics technique, which allows the recreation of a three-dimensional sound field. The system reproduces spatial music through an arrangement of loudspeakers around the listener where sound sources can assume some uncommon positions, and also be put into motion. From the results of experiments with a musical piece it follows that the system can be used by composers, conductors, and producers to the musical spatialization task.

Nos últimos anos os avanços em áudio multicanal e sistemas envolventes despertaram um grande interesse pelas técnicas para a auralização de campos sonoros espaciais, capazes de recriar ambientações acústicas com grande realismo, envolvendo o ouvinte completamente. Um estudo sobre as tecnologias e soluções para áudio espacial mostrou que a construção de auralizadores envolve quatro blocos funcionais fundamentais. Mas, embora existam muitas técnicas e ferramentas disponíveis, não há uma arquitetura integradora para produção de áudio espacial que permita ao desenvolvedor selecionar as técnicas que deseja e montar uma solução com um grau de refinamento arbitrário que atenda a seus requisitos. Apresenta-se uma arquitetura modular aberta em quatro camadas para produção de áudio espacial em ambientes audiovisuais imersivos. Como estudo de caso, aborda-se a implementação de um auralizador Ambisonics para a CAVERNA Digital. Verifica-se que a auralização pode fornecer a correta perspectiva acústica do ambiente virtual necessária para uma percepção mais realista do espaço, e que a abordagem aberta para se implementar sistemas de áudio 2D/3D apresenta vantagens. Os resultados da implementação são apresentados e discutidos. Como conclusões, identificam-se desafios na implementação e os trabalhos futuros. / Recent advances in multichannel audio and surround systems have contributed to an increasing interest for spatial sound field auralization, capable of delivering acoustic ambience with great realism, and surrounding listener completely. A study on technologies and solutions for spatial sound has shown that building auralizators involve four major functional blocks, but, although there are many techniques and tools available, there is not an integration architecture for spatial audio production which permits developers to select their favorite techniques, and build a solution with an arbitrary refinement level, as wished. It is presented a four level modular open architecture for spatial audio production in immersive audiovisual environments. As a case study, an Ambisonics auralizator is implemented for the CAVERNA Digital CAVE. It is verified that auralization can deliver the correct acoustical perspective for the virtual environment necessary for a more realistic perception of space, and that an open approach presents advantages in 2D/3D audio systems design. Implementation results are presented and discussed. As conclusions, challenges and future works are presented.

O Sistema Brasileiro de Televisão Digital estabeleceu como padrão de codificação de áudio o algoritmo MPEG-4 Advanced Audio Coding, mais precisamente nos perfis Low Complexity, High Efficiency versão 1 e High Efficiency versão 2. O trabalho apresenta um estudo detalhado sobre o padrão, contendo desde alguns conceitos da psicoacústica como o mascaramento até a metodologia de decodificação do stream codificado, sempre voltado para o mercado do SBTVD. É proposta uma arquitetura em hardware para um decodificador compatível com o padrão MPEG-4 AAC LC. O decodificador é separado em dois grandes blocos mantendo em um deles o banco de filtros, considerado a parte mais custosa em termos de processamento. No bloco restante é realizada a decodificação do espectro, onde ocorre a decodificação dos códigos de Huffman, o segundo ponto crítico do algoritmo em termos de demandas computacionais. Por fim é descrita a implementação da arquitetura proposta em VHDL para prototipação em um FPGA da família Cyclone II da Altera. / MPEG-4 Advanced Audio Coding is the chosen algorithm for the Brazilian Digital Television System (SBTVD), supporting the Low Complexity, High Efficiency version 1 and High Efficiency version 2 profiles. A detailed study of the algorithm is presented, ranging from psychoacoustics concepts like masking to a review of the AAC bitstream decoding process, always keeping in mind the SBTVD. A digital hardware architecture is proposed, in which the algorithm is split in two separate blocks, one of them containing the Filter Bank, considered the most demanding task. The other block is responsible for decoding the coded spectrum, which contains the second most demanding task of the system: the Huffman decoding. In the final part of this work the conversion of the proposed architecture into VHDL modules meant to be prototyped with an Altera Cyclone II FPGA is described.

Submitted by FLIBLIO FERREIRA DE SOUZA null (fliblio@hotmail.com) on 2017-08-17T08:50:13Z No. of bitstreams: 1 Dissertação de Mestrado em Música – Fliblio Ferreira de Souza.pdf: 13041972 bytes, checksum: 3441fe83726c4f8c9d78a03b9f410e7b (MD5) / Approved for entry into archive by Luiz Galeffi (luizgaleffi@gmail.com) on 2017-08-23T16:50:48Z (GMT) No. of bitstreams: 1 souza_ff_me_ia.pdf: 13041972 bytes, checksum: 3441fe83726c4f8c9d78a03b9f410e7b (MD5) / Made available in DSpace on 2017-08-23T16:50:48Z (GMT). No. of bitstreams: 1 souza_ff_me_ia.pdf: 13041972 bytes, checksum: 3441fe83726c4f8c9d78a03b9f410e7b (MD5) Previous issue date: 2017-06-23 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / O presente trabalho aborda os aspectos cognitivos e os fundamentos composicionais da música eletroacústica para o audiovisual segundo Michel Chion, objetivando, assim, a realização de uma obra musical autoral de acordo com os princípios encontrados. Para tanto, foi realizada uma revisão bibliográfica crítica de sua obra, de modo a extrair ferramentas para a análise e para a composição dessa categoria de música. Com essas ferramentas, e sob o ponto de vista da interação do som com a imagem, foram analisadas obras “áudio-visuais” do próprio Michel Chion e a obra autoral na qual culminou este trabalho. De acordo com nossos estudos, o escopo desta pesquisa é algo inédito na produção acadêmica brasileira. / This research approaches the cognitive aspects and the compositional basis of the electroacoustic music to the audiovisual, according to Michel Chion. With this, it was aimed to do an authorial musical composition supported on the researched basis. To do that, a critical bibliographical research of Chion’s works was made in order to extract tools to the analysis and to the composition of this category of music. With this tools and focusing on the interaction of sound with image, it was analyzed selected audio-visual works by Michel Chion and the authorial one in which this work culminate. As far as we know, the scope of this research is something still undone in the Brazilian scientific academy.