O Sistema Brasileiro de Televisão Digital estabeleceu como padrão de codificação de áudio o algoritmo MPEG-4 Advanced Audio Coding, mais precisamente nos perfis Low Complexity, High Efficiency versão 1 e High Efficiency versão 2. O trabalho apresenta um estudo detalhado sobre o padrão, contendo desde alguns conceitos da psicoacústica como o mascaramento até a metodologia de decodificação do stream codificado, sempre voltado para o mercado do SBTVD. É proposta uma arquitetura em hardware para um decodificador compatível com o padrão MPEG-4 AAC LC. O decodificador é separado em dois grandes blocos mantendo em um deles o banco de filtros, considerado a parte mais custosa em termos de processamento. No bloco restante é realizada a decodificação do espectro, onde ocorre a decodificação dos códigos de Huffman, o segundo ponto crítico do algoritmo em termos de demandas computacionais. Por fim é descrita a implementação da arquitetura proposta em VHDL para prototipação em um FPGA da família Cyclone II da Altera. / MPEG-4 Advanced Audio Coding is the chosen algorithm for the Brazilian Digital Television System (SBTVD), supporting the Low Complexity, High Efficiency version 1 and High Efficiency version 2 profiles. A detailed study of the algorithm is presented, ranging from psychoacoustics concepts like masking to a review of the AAC bitstream decoding process, always keeping in mind the SBTVD. A digital hardware architecture is proposed, in which the algorithm is split in two separate blocks, one of them containing the Filter Bank, considered the most demanding task. The other block is responsible for decoding the coded spectrum, which contains the second most demanding task of the system: the Huffman decoding. In the final part of this work the conversion of the proposed architecture into VHDL modules meant to be prototyped with an Altera Cyclone II FPGA is described.

A representação dos elementos básicos da música - tais como notas, ornamentos e estruturas intervalares - em termos do som discretizado é bastante utilizada em software e rotinas para criação musical e tratamento sonoro. Não há, entretanto, uma abordagem concisa que relacione estes elementos às amostras sonoras. Nesta dissertação, cada elemento musical é descrito por equações que resultam diretamente nas sequências temporais do som em sua representação discretizada. O elemento fundamental, a nota musical básica com duração, volume, altura e timbre, é relacionado quantitativamente às características do sinal digital. As variações internas, como tremolos, vibratos e flutuações espectrais, também são contempladas, o que permite sintetizar notas com inspiração nos instrumentos musicais reais além de sonoridades novas. A partir desta representação das notas, dispomos de recursos para a geração de estruturas musicais, como a métrica rítmica, os intervalos de altura e os ciclos. As equações deram origem a uma caixa de ferramentas computacionais: scripts que realizam cada equação e geram exemplos sonoros simples. Nomeamos MASSA, Música e Áudio em Sequências e Séries Amostrais, este ferramental e sua eficácia foi comprovada com a síntese de pequenas peças usando notas básicas, notas incrementadas e notas em música. É possível, também, sintetizar álbuns inteiros através de colagens dos scripts e parametrização especificada pelo usuário. Com o paradigma de implementação em código aberto, a (caixa de ferramentas) MASSA pode ser expandida em processos de co-autoria e usada livremente por músicos, engenheiros e outros interessados. De fato, o sistema já foi empregado por usuários externos para a produção de músicas, apresentações artísticas, experimentos psico-acústicos e a difusão da linguagem computacional através do apelo lúdico dos artefatos audiovisuais. / The representation of the basic elements of music - such as notes, ornaments and intervalar structures - in terms of discrete audio signal is often used in software for music creation and design. Nevertheless, there is no unified approach that relates these elements to the sound discrete samples. In this dissertation, each musical element is described by equations that represent the sonic time samples, which are then implemented in scripts within a software toolbox, referred to as MASSA (Music and Audio in Sequences and Samples). The fundamental element, the musical note with duration, volume, pitch and timbre, is related quantitatively to the characteristics of the digital signal. Internal variations, such as tremolos, vibratos and spectral fluctuations, are also considered, which enables the synthesis of notes inspired by real instruments and new sonorities. With this representation of notes, resources are provided for the generation of musical structures, such as rhythmic meter, pitch intervals and cycles. The efficacy of MASSA was confirmed by the synthesis of small musical pieces using basic notes, incremented notes and notes in music. It is possible to synthesize whole albums through collage of the scripts and parameterization specified by the user. With the paradigm of open source implementation, MASSAtoolbox can be expanded in co-authorship processes and used freely by musicians, engineers and other interested parties. In fact, MASSAhas already been employed by external users for diverse purposes which include music production, artistic presentations, psychoacoustic experiments and computer language diffusion where the appeal of audiovisual artifacts is exploited.

O Sistema Brasileiro de Televisão Digital estabeleceu como padrão de codificação de áudio o algoritmo MPEG-4 Advanced Audio Coding, mais precisamente nos perfis Low Complexity, High Efficiency versão 1 e High Efficiency versão 2. O trabalho apresenta um estudo detalhado sobre o padrão, contendo desde alguns conceitos da psicoacústica como o mascaramento até a metodologia de decodificação do stream codificado, sempre voltado para o mercado do SBTVD. É proposta uma arquitetura em hardware para um decodificador compatível com o padrão MPEG-4 AAC LC. O decodificador é separado em dois grandes blocos mantendo em um deles o banco de filtros, considerado a parte mais custosa em termos de processamento. No bloco restante é realizada a decodificação do espectro, onde ocorre a decodificação dos códigos de Huffman, o segundo ponto crítico do algoritmo em termos de demandas computacionais. Por fim é descrita a implementação da arquitetura proposta em VHDL para prototipação em um FPGA da família Cyclone II da Altera. / MPEG-4 Advanced Audio Coding is the chosen algorithm for the Brazilian Digital Television System (SBTVD), supporting the Low Complexity, High Efficiency version 1 and High Efficiency version 2 profiles. A detailed study of the algorithm is presented, ranging from psychoacoustics concepts like masking to a review of the AAC bitstream decoding process, always keeping in mind the SBTVD. A digital hardware architecture is proposed, in which the algorithm is split in two separate blocks, one of them containing the Filter Bank, considered the most demanding task. The other block is responsible for decoding the coded spectrum, which contains the second most demanding task of the system: the Huffman decoding. In the final part of this work the conversion of the proposed architecture into VHDL modules meant to be prototyped with an Altera Cyclone II FPGA is described.

Submitted by Eduarda Figueiredo (eduarda.ffigueiredo@ufpe.br) on 2015-03-06T15:24:45Z No. of bitstreams: 2 Dissertacao_Cordeiro Jr,M.M.pdf: 3941475 bytes, checksum: 87847586f1b95455343538f32a029b91 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-06T15:24:45Z (GMT). No. of bitstreams: 2 Dissertacao_Cordeiro Jr,M.M.pdf: 3941475 bytes, checksum: 87847586f1b95455343538f32a029b91 (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2011-09-02 / CAPES / Nesta dissertação é proposto um novo procedimento para identificação de notas e acordes em registros de piano. O método apresentado utiliza técnicas de processamento de sinais de áudio e de imagem e pode ser dividido em cinco etapas, a saber: decomposição do sinal de áudio em componentes de energia utilizando bancos de filtros digitais por janelas Kaiser; conversão matriz-imagem seguida de binarização por limiar de Otsu; ajuste a partir de técnicas de conectividade entre os pixels; sobreposição temporal e composição dos resultados. O desafio consiste em conceber um aplicativo capaz de dispor de forma amigável o conteúdo musical (notas e acordes) contido num arquivo de áudio gravado via sintetizador ou pelo próprio instrumento a partir da implementação de técnicas especificas que usam processamento de sinais de áudio e imagem. A implementação é realizada a partir de diversos algoritmos desenvolvidos no Matlab® . Testes de funcionamento usando registros de piano (gravados via intetizador) foram realizados, obtendo taxas de acerto superiores a 88 %.

Este trabalho tem como proposta discutir a restauração sonora de filmes no Brasil. Através de entrevistas realizadas com profissionais da área de som que já participaram de diversos projetos com este objetivo, da pesquisa de textos sobre o assunto e da experiência do seu autor nessa área, o texto busca oferecer um panorama acerca das questões técnicas e dos procedimentos de trabalho envolvidos nas etapas da restauração sonora, bem como um histórico de alguns dos trabalhos já realizados e das principais dificuldades encontradas pelos profissionais que atuam nesse campo. Como resultado, o presente trabalho busca apresentar as diferentes filosofias de trabalho que tendem a ser assumidas para o processo de restauração sonora e como cada escolha pode afetar a originalidade e o conceito da obra. Assim, mais do que na discussão teórica sobre a restauração, o viés desse trabalho incide na relação entre técnica e postura conceitual do restaurador, bem como no modo como essa relação afeta o resultado da restauração descrito pelas experiências práticas destes profissionais. / This work aims at discussing movie audio restoration in Brazil. By means of interviews with audio professionals who have previously worked on such projects, research on writings about the subject, and the author\'s own experience in the field of sound restoration, this work tries to offer a panorama of the technical questions and operating procedures involved in sound restoration. It also offers a history of previously performed work and expounds the main difficulties faced by professionals working in this area. As a result, this study presents the different work philosophies that are most commonly adopted during the sound restoration process, and how each choice can affect the originality and conception of the work. Thus, more than a theoretical discussion on restoration, this work concentrates on the relationship between the technique and the conceptual posture of the restorer, as well as the way this relationship influences the restoration results as described by these professionals practical experience.

A ideia de se permitir que diversos músicos possam interagir remotamente utilizando-se de redes de computadores não é nova, mas nunca se popularizou. O que antes era limitado tecnologicamente devido às condições disponibilizadas por conexões de internet pela linha telefônica, hoje apresenta-se muito mais viável tecnicamente com a massicação da internet de banda larga, seja por cabo ou por tecnologias DSL. Apesar disso, encontrar um ambiente virtual em que a performance musical pareça completamente natural para o músico é uma das maiores diculdades nesta área. Embora a latência obtida na conexão entre computadores esteja vinculada principalmente à distância entre os usuários e à qualidade do serviço oferecido pelos provedores de internet, outros aspectos, como a largura de banda, podem ser controlados pelo software. Para lidar com as limitações de largura de banda no acesso à internet disponíveis comercialmente, um método de compactação de áudio eciente e que alie baixa latência algorítmica com alta qualidade sonora é imprescindível. Para evitar que atrasos muito grandes na transmissão do áudio impossibilitem uma interação musical entre os participantes, uma técnica em que a própria resposta sonora do instrumento seja atrasada localmente torna-se uma alternativa válida na busca de um ambiente para performances musicais via rede. Esta dissertação busca apresentar uma alternativa exível e de fácil utilização para que a realização de performances musicais distribuídas por usuários caseiros seja possível, mesmo que estes não tenham acesso a redes dedicadas para tal nalidade. / The idea of allowing several musicians to interact remotely using computer networks is not new but it never became popular. What was once technologically limited because of the conditions available through dial up internet connections is now much more technically feasible with the massication of the broadband internet, whether by cable or by DSL technologies. In spite of that, nding a place where the music performance feels completely natural to the musicians is still one of the biggest challenges in this area. Even though the latency obtained in the connection between computers is mainly linked to the distance between users and to the quality of the service oered by internet providers, others aspects, like the network bandwidth, can be controlled by software. To deal with the limitations on the internet bandwidth commercially available, an ecient audio coding method that has both low algorithmic latency and high sound quality becomes essential. To avoid letting large audio transmission delays make it impossible for players to have a real musical interaction, a technique where the musical instruments own feedback is locally delayed represents a viable alternative in search of a favorable environment for network music performances. This project aims to oer a exible and easy-to-use alternative so that it is possible for home users to be part of network music performances even if they do not have access to networks dedicated to this end.

Although soundtracks play an essential role in the experience delivered by digital games, there are a number of design restrictions it suffers from due to technology limitations. This is specially true for real-time effects, a natural demand in the interactive media of games. Developers may either implement their own solutions each time, rely on proprietary software, or neglect the soundtrack altogether. Besides, even the best commercial tools support only sample-based audio, which is one of the main causes for the aforementioned design restrictions. Thus, this thesis proposes VORPAL, a free software game audio middleware implementation that focuses on procedural audio instead while maintaining the possibility of sample-based audio as a more accessible and adequate tool for composing real-time soundtracks for digital games. The middleware, inspired by its commercial predecessors, is divided in two main pieces of software: an audio engine and a soundtrack creation kit. The audio engine comprises a native C++ programming library, which games and game engines can be linked to to play and control in real-time soundtrack pieces created using the soundtrack creation kit, which consists of building blocks provided as Pure Data abstractions. We have interviewed and partnered with professional sound designers to validate our technology, and came to develop a proof of concept game called Sound Wanderer, which showcases the possibilities and limitations of the VORPAL middleware. / Muito embora trilhas sonoras desempenhem um papel essencial na experiência criada por jogos digitais, elas sofrem de diversas restrições de projeto causadas por limitações tecnológicas. Isso afeta principalmente efeitos em tempo real, que são uma demanda natural na mídia interativa dos jogos. Desenvolvedores precisam optar entre implementar uma solução própria caso a caso, investir em software proprietário, ou simplesmente negligenciar a trilha sonora por falta de opção melhor. Além disso, mesmo as melhores ferramentas comerciais trabalham apenas com áudio baseado em amostras, o que é uma das principais causas das ditas restrições de projeto. Portanto, esta dissertação propõe VORPAL, um middleware livre para áudio em jogos que foca em áudio procedural mas mantém compatibilidade com áudio baseado em amostras como uma ferramenta mais acessível e adequada para a composição de trilhas sonoras em tempo real para jogos digitais. O middleware, inspirado em seus antecessores comerciais, é dividido em duas principais componentes de software: um motor de áudio e um kit de criação de trilhas sonoras. O primeiro é constituído por uma biblioteca de programação nativa em C++, com a qual jogos e motores de jogos podem se ligar para reproduzir e controlar, em tempo real, peças da trilha sonora criadas usando a outro componente, que é um kit de blocos de construção providos como abstrações de Pure Data. Projetistas de som profissionais foram entrevistados e depois trabalharam em parceria com os autores para validar a tecnologia proposta, o que levou ao desenvolvimento de um jogo de prova conceitual chamado Sound Wanderer, que demonstra as possibilidades e limitações do middleware VORPAL.

Although soundtracks play an essential role in the experience delivered by digital games, there are a number of design restrictions it suffers from due to technology limitations. This is specially true for real-time effects, a natural demand in the interactive media of games. Developers may either implement their own solutions each time, rely on proprietary software, or neglect the soundtrack altogether. Besides, even the best commercial tools support only sample-based audio, which is one of the main causes for the aforementioned design restrictions. Thus, this thesis proposes VORPAL, a free software game audio middleware implementation that focuses on procedural audio instead while maintaining the possibility of sample-based audio as a more accessible and adequate tool for composing real-time soundtracks for digital games. The middleware, inspired by its commercial predecessors, is divided in two main pieces of software: an audio engine and a soundtrack creation kit. The audio engine comprises a native C++ programming library, which games and game engines can be linked to to play and control in real-time soundtrack pieces created using the soundtrack creation kit, which consists of building blocks provided as Pure Data abstractions. We have interviewed and partnered with professional sound designers to validate our technology, and came to develop a proof of concept game called Sound Wanderer, which showcases the possibilities and limitations of the VORPAL middleware. / Muito embora trilhas sonoras desempenhem um papel essencial na experiência criada por jogos digitais, elas sofrem de diversas restrições de projeto causadas por limitações tecnológicas. Isso afeta principalmente efeitos em tempo real, que são uma demanda natural na mídia interativa dos jogos. Desenvolvedores precisam optar entre implementar uma solução própria caso a caso, investir em software proprietário, ou simplesmente negligenciar a trilha sonora por falta de opção melhor. Além disso, mesmo as melhores ferramentas comerciais trabalham apenas com áudio baseado em amostras, o que é uma das principais causas das ditas restrições de projeto. Portanto, esta dissertação propõe VORPAL, um middleware livre para áudio em jogos que foca em áudio procedural mas mantém compatibilidade com áudio baseado em amostras como uma ferramenta mais acessível e adequada para a composição de trilhas sonoras em tempo real para jogos digitais. O middleware, inspirado em seus antecessores comerciais, é dividido em duas principais componentes de software: um motor de áudio e um kit de criação de trilhas sonoras. O primeiro é constituído por uma biblioteca de programação nativa em C++, com a qual jogos e motores de jogos podem se ligar para reproduzir e controlar, em tempo real, peças da trilha sonora criadas usando a outro componente, que é um kit de blocos de construção providos como abstrações de Pure Data. Projetistas de som profissionais foram entrevistados e depois trabalharam em parceria com os autores para validar a tecnologia proposta, o que levou ao desenvolvimento de um jogo de prova conceitual chamado Sound Wanderer, que demonstra as possibilidades e limitações do middleware VORPAL.

Made available in DSpace on 2016-04-26T18:18:19Z (GMT). No. of bitstreams: 1 Mauricio Nacib Pontuschka.pdf: 2745462 bytes, checksum: 95bf3c2456cd0f013c649839fefcf0bd (MD5) Previous issue date: 2009-11-10 / This thesis explores the audio field in current computerized systems, so as to contribute to the use of intrinsic characteristics of audio and its expressiveness in communicational digital environments. The issue under study is related to systematized articulation of audio, which allows the use of techniques that enable the randomness of sounds, thus broadening the conceptual range of expressiveness of cognitive and communicational processes in hypermedia environments and metaverses. The philosophical foundations of this work are on the area of Linguistics (Ferdinand de Saussure) and Semiotics (Charles Pierce), which justify the understanding of the role of audio in current communication processes. The studies of George Landow and Theodore Nelson on Hypertexts had the role of bringing into light the computerized systematization ability of communication processes, what has motivated us to explore audio, its peculiarities and computational specificities in digital environments. In this context, the random component is introduced in the systematization so that the elements of human perception detailed by Charles Pierce can be used individually. Afterwards we will discuss, some possibilities of application of random audio understood as sonic textures in communication processes and music. As main result, this work proposes that random audio can be employed in research projects of virtual environments (metaverses), culminating in a formulation of soundscapes (Murray Shafer) starting from the concept of hyperaudio / Esta tese explora o campo do áudio nos atuais sistemas computadorizados, de forma a contribuir para a utilização das características intrínsecas do áudio e de sua expressividade em ambientes digitais comunicacionais. A questão estudada volta-se para a articulação sistematizada do áudio, que permite a utilização de técnicas que viabilizam a aleatoriedade de sons, ampliando assim o leque das expressividades conceituais para os processos cognitivos e comunicacionais em ambientes hipermídias e metaversos. Colocando as bases filosóficas da área da Linguística (Ferdinand Saussure) e da Semiótica (Charles Pierce) fundamentamos o entendimento a respeito do papel do áudio nos processos atuais de comunicação. Os estudos de George Landow e Teodore Nelson a respeito de Hipertextos tiveram o papel de evidenciar a capacidade de sistematização computadorizada dos processos comunicacionais o que nos motivou a explorar o áudio em ambientes digitais, suas peculiaridades e especificidades computacionais. A partir deste contexto a componente aleatória é introduzida nesta sistematização de maneira que os elementos da percepção humana detalhados por Charles Pierce possam ser utilizados individualmente. Na sequência são discutidas possibilidades de aplicação do áudio aleatório, entendido como texturas sonoras, nos processos de comunicação e na música. Como principal resultado, este trabalho propõe que o áudio aleatório pode ser empregado em projetos de pesquisa de ambientes virtuais (metaversos), culminando em uma formulação de paisagens sonoras (Murray Shafer) a partir da ideia do conceito de hiperáudio

Made available in DSpace on 2016-04-26T18:17:36Z (GMT). No. of bitstreams: 1 Lawrence Rocha Shum.pdf: 4431954 bytes, checksum: 96538a51488d76ff9238d76c3f914c11 (MD5) Previous issue date: 2008-12-18 / The emergence of electronic games as a cultural manifestation and product that is widespread and has economic significance invites us to develop a theory of sound production for games, in the same way as has occurred with cinema (film sound). According to information from the NPD Group (www.npd.com), games are currently the largest sector of the entertainment industry, having earned a profit of US$10.5 billion in 2005 in the American market alone. In addition to their commercial importance, electronic games have the status of a media and an environment for social interaction and constitute one of the most significant cultural and technological phenomena of our time. Their influence can be seen in the way they interface and form a hybrid with the cinema, education, pedagogy, communication, philosophy, computer science, sociology, anthropology, political activism, science, advertising, painting and other forms of artistic expression. Games have established themselves within the academy with game studies: scientific research regarding the types, languages and cultural, aesthetic and communicational aspects of electronic games. One of the main points of reference in this area, the website Game Studies (http://gamestudies.org), proposes taking a new view of games, instead of simply using them as metaphors or illustrations of some other theory or phenomenon . In short, games have emerged as their own area of knowledge. The concept of sound topology is proposed in this doctoral dissertation to designate the conception of the possible places in a game (where there can be sound) and their correlation with the planning, creation, employment and distribution of sound elements (voices, music and noises), thus establishing a dialectical relationship between a game s places and their sounds. The word place here has a broad meaning and can mean spaces, environments, levels, phases, obstacles, maps, flow charts, cities, kingdoms, universes, worlds, optional scenes and narrative plans. The research problem is to investigate and propose possible uses for sounds as immersive elements, interaction indices and gameplay forms. For this purpose, a dialog was conducted among the ideas of Huizinga and Caillois regarding the nature of games; of Samsel and Wimberley regarding the structural models of navigation; of Jenkins regarding narrative spaces; of Galloway regarding the theory of action in games; of hypermedia, and of film sound studies. The methodology involved the practice of various games, in addition to bibliographic research / A emergência dos jogos eletrônicos como manifestação e produto cultural de difusão em larga escala e relevância econômica nos convida a pensar em uma teoria de produção sonora para games, a exemplo do que ocorre com o cinema (Film Sound). Segundo dados do NPD Group (www.npd.com), os games constituem hoje a maior indústria de entretenimento, tendo alcançado apenas no mercado norte-americano a marca de U$ 10,5 bilhões de lucro em 2005. Para além de sua importância comercial, os jogos eletrônicos possuem status de mídia e de ambiente de interação social, e se constituem como um dos fenômenos culturais e tecnológicos mais significativos de nossos dias. Sua influência é percebida em suas interfaces e hibridizações com o cinema, a educação, a pedagogia, a comunicação, a filosofia, a computação, a sociologia, a antropologia, o ativismo político, a ciência, a publicidade, a pintura, o design e outras formas de expressão artística. No universo acadêmico, os games conquistaram espaço com os Game Studies, pesquisas científicas a respeito de gêneros, linguagens e aspectos culturais, estéticos e comunicacionais dos jogos eletrônicos. Uma das principais referências na área, o portal Game Studies (http://gamestudies.org) propõe novos olhares sobre os games, ao invés de simplesmente usá-los como metáforas ou ilustrações de alguma outra teoria ou fenômeno . Enfim, os games emergem como área própria do conhecimento. Nesta tese de doutorado, é proposto o conceito de topologia sonora para designar a concepção dos possíveis lugares em um game (onde possa haver som) e suas correlações com o planejamento, criação, emprego e distribuição dos elementos sonoros (vozes, músicas e ruídos), estabelecendo, assim, uma relação dialética entre os lugares do jogo e as suas sonoridades. A palavra lugar tem aqui um sentido amplo e pode representar espaços, ambientes, níveis, fases, nós, mapas, fluxogramas, cidades, reinos, universos, mundos, cenas opcionais e planos narrativos. O problema de pesquisa é investigar e propor empregos possíveis dos sons como elementos imersivos, índices de interação e formas de jogabilidade. Para isso foi realizada uma interlocução entre as idéias de Huizinga e Caillois sobre a natureza dos jogos, os modelos estruturais de navegação, de Samsel e Wimberley, os espaços narrativos, de Jenkins, a teoria da ação nos games, de Galloway, a hipermídia e os estudos sobre a produção sonora no cinema (Film Sound). A metodologia envolveu, além da pesquisa bibliográfica, a prática de diversos games