Orientador: Adolfo Maia Junior / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Artes / Made available in DSpace on 2018-08-16T22:31:10Z (GMT). No. of bitstreams: 1 Souza_FernandoFalcide_M.pdf: 3955022 bytes, checksum: 2d2645ebb027e68cd1966906af1daa6e (MD5) Previous issue date: 2010 / Resumo: Esta dissertação trata principalmente da pesquisa de métodos matemáticos e algoritmos com a finalidade de gerar e controlar fluxos de som em tempo real dentro do escopo da síntese granular. Inicialmente abordamos os fundamentos matemáticos da Síntese Granular proposta pelo Prêmio Nobel de Física Dennis Gabor. Em seguida apresentamos uma breve revisão histórica do uso desta técnica em composições eletroacústicas e analisamos alguns dos mais conhecidos aplicativos atuais para síntese granular. Com base nestes estudos desenvolvemos um software para síntese granular em tempo real que denominamos EVOGrain. Este aplicativo apresenta uma interface gráfica intuitiva e amigável com a qual o compositor controla a síntese granular desenhando, com uso do mouse, retângulos de diferentes tamanhos e posição. As coordenadas destes retângulos fornecem informação que guia a execução de um algoritmo genético, que por sua vez controla os parâmetros de um módulo de síntese granular em tempo real resultando em sonoridades e texturas que evoluem dinamicamente. Na segunda parte da dissertação apresentamos os resultados da nossa pesquisa realizada no laboratório Input Devices for Music Interaction Lab (IDMIL) da McGill University através de um estágio pelo programa de intercâmbio canadense Emerging Leaders from the Americas Program (ELAP). Nesta pesquisa, foram feitos diversos experimentos com os chamados Instrumentos Musicais Digitais (DMIs). Os módulos do sistema original EVOGrain foram reformulados em três sistemas independentes, GranularStreamer, Genetic Algorithm Mapper e GranularDrawer, responsáveis respectivamente pela execução da síntese sonora, aplicação de algoritmo genético e síntese de imagens. Além deles, diversos controladores gestuais foram avaliados no contexto da síntese granular, sendo eles os comerciais PC-1600x, SpaceNavigator e o T-Stick desenvolvido no IDMIL, o que culminou na prototipagem de um novo dispositivo, de nossa autoria e que denominamos RedController / Abstract: This dissertation deals mostly with the application of mathematical methods and algorithms in order to generate and control streams of sound in real time within the scope of granular synthesis. Initially we studied the mathematical foundations of Granular Synthesis proposed by the Nobel Prize in Physics, Dennis Gabor. Next, we presented a brief historical review of the use of this technique in electroacoustic compositions and analyzed some of the most popular software of granular synthesis available today. We developed a new software for real-time granular synthesis we named EVOGrain. This application provides an intuitive and friendly graphical interface where the composer controls the granular sound stream by drawing rectangles of different sizes and positions on a window interface using the mouse. The coordinates of these rectangles provide information that guide the resulting process of a running genetic algorithm, which in turn controls the parameters of a granular synthesis engine in real time resulting in sound streams and textures that evolve dynamically. The second part of this dissertation presents the results of our research in the Input Devices for Music Interaction Laboratory (IDMIL) of McGill University through the Canadian Fellowship Emerging Leaders from the Americas Program (ELAP). In this research, several experiments with so-called Digital Musical Instruments (DMIs) took place. The modules of the original system EVOGrain were reformulated into three independent systems, GranularStreamer, Genetic Algorithm Mapper and GranularDrawer, responsible respectively for the synthesis of granular sounds, application of genetic algorithm and image synthesis. In addition to this diversification of software, some gestural controllers were evaluated in the context of our granular synthesis model, the PC-1600X, SpaceNavigator (available commercially) and the T-Stick (developed at the IDMIL), culminating in the prototyping of a new device designed by us and named RedController / Mestrado / Fundamentos Teoricos / Mestre em Música

Esse estudo examina criticamente uma série de práticas sonoras e musicais que tiram proveito das redes de informação para elaborar contextos de colaboração. Essas praticas dão lugar a um repertório de obras (composições, performances, sites, instalações entre outros), denominado durante o trabalho como Network Music. Os trabalhos podem ser localizados entre a segunda metade da década de 1990 e o final da década de 2000, no entanto uma série de antecedentes musicais são também discutidos. O repertório não se distingue por obedecer a um estilo ou linguagem musical particular, mas por fortalecer e reformular os vínculos tradicionais entre compositores, intérpretes, ouvintes através de conexões eletrônicas. O objeto de estudo é abordado de quatro perspectivas diferentes. O primeiro capítulo aborda aspectos teóricos confrontando conceitos vigentes na música do século XX com modalidades de comunicação em Internet. O imediatismo é proposto como elemento de coesão de conceitos como ao vivo e comunicação online. O segundo capítulo examina o repertório de trabalhos musicais em Internet, enfatizando aspectos incorporados da produção da Arte das Telecomunicações. São identificadas duas vertentes na produção de Network Music, segundo a acentuação de aspectos comunicacionais e composicionais. O levantamento apresentado discute estratégias e metodologias de criação musical dentro de configurações de interação remota enfatizando o tema da distância. O terceiro capítulo cobre aspectos de performance e se concentra no tema da colaboração. Conceitos, recursos e metodologias de trabalho musical com as redes digitais são sugeridos ao intérprete que pretende realizar performances com parceiros remotos através da Internet. No quarto capítulo é discutido o projeto NetConcert, realizado ao longo da pesquisa no seio do grupo Mobile da ECA/USP / This survey critically looks at a series of sound and musical practices that take advantage of information networks to create collaborative contexts. These practices give rise to a repertoire of works (compositions, performances, websites, installations among others) called Network Music. These works can be located between the late 1990s and the late 2000s; however, a number of musical antecedents are also discussed. The repertoire is distinguished by not following a particular style or musical language, but by strengthening and reshaping the traditional links among composers, performers and listeners through electronic connections. Network Music practices are covered in four different parts. The first chapter deals with theoretical aspects confronting current concepts in twentieth-century music with modes of communication on the Internet. Immediacy is proposed as a cohesive element that gathers concepts such as live and online. The second chapter part examines the repertoire of musical works on the Internet, highlighting some aspects incorporated from Art-Telecom productions. Two strands are identified in producing Network Music, according to the emphasis on communication or compositional aspects. The text discusses strategies and methods for music creation within remote interaction settings enphasizing the subject of distance. The third chapter covers musical performance aspects and focuses on the topic of collaboration. Concepts, resources and methodologies are suggested to the musician who intends to accomplish performances with remote partners via the Internet. The final chapter discusses the NetConcert project carried out during the research period as a member of the ECA/USP Mobile group.

Sistemas de acompanhamento musical automatizado são de grande utilidade como ferramentas didáticas. Com eles, um aluno de música consegue ensaiar uma peça musical sendo acompanhado pelo computador, com a liberdade de tocar na velocidade em que desejar e, além disso, de cometer erros acidentais ou desvios intencionais em relação ao esperado (definido em partitura). Um sistema de acompanhamento musical deve ter as habilidades de analisar a execução ao vivo de um músico (pré-processador da entrada), comparar os eventos recebidos com os de uma partitura pré-carregada (rastreador), gerar o acompanhamento conforme o andamento inferido (acompanhador) e sintetizar os sons relativos a esse acompanhamento (sintetizador). O trabalho apresentado neste texto consistiu em estudar diversas técnicas relativas ao problema de acompanhamento musical, implementar alguns algoritmos baseados na literatura abordada, validar a qualidade obtida com tais algoritmos e disponibilizar um sistema de código aberto modular com mais de uma alternativa de algoritmo para cada módulo. Além disso, foi desenvolvido um elemento adicional para o sistema - o MetaRastreador - que combina todas as técnicas de rastreamento implementadas, executando-as em paralelo e obtendo uma maior confiabilidade nas informações extraídas da entrada, considerando diversas opiniões diferentes sobre a posição do músico na partitura. / Automated musical accompaniment systems are very useful as didactic tools. With them, a music student can rehearse a musical piece being accompanied by the computer, with the freedom to play at the desired speed and, moreover, to perform accidental errors or intentional deviations from the expected (defined by a musical score). A musical accompaniment system should have the skills to analyze the live performance of a musician (input preprocessor), compare the events received with those of a preloaded score (matcher), generate the accompaniment according to the inferred tempo (accompaniment), and synthesize the sounds related to this accompaniment (synthesizer). The work presented in this text consisted of studying several techniques related to the musical accompaniment problem, implementing some algorithms based on the literature, validating the quality obtained with such algorithms, and providing a modular open source system with more than one alternative algorithm for each module. Furthermore, an additional element was developed for the system - the MetaMatcher - that combines all the tracking techniques implemented by running them in parallel and obtaining a greater reliability in the information extracted from the input, considering several different opinions about the position of the musician in the musical score.

This thesis explores the design and development of digitally extended, electro- acoustic (EA) pitched percussion instruments, and their use in novel, multi-media performance contexts. The proposed techniques address the lack of expressivity in existing EA pitched percussion systems. The research is interdisciplinary in na- ture, combining Computer Science and Music to form a type of musical human- computer interaction (HCI) in which novel playing techniques are integrated in perfor- mances. Supporting areas include Electrical Engineering- design of custom hardware circuits/DSP; and Mechanical Engineering- design/fabrication of new instruments. The contributions can be grouped into three major themes: 1) non-invasive gesture recognition using sensors and machine learning, 2) acoustically-excited physical mod- els, 3) timbre-recognition software used to trigger idiomatic acoustic actuation. In addition to pitched percussion, which is the main focus of the thesis, application of these ideas to other music contexts is also discussed. / Graduate

A área de sistemas multiagentes é um promissor domínio tecnológico para uso em performances musicais interativas. Em trabalhos recentes, essa tecnologia vem sendo utilizada para resolver problemas musicais de escopo específico e alcance limitado, como a detecção de pulsação, a simulação de instrumentos e o acompanhamento musical automático. Neste trabalho, apresentamos uma taxonomia desses sistemas multiagentes musicais e uma arquitetura e implementação de um arcabouço computacional que generaliza os trabalhos anteriores e aborda problemas usuais como a sincronização em tempo real, a comunicação sonora e a mobilidade espacial dos agentes. Através do arcabouço, um usuário pode desenvolver um sistema multiagente musical focado em suas necessidades musicais, enquanto deixa grande parte dos problemas técnicos a cargo do arcabouço. Para validar o arcabouço, implementamos e discutimos dois estudos de caso que exploram diversos aspectos de um sistema multiagente musical, como a comunicação simbólica, a troca de áudio digital, o uso de trajetórias espaciais, a simulação acústica e conceitos de vida artificial, como códigos genéticos e reprodução, demonstrando a usabilidade do arcabouço em uma grande variedade de aplicações musicais. / Multiagent system technology is a promising new venue for interactive musical performance. In recent works, this technology has been tailored to solve specific, limited scope musical problems, such as pulse detection, instrument simulation or automatic accompaniment. In this work, we pre- sent a taxonomy of such musical multiagent systems, and an implementation of a computational framework that subsumes previous works and addresses general-interest low-level problems such as real-time synchronization, sound communication and spatial agent mobility. By using it, a user may develop a musical multiagent system focusing primarily in his/her musical needs, while leaving most of the technical problems to the framework. To validate this framework, we implemented and discussed two cases studies that explored several aspects of musical multiagent systems, such as symbolic and audio communication, spatial trajectories and acoustical simulation, and artificial life concepts, like genetic codes and reproduction, thus indicating the usefulness of this framework in a variety of musical applications.

Os múltiplos trabalhos de sistemas multiagentes musicais realizados nos últimos anos demonstram o interesse crescente na pesquisa de sistemas de composição e de performance musical que utilizem a tecnologia de agentes computacionais, sendo que apresentam um interesse maior por aqueles sistemas que integram técnicas de composição algorítmica, componentes de vida artificial e interatividade. Observamos também que a maioria dos trabalhos existentes apresentam muitas limitações em termos de escopo e flexibilidade, normalmente apresentando codificação musical simbólica e a resolução de um único problema, sendo que a motivação é mais técnica do que musical. Nesse contexto, surgem arcabouços voltados à criação de sistemas multiagentes musicais, como o Ensemble e o Interactive Swarm Orchestra, oferecendo flexibilidade para a modelagem e implementação de sistemas desse tipo, diversificando tanto os tipos de aplicação, tendo um propósito composicional ou performático, como os tipos de codificação musical que podem ser utilizados. Partimos da aparição dessas ferramentas para estudar o agente musical a partir de uma perspectiva interna, focando nos seus raciocínios, que são processos que definem o comportamento do agente no ambiente virtual do sistema e que são fundamentais para determinar e melhorar o seu valor composicional. Os arcabouços estudados se diferenciam por permitir a utilização de áudio como possível formato de codificação musical, o aproveitamento da espacialização sonora e a exploração da interatividade nos aplicativos, seja esta apenas entre agentes computacionais ou entre agentes e usuários humanos. Pretendemos portanto, nessa pesquisa, abordar sistemas com essas características. Através de extensões nos arcabouços e estudos de caso com motivação estética pretendemos dar continuidade a esses projetos e ao mesmo tempo validar e divulgar a sua utilização entre os potenciais usuários das ferramentas, como compositores, músicos interessados em performance e outros entusiastas dos sistemas musicais interativos. / Multiple musical multiagent systems have been developed in the last years proving the increasing interest in composition and musical performance systems that exploit intelligent agents technology. Theres an special focus on systems that integrate algorithmic composition techniques, artificial life and interactivity. We can also observe that most of these existing projects show many flexibility and scope limitations, as they normally use symbolic musical notation and they solve a single issue or scenario, as well as they have a technical motivation rather than a musical one. In that context, some musical multiagent systems frameworks as Ensemble and Interactive Swarm Orchestra emerge, trying to help the modeling and development of this kind of musical systems, diversifying the applications\' types, as they can be composition problems or musical performances, and allowing the inclusion of other kind of musical content communication. Through these new tools we study the musical agent from an internal perspective, focusing on its reasoning components, processes that define the behavior of an agent on its system\'s virtual environment and that are essential to determine and improve its compositional value. The studied frameworks show unique features as they support audio as a possible musical notation format; they exploit sound spatialization and they work with interactivity in their applications, including agent-to-agent or human-to-agent interaction. We will explore this type of systems on this research. Through framework extensions and aesthetics-oriented study cases we pretend to continue these projects and validate them at same time. We also will contact potential users for these tools, as composers and musicians interested in performances or other musical interactive systems enthusiasts.

A ideia de se permitir que diversos músicos possam interagir remotamente utilizando-se de redes de computadores não é nova, mas nunca se popularizou. O que antes era limitado tecnologicamente devido às condições disponibilizadas por conexões de internet pela linha telefônica, hoje apresenta-se muito mais viável tecnicamente com a massicação da internet de banda larga, seja por cabo ou por tecnologias DSL. Apesar disso, encontrar um ambiente virtual em que a performance musical pareça completamente natural para o músico é uma das maiores diculdades nesta área. Embora a latência obtida na conexão entre computadores esteja vinculada principalmente à distância entre os usuários e à qualidade do serviço oferecido pelos provedores de internet, outros aspectos, como a largura de banda, podem ser controlados pelo software. Para lidar com as limitações de largura de banda no acesso à internet disponíveis comercialmente, um método de compactação de áudio eciente e que alie baixa latência algorítmica com alta qualidade sonora é imprescindível. Para evitar que atrasos muito grandes na transmissão do áudio impossibilitem uma interação musical entre os participantes, uma técnica em que a própria resposta sonora do instrumento seja atrasada localmente torna-se uma alternativa válida na busca de um ambiente para performances musicais via rede. Esta dissertação busca apresentar uma alternativa exível e de fácil utilização para que a realização de performances musicais distribuídas por usuários caseiros seja possível, mesmo que estes não tenham acesso a redes dedicadas para tal nalidade. / The idea of allowing several musicians to interact remotely using computer networks is not new but it never became popular. What was once technologically limited because of the conditions available through dial up internet connections is now much more technically feasible with the massication of the broadband internet, whether by cable or by DSL technologies. In spite of that, nding a place where the music performance feels completely natural to the musicians is still one of the biggest challenges in this area. Even though the latency obtained in the connection between computers is mainly linked to the distance between users and to the quality of the service oered by internet providers, others aspects, like the network bandwidth, can be controlled by software. To deal with the limitations on the internet bandwidth commercially available, an ecient audio coding method that has both low algorithmic latency and high sound quality becomes essential. To avoid letting large audio transmission delays make it impossible for players to have a real musical interaction, a technique where the musical instruments own feedback is locally delayed represents a viable alternative in search of a favorable environment for network music performances. This project aims to oer a exible and easy-to-use alternative so that it is possible for home users to be part of network music performances even if they do not have access to networks dedicated to this end.

As the bassoon has evolved over time, the music written for the instrument has evolved around it, and was many times the catalyst for its evolution. Bassoon music of the seventeenth through early twentieth centuries has defined much of the curricula for bassoon studies, and has established how we consider and experience the bassoon. We experience, write, and consume music in vastly different ways than just a generation ago. Humans use technology for the most basic of tasks. Composers are using the technology of our generation to compose music that is a reflection of our time. This is a significant aspect of art music today, and bassoonists are barely participating in the creation of this new repertoire. Performance practice often considers only the musical score; interactive electronic music regularly goes beyond that. The combination of technological challenges and inexperience can make approaching electroacoustic music a daunting and inaccessible type of music for bassoonists. These issues require a different language to the performance practice: one that addresses music, amplification, computer software, hardware, the collaboration between performer and technology, and often the performer and composer. The author discusses problems that performers face when rehearsing and performing interactive electroacoustic works for bassoon, and offers some solutions.

Rete Mirabile is my new installation piece combining scientific principles with live computer generated music. The title is a Latin term meaning "Wonderful Net," which I use to refer to the highly convoluted network of biological data that drives my installation. The sonification of data, computer modeling of biological processes, kinetic sculptures, and user interactivity are central parts of the installation. The paper is organized as follows: First, brief history of the forerunners that inspired my work is given. This includes a short discussion on how John Cage and David Tudor influenced current artists works, and how those works have influenced my own work. Then I review current installation works that share similarities with my own. Finally, a detailed discussion and analysis of the construction and function concludes the paper.

Ocean of Forms is a cycle of five songs for solo soprano voice and electronic/computer music accompaniment on poems by noted Bengali poet, musician, philosopher, and author Rabindranath Tagore. This work approaches the song cycle as a vehicle for expressing and highlighting the poet's words. Word and syllabic stress, text painting, melodic development, and formal structure all function in relation to the text and its meaning. the replacement of the traditional piano accompaniment with electronic accompaniment provides further possibilities for new timbral structures and transformations, expressive microtonal intonation, algorithmic and aleatoric formal structures, acousmatic and spatialized sound, and a broad sonic palette. This work strives to provide a more fully developed expression of the text as afforded by these expanded musical means. the critical essay primarily explores the interaction between text and music in the work. the first chapter explores the historical precedents for the genre of the song cycle and other texted music as well as specific influences on the work. the following chapters explore the connections between the text and the vocal line and electronic/computer music, respectively. the final chapter deals with the formal structure of the work, especially the justly-tuned harmonic scheme and its relation to the text.