Electroacoustic music is often regarded as not being sufficiently accessible to the general public because of its sound-based abstract quality and the complexity of its language. Live electronic music introduces the figure of the performer as a gestural bodily agent that re-enables our multimodal perception of sound and seems to alleviate the accessibility dilemma. However, live electronic music generally lacks the level of detail found in studio-based fixed media works, and it can hardly be transferred outside the concert hall situation (e.g. as a video recording) without losing most of its fresh, dynamic and unpredictable nature. Recent developments in 3D simulation environments and game audio technologies suggest that alternative approaches to music composition and distribution are possible, presenting an opportunity to address some of these issues. In particular, this Portfolio of Compositions proposes the use of real and virtual space as a new medium for the creation and organisation of sound events via computer-simulated audio-sources. In such a context, the role of the performer is sometimes assumed by the listener itself, through the operation of an interactive-adaptive system, or it is otherwise replaced by a set of automated but flexible procedures. Although all of these works are sonic centric in nature, they often present a visual component that reinforces the multimodal perception of meaningful musical structures, either as real space locations for sonic navigation (locative audio), or live visualisations of physically-informed gestural agents in 3D virtual environments. Consequently, this thesis draws on general game-audio concepts and terminology, such as procedural sound, non-linearity, and generative music; but it also embraces game development tools (game engines) as a new methodological and technological approach to electroacoustic music composition. In such context, space and the real-time generation, control, and manipulation of assets combine to play an important role in broadening the routes of musical expression and the accessibility of the musical language. The portfolio consists of six original compositions. Three of these works–Swirls, Alice - Elegy to the Memory of an Unfortunate Lady, and Alcazabilla–are interactive in nature and they required the creation of custom software solutions (e.g. SonicMaps) in order to deal with open-form musical structures. The last three pieces–Singularity, Apollonian Gasket, and Boids–are based on fractal or emergent behaviour models and algorithms, and they propose a non-interactive linear organisation of sound materials via real-time manipulation of non-conventional 3D virtual instruments. These original instrumental models exhibit strong spatial and kinematic qualities with an abstract and minimal visual representation, resulting in an extremely efficient way to build spatialisation patterns, texture, and musical gesture, while preserving the sonic-centric essence of the pieces.

Although soundtracks play an essential role in the experience delivered by digital games, there are a number of design restrictions it suffers from due to technology limitations. This is specially true for real-time effects, a natural demand in the interactive media of games. Developers may either implement their own solutions each time, rely on proprietary software, or neglect the soundtrack altogether. Besides, even the best commercial tools support only sample-based audio, which is one of the main causes for the aforementioned design restrictions. Thus, this thesis proposes VORPAL, a free software game audio middleware implementation that focuses on procedural audio instead while maintaining the possibility of sample-based audio as a more accessible and adequate tool for composing real-time soundtracks for digital games. The middleware, inspired by its commercial predecessors, is divided in two main pieces of software: an audio engine and a soundtrack creation kit. The audio engine comprises a native C++ programming library, which games and game engines can be linked to to play and control in real-time soundtrack pieces created using the soundtrack creation kit, which consists of building blocks provided as Pure Data abstractions. We have interviewed and partnered with professional sound designers to validate our technology, and came to develop a proof of concept game called Sound Wanderer, which showcases the possibilities and limitations of the VORPAL middleware. / Muito embora trilhas sonoras desempenhem um papel essencial na experiência criada por jogos digitais, elas sofrem de diversas restrições de projeto causadas por limitações tecnológicas. Isso afeta principalmente efeitos em tempo real, que são uma demanda natural na mídia interativa dos jogos. Desenvolvedores precisam optar entre implementar uma solução própria caso a caso, investir em software proprietário, ou simplesmente negligenciar a trilha sonora por falta de opção melhor. Além disso, mesmo as melhores ferramentas comerciais trabalham apenas com áudio baseado em amostras, o que é uma das principais causas das ditas restrições de projeto. Portanto, esta dissertação propõe VORPAL, um middleware livre para áudio em jogos que foca em áudio procedural mas mantém compatibilidade com áudio baseado em amostras como uma ferramenta mais acessível e adequada para a composição de trilhas sonoras em tempo real para jogos digitais. O middleware, inspirado em seus antecessores comerciais, é dividido em duas principais componentes de software: um motor de áudio e um kit de criação de trilhas sonoras. O primeiro é constituído por uma biblioteca de programação nativa em C++, com a qual jogos e motores de jogos podem se ligar para reproduzir e controlar, em tempo real, peças da trilha sonora criadas usando a outro componente, que é um kit de blocos de construção providos como abstrações de Pure Data. Projetistas de som profissionais foram entrevistados e depois trabalharam em parceria com os autores para validar a tecnologia proposta, o que levou ao desenvolvimento de um jogo de prova conceitual chamado Sound Wanderer, que demonstra as possibilidades e limitações do middleware VORPAL.

Although soundtracks play an essential role in the experience delivered by digital games, there are a number of design restrictions it suffers from due to technology limitations. This is specially true for real-time effects, a natural demand in the interactive media of games. Developers may either implement their own solutions each time, rely on proprietary software, or neglect the soundtrack altogether. Besides, even the best commercial tools support only sample-based audio, which is one of the main causes for the aforementioned design restrictions. Thus, this thesis proposes VORPAL, a free software game audio middleware implementation that focuses on procedural audio instead while maintaining the possibility of sample-based audio as a more accessible and adequate tool for composing real-time soundtracks for digital games. The middleware, inspired by its commercial predecessors, is divided in two main pieces of software: an audio engine and a soundtrack creation kit. The audio engine comprises a native C++ programming library, which games and game engines can be linked to to play and control in real-time soundtrack pieces created using the soundtrack creation kit, which consists of building blocks provided as Pure Data abstractions. We have interviewed and partnered with professional sound designers to validate our technology, and came to develop a proof of concept game called Sound Wanderer, which showcases the possibilities and limitations of the VORPAL middleware. / Muito embora trilhas sonoras desempenhem um papel essencial na experiência criada por jogos digitais, elas sofrem de diversas restrições de projeto causadas por limitações tecnológicas. Isso afeta principalmente efeitos em tempo real, que são uma demanda natural na mídia interativa dos jogos. Desenvolvedores precisam optar entre implementar uma solução própria caso a caso, investir em software proprietário, ou simplesmente negligenciar a trilha sonora por falta de opção melhor. Além disso, mesmo as melhores ferramentas comerciais trabalham apenas com áudio baseado em amostras, o que é uma das principais causas das ditas restrições de projeto. Portanto, esta dissertação propõe VORPAL, um middleware livre para áudio em jogos que foca em áudio procedural mas mantém compatibilidade com áudio baseado em amostras como uma ferramenta mais acessível e adequada para a composição de trilhas sonoras em tempo real para jogos digitais. O middleware, inspirado em seus antecessores comerciais, é dividido em duas principais componentes de software: um motor de áudio e um kit de criação de trilhas sonoras. O primeiro é constituído por uma biblioteca de programação nativa em C++, com a qual jogos e motores de jogos podem se ligar para reproduzir e controlar, em tempo real, peças da trilha sonora criadas usando a outro componente, que é um kit de blocos de construção providos como abstrações de Pure Data. Projetistas de som profissionais foram entrevistados e depois trabalharam em parceria com os autores para validar a tecnologia proposta, o que levou ao desenvolvimento de um jogo de prova conceitual chamado Sound Wanderer, que demonstra as possibilidades e limitações do middleware VORPAL.