Cette thèse porte sur la représentation et la création du son par la synthèse dans le contexte de la composition musicale. Ce sujet s'insère dans la problématique générale de la dualité entre le domaine symbolique de la composition et celui du signal (sonore). Les questions soulevées concernent principalement la structuration (notamment temporelle) des processus compositionnels liés à la synthèse. Notre travail s'appuie sur les principes de la composition assistée par ordinateur (CAO), mettant en avant une démarche interactive du compositeur vis-à-vis des processus de composition réalisés par ordinateur, que nous rapprochons de la notion de modélisation. En particulier, la programmation visuelle devient un moyen pour le compositeur de formaliser et d'exprimer des idées et formes musicales. Cette thèse suggère une conception du son représenté sous forme de programmes unifiant données et processus musicaux, qui permet d'envisager de nouvelles modalités d'écriture pour la composition musicale électroacoustique. Un système intégré à l'environnement de CAO OpenMusic est présenté, permettant aux compositeurs de développer des processus et modèles compositionnels liés à la synthèse sonore.

Comment construire une convergence d'ordre musical entre le son et l'image, entre l'audio et le visuel, à l'heure du numérique? Qu'est-ce qu'est musicable dans le domaine de l'image? Nous postulons que la convergence musicale se construit par l'utilisation de dispositifs technologiques qui permettent 1) d'établir un certain degré d'interaction entre les médias visuel et musical, et 2) de manipuler les moyens du visuel en utilisant un ensemble défini d'opérations compositionnelles cohérentes avec un paradigme musical choisi. Sur cette base, nous mettons en avant l'hypothèse que ce qui est "musicable" dans le domaine de l'image est l'ensemble des variables visuelles qui peuvent être manipulées au moyen du dispositif technologique utilisé dans le processus de création dans la mesure où elles font musicalement sens. Dans cet esprit, nous traçons le cheminement historique qui a produit la convergence entre les médias et nous présentons un cas d'étude multiple intégré par douze travaux qui appartiennent à diverses étapes de l'histoire de la musique visuelle. Ensuite, nous analysons les 41 méthodes utilisées dans les travaux analysés pour construire la convergence musicale entre les médias. Finalement, nous présentons une démonstration artistique de l'application des méthodes et des concepts proposés pour construire la convergence musicale entre les médias. La conclusion fait la synthèse des résultats, revient sur l'interaction entre approche théorique et pratique dans ce travail et évoque les voies d'une recherche future. / How can the musical convergence between sound and image, between audio en video, be achieved when working with digital technology? What is "musicable" in the visual domain? I suggest that the musical convergence is achieved through the use of technological devices that allow to 1) establish a certain degree of interaction between the musical and visual media, and 2) manipulate visual materials through an ensemble of compositional operations that are coherent with a given musical paradigm. On this basis, we suggest that what is "musicable" in the visual domain is the ensemble of visual variables that can be manipulated during the compositional process, to the extent in which they make musical sense. The research begins by identifying the historical context that set the conditions for the musical convergence between visual and musical media. We then present a multiple case study that is integrated by 12 works which belong different stages of the history of visual music. The study reveals the use of 41 methods to craft the musical convergence between visual and musical media. The final chapter presents an artistic demonstration of the use of the methods and concepts that emerged from our multiple case study. The conclusions present a synthesis of the results, a discussion of the interaction between theoretical and practical approaches, and my personal reflections on the pathways for future research in the field.

Cette thèse vise à établir un système informatique permettant le calcul de structures musicales, leurs représentations/manipulations à un niveau compositionnel, ainsi que leurs diffusions interactives. Elle constitue une étude à la croisée de multiples domaines informatiques : la modélisation des systèmes discrets, l'ordonnancement, la conception logicielle ou encore les interfaces homme-machine. Nous proposons une architecture dans laquelle la modification des programmes peut affecter leurs sorties, y compris durant la phase de restitution, tout en conservant les avantages compositionnels d'une approche temps-différé. Nous introduisons également de nouveaux outils pour planifier leur exécution grâce à la conception de scenarios dynamiques, que nous appelons la meta-composition. Les mécanismes de calcul et de restitution sont entremêlés : la restitution peut être affectée par des calculs qu'elle a elle-même déclenchés. Les différents résultats décrits dans ce manuscrit sont implantés dans le logiciel de composition OpenMusic, qui peut alors modéliser les ¿uvres à la fois comme des structures musicales et comme des programmes en continuelle exécution. / This thesis aims at designing a computer system enabling the computation of musical structures, their presentation/handling on a compositional side, and their interactive rendering. It is a study at the crossroads between several computer science research fields : discrete systems modeling, scheduling, software design and human-computer interfaces. We propose an architecture where program editing can affect their outputs, including during the rendering phase, while preserving the compositional benefits of a deferred-time approach. Compositions are therefore considered as continually running programs, where computation and rendering mechanisms are interleaved. We introduce new tools and interfaces to arrange their execution through time thanks to dynamic temporal scenario scripting, which we call meta-composing. The different results described in this manuscript are implemented in the computer-aided composition environment OpenMusic.

Ce mémoire traite des modèles génératifs profonds appliqués à la génération automatique de musique symbolique. Nous nous attacherons tout particulièrement à concevoir des modèles génératifs interactifs, c'est-à-dire des modèles instaurant un dialogue entre un compositeur humain et la machine au cours du processus créatif. En effet, les récentes avancées en intelligence artificielle permettent maintenant de concevoir de puissants modèles génératifs capables de générer du contenu musical sans intervention humaine. Il me semble cependant que cette approche est stérile pour la production artistique dans le sens où l'intervention et l'appréciation humaines en sont des piliers essentiels. En revanche, la conception d'assistants puissants, flexibles et expressifs destinés aux créateurs de contenus musicaux me semble pleine de sens. Que ce soit dans un but pédagogique ou afin de stimuler la créativité artistique, le développement et le potentiel de ces nouveaux outils de composition assistée par ordinateur sont prometteurs. Dans ce manuscrit, je propose plusieurs nouvelles architectures remettant l'humain au centre de la création musicale. Les modèles proposés ont en commun la nécessité de permettre à un opérateur de contrôler les contenus générés. Afin de rendre cette interaction aisée, des interfaces utilisateurs ont été développées ; les possibilités de contrôle se manifestent sous des aspects variés et laissent entrevoir de nouveaux paradigmes compositionnels. Afin d'ancrer ces avancées dans une pratique musicale réelle, je conclue cette thèse sur la présentation de quelques réalisations concrètes (partitions, concerts) résultant de l'utilisation de ces nouveaux outils. / This thesis discusses the use of deep generative models for symbolic music generation. We will be focused on devising interactive generative models which are able to create new creative processes through a fruitful dialogue between a human composer and a computer. Recent advances in artificial intelligence led to the development of powerful generative models able to generate musical content without the need of human intervention. I believe that this practice cannot be thriving in the future since the human experience and human appreciation are at the crux of the artistic production. However, the need of both flexible and expressive tools which could enhance content creators' creativity is patent; the development and the potential of such novel A.I.-augmented computer music tools are promising. In this manuscript, I propose novel architectures that are able to put artists back in the loop. The proposed models share the common characteristic that they are devised so that a user can control the generated musical contents in a creative way. In order to create a user-friendly interaction with these interactive deep generative models, user interfaces were developed. I believe that new compositional paradigms will emerge from the possibilities offered by these enhanced controls. This thesis ends on the presentation of genuine musical projects like concerts featuring these new creative tools.

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l’Université de Montréal (http://www.bib.umontreal.ca/MU). / La recherche propose une analyse des stratégies qui entrent en jeu dans la composition de musique mixte et la composition assistée par ordinateur. Elle met en relief les caractéristiques de trois écritures (instrumentale, électroacoustique et programmation informatique) afin de les postuler comme fondements de différentes approches musicales. Ces approches sont ensuite examinées en tant qu’entrées possibles dans un projet, démarches impliquant un statut spécifique du compositeur, et caractéristiques qui résultent de leur interaction, afin de former l’ensemble des stratégies de composition. À travers la réalisation de projets musicaux, la recherche propose d’appliquer quatre stratégies différentes dans l’objectif d’explorer de nouvelles méthodologies. L’expérimentation a mis en évidence les facteurs conduisant au respect ou à la déviation des partis pris, et a ouvert la voie au questionnement de l’influence du « faire » sur « l’entendre ». / This research proposes an analysis of the strategies that come into play in the composition of mixed and computer-assisted musical works. It highlights the characteristics of three compositional practices (instrumental, electroacoustic, and computer programming) in order to represent them as the foundation of different musical approaches. These approaches are then analyzed as possible starting points for a project, as processes implying a particular status of the composer and characteristics which result from their interaction, in order to form the entirety of compositional strategies. Through the realization of musical projects, the research proposes to apply four different strategies with the goal of exploring new methodologies. This experimentation has demonstrated the factors leading to the respect for or the deviation from biases and has opened the way to the questioning of the influence of the “doing” on the “hearing”.

Cette thèse porte sur la conception d’interfaces de papier interactif dédiées à la création musicale. Malgré l’apparition d’outils informatique permettant de créer de nouveaux sons ou d’opérer des transformations sur des représentations symboliques de la musique, les compositeurs utilisent toujours le papier pour composer. Le papier interactif rend théoriquement possible la création d’interfaces combinant l’expression sur le papier et la puissance de calcul de l’ordinateur. Cependant, la conception de telles interfaces reste un problème complexe car chaque compositeur développe son propre processus de création, impliquant de nouveaux concepts et de nouvelles représentations musicales. Cette thèse propose l’utilisation de structures personnelles et adaptables sur le papier pour permettre aux compositeurs d’exprimer et d’explorer leurs idées musicales. Trois études conduites avec des compositeurs à l’Ircam (Chapitre 3) s’intéressent aux rôles du papier et de l’ordinateur lors du processus de composition et les possibilités du papier interactif pour l’exploration des idées entre ces deux supports. Je décris des sessions de conception participative (Chapitre 4) qui examinent l’utilisation de représentations musicales formelles pour la création de nouvelles interfaces de papier couplées avec les logiciels de composition assistée par ordinateur. Je présente les Paper Substrates (Chapitre 5), des composants papier qui définissent des structures modulaires pour l’interaction avec des représentations personnelles de données musicales issues d’environnements informatique. Je décris une boîte à outil ainsi qu’une application graphique permettant de développer des interfaces utilisant les Paper Substrates. Des exemples illustrent la création de structures personnelles et de données musicales sur le papier qui peuvent être interprétées par les logiciels de composition assistée par ordinateur. Je présente une étude d’observation structurée conduite avec 12 compositeurs utilisant Polyphony pour composer une pièce électroacoustique (Chapitre 6). Polyphony est une interface qui intègre le papier interactif avec d’autres interfaces pour composer. L’étude a per- mis d’observer et de comparer les différents processus de composition des participants. Enfin, je détaille un projet de recherche et création mené avec le compositeur Philippe Leroux pour la création de sa pièce Quid sit musicus (Chapitre 7). Nous avons conçu de nouveaux systèmes interactifs pour la création de ressource compositionnelles, la synthèse sonore et le contrôle de la spatialisation à partir de tracés effectués sur une partition médiévale. / This thesis focuses on the design of interactive paper interfaces for supporting musical creation. Music composition has been deeply influenced by the computational power brought by computers but despite the use of software to create new sounds or work with symbolic notation, composers still use paper in their creative process. Interactive paper creates new opportunities for combining expression on paper and computation. However, designing for highly individual creative practitioners who use personal musical representations is challenging. In this thesis, I argue that composers need personal and adaptable structures on paper in which they can express and explore musical ideas. I first present three field studies (Chapter 3) with contemporary composers that examined the use of paper and the computer during the composition process and how linking the two media supports exploration of musical ideas. I then describe a participatory design study that investigates the use of formal musical representations (Chapter 4) for creating new paper interfaces that extend computer-aided composition tools. I introduce Paper Substrates (Chapter 5), interactive paper components that provide modular structures for interacting with personal representations of computer-based musical data. I detail tools that we created to develop paper applications with the Paper Substrates approach. Several examples illustrate the creation of personal structures and musical content that can still be interpreted by computer-aided composition software. I then describe a structured observation study with 12 composers who used Polyphony to compose a short electroacoustic piece (Chapter 6). Polyphony is a unified user interface that integrates interactive paper and electronic user interfaces for composing music. The study allowed us to systematically observe and compare their compositional processes. Finally, I report on a research and creation project with the composer Philippe Leroux during the composition of his piece Quid sit musicus (Chapter 7). Several work sessions with the composer and a musical assistant lead to the design of new paper- based interfaces for generating composition material, synthesizing sounds and controlling the spatialization from handwritten gestures from calligraphic gestures over an old manuscript.

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l’Université de Montréal (http://www.bib.umontreal.ca/MU)

Le traitement de musique existante pour en construire de nouvelle est une caractéristique fondamentale de la tradition musicale occidentale. Cette thèse propose et discute mon approche personnelle au sujet : l'emprunt de fragments de musique à partir de grands corpus (contenant des échantillons audio ainsi que des partitions symboliques) afin de créer une palette de grains organisée par descripteurs de bas niveau. Les paramètres sont gérés par des partitions numériques hybrides. Cette thèse présente également la bibliothèque "dada", qui fournit au logiciel Max la possibilité d'organiser, de sélectionner et de générer du contenu musical grâce à un ensemble d'interfaces graphiques manifestant une approche exploratoire à la composition. Ses modules abordent, entre autre, la visualisation de bases de données, la segmentation et l'analyse des partitions, la synthèse concaténative, la génération musicale à travers la modélisation physique ou géométrique, la synthèse "wave-terrain", l'exploration de graphes, les automates cellulaires, l'intelligence distribuée et les jeux vidéo. Pour terminer, cette thèse traite de la question de savoir si la représentation classique de la musique, démêlée dans l'ensemble standard des paramètres traditionnels, est optimale. Deux alternatives possibles aux décompositions orthogonales sont présentées : des représentations de partitions fondées sur les "grains", qui héritent les techniques de la composition basée sur corpus, et des modèles d'apprentissage automatique non supervisés, fournissant représentations de la musique "agnostiques". La thèse détaille aussi ma première expérience d'écriture collaborative au sein du collectif /nu/thing. / The reworking of existing music in order to build new one is a quintessential characteristic of the Western musical tradition. This thesis proposes and discusses my personal approach to the subject: the borrowing of music fragments from large-scale corpora (containing audio samples as well as symbolic scores) in order to build a low-level, descriptor-based palette of grains. Parameters are handled via digital hybrid scores, in order to equip corpus-based composition with the control of notational practices. This thesis also introduces the dada library, providing Max with the ability to organize, select and generate musical content via a set of graphical interfaces manifesting an exploratory approach towards music composition. Its modules address a range of scenarios, including, but not limited to, database visualization, score segmentation and analysis, concatenative synthesis, music generation via physical or geometrical modelling, wave terrain synthesis, graph exploration, cellular automata, swarm intelligence, and videogames. The library is open-source and it fosters a performative approach to computer-aided composition. Finally, this thesis addresses the issue of whether classical representation of music, disentangled in the standard set of traditional parameters, is optimal. Two possible alternatives to orthogonal decompositions are presented: grain-based score representations, inheriting techniques from corpus-based composition, and unsupervised machine learning models, providing entangled, `agnostic' representations of music. The thesis also details my first experience of collaborative writing within the /nu/thing collective.

Type de dépôt #5 (version complète) / De plus en plus de tâches humaines sont prises en charge par les algorithmes dans le domaine des arts. Avec les nouvelles techniques d’intelligence artificielle (IA) disponibles, qui reposent généralement sur le concept d’autoapprentissage, la frontière entre l’assistance informatique et la création algorithmique proprement dite s’estompe. À titre de mise en contexte, je présente, à l’aide d’exemples récents, un aperçu de la manière dont les artistes utilisent des algorithmes sophistiqués dans leur travail - et comment cette nouvelle forme d’art piloté par l’IA pourrait différer des premières formes d’art générées par ordinateur. Ensuite, sur la base de théories récentes issues d’une société post-humaniste et la montée de ce que certains auteurs appellent le dataisme, j’aborde des questions liées à l’autonomie, à la collaboration, aux droits d’auteur et au contrôle de la composition sur la création sonore et musicale. D’un point de vue pratique, je présente les logiciels libres et open source (FLOSS, de l’anglais Free/Libre and Open Source Software) qui ont pris une place constante dans mon processus de composition ; et je discute de la façon dont leur écosystème, principalement dans le domaine de l’IA, a façonné mon travail au fil des ans, tant d’un point de vue esthétique que pratique. Une série de trois pièces mixtes produites dans le cadre de ce projet de recherche-création est ensuite analysée. Je présente les différentes dimensions dans lesquelles le concept d’autorité algorithmique a pris part à mon processus de composition, des approches techniques aux choix esthétiques. Enfin, je propose des stratégies de notation musicale, basées sur des standards ouverts, visant à assurer la lisibilité, et donc la pérennité de mon travail. / Algorithms have taken over an increasing number of human tasks in the realm of the arts. With newly available AI techniques, typically relying on the concept of self-learning, the line separating computer assistance from actual algorithmic creation is blurring. To contextualize, through recent illustrative examples I elaborate an overview of ways in which artists are making use of sophisticated algorithms in their work – and how this new form of AI-driven art might differ from early computer-generated art. Then, based on recent theories concerning a post-humanist society and the rise of what some authors call dataism, I discuss issues related to autonomy, collaboration, authorship and compositional control over the creation of sound and music. From a practical perspective, I present the Free/Libre and Open Source Software (FLOSS) that have been a consistent presence in my compositional process; and discuss how their ecosystem, mainly in the domain of AI, has shaped my work over the last decade from both aesthetic and practical standpoints. A series of three mixed pieces produced as part of this research-creation project is then analyzed. I present the different dimensions in which the concept of algorithmic authority took part in my composition process, from technical approaches to aesthetic choices. Finally, I propose some strategies for music notation, based on open standards, aiming to assure the readability, and therefore the perpetuity of my work.

De toutes les composantes de l'écriture musicale, l'orchestration - ou l'art d'assembler les timbres instrumentaux - est longtemps demeurée, dans son enseignement comme dans sa pratique, une activité empirique. La difficulté de formaliser de manière rigoureuse l'ensemble des techniques inhérentes à cette discipline fait qu'aujourd'hui encore, l'orchestration reste un domaine peu abordé par l'informatique musicale et l'aide à la composition.<br /><br />Les rares outils actuels ramènent le problème de l'orchestration à la découverte, au sein de banques d'échantillons sonores instrumentaux, de combinaisons approchant au mieux un timbre fixé par le compositeur. Cette approche sera également la nôtre. Mais là où les méthodes actuelles contournent systématiquement le problème combinatoire de l'orchestration par le recours à des principes de décomposition ou à des algorithmes de matching pursuit, l'originalité de notre démarche est de placer les enjeux combinatoires au coeur de nos travaux et de traiter l'orchestration à la mesure de sa complexité.<br /><br />Envisageant tout d'abord la question comme un problème de sac à dos multi-objectifs, nous montrons que les non-linéarités dans les modèles de perception du timbre imposent un cadre théorique plus large pour l'aide à l'orchestration. Nous proposons une formalisation générique et extensible en nous plaçant dans un cadre de recherche combinatoire multicritère sous contraintes, dans lequel plusieurs dimensions perceptives sont optimisées conjointement pour approcher un timbre cible défini par le compositeur.<br />Nous validons dans un premier temps notre approche théorique en montrant, sur un ensemble de problèmes de petite taille et pour une caractérisation exclusivement spectrale du timbre, que les solutions du problème formel correspondent à des propositions d'orchestration pertinentes. Nous présentons alors un algorithme évolutionnaire permettant de découvrir en un temps raisonnable un ensemble de solutions optimales. S'appuyant sur la prédiction des propriétés acoustiques des alliages instrumentaux, cette méthode propose des solutions d'orchestration en fonction de critères perceptifs et encourage ainsi la découverte de mélanges de timbres auxquels le savoir et l'expérience n'auraient pas nécessairement conduit.<br />En outre, la recherche peut-être à tout moment orientée dans une direction privilégiée. Parallèlement, nous définissons un cadre formel pour l'expression de contraintes globales et introduisons une métaheuristique innovante de résolution, permettant de guider la recherche vers des orchestrations satisfaisant un ensemble de propriétés symboliques en lien direct avec l'écriture musicale.<br /><br />Nous présentons enfin un prototype expérimental d'outil d'aide à l'orchestration utilisable directement par les compositeurs, dans lequel l'exploration des possibilités de timbres est facilitée à travers une représentation multi-points de vue des solutions et un mécanisme interactif des préférences d'écoute. Nous terminons avec une série d'exemples d'application de nos travaux à des problèmes compositionnels concrets.