La thèse propose un paradigme d’interaction avec la notation musicale complexe pour piano selon une perspective « incarnée » et «située » de l’interprète. Ce paradigme, que je nomme navigation incarnée, s’oppose au paradigme traditionnel d’interprétation textuelle. Le paradigme traditionnel considère un processus de lecture linéaire et hiérarchique, selon lequel la compréhension et l’internalisation du texte musical sont les conditions préalables pour l’application de la technique instrumentale, permettant par la suite une interprétation personnelle. À la place de ce paradigme, je propose de traiter la notation musicale comme un élément dynamique, non linéaire, et à la fois incarné et externalisé. Dans une deuxième phase, le paradigme proposé devient la base du développement d’outils adaptés au projet de la navigation incarnée et de diverses applications, incluant l’analyse de la performance, l’apprentissage incarné et interactif, la composition musicale et l’improvisation. / This thesis proposes a performer-specific paradigm of embodied interaction with complex piano notation. This paradigm, which I term embodied navigation, extends and even confronts the traditional paradigm of textual interpretation. The latter assumes a linear and hierarchical process, whereby internalized understanding of the musical text is considered a prerequisite of instrumental technique towards personal interpretation. In lieu of that, I advocate for a dynamic, non-linear, embodied and external processing of music notation. At a second stage, the proposed paradigm serves as the basis for the development of methodologies and customized tools for a range of applications, including: performance analysis, embodied interactive learning, contemporary composition, free improvisation and piano pedagogy.

Ce travail se concentre sur une tâche de micro-navigation en plein air où le but est de naviguer vers une adresse de rue spécifiée en utilisant plusieurs modalités (par exemple, images, texte de scène et GPS). La tâche de micro-navigation extérieure s’avère etre un défi important pour de nombreuses personnes malvoyantes, ce que nous démontrons à travers des entretiens et des études de marché, et nous limitons notre définition des problèmes à leurs besoins. Nous expérimentons d’abord avec un monde en grille partiellement observable (Grid-Street et Grid City) contenant des maisons, des numéros de rue et des régions navigables. Ensuite, nous introduisons le Environnement de Trottoir pour la Navigation Visuelle (ETNV), qui contient des images panoramiques avec des boîtes englobantes pour les numéros de maison, les portes et les panneaux de nom de rue, et des formulations pour plusieurs tâches de navigation. Dans SEVN, nous formons un modèle de politique pour fusionner des observations multimodales sous la forme d’images à résolution variable, de texte visible et de données GPS simulées afin de naviguer vers une porte d’objectif. Nous entraînons ce modèle en utilisant l’algorithme d’apprentissage par renforcement, Proximal Policy Optimization (PPO). Nous espérons que cette thèse fournira une base pour d’autres recherches sur la création d’agents pouvant aider les membres de la communauté des gens malvoyantes à naviguer le monde. / This work focuses on an Outdoor Micro-Navigation (OMN) task in which the goal is to navigate to a specified street address using multiple modalities including images, scene-text, and GPS. This task is a significant challenge to many Blind and Visually Impaired (BVI) people, which we demonstrate through interviews and market research. To investigate the feasibility of solving this task with Deep Reinforcement Learning (DRL), we first introduce two partially observable grid-worlds, Grid-Street and Grid City, containing houses, street numbers, and navigable regions. In these environments, we train an agent to find specific houses using local observations under a variety of training procedures. We parameterize our agent with a neural network and train using reinforcement learning methods. Next, we introduce the Sidewalk Environment for Visual Navigation (SEVN), which contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. In SEVN, we train another neural network model using Proximal Policy Optimization (PPO) to fuse multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data, and to use this representation to navigate to goal doors. Our best model used all available modalities and was able to navigate to over 100 goals with an 85% success rate. We found that models with access to only a subset of these modalities performed significantly worse, supporting the need for a multi-modal approach to the OMN task. We hope that this thesis provides a foundation for further research into the creation of agents to assist members of the BVI community to safely navigate.