La communauté de la Visualisation d'Information (Infovis) accorde une importance primordiale à la conception de techniques de visualisation nouvelles, efficaces, ou spécialisées. Alors qu'une technique de visualisation est composée à la fois de techniques de représentation et de techniques d'interaction, la conception de nouvelles techniques d'interaction pour l'Infovis passe souvent au second plan. Dans cette thèse, centrée sur l'interaction en Infovis, j'explore la conception de nouvelles techniques d'interaction afin de rendre des techniques de visualisation existantes plus efficaces, plus adaptées aux tâches utilisateur, et plus engageantes. Afin que ces techniques d'interaction soient efficaces, il est nécessaire d'abandonner les outils interactifs (widgets) standards et proposer des interfaces utilisateur allant au-delà des interfaces à fenêtres, icônes, menus et pointeur connues sous le nom d'interfaces WIMP (Window/Icon/Menu/Pointer).Dans cette thèse, je soutiens que la conception de nouvelles techniques d'interaction pour la visualisation devraient être basée sur le paradigme de la manipulation directe et sur le modèle de l'interaction instrumentale, et s'inspirer de paradigmes d'interaction établis en Interaction Homme-Machine (IHM) mais trop peu connus et reconnus en Infovis. En me basant sur plusieurs projets que j'ai menés au court de ma thèse, je démontre que la conception opportuniste d'interactions nouvelles peut rendre des techniques de visualisation plus efficaces. Ces différents projets soulèvent des problèmes de conception des techniques d'interaction, tels que le compromis entre la congruence cognitive d'une technique d'interaction et sa généricité, le problème de la conception d'interactions engageant l'utilisateur, et les mérites de l'interaction fluide et ininterrompue. Enfin, je propose un ensemble de règles dérivées des différents projets de cette thèse et je soumets des perspectives de travaux futurs, afin de contribuer au grand défi d'établir une théorie de l'interaction pour l'Infovis. / There is a tremendous effort from the information visualization (Infovis) community to design novel, more efficient or more specialized desktop visualization techniques. While visual representations and interactions are combined to create these visualizations, less effort is invested in the design of new interaction techniques for Infovis. In this thesis, I focus on interaction for Infovis and explore how to improve existing visualization techniques through efficient yet simple interactions. To become more efficient, the interaction techniques should reach beyond the standard widgets and Window/Icon/Menu/Pointer (WIMP) user interfaces. In this thesis, I argue that the design of novel interactions for visualization should be based on the direct manipulation paradigm, instrumental interaction, and take inspiration from advanced interactions investigated in HCI research but not well exploited yet in Infovis. I take examples from multiple projects I have designed to illustrate how opportunistic interactions can empower visualizations and I explore design implications raised by novel interaction techniques, such as the tradeoff between cognitive congruence and versatility, the problem of engaging interaction, and the benefits of seamless, fluid interaction. Finally, I provide guidelines and perspectives, addressing the grand challenge of building or consolidating the theory of interaction for Infovis.

Ce mémoire a pour objectif l'étude des interactions qui interviennent dans les environnements où plusieurs surfaces d'affichage et dispositifs de pointage sont mis à disposition du ou des utilisateurs, que ces environnements soient distribués ou non. Nous nous sommes plus particulièrement intéressés aux techniques de type drag-and-drop dans le contexte du mur-écran.<br /><br />Le drag-and-drop est une technique très répandue qui atteint ses limites dans certaines conditions d'utilisation. Ces limites peuvent être physiques -- avec des écrans interactifs par exemple -- ou dues à l'implémentation. D'une part, ce mémoire propose plusieurs évolutions du drag-and-drop, avec comme objectif de dépasser les limites physiques du drag-and-drop. En particulier, il devient possible de dépasser les limites de la loi de Fitts ainsi que les limites physiques des surfaces d'affichage. Un ensemble de techniques de types drag-and-drop issues de l'état de l'art ou proposées dans ce mémoire font l'objet d'études utilisateurs. A l'issue de ces études, deux techniques ressortent principalement : le push-and-pop et le push-and-throw accéléré.<br /><br />D'autre part, afin de dépasser les limites dues à l'implémentation du drag-and-drop, nous proposons un modèle d'implémentation pour le drag-and-drop et l'ensemble de ses évolutions. Ce modèle d'implémentation s'appuie sur le modèle d'interaction instrumentale. Ce modèle d'implémentation est mis en oeuvre dans l'API PoIP, elle-même utilisée dans l'application Orchis. Grâce à ce modèle, il est possible d'effectuer des opérations de type drag-and-drop distribuées, la technique d'interaction pouvant être personnalisée en fonction des contraintes matérielles ou des préférences de l'utilisateur.

La notion d'instrumentalité peut être définie comme la relation corporelle entre un humain et un objet physique, dit instrument. Ce corps à corps intime, qui adresse simultanément les différents canaux sensoriels d'action et de perceptions humaines, constitue un vecteur pour la connaissance enactive. Cette relation instrumentale joue notamment un rôle clé pour la richesse expressive des instruments musicaux.Dans le contexte informatique, un vaste champ de recherche concerne l'interaction sensorielle avec des entités virtuelles par le biais de capteurs et d'actionneurs, notamment l'interaction gestuelle avec les systèmes à retour d'effort. D'une part, les Réalités Virtuelles, historiquement centrées sur la visualisation, focalisent essentiellement l'interaction gestuelle sur des propriétés spatiales, souvent au détriment de qualités dynamiques. D'autre part, les Instruments Musicaux Numériques sont essentiellement centrés sur le contrôle interactif de processus de synthèse sonore numériques, basés sur le traitement de l'information. Ces deux scénarii synthétisent des phénomènes sensoriels destinés à différents canaux perceptifs selon une approche multimodale, l'objet virtuel étant décomposé en sous-parties, liées entre elles par des relations de contrôle.Il est néanmoins possible de concevoir des systèmes permettant l'interaction instrumentale avec un objet virtuel simulé, avec une cohérence énergétique bidirectionnelle totale, du geste au son et réciproquement. Il est alors nécessaire de regrouper (a) un formalisme de modélisation physique permettant la création d'objets virtuels intrinsèquement multisensoriels, possédant à la fois des propriétés visuelles, acoustiques et haptiques, (b) des systèmes à retour d'effort de grande performance dynamique et (c) des architectures de calcul spécialisées, permettant une boucle de simulation synchrone réactive à haute vitesse.Le travail de cette thèse consiste en l'extension et la convergence des concepts et techniques ci-dessus pour la mise en œuvre d'une plateforme de création musicale instrumentale, dite MSCI (modeleur-simulateur pour la création instrumentale), en proposant une répartition multifréquence du calcul de simulation des instruments virtuels sur une nouvelle architecture matérielle synchrone. Un environnement de modélisation permet de concevoir intégralement l'instrument virtuel sur des principes mécaniques et physiques et de configurer le couplage physique entre celui-ci et l'utilisateur du monde réel lors de la simulation à retour d'effort.Il adresse entre autre la question de la répartition de la chaine instrumentale en zones à caractère majoritairement non-vibrant, dont la dynamique est de l'ordre du geste sensori-moteur humain, et en zones vibrantes, productrices du son. Ces deux parties de l'instrument peuvent être simulées à des fréquences différentes, adaptées aux phénomènes physiques dont elles sont le siège. Dans le cadre d'un formalisme de simulation physique garantissant la cohérence énergétique des objets simulés, la séparation multifréquence est une problématique nouvelle qui nécessite d'être abordée avec précaution, pour des questions de respect du couplage physique ainsi que de stabilité numérique.Il s'agit, à notre connaissance, du premier environnement de création musicale par modélisation physique modulaire permettant la manipulation instrumentale d'instruments virtuels multisensoriels, respectant une cohérence énergétique entre homme et instrument, et permettant de jouir du potentiel créatif de la synthèse sonore tout en retrouvant l'intimité et la richesse de l'interaction gestuelle instrumentale. Au delà du cadre musical, ce travail pose les bases et les outils technologiques pour un véritable art multisensoriel, adressant conjointement la vision, l'oreille ainsi que le geste humain. / The notion of instrumentality can be defined as the corporal relationship between a human and a physical object, called an instrument. This intimate situation simultaneously addresses the various human action and perception sensory canals, and constitutes a vector for enactive knowledge. In particular, this instrumental relationship plays a key role in the expressiveness of musical instruments.In the digital context, a vast area of research concerns sensory interactions with virtual entities, by means of sensors and actuators, including gestural interaction with force feedback systems. On the one hand the Virtual Reality domain, historically focused on visual aspects, generally focus gestural interaction on spatial features, often losing the focus of dynamic features. On the other hand, Digital Musical Instruments are essentially centered on interactive control of digital sound synthesis processes, grounded in information technologies and signal processing. These two approaches synthesize sensory phenomena destined to different perceptive channels following a multimodal approach, the virtual object being decomposed into subsections, linked together by control relations.It is however possible to conceive systems that allow for instrumental interaction with a virtual simulated object, maintaining total and bidirectional energetic coherence, from gesture to sound and reciprocally. In this case, it is necessary to bring together (a) a physical modeling formalism that allows creating intrinsically multisensory virtual objects that possess visual, acoustical and haptic properties, (b) force feedback systems with high dynamic performances and (c) specialized computation architectures that allow for a reactive, high rate synchronous simulation loop.The work of this thesis consists in the extension and convergence of concepts and techniques hereby mentioned here-above, in order to create a platform for instrumental musical creation, named MSCI (Modeleur Simulateur pour la Création Instrumentale), proposing a multi-rate architecture for the simulation of virtual musical instruments on a new dedicated simulation architecture. A modeling environment allows complete design of the virtual instrument based on mechanical and physical principles, and to configure the haptic coupling between this instrument and the user during the force-feedback simulation.Notably, it addresses the separation of the instrumental chain into zones which present mostly non-vibrating phenomena within a dynamic range close to the human sensory-motor gesture, and zones which vibrate at acoustical rates, producing sound. These two sections of the instrument may be simulated at different rates, adapted to the physical phenomena that they give birth to. In the scope of a physical modeling formalism that guarantees the energetic coherence of simulated objects, this multi-rate separation is a new topic that requires careful handling, in terms both or respect of the physical coupling and of numerical stability.To our knowledge, this is the first environment for musical creation by means of physical modeling that allows for instrumental manipulation of multisensory virtual instruments, respecting an energetic coherence between the human and the instrument, and therefore allowing embracing the creative potential of digital sound synthesis while disposing of the intimacy and expressiveness of instrumental gestures. Beyond the musical scope, this work provides the basis and the technological tools for the emergence of a true multisensory form of art, jointly addressing vision, hearing and gesture.

Les moyens technologiques de la musique électronique reconfigurent les pratiques musicales. Du fait des procédures de computation et d’automation inhérentes aux machines qui médiatisent le phénomène sonore, ces moyens ont notamment la particularité d’introduire une rupture dans le rapport causal entre le geste instrumental et le son produit. Que signifie alors jouer de la musique électronique ? Comment comprendre ici les concepts de geste et d’instrument de musique qui sont traditionnellement mobilisés pour analyser les pratiques musicales ?Pour répondre à ces questions, nous avons mené entre 2010 et 2016 un travail de terrain auprès de musiciens professionnels dans des contextes musicaux variés : musique savante avec électronique en temps réel, performance audiovisuelle et musique électronique populaire. Cette approche, focalisée sur l’instrument, permet de questionner la matérialité des pratiques électroniques en la plaçant au premier plan, par-delà les esthétiques musicales. Ce travail consiste donc en une « enquête organologique » sur les pratiques des musiciens ou des groupes suivants : Robert Henke, Alex Augier, Brain Damage, High Tone, Pierre Jodlowski, Jesper Nordin, John MacCallum et Teoma Naccarato, Nicolas Mondon, Greg Beller et le collectif Unmapped. La méthode ethnographique permet de circonscrire l’usage particulier des technologies musicales à différents moments du processus de création : conceptualisation de l’œuvre, collaboration technique, réalisation artistique et performance scénique. À partir de l’analyse de l’activité musicale au prisme des configurations instrumentales, nous proposons une typologie des instruments électroniques dont le critère de classification est le geste, unique résidu du modèle acoustique de l’interaction instrumentale. L’activité corporelle permet donc d’ordonner la diversité matérielle des technologies musicales en même temps qu’elle constitue un vecteur stratégique d’expression de l’interaction instrumentale. / Technological means of electronic music reconfigure musical practices. Because of the machines’ computation and automation capacities that mediate the sonic phenomenon, the causal relationship between instrumental gesture and sound is altered. Therefore, what does it mean to play electronic music? The concepts of gesture and musical instrument are traditionally employed for the analysis of musical practices, but how should they be understood in this context? To address these issues, we conducted an extensive fieldwork between 2010 and 2016 with professional musicians in various contexts: art music with real-time electronics, audiovisual performance, and popular electronic music. Our instrument-focused approach allows us to consider the materiality of electronic music itself, beyond aesthetics. Thus, this work is an “organological inquiry” on the following musicians or bands: Robert Henke, Alex Augier, Brain Damage, High Tone, Pierre Jodlowski, Jesper Nordin, John MacCallum and Teoma Naccarato, Nicolas Mondon, Greg Beller, and the Unmapped collective. The ethnographic method sheds a light on the use of music technologies at different stages of the creative process: conceptualization of the work, technical collaboration, the making of the music and its performance. From this analysis of musical activity captured through instrumental configurations, we offer a typology of electronic music instruments, based on a gestural criterion, which is the only residual aspect of the acoustic instrumental interaction model. The corporeal activity leads to organise the material diversity of music technologies, as well as it constitutes a strategic way to express instrumental interaction.