Notre système sensorimoteur a développé une relation particulière entre nos actions et le retour sonore qui en découle. Les systèmes de captation gestuelle et les technologies audio permettent de manipuler ce retour sonore par la sonification interactive du mouvement. Nous explorons dans divers cadres expérimentaux la contribution de la sonification à l'apprentissage moteur dans les systèmes interactifs. Tout d'abord, nous montrons que le système auditif intègre des indices acoustiques issus du mouvement pour le contrôle moteur. Des représentations de l'espace émergent de ces indices et sont transformées en commandes motrices. Le cas d'un objet virtuel sonore nous apprend que ces représentations audiomotrices influencent les stratégies d'exploration et permettent des cas de substitution sensorielle par le son. Ensuite, nous mesurons qu'un retour sonore continu permet d'améliorer significativement la performance à une tâche de poursuite. La sonification de l'erreur et des paramètres de la tâche aident à la performance mais montrent des effets différents sur l'apprentissage. Nous observons également que la sonification du mouvement de l'utilisateur augmente l'énergie contenue dans le geste et prévient la dépendance au retour sonore. Enfin, nous présentons le concept de tâche sonore dans lequel la cible est présentée et s'exprime sous forme de paramètres sonores à reproduire. Les résultats montrent qu'une adaptation motrice peut être provoquée par des indices acoustiques seuls. Ce travail permet de dégager des principes importants du design de l'interaction geste-son, et présente des applications originales comme des scénarios interactifs pour la rééducation. / Our sensorimotor system has developed a specific relationship between our actions and their sonic outcomes, which it interprets as auditory feedback. The development of motion sensing and audio technologies allows emphasizing this relationship through interactive sonification of movement. We propose several experimental frameworks (visual, non-visual, tangible, virtual) to assess the contribution of sonification to sensorimotor control and learning in interactive systems. First, we show that the auditory system integrates dynamic auditory cues for online motor control, either from head or hand movements. Auditory representations of space and of the scene can be built from audio features and transformed into motor commands. The framework of a virtual sonic object illustrates that auditory-motor representations can shape exploratory movement features and allow for sensory substitution. Second, we measure that continuous auditory feedback in a tracking task helps significantly the performance. Both error and task sonification can help performance but have different effects on learning. We also observe that sonification of user’s movement can increase the energy of produced motion and prevent feedback dependency. Finally, we present the concept of sound-oriented task, where the target is expressed as acoustic features to match. We show that motor adaptation can be driven by interactive audio cues only. In this work, we highlight important guidelines for sonification design in auditory-motor coupling research, as well as applications through original setups we developed, like perceptual and physical training, and playful gesture-sound interactive scenarios for rehabilitation.
| Identifer | oai:union.ndltd.org:theses.fr/2015PA066165 |
| Date | 11 May 2015 |
| Creators | Boyer, Eric |
| Contributors | Paris 6, Hanneton, Sylvain, Susini, Patrick |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0021 seconds