Notre système sensorimoteur a développé une relation particulière entre nos actions et le retour sonore qui en découle. Les systèmes de captation gestuelle et les technologies audio permettent de manipuler ce retour sonore par la sonification interactive du mouvement. Nous explorons dans divers cadres expérimentaux la contribution de la sonification à l'apprentissage moteur dans les systèmes interactifs. Tout d'abord, nous montrons que le système auditif intègre des indices acoustiques issus du mouvement pour le contrôle moteur. Des représentations de l'espace émergent de ces indices et sont transformées en commandes motrices. Le cas d'un objet virtuel sonore nous apprend que ces représentations audiomotrices influencent les stratégies d'exploration et permettent des cas de substitution sensorielle par le son. Ensuite, nous mesurons qu'un retour sonore continu permet d'améliorer significativement la performance à une tâche de poursuite. La sonification de l'erreur et des paramètres de la tâche aident à la performance mais montrent des effets différents sur l'apprentissage. Nous observons également que la sonification du mouvement de l'utilisateur augmente l'énergie contenue dans le geste et prévient la dépendance au retour sonore. Enfin, nous présentons le concept de tâche sonore dans lequel la cible est présentée et s'exprime sous forme de paramètres sonores à reproduire. Les résultats montrent qu'une adaptation motrice peut être provoquée par des indices acoustiques seuls. Ce travail permet de dégager des principes importants du design de l'interaction geste-son, et présente des applications originales comme des scénarios interactifs pour la rééducation. / Our sensorimotor system has developed a specific relationship between our actions and their sonic outcomes, which it interprets as auditory feedback. The development of motion sensing and audio technologies allows emphasizing this relationship through interactive sonification of movement. We propose several experimental frameworks (visual, non-visual, tangible, virtual) to assess the contribution of sonification to sensorimotor control and learning in interactive systems. First, we show that the auditory system integrates dynamic auditory cues for online motor control, either from head or hand movements. Auditory representations of space and of the scene can be built from audio features and transformed into motor commands. The framework of a virtual sonic object illustrates that auditory-motor representations can shape exploratory movement features and allow for sensory substitution. Second, we measure that continuous auditory feedback in a tracking task helps significantly the performance. Both error and task sonification can help performance but have different effects on learning. We also observe that sonification of user’s movement can increase the energy of produced motion and prevent feedback dependency. Finally, we present the concept of sound-oriented task, where the target is expressed as acoustic features to match. We show that motor adaptation can be driven by interactive audio cues only. In this work, we highlight important guidelines for sonification design in auditory-motor coupling research, as well as applications through original setups we developed, like perceptual and physical training, and playful gesture-sound interactive scenarios for rehabilitation.

Si la perception de notre environnement paraît simple et naturelle, les attributs visuels composant les différents objets sont traités dans des espaces temps qui leur sont propres en engageant des voies neuronales distinctes. La question du liage des informations sensorielles en un percept unique est alors posée. Dans le cadre de cette thèse, la question du liage sensoriel a été étudiée au regard des actes moteurs volontaires. En situation d'observation passive, le point de simultanéité subjective (PSS) montre qu'un changement de couleur doit se produire 40 ms avant un changement de position pour donner lieu à une perception synchrone des deux événements. L'exécution d'un mouvement d'atteinte manuelle réduit significativement ce PSS (-3.3 ms) uniquement lorsque le délai et l'écart spatial entre la fin de l'action motrice et les changements environnementaux n'excède pas 250 ms (-0,6 ms) et 2 cm ( 3,8 ms). Cependant, dans le cas où une situation d'apprentissage est induite par la présence de nouvelles contingences sensori-motrices, le liage sensoriel par l'action peut être observé pour des intervalles de temps plus grands (jusqu'à 1000 ms). Ce liage sensoriel par l'action, mis en évidence pour la première fois, serait sous-tendu par les mécanismes prédictifs associés aux modèles internes. Une dernière étude a révélé l'intérêt diagnostique de l'étude des relations perception/action au cours du vieillissement. Des profils de réponse spécifique ont été observés chez des patients de type Alzheimer lors de tâches testant les relations perception/action. Ces études apportent des arguments en faveur d'un rôle important de l'action dans la perception et la cognition. / If the perception of our environment seems easy and natural, the visual attributes of various objects are processed in space-time which are their own by engaging distinct neural pathways. The issue of binding of sensory information into a single percept is then arise. In this thesis, the issus of sensory bending was studied in relation to voluntary motor action. In position of passive observation, the point of subjective simultaneity (PSS) shows that a color change had to occur 40 ms before a change of position to give rise to a perception of two synchronous events. Performing a manual reaching movement reduced significantly the pSS (-3.3 ms) only when the time and space gap between the end of the motor action and environmental change does not exceed 250 ms (-0.6 ms) and 2 cm (3.8 ms). However, if a learning situation is induced by the presence of new sensorimotor contingencies, sensory binding by action can be observed for larger time intervals (up to 1000ms). This sensory binding by action, demonstrated for the first time, would be underpinned by predictive mechanisms associated with internal models. A last study showed the diagnostic interest of the study of relation perception/action during aging. Specific profiles of responses were observed in patients with Alzheimer on task testing the relations perception/action. These studies provide arguments for an important role of action in perception and cognition.

La thèse consiste en l'apprentissage d'une tâche complexe de robotique de manipulation en utilisant très peu d'aprioris. Plus précisément, la tâche apprise consiste à atteindre un objet avec un robot série. L'objectif est de réaliser cet apprentissage sans paramètres de calibrage des caméras, modèles géométriques directs, descripteurs faits à la main ou des démonstrations d'expert. L'apprentissage par renforcement profond est une classe d'algorithmes particulièrement intéressante dans cette optique. En effet, l'apprentissage par renforcement permet d’apprendre une compétence sensori-motrice en se passant de modèles dynamiques. Par ailleurs, l'apprentissage profond permet de se passer de descripteurs faits à la main pour la représentation d'état. Cependant, spécifier les objectifs sans supervision humaine est un défi important. Certaines solutions consistent à utiliser des signaux de récompense informatifs ou des démonstrations d'experts pour guider le robot vers les solutions. D'autres consistent à décomposer l'apprentissage. Par exemple, l'apprentissage "petit à petit" ou "du simple au compliqué" peut être utilisé. Cependant, cette stratégie nécessite la connaissance de l'objectif en termes d'état. Une autre solution est de décomposer une tâche complexe en plusieurs tâches plus simples. Néanmoins, cela n'implique pas l'absence de supervision pour les sous tâches mentionnées. D'autres approches utilisant plusieurs robots en parallèle peuvent également être utilisés mais nécessite du matériel coûteux. Pour notre approche, nous nous inspirons du comportement des êtres humains. Ces derniers généralement regardent l'objet avant de le manipuler. Ainsi, nous décomposons la tâche d'atteinte en 3 sous tâches. La première tâche consiste à apprendre à fixer un objet avec un système de deux caméras pour le localiser dans l'espace. Cette tâche est apprise avec de l'apprentissage par renforcement profond et un signal de récompense faiblement supervisé. Pour la tâche suivante, deux compétences sont apprises en parallèle : la fixation d'effecteur et une fonction de coordination main-oeil. Comme la précédente tâche, un algorithme d'apprentissage par renforcement profond est utilisé avec un signal de récompense faiblement supervisé. Le but de cette tâche est d'être capable de localiser l'effecteur du robot à partir des coordonnées articulaires. La dernière tâche utilise les compétences apprises lors des deux précédentes étapes pour apprendre au robot à atteindre un objet. Cet apprentissage utilise les mêmes aprioris que pour les tâches précédentes. En plus de la tâche d'atteinte, un predicteur d'atteignabilité d'objet est appris. La principale contribution de ces travaux est l'apprentissage d'une tâche de robotique complexe en n'utilisant que très peu de supervision. / The thesis is focused on learning a complex manipulation robotics task using little knowledge. More precisely, the concerned task consists in reaching an object with a serial arm and the objective is to learn it without camera calibration parameters, forward kinematics, handcrafted features, or expert demonstrations. Deep reinforcement learning algorithms suit well to this objective. Indeed, reinforcement learning allows to learn sensori-motor mappings while dispensing with dynamics. Besides, deep learning allows to dispense with handcrafted features for the state spacerepresentation. However, it is difficult to specify the objectives of the learned task without requiring human supervision. Some solutions imply expert demonstrations or shaping rewards to guiderobots towards its objective. The latter is generally computed using forward kinematics and handcrafted visual modules. Another class of solutions consists in decomposing the complex task. Learning from easy missions can be used, but this requires the knowledge of a goal state. Decomposing the whole complex into simpler sub tasks can also be utilized (hierarchical learning) but does notnecessarily imply a lack of human supervision. Alternate approaches which use several agents in parallel to increase the probability of success can be used but are costly. In our approach,we decompose the whole reaching task into three simpler sub tasks while taking inspiration from the human behavior. Indeed, humans first look at an object before reaching it. The first learned task is an object fixation task which is aimed at localizing the object in the 3D space. This is learned using deep reinforcement learning and a weakly supervised reward function. The second task consists in learning jointly end-effector binocular fixations and a hand-eye coordination function. This is also learned using a similar set-up and is aimed at localizing the end-effector in the 3D space. The third task uses the two prior learned skills to learn to reach an object and uses the same requirements as the two prior tasks: it hardly requires supervision. In addition, without using additional priors, an object reachability predictor is learned in parallel. The main contribution of this thesis is the learning of a complex robotic task with weak supervision.