La problématique traitée dans le cadre de cette thèse est celle du liage perceptif en parole, ce qui amène à l'étude des principes de l'analyse de scène de parole (en analogie avec l'analyse de scène auditive). La littérature sur la perception de la parole met en évidence que ces principes sont en partie différents de ceux de l'analyse de scène auditive. Notre objectif dans cette thèse est de mieux caractériser ces principes « spécifiques à la parole ». Le paradigme que nous utilisons est celui de l'Effet de Transformation Verbale. À travers une série d'expériences comportementales et une étude en EEG intracrânienne, nous suggérons que cette organisation est basée sur des principes multisensoriels et perceptuo-moteurs. Nous mettons en œuvre quelques uns de ces mécanismes au sein du modèle psycholinguistique TRACE. Du point de vue théorique, les résultats obtenus dans le cadre de cette thèse s'inscrivent dans PACT (Théorie de la Perception pour le Contrôle de l'Action).

Notre habilité à interagir avec les objets du monde nécessite l’intégration d’informations provenant de différents canaux sensoriels, dans le cadre de la construction d’une représentation de l’espace en particulier des informations visuelles et tactiles. L’espace péri personnel et l’intégration visuo-tactile ont été l’objet d’importantes recherche récemment. Des études neuro physiologiques chez le primate non-humain ont montré l’existence de neurones bi modaux activés à la fois par des stimulations tactiles et par des stimulations visuelles si ces dernières étaient présentées près d’une partie du corps (par exemple la main). Il a été proposé que ces neurones bi-modaux constituent le substrat neuronal de la représentation de l’espace péri personnel. Les études neuropsychologiques menées chez des patients présentant une extinction cross-modale consécutive à une lésion pariétale droite ont permis de suggérer l’existence du même type de représentation de l’espace péri personnel chez l’homme. Les données issues des études en neuro imagerie fonctionnelle sont venues par la suite conforter cette idée. Plus récemment, à travers l’utilisation d’outils, des données acquises chez le primate humain et non humain ont révélé les propriétés dynamiques de cette représentation spatiale. Selon notre hypothèse la représentation de l’espace péri personnel est une interface présidant aux interactions du corps avec les objets du monde externe. Nous avons donc évalué le rôle et l’état de l’espace péri personnel lors de l’exécution de mouvements volontaires vers des objets (comme une simple saisie) et lors de mouvements involontaires d’évitement. Lors d’une première série d’expériences nous avons étudié les coordonnées spatiales du codage des objets qui soudainement se rapprochent du corps grâce à la mesure des potentiels évoqués moteurs. Cette étude a révélé que l’espace péri personnel joue un rôle dans la représentation des objets approchant le corps et dans la sélection des mouvements appropriés en réponse. Lors d’une seconde série d’expériences nous avons utilisé un paradigme d’interférence visuo-tactile couplé à l’enregistrement cinématique des mouvements de saisie afin d’examiner la représentation de l’espace péri personnel lors de 1 l’exécution d’actions volontaires. Cette approche novatrice nous a permis de mettre en évidence que l’action volontaire induit un recodage en ligne de l’interaction visuo-tactile dans l’espace de préhension. Ce recodage de l’action s’effectue en coordonnées centrées sur la partie du corps qui exécute l’action. En conclusion nos études expérimentales démontrent que l’espace péri personnel est une interface multi sensorielle qui a été sélectionnée à travers l’évolution non seulement pour la gestion des mouvements d’évitement et de défense mais également pour l’exécution d’actions volontaires. / Our ability to interact with the environment requires the integration of multisensory information for the construction of spatial representations. The peripersonal space (i.e., the sector of space closely surrounding one’s body) and the integrative processes between visual and tactile inputs originating from this sector of space have been at the center of recent years investigations. Neurophysiological studies provided evidence for the presence in the monkey brain of bimodal neurons, which are activated by tactile as well as visual information delivered near to a specific body part (e.g., the hand). Neuropsychological studies on right brain-damaged patients who present extinction and functional neuroimaging findings suggest the presence of similar bimodal systems in the human brain. Studies on the effects of tool-use on visual-tactile interaction revealed similar dynamic properties of the peripersonal space in monkeys and humans. The functional role of the multisensory coding of peripersonal space is, in our hypothesis, that of providing the brain with a sensori-motor interface for body-objects interactions. Thus, not only it could be involved in driving involuntary defensive movements in response to objects approaching the body, but could be also dynamically maintained and updated as a function of manual voluntary actions performed towards objects in the reaching space. We tested the hypothesis of an involvement of peripersonal space in executing both voluntary and defensive actions. To these aims, we joined a well known cross-modal congruency effect between visual and tactile information to a kinematic approach to demonstrate that voluntary grasping actions induce an on-line re-weighting of multisensory interactions in the peripersonal space. We additionally show that this modulation is handcentred. We also used a motor evoked potentials approach to investigate which coordinates system is used to code the peripersonal space during motor preparation if real objects rapidly approach the body. Our findings provide direct evidence for automatic hand-centred coding of visual space and suggest that peripersonal space may also serve to represent rapidly 3 approaching and potentially noxious objects, thus enabling the rapid selection of appropriate motor responses. These results clearly show that peripersonal space is a multisensori-motor interface that might have been selected through evolution for optimising the interactions between the body and the objects in the external world.

Les constructeurs automobiles proposent un vaste éventail de fonctions secondaires à la conduite, en relation avec le GPS, la musique, ou encore la ventilation. L'ensemble de ces fonctions est centralisé sur un écran accessible au centre de l'habitacle, équipé d'une dalle tactile dans nombre de véhicules récents. Cependant, leur manipulation en conduite peut se révéler périlleuse : la sollicitation de la modalité visuelle pour interagir avec l'interface peut entraîner une baisse de vigilance vis-à-vis de la tâche de conduite, ce qui peut mener à des situations dangereuses. Au cours de cette thèse, fruit d'une collaboration entre le Groupe PSA et le laboratoire PRISM, nous nous sommes attachés à proposer une association de gestes et de sons comme alternative à une sollicitation visuelle. Le but est de proposer des interactions réalisables en aveugle, pour permettre au conducteur de focaliser ses yeux sur la route. Pour réaliser conjointement une manipulation de l'interface et une tâche de conduite, une sollicitation multisensorielle peut en effet permettre de faire baisser la charge mentale du conducteur, en comparaison à une situation unimodale visuelle. Pour que le lien entre les gestes et les sons paraisse naturel, un objet virtuel a été introduit, manipulable grâce à des gestes. Cet objet est le support des stratégies de sonification, par analogie aux sons de notre environnement, qui sont la conséquence d'une action sur un objet. L'objet virtuel permet également de structurer différents gestes autour d'une même métaphore, ou encore de redéfinir le menu d'une interface. La première partie de cette thèse est consacrée à la mise au point de stratégies de sonification pour transmettre des informations pertinentes sur la dynamique de l'objet virtuel. Deux expériences perceptives ont été mises en place, qui ont conduit à la discrimination de deux stratégies de sonification intéressantes. Dans une deuxième partie, nous avons œuvré à la mise en situation automobile par un travail sur les stimuli sonores, sur l'interface, et par l'étude de l'intégration multisensorielle. Un design des stratégies de sonification a été proposé pour permettre de se projeter dans une utilisation en véhicule. Par la suite, les évocations provoquées par le couplage des gestes et des sons ont été au centre d'une troisième expérience perceptive. Cette étude a été effectuée en aveugle, où le concept d'objet virtuel était inconnu et découvert progressivement par les sujets. Ces images mentales véhiculées par les stratégies de sonification peuvent en effet être utiles lors de la familiarisation des utilisateurs avec l'interface. Une quatrième expérience perceptive s'est concentrée sur la prise en main de l'objet virtuel, où l'intégration des stimuli visuels et auditifs a été étudiée, dans le contexte du maniement d'une interface. Les sujets ont été placés dans des conditions similaires à la découverte de l'interface en véhicule à l'arrêt, avec des stimuli audio-visuels ; puis à son utilisation en aveugle grâce aux stratégies de sonification. Les enseignements de ces expériences ont permis de bâtir une interface gestuelle, qui a été comparée à une interface tactile dans une dernière expérience perceptive réalisée en simulateur de conduite. Bien que les résultats montrent une utilisation plus performante de l'interface tactile, l'association des gestes et des sons semble intéressante du point de vue de la charge cognitive des conducteurs. L'interface gestuelle peut donc offrir une alternative prometteuse ou un complément aux interfaces tactiles pour une utilisation simultanée à la conduite en toute sécurité. / Car manufacturers offer a wide range of secondary driving controls, such as GPS, music, or ventilation, often localized on a central touch-sensitive screen. However, operating them while driving proves to be unsafe: engaging the sense of sight for interface interaction can lead to vigilance reduction towards the driving task, which can lead to high-risk situations. In this PhD thesis, which is a part of a collaborative research project involving both the PSA Group and the PRISM laboratory, we aim to provide a gesture and sound association as an alternative to the visual solicitation. The goal is to enable blind interface interactions, allowing the driver to focus their eyes on the road. When jointly performing interface manipulations and the driving task, a multisensory solicitation can lower the driver's cognitive load, in comparison with a visual unimodal situation. For the gesture-sound association to feel more natural, a virtual object that can be handled with gestures is introduced. This object is the support for sonification strategies, constructed by analogy with sounds from our environment, which are the consequence of an action on an object .The virtual object also allows to structure different gestures around the same metaphor, or to redefine the interface's menu. The first part of this thesis deals with the development of sonification strategies, with the aim to inform users about the virtual object dynamic. Two perceptual experiments were set up, which led to the discrimination of two valuable sonification strategies. In a second part, the automotive application was addressed by designing new sound stimuli, the interface, and by studying the multisensory integration. Sounds were proposed for each of the two sonification strategies, to progress towards an in-vehicle integration. The evocations brought by the gestures and sounds association were the subject of a third perceptive blinded experiment. The concepts around the virtual object were unknown and gradually discovered by the subjects. These mental images conveyed by the sonification strategies can help users familiarize with the interface. A fourth perceptual experiment focused on the virtual object handling for first-time users, where the integration of audio-visual stimuli was studied, in the context of an interface manipulation. The experiment conditions were similar to the driver first discovering of the interface in a parked vehicle thanks to audio-visual stimuli, and then operating it through sonification strategies only. The results of this experiment lead to the design of a gestural interface, which was compared with the results obtained with a touchscreen interface in a final perceptual experiment, carried out in a driving simulator. Although the results show better performances for the tactile interface, the combination of gestures and sounds proved to be effective from the cognitive load point of view. The gesture interface can therefore offer a promising alternative or complement to tactile interfaces for a safe simultaneous use in driving condition.

L'espace entourant notre corps est d'une importance vitale: nous surveillons attentivement les objets (animés et inanimés) qui entrent dans les limites de l'espace à immédiate proximité du corps pour interagir avec eux. Dans le domaine des neurosciences cognitives, cet espace est exemplifié par le concept d'espace péripersonnel (PPS), une représentation hautement plastique qui intègre des stimuli tactiles et visuels présentés sur et près du corps. Cette représentation semble contribuer au guidage efficace des actions, cependant dans la littérature on ne retrouve aucune preuve substantielle de l'implication du PPS dans le contrôle des actions. Un argument en faveurs de cette hypothèse dériverait de la preuve que la plasticité du PPS peut effectivement survenir avant le début du mouvement, plutôt que pendant le mouvement. Les résultats de la première étude (chapitre II) révèlent que les informations visuelles et tactiles interagissent de manière significative déjà au cours de la phase de planification de l'action et que cette interaction visuo-tactile augmente ultérieurement au cours des étapes successives du mouvement. Un tel processus de « remappage » visuo-tactile du PPS, qui précède temporellement et accompagne par la suite l'exécution de l'action motrice, semble donc idéalement adapté à pour aider au guidage de nos actions. Récemment, il a été suggéré que le PPS pourrait jouer un rôle dans le guidage des interactions motrices entre individus. En psychologie sociale, l'espace autour du corps est appelé espace interpersonnel (IPS), défini comme l'espace que les individus maintiennent autour d'eux et dans lequel les autres ne peuvent pas pénétrer sans susciter d'inconfort. En raison de certaines similitudes entre les représentions du PPS et du IPS, certains auteurs ont soulevé la question d'un éventuel partage de certaines caractéristiques fonctionnelles entre ces deux représentations. Le deuxième objectif de ma thèse etait de tester cette hypothèse en exploitant un autre processus de «remappage» plastique du PPS, c'est-à-dire celui induit par l'utilisation d'un outil. Les résultats de la deuxième étude (chapitre IV) montrent que l'utilisation «standard» d'un outil «allonge» le PPS, mesuré par la distance d'atteignabilité d'une autre personne, mais n'influence pas l'IPS, mesuré par la distance de confort envers la même personne. Dans la troisième étude (chapitre V), nous avons introduit une nouvelle variante plus sociale de l'utilisation d'un outil pour examiner la plasticité sensorimotrice et sociale des deux espaces. Les résultats obtenus révèlent que l'utilisation sociale d'un outil «allonge» le PPS et en même temps «réduit» l'IPS. La démonstration que l'on peut induire des changements directionnellement opposés entre les deux représentations, falsifie l'hypothèse selon laquelle il peut y avoir un chevauchement fonctionnel entre PPS et IPS. Ces exemples de dissociation fonctionnelle peuvent donc servir à éviter une association inappropriée entre les deux concepts. Si l'hypothèse de l'identité fonctionnelle avec l'IPS ne semble pas légitime, il n'en demeure pas moins que le PPS est également sensible aux variables sociales. La dernière étude (Chapitre VII) vise donc à explorer cette sensibilité du PPS vers une dimension sociale fondamentale, encore inexplorée: la propriété privée. Les résultats de la quatrième étude indiquent que la propriété d'un objet, qu'elle soit considérée comme individuelle ou partagée, est essentielle pour l'émergence des propriétés dynamiques du PPS. Les stimuli visuels influencent effectivement la perception tactile d'une manière plus marquée au début du mouvement, mais seulement lorsque l'objet appartient au participant. Il convient de noter qu'un effet similaire apparaît également lorsque l'on observe une autre personne agir sur l'objet qui lui appartient... [etc] / The zone that surrounds our body is of vital importance: we carefully monitor the objects (both animate and inanimate) that enter the boundaries of the immediate space around the body to interact with them. In the neurocognitive field such a space is captured by the concept of peripersonal space (PPS), a highly plastic representation that integrates tactile and visual stimuli presented on, and close to, the body. This system seems to contribute to the efficient guidance of actions, yet, a clear demonstration of a prominent role of PPS in control of actions is critically lacking. Strong support for this would derive from evidence that PPS plastic changes occur before rather than after movement onset. The results from the first study (Chapter II) reveal that visual and tactile information strongly interact already during the planning phase of action and this visuo-tactile interaction is further enhanced during subsequent movement phases. Such a visuo tactile remapping of PPS that temporally precedes and subsequently accompanies overt motor execution is ideally suited to planning and guiding actions. Recently, it has been suggested a possible involvement of PPS in the guidance of motor interactions between individuals. In social psychology, the space around the body is termed interpersonal space (IPS), defined as the area individuals maintain around themselves into which others cannot intrude without arousing discomfort. Because of some similarities between the PPS and IPS constructs, some authors have raised the question of whether they share some functional features. The second aim of my thesis is to test this hypothesis by taking advantage of another PPS remapping, namely that one induces by tool-use. The results of the second study (Chapter IV) show that “standard” tool-use ‘extends’ PPS, as measured by reaching distance toward a peer, but does not affect IPS, as measured by the comfort distance toward the same peer. In the third investigation (Chapter V), we introduced a novel form of “social” tool-use setting to test for both sensorimotor and social plasticity of the two spaces. The findings that social tool–use ‘extends’ PPS and ‘reduces’ IPS, inducing opposite changes on each representation, clearly disconfirms the hypothesis . that there might be functional overlap between these sectors of space. Such examples of functional dissociation may therefore be sufficient to warn scholars to refrain from risky conflations between the two concepts. If the assumption of functional identity with IPS does not appear to be legitimate, it is true that PPS is sensitive to social features. The last study (Chapter VII) is thus aimed at probing this sensitivity of PPS to a so far unexplored but fundamental social dimension: ownership. The results from the forth study indicate that, whether considered to be as individual or shared property, ownership of an object is critical for the PPS dynamic properties to emerge. Visual stimuli affected touch perception more strongly at the movement onset than before, but only when the object belonged to the acting participant. Interestingly, a similar remapping was found when simply observing the peer acting on her own belonging. In a follow-up experiment we investigated PPS plastic changes when property of the target object was shared between the two agents. In this case, PPS remapping emerged not only when acting in first person, but also when observing the peer acting upon the shared object. Taken together, these findings critically inform current theoretical models about space around our body and about its function in our sensorimotor and social inter-actions

Cette thèse s'est intéressée aux relations entre les mouvements biologiques et la perception sonore en considérant le cas spécifique des mouvements graphiques et des sons de frottement qu'ils génèrent. L'originalité de ces travaux réside dans l'utilisation d'un modèle de synthèse sonore basé sur un principe perceptif issu de l'approche écologique de la perception et contrôlé par des modèles de gestes. Des stimuli sonores dont le timbre n'est modulé que par des variations de vitesse produites par un geste ont ainsi pu être générés permettant de se focaliser sur l'influence perceptive de cet invariant transformationel. Une première étude a ainsi montré que l'on reconnait la cinématique des mouvements biologiques (la loi en puissance 1/3), et que l'on peut discriminer des formes géométriques simples juste à partir des sons de frottement produits. Une seconde étude a montré l'existence de prototypes dynamiques sonores caractérisant les trajectoires elliptiques, mettant ainsi en évidence que les prototypes géométriques peuvent émerger d'un couplage sensorimoteur. Enfin, une dernière étude a montré qu'une cinématique évoquée par un sonore influence significativement la cinématique et la géométrie d'un geste dans une tâche de reproduction graphique du mouvement d'un point lumineux. Ce résultat révèle l'importance de la modalité auditive dans l'intégration multisensorielle des mouvements continus dans une situation jamais explorée. Ces résultats ont permis le contrôle de modèles de synthèse par des descriptions gestuelles et la création d'outils de sonification pour l'apprentissage de gestes et la réhabilitation d'une pathologie motrice, la dysgraphie. / This thesis focused on the relations between biological movements and auditory perception in considering the specific case of graphical movements and the friction sounds they produced. The originality of this work lies in the use of sound synthesis processes that are based on a perceptual paradigm and that can be controlled by gesture models. The present synthesis model made it possible to generate acoustic stimuli which timbre was directly modulated by the velocity variations induced by a graphic gesture in order to exclusively focus on the perceptual influence of this transformational invariant. A first study showed that we can recognize the biological motion kinematics (the 1/3 power law) and discriminate simple geometric shapes simply by listening to the timbre variations of friction sounds that solely evoke velocity variations. A second study revealed the existence of dynamic prototypes characterized by sounds corresponding to the most representative elliptic trajectory, thus revealing that prototypical shapes may emerged from sensorimotor coupling. A final study showed that the kinematics evoked by friction sounds may significantly affect the dynamic and geometric dimension in the visuo-motor coupling. This shed critical light on the relevance of auditory perception in the multisensory integration of continuous motion in a situation never explored. All of these theoretical results enabled the gestural control of sound synthesis models from a gestural description and the creation of sonification tools for gesture learning and rehabilitation of a graphomotor disease, dysgraphia.