Cette recherche interdisciplinaire se situe à l'intersection des sciences cognitives, de l'informatique et des arts. Nous y traitons de questions relatives à la perception et compréhension d'une expérience artistique dans le contexte des technologies numériques. Nous considérons l'ordinateur comme un outil puissant de création et nous nous posons la question du comment son rôle peut être fonctionnellement introduit dans les arts numériques. Une des clés de la réponse à cette question se situe dans la notion d'incorporation (embodiment). Il s'agit d'un aspect de la perception et de la cognition humaine que nous ne pouvons pas approcher de façon directe, car il s'agit d'un processus émergent qui se construit avec l'action. Dans cette thèse, nous avons fait émerger quatre critères pour qualifier puis tenter d'évaluer les processus d'incorporation en situation créative, soit de réception soit de réception et d'action. Ces critères sont : la cohérence des retours sensoriels proposée par le système technologique, par exemple la cohérence entre le son et l'image ou entre le son, le geste et l'image ; la nature de l'action telle que perçue ou effectuée ; la sensation d'immersion cognitive des participants ; le potentiel évocateur de la situation sensori-motrice proposée à la perception et/ou à l'action.Nous avons mis en œuvre une méthode qualitative pour l'analyse d'expériences multisensorielles et interactives. Des entretiens ouverts ont permis de récolter un corpus de données sous forme d'enregistrements audiovisuels et de textes transcrits de ces entretiens. Un des objectifs de ces entretiens est de favoriser l'expressivité du sujet sur la manière dont il a vécu la situation en amont, voire au-delà, d'un quelconque jugement esthétique. Cette méthode a été utilisée dans de deux types de situations. Dans la première situation, nous avons mené des entretiens avec des spectateurs ayant participé à un concert effectué dans le cadre des Journées d'Informatique Musicale à Grenoble. Pour cela, nous avons choisi sept pièces audiovisuelles d'auteurs différents, qui étaient soit des œuvres jouées sur scène, soit des œuvres enregistrées. Le deuxième cas comporte des entretiens réalisés avec des participants d'une œuvre interactive audio-visio-haptique intitulée « Geste réel sur matière simulée ». Cette installation a été conçue dans le cadre du projet Créativité Instrumentale pour étudier les transformations du processus de création induit par les technologies de la simulation interactive numérique. Elle se décline en trois scènes de simulation multisensorielle réalisées par modèle physique permettant l'interaction instrumentale. Les entretiens avaient lieu pendant et après l'expérience. L'analyse des discours recueillis, nous a permis de mettre en évidence la relation entre l'outil technologique et l'homme. Dans cette thèse, nous proposons un cadre théorique composé de quatre éléments : Cohérence, Immersion, Action et Evocation, à l'aide desquels nous avons analysé les discours de sujets confrontés à des situations multisensorielles numériques actives et ainsi cerner l'embodiment dans telles situations. L'usage de ces quatre éléments dans l'analyse des discours nous a permis de mettre en évidence une multitude de liaisons entre eux qui se déclinent selon les paramètres des scènes virtuelles. Différents mécanismes de compréhension de ces scènes se mettent en place selon la manière dont les sensorialités sont stimulées et nos analyses nous ont permis de qualifier comment le visuel, l'audio et l'haptique pris séparément ou réunis permettent d'appréhender des différentes dimensions de la scène dans sa complexité. / L'auteur n'a pas fourni de résumé en anglais

Jouer un instrument de musique demande l’interaction des informations provenant de multiples sens. Cette expérience sensorielle a des effets sur les réseaux corticaux et sur les habiletés comportementales chez les musiciens professionnels qui pratiquent pour plusieurs années. L’entrainement musical semble avoir un effet sur les sens, incluant le toucher, mais peu de recherches se sont penchées sur les habiletés tactiles chez les musiciens. L’objectif de cette thèse est d’évaluer les capacités tactiles unisensorielles et multisensorielles non musicales chez les musiciens à l’aide de méthodologies comportementales. La première étude avait pour objectif d’évaluer les temps de réaction auditifs, tactiles, et audiotactiles chez les musiciens. Les temps de réaction de 16 musiciens et 19 membres d’un groupe témoin ont été évalués. Les résultats de cette recherche suggèrent que les musiciens ont des temps de réaction significativement plus rapide pour des stimulations auditives, tactiles, et audiotactiles. La seconde étude avait comme objectif d’évaluer l’interaction d’informations audiotactiles temporelle et spectrale chez les musiciens. Les interactions audiotactiles de 13 musiciens et de 17 membres d’un groupe témoin ont été évaluées à l’aide d’illusions multisensorielles. Les résultats de cette recherche suggèrent que seulement l’interaction audiotactile temporelle est significative différente entre les groupes. La troisième étude avait pour objectif d’évaluer la localisation spatiale tactile chez les musiciens. La localisation spatiale tactile chez 17 musiciens et 20 membres d’un groupe témoin a été évaluée à l’aide de tâche de jugement d’ordre temporel tactile. Les résultats de cette recherche suggèrent que les musiciens ont un taux d’erreur plus élevé pour localiser des stimulations tactiles quand leurs bras sont croisés, mais qu’ils ont des temps de réaction plus rapides pour cette tâche. Généralement, les résultats de ces recherches suggèrent qu’un entrainement musical à long terme améliore les capacités tactiles unisensorielles et multisensorielles, mais seulement pour certaines tâches. D’autres études sont requises afin de mieux comprendre les facteurs de l’entrainement musical menant à ces changements. / Playing a musical instrument requires the integration of information from multiple senses. The long-term sensory training from playing a musical instrument for many years has effects on cortical networks and behavioral abilities. Touch is a sensory modality that seems to be altered by musical training, but little research has focused on the tactile abilities of musicians. The objective of this thesis is to assess non-musical unisensory and multisensory tactile abilities in musicians using behavioral methodologies. The first study aimed at evaluating simple auditory, tactile, and audiotactile reaction times in musicians. Reaction times of 16 musicians and 19 controls were evaluated. The results of this study suggest that musicians have significantly faster response times for auditory, tactile, and audiotactile stimulations. The second study aimed at evaluating the integration of temporal and spectral audiotactile information in musicians. Audiotactile interactions of 13 musicians and 17 controls were evaluated using multisensory illusions. The results of this research suggest that only temporal audiotactile interactions are different for musicians. The third study aimed at assessing temporal tactile localization in musicians using tactile temporal order judgement task. Temporal tactile localization was evaluated in 17 musicians and 20 members of a control group. The results of this study suggest that musicians have a higher error rate to localize tactile stimulations when their arms are crossed but generally have faster reaction times for this task. All of these results suggest that musicians have altered tactile abilities. Overall, these results suggest that long-term musical training alters specific unisensory and multisensory tactile abilities. Further studies are required to better understand the factors of musical training leading to these changes and why certain interactions remain unchanged.

Comment le cerveau intègre-t-il toutes les informations sensorielles qu'il reçoit en une perception cohérente de l'environnement ? Cette intrigante et importante question en neuroscience n’est pas élucidée et a inspiré ce travail de thèse. Plus précisément, mon objectif a été d’étudier les modifications cérébrales induites par l’apprentissage d’une association entre un son et une odeur. Inhabituelle chez l’homme, hormis dans l’alimentation, cette association est pourtant fréquente chez l’animal, pour la détection de prédateurs par exemple. Mais sons et odeurs permettent surtout d'étudier les mécanismes cérébraux nécessaires à l'association entre deux sens très différents : le système auditif traite l’information en temps réel tandis que le système olfactif est lent et rythmé par la respiration. Ce travail de thèse était centré autour de la question suivante : comment le cerveau traite-t-il les interactions multisensorielles audio-olfactives ? En enregistrant l’activité de potentiel de champs local de plusieurs structures cérébrales chez des rats en train d’apprendre cette association, nous avons pu mettre en évidence un potentiel rôle des oscillations neuronales béta (15-35 Hz), dans le traitement et la mise en mémoire des différentes informations sensorielles. Ces oscillations représenteraient un lien fonctionnel entre aires cérébrales distantes, permettant l’intégration et l’association d'informations de natures très différentes. / Multisensory interactions are constantly present in our everyday life and allow a unified representation of environment. Cross modal integration is often studied in multisensory associative brain regions, but recent findings suggest that most of the brain could be multisensory. But at this time, we still don’t know how the brain deals with information from different sensory systems. In this project, we want to understand whether the establishment of neuronal oscillations can functionally connect sensory regions and take part of the multisensory integration, and how this connection is built up by learning. For this, we examine changes in the cortical network involved in the acquisition of a multisensory association between a sound and an odor in rats through the analysis of the local field potentials’ oscillations The originality of the project is to sample a large network of brain structures including primary sensory cortex (primary auditory cortex, olfactory bulb) and multimodal areas towards which converge these two senses: the piriform and perirhinal cortices. We have developed a behavioral GO/NO GO test in which the rat must combine simultaneous auditory and olfactory informations to succeed. Data and brain signals obtained in this task suggest that the power of oscillations in beta frequency band within the olfactory areas and the coherences of oscillations between these areas are modified by the multisensory learning.