Il existe aujourd’hui un large consensus sur le fait que le système cognitif est capabled’avoir des activités sur lui-même, on parle de métacognition. Si plusieurs travaux se sontintéressés aux mécanismes qui sous-tendent cette métacognition, à notre connaissance,aucun ne l’a fait dans une perspective « sensorimotrice et intégrative » du fonctionne-ment cognitif comme celle que nous proposons. Ainsi, la thèse que nous défendons dansce travail est la suivante : l’information métacognitive, notamment la fluence, possèdestrictement le même statut que l’information cognitive (i.e., sensorielle et motrice). Dansun premier chapitre, nous proposons un modèle de la cognition respectant ce principe.Ensuite, dans les deux chapitres suivants, nous mettons à l’épreuve notre hypothèse parle biais d’expériences et de simulations effectuées à l’aide du modèle mathématique quenous avons élaboré. Ces travaux ont porté plus précisément sur des phénomènes liés à troispossibilités originales prédites par notre hypothèse : la possibilité de méta-métacognition,la possibilité d’intégration entre information sensorielle et information métacognitive, etla possibilité d’abstraction métacognitive. / There is today a broad consensus that the cognitive system is capable of having acti-vities on itself, we are talking about metacognition. Although several studies have focusedon the mechanisms underlying this metacognition, to our knowledge, none has done so ina "sensorimotor and integrative" perspective of cognitive functioning such as the one wepropose. Thus, the thesis we defend in this work is the following : metacognitive infor-mation, especially fluency, has strictly the same status as any cognitive information (i.e.,sensory and motor). In a first chapter, we propose a model of cognition respecting thisprinciple. Then, in the next two chapters, we test our hypothesis through experimentsand simulations using the mathematical model we have developed. This work focusedmore specifically on phenomena related to three original possibilities predicted by ourhypothesis : the possibility of meta-metacognition, the possibility of integration betweensensory information and metacognitive information, and the possibility of metacognitiveabstraction.

Le travail de recherche présenté dans cette thèse considère la mémoire humaine comme un système unique et non abstractif qui reflète l’ensemble de nos expériences sous forme de traces épisodiques multimodales. Les objectifs de cette thèse sont multiples, mais le principal est de montrer qu’un effet robuste de la mémoire, l’effet de distinctivité, peut émerger aussi bien dans les tâches implicites que dans les tâches explicites et que cet effet s’expliquerait en termes de mécanismes spécifiques (activation et intégration multimodales) et non pas en termes de systèmes mnésiques sous-jacents.Trois séries d’expériences ont été élaborées. Dans une première série, nous avons manipulé l’information contextuelle extrinsèque associée à ces concepts. Une tâche de catégorisation nous a permis de démontrer que l’effet de distinctivité pouvait se manifester avec une tâche implicite de mémoire.Dans une deuxième série d’expériences, nous avons manipulé la distance entre des images à catégoriser dans une phase d’encodage. Ainsi, les images apparaissaient soit plus éloignées les unes des autres, soit plus proches. Suite à une récupération implicite, nous avons mis en évidence que notre hypothèse de distinctivité spatiale était validée, c’est-à-dire que les items spatialement plus distinct lors de l’encodage sont associés à des performances supérieures en phase test.Dans la troisième série d’expériences, nous avons mis en évidence que lesperformances liées à l’effet de distinctivité dans les tâches implicites et explicites de mémoire variaient selon différents niveaux d’intégration des dimensions sensorielles. Cette idée a été testée en rappel libre, en décision lexicale et en reconnaissance.Au final, nos résultats expérimentaux suggèrent que les performances issuesdes tâches implicites et explicites peuvent être expliquées au sein du même système mnésique unique. Ainsi, les processus d’intégration seraient à l’origine de ce phénomène. / The series of research presented in this thesis considers human memory as a single and non-abstractive system which reflects all of our experiments in an episodical multimodal traces form. Objectives of this thesis are multiple, but the main issue is to show that the distinctiveness effect, a well known phenomenon of memory, can emerge in implicit memory tasks as well as in explicit memory tasks and this effect can be explained in specific terms of mechanisms (activation and multimodal integration) and not in terms of subjacent memory systems.Three series of experiments were elaborated. In the first series, we used an extrinsic contextual information associated to concepts. A categorization task permitted us to show that distinctiveness effect can appear within an implicit memory task.In the second series of experiments, we manipulated the distance between images to be categorized in an encoding phase. Thus, images presented were either more distant to each other, or more closer. Following an implicit retrieval, we highlighted that spatial distinctiveness hypothesis was validated. This means that spatially more distinct items during the encoding phase are associated to higher retrieval performances in the test phase.In the third series of experiments, we showed that performances related to distinctiveness effect in implicit and explicit memory tasks varied according to various levels of sensory dimension integration. This postulate was tested with free recall, lexical decision and recognition tasks.Finally, our experimental results suggest that performances from implicit and explicit memory tasks can be explained within the same single memory system. Thus, the integration process would be at the origin of this phenomenon.

Cette thèse décrit l'intégration multimodale voix-visage pour la perception du genre à l'aide de méthodes comportementales et d'imagerie cérébrale. Dans une première étude psychophysique, les observateurs ont départagé des paires de stimuli voix-visage selon le genre du visage, de la voix ou du stimulus (sans instruction particulière). Une seconde étude a reproduit ce paradigme en ajoutant du bruit visuel et/ou auditif. Conformément à nos résultats théoriques, tâche et bruit peuvent tous deux être modélisés comme des facteurs de pondération. Les deux effets pourraient refléter des changements similaires de hiérarchie fonctionnelle avec la communication par cohérence comme implémentation potentielle de ce mécanisme en termes de modulation sélective de l'information par synchronisation des rythmes d'oscillation neuronaux. Une asymétrie en faveur de la modalité auditive a été trouvée dans les deux études comportementales ainsi que deux interactions : un effet multiplicatif du genre significatif lorsqu'on juge le visage et le stimulus ; un effet de cohérence significatif lorsqu'on juge le visage ou la voix. Une troisième étude en IRMf s'est intéressée aux modulations de connectivité effective entre l'aire fusiforme du visage et l'aire temporale de la voix durant la présentation de stimuli voix-visage en prêtant attention au genre du visage, de la voix ou du stimulus. Une telle modulation a été trouvée dans les tâches du visage et du stimulus en réponse au genre, et dans les tâches du visage et du stimulus en réponse à l'incohérence, deux modulations indépendantes qui pourraient être supportées par l’architecture anatomique en double contre-courant / This thesis describes face-voice multimodal gender integration using complementary behavioral and brain imaging techniques. In a first psychophysical study, observers judged pairs of face-voice stimuli according to face, voice or stimulus (no specific instruction given) gender. A second study tested the bottom-up effect of adding visual and/or auditory noise in the same paradigm. Top-down task and bottom-up noise could both be modeled as weighting effects, as predicted by our theoretical results. Both effects might reflect similar shifts in functional hierarchy. Communication through coherence offers a potential explanation for the neural basis of such a mechanism in terms of selective modulation of segregated cortical streams by oscillatory rhythm synchronization. An asymmetry in favor of the auditory modality was found in both behavioral experiments as well as two interaction effects, first a multiplicative gender effect in the face and stimulus tasks, second an effect of gender coherence in the face and voice tasks. In a third experiment we used fMRI to investigate effective connectivity modulations between the Fusiform Face Area and Temporal Voice Area during the presentation of face-voice stimuli while attending to either face, voice or any gender information. We found a change in effective connectivity for stimulus and face tasks in response to gender information, and for face and voice tasks in response to gender incoherence. These two independent modulations could be supported by the anatomical dual counterstream architecture

Le monde du divertissement numérique connaît depuis plusieurs années une évolution majeure avec la démocratisation des technologies vidéo 3D. Il est désormais commun de visualiser des vidéos stéréoscopiques sur différents supports : au cinéma, à la télévision, dans les jeux vidéos, etc. L'image 3D a considérablement évolué mais qu'en est-il des technologies de restitution sonore associées ? La plupart du temps, le son qui accompagne la vidéo 3D est basé sur des effets de latéralisation, plus au moins étendus (stéréophonie, systèmes 5.1). Il est pourtant naturel de s'interroger sur le besoin d'introduire des événements sonores en lien avec l'ajout de cette nouvelle dimension visuelle : la profondeur. Plusieurs technologies semblent pouvoir offrir une description sonore 3D de l'espace (technologies binaurales, Ambisonics, Wave Field Synthesis). Le recours à ces technologies pourrait potentiellement améliorer la qualité d'expérience de l'utilisateur, en termes de réalisme tout d'abord grâce à l'amélioration de la cohérence spatiale audio-visuelle, mais aussi en termes de sensation d'immersion. Afin de vérifier cette hypothèse, nous avons mis en place un système de restitution audio-visuelle 3D proposant une présentation visuelle stéréoscopique associée à un rendu sonore spatialisé par Wave Field Synthesis. Trois axes de recherche ont alors été étudiés : 1 / Perception de la distance en présentation unimodale ou bimodale. Dans quelle mesure le système audio-visuel est-il capable de restituer des informations spatiales relatives à la distance, dans le cas d'objets sonores, visuels, ou audio-visuels ? Les expériences menées montrent que la Wave Field Synthesis permet de restituer la distance de sources sonores virtuelles. D'autre part, les objets visuels et audio-visuels sont localisés avec plus de précisions que les objets uniquement sonores. 2 / Intégration multimodale suivant la distance. Comment garantir une perception spatiale audio-visuelle cohérente de stimuli simples ? Nous avons mesuré l'évolution de la fenêtre d'intégration spatiale audio-visuelle suivant la distance, c'est-à-dire les positions des stimuli audio et visuels pour lesquelles la fusion des percepts a lieu. 3 / Qualité d'expérience audio-visuelle 3D. Quel est l'apport du rendu de la profondeur sonore sur la qualité d'expérience audio-visuelle 3D ? Nous avons tout d'abord évalué la qualité d'expérience actuelle, lorsque la présentation de contenus vidéo 3D est associée à une bande son 5.1, diffusée par des systèmes grand public (système 5.1, casque, et barre de son). Nous avons ensuite étudié l'apport du rendu de la profondeur sonore grâce au système audio-visuel proposé (vidéo 3D associée à la Wave Field Synthesis). / The digital entertainment industry is undergoing a major evolution due to the recent spread of stereoscopic-3D videos. It is now possible to experience 3D by watching movies, playing video games, and so on. In this context, video catches most of the attention but what about the accompanying audio rendering? Today, the most often used sound reproduction technologies are based on lateralization effects (stereophony, 5.1 surround systems). Nevertheless, it is quite natural to wonder about the need of introducing a new audio technology adapted to this new visual dimension: the depth. Many alternative technologies seem to be able to render 3D sound environments (binaural technologies, ambisonics, Wave Field Synthesis). Using these technologies could potentially improve users' quality of experience. It could impact the feeling of realism by adding audio-visual spatial congruence, but also the immersion sensation. In order to validate this hypothesis, a 3D audio-visual rendering system is set-up. The visual rendering provides stereoscopic-3D images and is coupled with a Wave Field Synthesis sound rendering. Three research axes are then studied: 1/ Depth perception using unimodal or bimodal presentations. How the audio-visual system is able to render the depth of visual, sound, and audio-visual objects? The conducted experiments show that Wave Field Synthesis can render virtual sound sources perceived at different distances. Moreover, visual and audio-visual objects can be localized with a higher accuracy in comparison to sound objects. 2/ Crossmodal integration in the depth dimension. How to guarantee the perception of congruence when audio-visual stimuli are spatially misaligned? The extent of the integration window was studied at different visual object distances. In other words, according to the visual stimulus position, we studied where sound objects should be placed to provide the perception of a single unified audio-visual stimulus. 3/ 3D audio-visual quality of experience. What is the contribution of sound depth rendering on the 3D audio-visual quality of experience? We first assessed today's quality of experience using sound systems dedicated to the playback of 5.1 soundtracks (5.1 surround system, headphones, soundbar) in combination with 3D videos. Then, we studied the impact of sound depth rendering using the set-up audio-visual system (3D videos and Wave Field Synthesis).

Le monde du divertissement numérique connaît depuis plusieurs années une évolution majeure avec la démocratisation des technologies vidéo 3D. Il est désormais commun de visualiser des vidéos stéréoscopiques sur différents supports : au cinéma, à la télévision, dans les jeux vidéos, etc. L'image 3D a considérablement évolué mais qu'en est-il des technologies de restitution sonore associées ? La plupart du temps, le son qui accompagne la vidéo 3D est basé sur des effets de latéralisation, plus au moins étendus (stéréophonie, systèmes 5.1). Il est pourtant naturel de s'interroger sur le besoin d'introduire des événements sonores en lien avec l'ajout de cette nouvelle dimension visuelle : la profondeur. Plusieurs technologies semblent pouvoir offrir une description sonore 3D de l'espace (technologies binaurales, Ambisonics, Wave Field Synthesis). Le recours à ces technologies pourrait potentiellement améliorer la qualité d'expérience de l'utilisateur, en termes de réalisme tout d'abord grâce à l'amélioration de la cohérence spatiale audio-visuelle, mais aussi en termes de sensation d'immersion. Afin de vérifier cette hypothèse, nous avons mis en place un système de restitution audio-visuelle 3D proposant une présentation visuelle stéréoscopique associée à un rendu sonore spatialisé par Wave Field Synthesis. Trois axes de recherche ont alors été étudiés : 1 / Perception de la distance en présentation unimodale ou bimodale. Dans quelle mesure le système audio-visuel est-il capable de restituer des informations spatiales relatives à la distance, dans le cas d'objets sonores, visuels, ou audio-visuels ? Les expériences menées montrent que la Wave Field Synthesis permet de restituer la distance de sources sonores virtuelles. D'autre part, les objets visuels et audio-visuels sont localisés avec plus de précisions que les objets uniquement sonores. 2 / Intégration multimodale suivant la distance. Comment garantir une perception spatiale audio-visuelle cohérente de stimuli simples ? Nous avons mesuré l'évolution de la fenêtre d'intégration spatiale audio-visuelle suivant la distance, c'est-à-dire les positions des stimuli audio et visuels pour lesquelles la fusion des percepts a lieu. 3 / Qualité d'expérience audio-visuelle 3D. Quel est l'apport du rendu de la profondeur sonore sur la qualité d'expérience audio-visuelle 3D ? Nous avons tout d'abord évalué la qualité d'expérience actuelle, lorsque la présentation de contenus vidéo 3D est associée à une bande son 5.1, diffusée par des systèmes grand public (système 5.1, casque, et barre de son). Nous avons ensuite étudié l'apport du rendu de la profondeur sonore grâce au système audio-visuel proposé (vidéo 3D associée à la Wave Field Synthesis). / The digital entertainment industry is undergoing a major evolution due to the recent spread of stereoscopic-3D videos. It is now possible to experience 3D by watching movies, playing video games, and so on. In this context, video catches most of the attention but what about the accompanying audio rendering? Today, the most often used sound reproduction technologies are based on lateralization effects (stereophony, 5.1 surround systems). Nevertheless, it is quite natural to wonder about the need of introducing a new audio technology adapted to this new visual dimension: the depth. Many alternative technologies seem to be able to render 3D sound environments (binaural technologies, ambisonics, Wave Field Synthesis). Using these technologies could potentially improve users' quality of experience. It could impact the feeling of realism by adding audio-visual spatial congruence, but also the immersion sensation. In order to validate this hypothesis, a 3D audio-visual rendering system is set-up. The visual rendering provides stereoscopic-3D images and is coupled with a Wave Field Synthesis sound rendering. Three research axes are then studied: 1/ Depth perception using unimodal or bimodal presentations. How the audio-visual system is able to render the depth of visual, sound, and audio-visual objects? The conducted experiments show that Wave Field Synthesis can render virtual sound sources perceived at different distances. Moreover, visual and audio-visual objects can be localized with a higher accuracy in comparison to sound objects. 2/ Crossmodal integration in the depth dimension. How to guarantee the perception of congruence when audio-visual stimuli are spatially misaligned? The extent of the integration window was studied at different visual object distances. In other words, according to the visual stimulus position, we studied where sound objects should be placed to provide the perception of a single unified audio-visual stimulus. 3/ 3D audio-visual quality of experience. What is the contribution of sound depth rendering on the 3D audio-visual quality of experience? We first assessed today's quality of experience using sound systems dedicated to the playback of 5.1 soundtracks (5.1 surround system, headphones, soundbar) in combination with 3D videos. Then, we studied the impact of sound depth rendering using the set-up audio-visual system (3D videos and Wave Field Synthesis).

Le monde du divertissement numérique connaît depuis plusieurs années une évolution majeure avec la démocratisation des technologies vidéo 3D. Il est désormais commun de visualiser des vidéos stéréoscopiques sur différents supports : au cinéma, à la télévision, dans les jeux vidéos, etc. L'image 3D a considérablement évolué mais qu'en est-il des technologies de restitution sonore associées ? La plupart du temps, le son qui accompagne la vidéo 3D est basé sur des effets de latéralisation, plus au moins étendus (stéréophonie, systèmes 5.1). Il est pourtant naturel de s'interroger sur le besoin d'introduire des événements sonores en lien avec l'ajout de cette nouvelle dimension visuelle : la profondeur. Plusieurs technologies semblent pouvoir offrir une description sonore 3D de l'espace (technologies binaurales, Ambisonics, Wave Field Synthesis). Le recours à ces technologies pourrait potentiellement améliorer la qualité d'expérience de l'utilisateur, en termes de réalisme tout d'abord grâce à l'amélioration de la cohérence spatiale audio-visuelle, mais aussi en termes de sensation d'immersion. Afin de vérifier cette hypothèse, nous avons mis en place un système de restitution audio-visuelle 3D proposant une présentation visuelle stéréoscopique associée à un rendu sonore spatialisé par Wave Field Synthesis. Trois axes de recherche ont alors été étudiés : 1 / Perception de la distance en présentation unimodale ou bimodale. Dans quelle mesure le système audio-visuel est-il capable de restituer des informations spatiales relatives à la distance, dans le cas d'objets sonores, visuels, ou audio-visuels ? Les expériences menées montrent que la Wave Field Synthesis permet de restituer la distance de sources sonores virtuelles. D'autre part, les objets visuels et audio-visuels sont localisés avec plus de précisions que les objets uniquement sonores. 2 / Intégration multimodale suivant la distance. Comment garantir une perception spatiale audio-visuelle cohérente de stimuli simples ? Nous avons mesuré l'évolution de la fenêtre d'intégration spatiale audio-visuelle suivant la distance, c'est-à-dire les positions des stimuli audio et visuels pour lesquelles la fusion des percepts a lieu. 3 / Qualité d'expérience audio-visuelle 3D. Quel est l'apport du rendu de la profondeur sonore sur la qualité d'expérience audio-visuelle 3D ? Nous avons tout d'abord évalué la qualité d'expérience actuelle, lorsque la présentation de contenus vidéo 3D est associée à une bande son 5.1, diffusée par des systèmes grand public (système 5.1, casque, et barre de son). Nous avons ensuite étudié l'apport du rendu de la profondeur sonore grâce au système audio-visuel proposé (vidéo 3D associée à la Wave Field Synthesis). / The digital entertainment industry is undergoing a major evolution due to the recent spread of stereoscopic-3D videos. It is now possible to experience 3D by watching movies, playing video games, and so on. In this context, video catches most of the attention but what about the accompanying audio rendering? Today, the most often used sound reproduction technologies are based on lateralization effects (stereophony, 5.1 surround systems). Nevertheless, it is quite natural to wonder about the need of introducing a new audio technology adapted to this new visual dimension: the depth. Many alternative technologies seem to be able to render 3D sound environments (binaural technologies, ambisonics, Wave Field Synthesis). Using these technologies could potentially improve users' quality of experience. It could impact the feeling of realism by adding audio-visual spatial congruence, but also the immersion sensation. In order to validate this hypothesis, a 3D audio-visual rendering system is set-up. The visual rendering provides stereoscopic-3D images and is coupled with a Wave Field Synthesis sound rendering. Three research axes are then studied: 1/ Depth perception using unimodal or bimodal presentations. How the audio-visual system is able to render the depth of visual, sound, and audio-visual objects? The conducted experiments show that Wave Field Synthesis can render virtual sound sources perceived at different distances. Moreover, visual and audio-visual objects can be localized with a higher accuracy in comparison to sound objects. 2/ Crossmodal integration in the depth dimension. How to guarantee the perception of congruence when audio-visual stimuli are spatially misaligned? The extent of the integration window was studied at different visual object distances. In other words, according to the visual stimulus position, we studied where sound objects should be placed to provide the perception of a single unified audio-visual stimulus. 3/ 3D audio-visual quality of experience. What is the contribution of sound depth rendering on the 3D audio-visual quality of experience? We first assessed today's quality of experience using sound systems dedicated to the playback of 5.1 soundtracks (5.1 surround system, headphones, soundbar) in combination with 3D videos. Then, we studied the impact of sound depth rendering using the set-up audio-visual system (3D videos and Wave Field Synthesis).