Le temps peut être à la fois une dimension structurant l’organisation de la perception et un contenu de la conscience, ce qui en fait un objet d’étude crucial pour comprendre la cognition humaine. Le but de cette thèse est de déterminer dans quelle mesure l’ordonnancement temporel de l’information est lié à l’ordre perçu (explicite ou implicite) des évènements. Le premier axe d’étude s’intéressant au temps comme contenu conscient montre que l’ordre temporel est un biais psychologique indépendant de l’attention. Une étude complémentaire en magnétoencéphalographie a révélé que les participants ayant les plus larges biais (c.à.d. que leur perception de la simultanéité correspond à une large désynchronisation physique) montrent aussi les plus larges fluctuations de la puissance des oscillations alpha spontanées lorsque la perception de l’ordre est contrastée pour un même délai physique. Ces oscillations sont donc proposées comme moyen pour compenser un biais individuel. Le deuxième axe de recherche explore comment le temps façonne implicitement la perception d’une séquence visuelle, par l’étude de la postdiction, c.à.d. quand des informations plus tardives influencent la représentation d’informations antérieures. Dans l’illusion du Lapin, un flash intermédiaire est mal localisé à cause de la régularité temporelle de la séquence. Nous avons montré que percevoir l’illusion active des régions parieto-centrales après la fin de la séquence. Ces résultats suggèrent que des régions de haut niveau pourraient contribuer à la reconstruction postdictive d’une séquence visuelle, en accord avec l’hypothèse que l’illusion dépend d’une connaissance préalable sur la vitesse d’un stimulus. / Time in the brain can be considered both as a dimension structuring the organization of perception and as a conscious content: this confers to time a particular flavor that makes it a paramount object of study to understand the basis of human cognition. The present thesis aims at empirically determining to which extent the temporal ordering of information relates to the perceived order of events, both implicitly and explicitly. First, we investigated how time may become an explicit conscious content by showing that temporal order is a psychological bias, independent of attention. A follow-up magnetoencephalography study revealed that participants having a large order bias (i.e. their perceived synchrony corresponds to a large physical asynchrony) also showed the largest fluctuations in ongoing alpha power when perceived orders were contrasted for a given physical asynchrony. Alpha oscillations are herein argued to be a means to compensate for an individual internal bias. Second, we investigated how time implicitly shaped the perception of visual sequences by studying postdiction, i.e. when late inputs strikingly influence the representation of earlier information. In the Rabbit illusion, the intermediate flash of a visual sequence is spatially mislocalized due to the temporal regularity of the sequence. We showed that parieto-frontal regions were more activated following the presentation of the full sequence when the illusion was perceived. These results suggest that high-order regions may contribute to the postdictive reconstruction of a visual sequence, consistently with the hypothesis that the illusion is shaped by prior knowledge on a stimulus speed.

En situation de perception audiovisuelle de la parole, comme lors des conversations face-àface,nous pouvons tirer partie des informations visuelles fournies par les mouvements orofaciauxdu locuteur. Ceci améliore l’intelligibilité du discours. L'objectif de ce travail était dedéterminer si ce « bénéfice audiovisuel » permet de mieux identifier les phonèmes quin’existent pas dans notre langue. Nos résultats révèlent que l’utilisation de l’informationvisuelle permet de surmonter les difficultés posées par la surdité phonologique dont noussommes victimes lors d'une présentation auditive seule (Etude 1). Une étude EEG indique quel’apport des informations visuelles au processus d’identification de phonèmes non natifspourrait être dû à une modulation précoce des traitements effectués par le cortex auditifprimaire (Etude 2). En présentation audiovisuelle les phonèmes non natifs donnent lieu à uneP50, ce qui n’est pas observé pour les phonèmes natifs. Il semblerait également quel'expérience linguistique affecte l'utilisation des informations visuelles puisque des bilinguesprécoces semblent moins aptes à exploiter ces indices pour distinguer des phonèmes qui neleur sont pas familiers (Etude 3). Enfin, l’étude de l’identification de consonnes plosivesnatives avec une tâche de dévoilement progressif nous a permis d’évaluer la contributionconjointe et séparée des informations auditives et visuelles (Etude 4). Nous avons observé quel’apport de la modalité visuelle n’est pas systématique et que la prédictibilité de l’identité duphonème dépend de la saillance visuelle des mouvements articulatoires du locuteur. / During audiovisual speech perception, like in face-to-face conversations, we can takeadvantage of the visual information conveyed by the speaker's oro-facial gestures. Thisenhances the intelligibility of the utterance. The aim of this work was to determine whetherthis “audiovisual benefit” can improve the identification of phonemes that do not exist in ourmother tongue. Our results revealed that the visual information contributes to overcome thephonological deafness phenomenon we experience in an audio only situation (Study 1). AnERP study indicates that this benefit could be due to the modulation of early processing in theprimary auditory cortex (Study 2). The audiovisual presentation of non native phonemesgenerates a P50 that is not observed for native phonemes. The linguistic background affectsthe way we use visual information. Early bilinguals take less advantage of the visual cuesduring the processing of unfamiliar phonemes (Study 3). We examined the identificationprocesses of native plosive consonants with a gating paradigm to evaluate the differentialcontribution of auditory and visual cues across time (Study 4). We observed that theaudiovisual benefit is not systematic. Phoneme predictability depends on the visual saliencyof the articulatory movements of the speaker.

En situation de perception audiovisuelle de la parole, comme lors des conversations face-àface,nous pouvons tirer partie des informations visuelles fournies par les mouvements orofaciauxdu locuteur. Ceci améliore l’intelligibilité du discours. L'objectif de ce travail était dedéterminer si ce « bénéfice audiovisuel » permet de mieux identifier les phonèmes quin’existent pas dans notre langue. Nos résultats révèlent que l’utilisation de l’informationvisuelle permet de surmonter les difficultés posées par la surdité phonologique dont noussommes victimes lors d'une présentation auditive seule (Etude 1). Une étude EEG indique quel’apport des informations visuelles au processus d’identification de phonèmes non natifspourrait être dû à une modulation précoce des traitements effectués par le cortex auditifprimaire (Etude 2). En présentation audiovisuelle les phonèmes non natifs donnent lieu à uneP50, ce qui n’est pas observé pour les phonèmes natifs. Il semblerait également quel'expérience linguistique affecte l'utilisation des informations visuelles puisque des bilinguesprécoces semblent moins aptes à exploiter ces indices pour distinguer des phonèmes qui neleur sont pas familiers (Etude 3). Enfin, l’étude de l’identification de consonnes plosivesnatives avec une tâche de dévoilement progressif nous a permis d’évaluer la contributionconjointe et séparée des informations auditives et visuelles (Etude 4). Nous avons observé quel’apport de la modalité visuelle n’est pas systématique et que la prédictibilité de l’identité duphonème dépend de la saillance visuelle des mouvements articulatoires du locuteur. / During audiovisual speech perception, like in face-to-face conversations, we can takeadvantage of the visual information conveyed by the speaker's oro-facial gestures. Thisenhances the intelligibility of the utterance. The aim of this work was to determine whetherthis “audiovisual benefit” can improve the identification of phonemes that do not exist in ourmother tongue. Our results revealed that the visual information contributes to overcome thephonological deafness phenomenon we experience in an audio only situation (Study 1). AnERP study indicates that this benefit could be due to the modulation of early processing in theprimary auditory cortex (Study 2). The audiovisual presentation of non native phonemesgenerates a P50 that is not observed for native phonemes. The linguistic background affectsthe way we use visual information. Early bilinguals take less advantage of the visual cuesduring the processing of unfamiliar phonemes (Study 3). We examined the identificationprocesses of native plosive consonants with a gating paradigm to evaluate the differentialcontribution of auditory and visual cues across time (Study 4). We observed that theaudiovisual benefit is not systematic. Phoneme predictability depends on the visual saliencyof the articulatory movements of the speaker.

En situation de perception audiovisuelle de la parole (i.e., lorsque deux interlocuteurs communiquent face à face) et lorsque le signal acoustique est bruité, l‟intelligibilité des sons produits par un locuteur est augmentée lorsque son visage en mouvement est visible. L‟objectif des travaux présentés ici est de déterminer si cette capacité à " lire sur les lèvres " nous est utile seulement pour augmenter l‟intelligibilité de certains sons de parole (i.e., niveau de traitement pré-lexical) ou également pour accéder au sens des mots (i.e., niveau de traitement lexical). Chez l‟adulte, nos résultats indiquent que l‟information visuelle participe à l‟activation des représentations lexicales en présence d‟une information auditive bruitée (Etude 1 et 2). Voir le geste articulatoire correspondant à la première syllabe d‟un mot constitue une information suffisante pour contacter les représentations lexicales, en l‟absence de toute information auditive (Etude 3 et 4). Les résultats obtenus chez l‟enfant suggèrent néanmoins que jusque l‟âge de 10 ans, l‟information visuelle serait uniquement décodée à un niveau pré-lexical (Etude 5). Mots-clés : parole visuelle et audiovisuelle, reconnaissance de mots parlés, accès au lexique.

En situation de perception audiovisuelle de la parole (i.e., lorsque deux interlocuteurs communiquent face à face) et lorsque le signal acoustique est bruité, l‟intelligibilité des sons produits par un locuteur est augmentée lorsque son visage en mouvement est visible. L‟objectif des travaux présentés ici est de déterminer si cette capacité à « lire sur les lèvres » nous est utile seulement pour augmenter l‟intelligibilité de certains sons de parole (i.e., niveau de traitement pré-lexical) ou également pour accéder au sens des mots (i.e., niveau de traitement lexical). Chez l‟adulte, nos résultats indiquent que l‟information visuelle participe à l‟activation des représentations lexicales en présence d‟une information auditive bruitée (Etude 1 et 2). Voir le geste articulatoire correspondant à la première syllabe d‟un mot constitue une information suffisante pour contacter les représentations lexicales, en l‟absence de toute information auditive (Etude 3 et 4). Les résultats obtenus chez l‟enfant suggèrent néanmoins que jusque l‟âge de 10 ans, l‟information visuelle serait uniquement décodée à un niveau pré-lexical (Etude 5). Mots-clés : parole visuelle et audiovisuelle, reconnaissance de mots parlés, accès au lexique. / Seeing the facial gestures of a speaker enhances phonemic identification in noise. The goal of this research was to assess whether this visual information can activate lexical representations. We investigated this question in adults (Experiment 1 to 4) and in children (Experiment 5). First, our results provide evidence indicating that visual information on consonant (Experiment 1) and vowel identity (Experiment 2) contributes to lexical activation processes during word recognition, when the auditory information is deteriorated by noise. Then, we also demonstrated that the mere presentation of the first two phonemes – i.e., the articulatory gestures of the initial syllable– is enough visual information to activate lexical representations and initiate the word recognition process (Experiment 3 and 4). However, our data suggest that visual speech mostly contributes in pre-lexical phonological -rather than lexical- processing in children till the age of 10 (Experiment 5). Key words : speech, visual and audiovisual speech, spoken word recognition, lexical access.

Si, comme le disait Stetson (1951), la parole est davantage un ensemble de mouvements rendus audibles qu'un ensemble de sons produit par des mouvements, qu'en est-il de la dimension visible de ces mouvements ? L'intelligibilité de la parole est améliorée par l'apport des visèmes, dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l'accès au lexique mental. Selon Massaro (1990), l'influence d'une source est maximale si une autre est ambiguë. Pourtant dans l'effet « McGurk » (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes. Le résultat est bien une perturbation, puisque la « cible » a été mal interprétée. Certains chercheurs ont montré que l'effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l'idée que l'intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l'influence d'effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes CV, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s'opposant sur les trois traits suivants : la labialité vocalique, le lieu d'articulation et le voisement consonantiques.

Simulation en temps réel de scènes audio-visuelles complexes reste difficile en raison du processus de rendu techniquement indépendant mais perceptivement lié à chaque modalité. En raison de la dépendance cross-modale potentiel de la perception auditive et visuelle, l'optimisation de graphiques et de rendu sonore, tels que le niveau de détail (LOD), doit être considéré de manière combinée, mais pas comme des questions distinctes. Par exemple, dans l'audition et de la vision, les gens ont des limites perceptives sur la qualité de l'observation. Techniques de LOD conduit par la perception pour les graphismes ont été grandement progressé depuis des décennies. Cependant, le concept de LOD est rarement pris en compte dans l'évaluation et le rendu crossmodal. Cette thèse porte sur l'évaluation de la perception crossmodale sur le rendu LOD audiovisuel par des méthodes psychophysiques, sur lequel on peut appliquer une méthode fonctionnelle et générale, à terme, d'optimiser le rendu. La première partie de la thèse est une étude des problématiques. Dans cette partie, nous passons en revue les différentes approches LOD et discutons les issues, en particulier du point de vue au niveau de la perception crossmodale. Nous discutons également les résultats principaux sur le design, le rendu et les applications interactives des scènes audio et graphiques dans le cadre du projet ANR Topophonie dont la thèse a eu lieu. Une étude des méthodes psychophysiques pour l'évaluation de la perception audio-visuelle est également présentée afin de fournir une solide connaissance du design expérimentale. Dans la deuxième partie, nous nous concentrons sur l'étude de la perception des artefacts d'image dans le rendu LOD audio-visuel. Une série d'expériences a été conçue pour étudier comment la modalité audio supplémentaire peut influer sur la détection visuelle des artefacts produits par la méthode LOD d’imposteur. La troisième partie de la thèse est axée sur le X3D étendu que nous avons conçu pour la modélisation de LOD audio-visuel. Dans la dernière partie, nous présentons le design et l'évaluation du système original par le rendu LOD crossmodal. L'évaluation de la perception audio-visuelle sur le système LOD crossmodal a été atteinte grâce à une série d'expériences psychophysiques. Notre contribution principale est que nous offrons une compréhension originale de LOD crossmodal avec de nouvelles observations, et l'explorer par des expériences et des analyses perceptives. Les résultats de notre travail peuvent être, éventuellement, les preuves empiriques et des lignes directrices pour un système de rendu LOD crossmodale conduit par la perception. / Real-time simulation of complex audio-visual scenes remains challenging due to the technically independent but perceptually related rendering process in each modality. Because of the potential crossmodal dependency of auditory and visual perception, the optimization of graphics and sound rendering, such as Level of Details (LOD), should be considered in a combined manner but not as separate issues. For instance, in audition and vision, people have perceptual limits on observation quality. Techniques of perceptually driven LOD for graphics have been greatly advanced for decades. However, the concept of LOD is rarely considered in crossmodal evaluation and rendering. This thesis is concentrated on the crossmodal evaluation of perception on audiovisual LOD rendering by psychophysical methods, based on that one may apply a functional and general method to eventually optimize the rendering. The first part of the thesis is an overview of our research. In this part, we review various LOD approaches and discuss concerned issues, especially from a crossmodal perceptual perspective. We also discuss the main results on the design, rendering and applications of highly detailed interactive audio and graphical scenes of the ANR Topophonie project, in which the thesis took place. A study of psychophysical methods for the evaluation on audio-visual perception is also presented to provide a solid knowledge of experimental design. In the second part, we focus on studying the perception of image artifacts in audio-visual LOD rendering. A series of experiments was designed to investigate how the additional audio modality can impact the visual detection of artifacts produced by impostor-based LOD. The third part of the thesis is focused on the novel extended-X3D that we designed for audio-visual LOD modeling. In the fourth part, we present a design and evaluation of the refined crossmodal LOD system. The evaluation of the audio-visual perception on crossmodal LOD system was achieved through a series of psychophysical experiments. Our main contribution is that we provide a further understanding of crossmodal LOD with some new observations, and explore it through perceptual experiments and analysis. The results of our work can eventually be used as the empirical evidences and guideline for a perceptually driven crossmodal LOD system.

Les terminaux mobiles offrent à ce jour des performances de plus en plus élevées (CPU, résolution de l’écran, capteurs optiques, etc.) Cela rehausse la qualité vidéo des services média, que ce soit pour le visionnage de contenu vidéo (streaming, TV, etc.) ou pour des applications interactives telles que le jeu vidéo. Mais cette évolution concernant l'image n'est pas ou peu suivie par l'intégration de systèmes de restitution audio de haute qualité dans ce type de terminal. Or, parallèlement à ces évolutions concernant l'image, des solutions de son spatialisé sur casque, à travers notamment la technique de restitution binaurale basée sur l'utilisation de filtres HRTF (Head Related Transfer Functions) voient le jour.Dans ce travail de thèse, nous nous proposons d’évaluer l’intérêt que peut présenter le son binaural lorsqu'il est utilisé sur une application mobile audiovisuelle. Une partie de notre travail a consisté à déterminer les différents sens que l’on pouvait donner au terme « application mobile audiovisuelle » et parmi ces sens ceux qui d’une part étaient pertinents et d’autre part pouvaient donner lieu à une évaluation comparative avec ou sans son binaural.Le couplage entre son binaural et visuel sur mobile occasionne en premier lieu une question d’ordre perceptive : comment peut-on organiser spatialement une scène virtuelle dont le son peut se déployer tout autour de l’utilisateur, et dont le visuel est restreint à un si petit écran ? La première partie de cette thèse est consacrée à cette question. Nous menons une expérience visant à étudier le découplage spatial possible entre un son binaural et un visuel rendus sur smartphone. Cette expérience révèle une forte tolérance de l’être humain face aux dégradations spatiales pouvant survenir entre les deux modalités. En particulier, l’absence d’individualisation des HRTF, ainsi qu’un très grand découplage en élévation ne semblent pas affecter la perception. Par ailleurs, les sujets semblent envisager la scène « comme si » ils y étaient eux-mêmes directement projetés, à la place de la caméra, et cela indépendamment de leur propre distance à l’écran. Tous ces résultats suggèrent la possibilité d’une association entre son binaural et visuel sur mobile dans des conditions d’utilisation proches du grand public.Dans la seconde partie de la thèse, nous tentons de répondre à la question de l’apport du binaural en déployant une expérience « hors les murs », dans un contexte plausible d’utilisation grand public. Trente sujets jouent dans leur vie quotidienne à un jeu vidéo de type Infinite Runner, développé pour l’occasion en deux versions, une avec du son binaural, et l’autre avec du son monophonique. L’expérience dure cinq semaines, à raison de deux sessions par jour. Ce protocole procède de la méthode dite "Experience Sampling Method", sur l’état de l’art de laquelle nous nous sommes appuyés. Nous calculons à chaque session des notes d’immersion, de mémorisation et de performance, et nous comparons les notes obtenues entre les deux versions sonores. Les résultats indiquent une immersion significativement meilleure pour le binaural. La mémorisation et la performance ne sont en revanche pas soumises à un effet statistiquement significatif du rendu sonore. Au-delà des résultats, cette expérience nous permet de discuter de la question de la validité des données en fonction de la méthode de déploiement, en confrontant notamment bien-fondé théorique et faisabilité pratique. / In recent years, smartphone and tablet global performances have been increased significantly (CPU, screen resolution, webcams, etc.). This can be particularly observed with video quality of mobile media services, such as video streaming applications, or interactive applications (e.g., video games). However, these evolutions barely go with the integration of high quality sound restitution systems. Beside these evolutions though, new technologies related to spatialized sound on headphones have been developed, namely the binaural restitution model, using HRTF (Head Related Transfer Functions) filters.In this thesis, we assess the potential contribution of the binaural technology to enhance the quality of experience of an audiovisual mobile application. A part of our work has been dedicated to define what is an “audiovisual mobile application”, what kind of application could be fruitfully experienced with a binaural sound, and among those applications which one could lead to a comparative experiment with and without binaural.In a first place, the coupling of a binaural sound with a mobile-rendered visual tackles a question related to perception: how to spatially arrange a virtual scene whose sound can be spread all around the user, while its visual is limited to a very small space? We propose an experiment in these conditions to study how far a sound and a visual can be moved apart without breaking their perceptual fusion. The results reveal a strong tolerance of subjects to spatial discrepancies between the two modalities. Notably, the absence or presence of individualization for the HRTF filters, and a large separation in elevation between sound and visual don’t seem to affect the perception. Besides, subjects consider the virtual scene as if they were projected inside, at the camera’s position, no matter what distance to the phone they sit. All these results suggest that an association between a binaural sound and a visual on a smartphone could be used by the general public.In the second part, we address the main question of the thesis, i.e., the contribution of binaural, and we conduct an experiment in a realistic context of use. Thirty subjects play an Infinite Runner video game in their daily lives. The game was developed for the occasion in two versions, a monophonic one and a binaural one. The experiment lasts five weeks, at a rate of two sessions per day, which relates to a protocol known as the “Experience Sampling Method”. We collect at each session notes of immersion, memorization and performance, and compare the notes between the monophonic sessions and the binaural ones. Results indicate a significantly better immersion in the binaural sessions. No effect of sound rendering was found for memorization and performance. Beyond the contribution of the binaural, we discuss about the protocol, the validity of the collected data, and oppose theoretical considerations to practical feasibility.