The present study intended to examine the neural basis of audiovisual integration, hypothetically achieved by synchronized gamma-band oscillations (30--80 Hz) that have been suggested to integrate stimulus features and top--down information. To that end, we studied the impact of visual symbolic information on early auditory sensory processing of upcoming sounds. In particular, we used a symbol-to-sound--matching paradigm in which simple score-like patterns predict corresponding sound patterns. Occasionally, a single sound is incongruent with the corresponding element of the visual pattern. In response to expected sounds congruent with the corresponding visual symbol, a power increase of phase-locked (evoked) activity in the 40-Hz band was observed peaking 42-ms poststimulus onset. Thus, for the first time, we demonstrated that the comparison process between a neural model, the expectation, and the current sensory input is implemented at very early levels of auditory processing. Subsequently, expected congruent sounds elicited a broadband power increase of non--phase-locked (induced)activity peaking 152-ms poststimulus onset, which might reflect the formation of a unitary event representation including both visual and auditory aspects of the stimulation. Gamma-band responses were not present for unexpected incongruent sounds. A model explaining the anticipatory activation of cortical auditory representations and the match of experience against expectation is presented

Bien que de plus en plus de données sonores et audiovisuelles soient disponibles, la majorité des interfaces qui permettent d’y accéder reposent uniquement sur une présentation visuelle. De nombreuses techniques de visualisation ont déjà été proposées utilisant une présentation simultanée de plusieurs documents et des distorsions permettant de mettre en relief l’information plus pertinente. Nous proposons de définir des équivalents auditifs pour la présentation de plusieurs fichiers sonores en concurrence, et de combiner de façon optimale les stratégies audio et visuelles pour la présentation de documents multimédia. Afin d’adapter au mieux ces stratégies à l’utilisateur, nous avons dirigé nos recherches sur l’étude des processus perceptifs et attentionnels impliqués dans l’écoute et l’observation d’objets audiovisuels concurrents, en insistant sur les interactions entre les deux modalités.Exploitant les paramètres de taille visuelle et de volume sonore, nous avons étendu le concept de lentille grossissante, utilisée dans les méthodes focus+contexte visuelles, aux modalités auditive et audiovisuelle. A partir de ce concept, une application de navigation dans une collection de documents vidéo a été développée. Nous avons comparé notre outil à un autre mode de rendu dit de Pan&Zoom à travers une étude d’utilisabilité. Les résultats, en particulier subjectifs, encouragent à poursuivre vers des stratégies de présentation multimodales associant un rendu audio aux rendus visuels déjà disponibles.Une seconde étude a concerné l’identification de sons d’environnement en milieu bruité en présence d’un contexte visuel. Le bruit simule la présence de plusieurs sources sonores simultanées telles qu’on pourrait les retrouver dans une interface où les documents audio et audiovisuels sont présentés ensemble. Les résultats de cette expérience ont confirmé l’avantage de la multimodalité en condition de dégradation. De plus, au-delà des buts premiers de la thèse, l’étude a confirmé l’importance de la congruence sémantique entre les composantes visuelle et sonore pour la reconnaissance d’objets et a permis d’approfondir les connaissances sur la perception auditive des sons d’environnement.Finalement, nous nous sommes intéressée aux processus attentionnels impliqués dans la recherche d’un objet parmi plusieurs, en particulier au phénomène de « pop-out » par lequel un objet saillant attire l’attention automatiquement. En visuel, un objet net attire l’attention au milieu d’objets flous et certaines stratégies de présentation visuelle exploitent déjà ce paramètre visuel. Nous avons alors étendu la notion de flou aux modalités auditives et audiovisuelles par analogie. Une série d’expériences perceptives a confirmé qu’un objet net parmi des objets flous attire l’attention, quelle que soit la modalité. Les processus de recherche et d’identification sont alors accélérés quand l’indice de netteté correspond à la cible, mais ralentis quand il s’agit d’un distracteur, mettant ainsi en avant un phénomène de guidage involontaire. Concernant l’interaction intermodale, la combinaison redondante des flous audio et visuel s’est révélée encore plus efficace qu’une présentation unimodale. Les résultats indiquent aussi qu’une combinaison optimale n’implique pas d’appliquer obligatoirement une distorsion sur les deux modalités. / Although more and more sound and audiovisual data are available, the majority of access interfaces are solely based on a visual presentation. Many visualization techniques have been proposed that use simultaneous presentation of multiple documents and distortions to highlight the most relevant information. We propose to define equivalent audio technique for the presentation of several competing sound files, and optimally combine such audio and visual presentation strategies for multimedia documents. To better adapt these strategies to the user, we studied attentional and perceptual processes involved in listening and watching simultaneous audio-visual objects, focusing on the interactions between the two modalities.Combining visual size and sound level parameters, we extended the visual concept of magnifying lens to auditory and audiovisual modalities. Exploiting this concept, a navigation application in a video collection has been developed. We compared our tool with another rendering mode called Pan & Zoom through a usability study. Results, especially subjective results, encourage further research to develop multimodal presentation strategies by combining an audio rendering to the visual renderings already available.A second study concerned the identification of environmental sounds in a noisy environment in the presence of a visual context. The noise simulated the presence of multiple competing sounds as would be observed in an interface where several multimedia documents are presented together. The experimental results confirmed the multimodality advantage in condition of audio degradation. Moreover, beyond the primary goals of the thesis, this study confirms the importance of the semantic congruency between visual and auditory components for object recognition and provides deeper knowledge about the auditory perception of environmental sounds.Finally, we investigated attentional processes involved in the search of a specific object among many, especially the “pop-out” phenomenon whereby a salient object automatically attracts attention. In vision, an sharp object attracts attention among blurred objects and some visual strategies already exploit this parameter to display the information. We extended by analogy the concept of visual blur to auditory and audiovisual modalities. A serie of experiments confirmed that a perceptual object among blurred objects attracts attention, regardless of the modality. The identification and search process is then accelerated when the sharpness parameter is applied to the target, but slow when it is applied to a distractor. These results highlight an involuntary attraction effect. Concerning the crossmodal interaction, a redundant combination of audio and visual blur proved to be more effective than a unimodal presentation. Results also indicate that optimal combination does not necessarily require a distortion of both modalities.

Le vieillissement dit "naturel", affecte physiologiquement les structures auditives périphériques; il en va de même du collicule supérieur (CS) lors du traitement des signaux auditifs et visuels. Chez le rat âgé, la sensibilité auditive périphérique diminue et l’extraction des attributs des signaux auditifs est modifiée, et ce, dès les noyaux cochléaires (premiers relais centraux de la voie auditive ascendante). De plus, les propriétés spectrales, temporelles et directionnelles des neurones auditifs du CS sont altérées lors du vieillissement. Ceci se manifeste aussi au niveau de l’organisation topographique de la sensibilité à la direction qui est abolie au sein des couches profondes du CS. Dans la même optique, l’extraction des attributs des fréquences spatiales concentriques mobiles (en présence ou en absence d’objet sonore modulé en amplitude) est altérée aussi au niveau des neurones audiovisuels du CS lors du vieillissement. En effet, au niveau spatial, chez l’animal âgé, la présence de déficits visuels est particulièrement marquée par une diminution de la sensibilité aux stimuli visuels et audiovisuels mobiles et rapides lors du déplacement de l’organisme dans son environnement. Compte tenu de l’ampleur des changements qui s’installent avec le vieillissement au niveau des structures périphériques et centrales, inévitablement, les mécanismes nerveux de la plasticité audiovisuelle de bas niveau, i.e. au niveau des neurones du CS, sont perturbés. En outre, chez l’animal âgé, le gain audiovisuel induit par l’activité des neurones du CS ne produit pas d’amélioration notable par rapport à la modalité unisensorielle. Dans l’ensemble, ces résultats montrent que le vieillissement perturbe l’activité neuronale du CS permettant de détecter les informations sensorielles pertinentes dans un environnement audiovisuel complexe. / Age-related physiological changes affect the peripheral auditory structures; this also applies to the superior colliculus (SC) auditory and visual processes. In aged rats, the peripheral hearing sensitivity decreases and at more central regions, particularly the first central node, in the ascending auditory projections, auditory processing of sounds is altered. Furthermore, at the level of the SC, spectral, temporal and directional properties of auditory neurons are also altered during aging. In addition, no systematic directional spatial arrangement is encountered among the neurons of aged rats, implying that the topographical organization of the auditory directional map is abolished in the deep layers of the SC. Moreover, in a condition where SC visual neurons are stimulated with looming concentric sinusoidal gratings (in the presence or in the absence of modulated audio signals), visual deficits in aged animals are particularly marked by a decrease in sensitivity to fast moving visual and audiovisual stimuli during self-motion. Given the links of age-related changes in the peripheral and in the central structures, inevitably, the mechanisms underlying the neuronal audiovisual plasticity, in the low-level (SC), are somehow disrupted. Specifically, in aged animals, the presence of the auditory stimulus when coupled with the visual signal did not enhance the response activity of the visual neurons. This seems to suggest that the mechanism that may serve to amplify the visual signal under weak or ambiguous and noisy conditions thus improving greater behavioral relevance of detecting rapidly approaching visual and audiovisual moving objects during self-motion is altered with aging. Overall, these results show that aging disrupts the SC neuronal activity that enables detection of relevant sensory information in a complex audiovisual environment.