La voix humaine constitue la partie dominante de notre environnement auditif. Non seulement les humains utilisent-ils la voix pour la parole, mais ils sont tout aussi habiles pour en extraire une multitude d’informations pertinentes sur le locuteur. Cette expertise universelle pour la voix humaine se reflète dans la présence d’aires préférentielles à celle-ci le long des sillons temporaux supérieurs. À ce jour, peu de données nous informent sur la nature et le développement de cette réponse sélective à la voix. Dans le domaine visuel, une vaste littérature aborde une problématique semblable en ce qui a trait à la perception des visages. L’étude d’experts visuels a permis de dégager les processus et régions impliqués dans leur expertise et a démontré une forte ressemblance avec ceux utilisés pour les visages. Dans le domaine auditif, très peu d’études se sont penchées sur la comparaison entre l’expertise pour la voix et d’autres catégories auditives, alors que ces comparaisons pourraient contribuer à une meilleure compréhension de la perception vocale et auditive. La présente thèse a pour dessein de préciser la spécificité des processus et régions impliqués dans le traitement de la voix. Pour ce faire, le recrutement de différents types d’experts ainsi que l’utilisation de différentes méthodes expérimentales ont été préconisés. La première étude a évalué l’influence d’une expertise musicale sur le traitement de la voix humaine, à l’aide de tâches comportementales de discrimination de voix et d’instruments de musique. Les résultats ont démontré que les musiciens amateurs étaient meilleurs que les non-musiciens pour discriminer des timbres d’instruments de musique mais aussi les voix humaines, suggérant une généralisation des apprentissages perceptifs causés par la pratique musicale. La seconde étude avait pour but de comparer les potentiels évoqués auditifs liés aux chants d’oiseaux entre des ornithologues amateurs et des participants novices. L’observation d’une distribution topographique différente chez les ornithologues à la présentation des trois catégories sonores (voix, chants d’oiseaux, sons de l’environnement) a rendu les résultats difficiles à interpréter. Dans la troisième étude, il était question de préciser le rôle des aires temporales de la voix dans le traitement de catégories d’expertise chez deux groupes d’experts auditifs, soit des ornithologues amateurs et des luthiers. Les données comportementales ont démontré une interaction entre les deux groupes d’experts et leur catégorie d’expertise respective pour des tâches de discrimination et de mémorisation. Les résultats obtenus en imagerie par résonance magnétique fonctionnelle ont démontré une interaction du même type dans le sillon temporal supérieur gauche et le gyrus cingulaire postérieur gauche. Ainsi, les aires de la voix sont impliquées dans le traitement de stimuli d’expertise dans deux groupes d’experts auditifs différents. Ce résultat suggère que la sélectivité à la voix humaine, telle que retrouvée dans les sillons temporaux supérieurs, pourrait être expliquée par une exposition prolongée à ces stimuli. Les données présentées démontrent plusieurs similitudes comportementales et anatomo-fonctionnelles entre le traitement de la voix et d’autres catégories d’expertise. Ces aspects communs sont explicables par une organisation à la fois fonctionnelle et économique du cerveau. Par conséquent, le traitement de la voix et d’autres catégories sonores se baserait sur les mêmes réseaux neuronaux, sauf en cas de traitement plus poussé. Cette interprétation s’avère particulièrement importante pour proposer une approche intégrative quant à la spécificité du traitement de la voix. / The human voice is the most meaningful sound category of our auditory environment. Not only is the human voice the carrier of speech, but it is also used to extract a wealth of relevant information on the speaker. Voice-sensitive areas have been identified along the superior temporal sulci of normal adult listeners. Yet little data is available on the nature and development of this selective response to voice. In the visual domain, a vast literature focuses on a similar problem regarding face perception. Several studies have identified processes and regions involved in visual expertise, demonstrating a strong resemblance to those used for faces. In the auditory domain, very few studies have compared voice expertise to expertise for other sound categories. Such comparisons could contribute to a better understanding of voice perception and hearing. This thesis aims to clarify the nature of the processes and regions involved in voice perception. Different types of experts and different experimental methods were used in three separate studies. The first study assessed the influence of musical expertise on timbre voice processing, by using using behavioral voice and musical instrument discrimination tasks. The results showed that amateur musicians performed better than non-musicians in both tasks, suggesting a generalization of auditory abilities associated with musical practice. The second study compared event related potentials evoked by birdsongs in bird experts and non-expert participants. Because a different topographical distribution was observed among bird experts in all sound categories, a definitive interpretation was difficult to make. In the third study, we asked whether the voice-sensitive areas would be recruited by different categories of sounds of expertise in guitar makers, bird experts and non-experts. The behavioral data showed an interaction between the two groups of experts and their respective category of expertise for memory and discrimination tasks. The functional magnetic resonance imaging results showed an interaction of the same type in the left superior temporal sulcus and the left posterior cingulate gyrus. The results show that the voice selective areas do not exclusively process voice stimuli but could also contribute to expert-level processing of other sound categories. Therefore, cortical selectivity to human voice could be due to a prolonged exposure to voice. The data presented demonstrate several behavioral and anatomo-functional similarities between cerebral voice processing and other types of auditory expertise. These common aspects can be explained by a functional and economical brain organization. Consequently, sound processing would rely on shared neural networks unless necessary. This interpretation is particularly important to suggest an integrative approach for studying voice processing specificity.

Le concept d'Umwelt de Jakob von Uexküll considère les animaux comme des sujets qui habitent leur propre univers subjectif qui est déterminé par la perception sensorielle de l'animal et ses capacités cognitives. Le dauphin apparait être une espèce intéressante pour étudier l'Umwelt, car les cétacés ont subi un changement radical de mode de vie au cours de l'évolution. Ces mammifères sont passés d'une vie terrestre à une vie aquatique. Bien que les grands dauphins soient intensivement étudiés, des recherches sur leur perception sensorielle sont encore nécessaires. Ici, nous avons étudié certains aspects de l'Umwelt des dauphins en nous interrogeant sur: (1) l'organisation de leur Umwelt acoustique nocturne ; (2) ce que la production de copies vocales par les dauphins peut nous dire sur leur perception de leur environnement ; (3) s'ils sont capables de percevoir des goûts (4) ou des odeurs ; (5) s'ils sont sensibles aux stimuli magnétiques. Nous avons constaté que l'Umwelt nocturne des dauphins a été caractérisé par une activité vocale avec des patterns temporels qui comprenaient également des copies vocales des sons que les dauphins avaient entendus au cours de la journée. Il s'agit d'une nette séparation entre la formation de la mémoire auditive et la production de copies vocales. Les copies pourraient être des répétitions nocturnes vocalement exprimées des événements de la journée. Ainsi, les vocalisations peuvent servir d'indicateurs d'événements ou d'objets qui ont un sens pour les dauphins. En ce qui concerne les capacités perceptives des dauphins, nous avons constaté qu'ils étaient sensibles aux stimuli liés à l'alimentation à la fois sur les plans gustatif et olfactif. Ils peuvent utiliser cette capacité pour localiser et / ou évaluer la nature de leur proie. En outre, les dauphins ont répondu à un stimulus magnétique, ce qui suggère qu'ils sont magnétosensibles, cela pourrait être utile pour la navigation. Jusqu'à présent, la chimio- et la magnétoréception n'ont pas été considérées sérieusement comme potentiellement fonctionnelles chez les dauphins. Les résultats obtenus au cours de cette thèse ont permis de combler certaines des lacunes qui subsistaient dans la connaissance de l'Umwelt du dauphin et contribuent ainsi à une meilleure compréhension de cette espèce. En outre, ils montrent que des aspects importants de la biologie d'espèces pourtant intensivement étudiées peuvent être encore méconnus. Cela nous rappelle l'importance de garder une grande ouverture d'esprit lorsque l'on étudie un sujet. / The Umwelt concept of Jakob von Uexküll considers animals as subjects that inhabit their own subjective universe which is determined by the animal’s sensory perception and cognitive abilities. Dolphins present an interesting species to investigate its Umwelt because cetaceans underwent a drastic change in lifestyle in the course of evolution because these mammals returned from a terrestrial life back into the water. Although bottlenose dolphins are intensively studied there are still many knowledge gaps. Here we studied some aspects of the dolphins’ Umwelt by asking: (1) how their nocturnal acoustic Umwelt is arranged; (2) what the production of vocal copies can tell us about the dolphins’ perception of their environment; (3) whether they are able to perceive tastes (4) or odours; (5) whether they are sensitive to magnetic stimuli. We found that the dolphins’ nocturnal Umwelt was characterized by a temporally patterned vocal activity that also included vocal copies of sounds that the dolphins had heard during the day. This is a striking separation between auditory memory formation and vocal copy production and the copies might be a vocally expressed nocturnal rehearsal of day events. Thus, vocalizations can serve as possible indicators of events or objects that are meaningful to the dolphins. Regarding dolphins’ perceptive abilities, we found that they were sensitive to both gustatory and olfactory food-related stimuli. They might use this ability to locate and/or evaluate prey. Further, dolphins responded to a magnetic stimulus, suggesting that they are magnetosensitive, what could be useful for navigation. So far, chemo- and magnetoreception have not been considered seriously as potentially functional in dolphins. The results obtained during this thesis fill some of the gaps that still exist in the knowledge of the dolphin’s Umwelt and therefore contribute to a better understanding of this species. Moreover, they illustrate that even already intensively studied species may still hold important facets of their biology to reveal and that research should broaden the view and remain unbiased when studying a topic.

L’audition est une modalité utile pour aider un robot à explorer et comprendre son environnement sonore. Dans cette thèse, nous nous intéressons à la tâche de localiser une ou plusieurs sources sonores mobiles et intermittentes à l’aide d’un robot mobile équipé d’une antenne de microphones en exploitant la mobilité du robot pour améliorer la localisation. Nous proposons d’abord un modèle bayésien pour localiser une seule source mobile intermittente. Ce modèle estime conjointement la position et l’activité de la source au cours du temps et s’applique à tout type d’antenne. Grâce au mouvement du robot, il peut estimer la distance de la source et résoudre l’ambiguïté avant-arrière qui apparaît dans le cas des antennes linéaires. Nous proposons deux implémentations de ce modèle, l’une à l’aide d’un filtre de Kalman étendu basé sur des mélanges de gaussiennes et l’autre à l’aide d’un filtre à particules, que nous comparons en termes de performance et de temps de calcul. Nous étendons ensuite notre modèle à plusieurs sources intermittentes et mobiles. En combinant notre filtre avec un joint probability data association filter (JPDAF), nous pouvons estimer conjointement les positions et activités de deux sources sonores dans un environnement réverbérant. Enfin nous faisons une contribution à la planification de mouvement pour réduire l’incertitude sur la localisation d’une source sonore. Nous définissons une fonction de coût avec l’alternative entre deux critères: l’entropie de Shannon ou l’écart-type sur l’estimation de la position. Ces deux critères sont intégrés dans le temps avec un facteur d’actualisation. Nous adaptons alors l’algorithme de Monte-Carlo tree search (MCTS) pour trouver, efficacement, le mouvement du robot qui minimise notre fonction de coût. Nos expériences montrent que notre méthode surpasse, sur le long terme, d’autres méthodes de planification pour l’audition robotique / Robot audition provides hearing capability for robots and helps them explore and understand their sound environment. In this thesis, we focus on the task of sound source localization for a single or multiple, intermittent, possibly moving sources using a mobile robot and exploiting robot motion to improve the source localization. We propose a Bayesian filtering framework to localize the position of a single, intermittent, possibly moving sound source. This framework jointly estimates the source location and its activity over time and is applicable to any micro- phone array geometry. Thanks to the movement of the robot, it can estimate the distance to the source and solve the front-back ambiguity which appears in the case of a linear microphone array. We propose two implementations of this framework based on an extended mixture Kalman filter (MKF) and on a particle filter, that we compare in terms of performance and computation time. We then extend our model to the context of multiple, intermittent, possibly moving sources. By implementing an extended MKF with joint probabilistic data association filter (JPDAF), we can jointly estimate the locations of two sources and their activities over time. Lastly, we make a contribution on long-term robot motion planning to optimally reduce the uncertainty in the source location. We define a cost function with two alternative criteria: the Shannon entropy or the standard deviation of the estimated belief. These entropies or standard deviations are integrated over time with a discount factor. We adapt the Monte Carlo tree search (MCTS) method for efficiently finding the optimal robot motion that will minimize the above cost function. Experiments show that the proposed method outperforms other robot motion planning methods for robot audition in the long run

No description available.

Les cellules ciliées internes (CCIs) de la cochlée encodent les signaux acoustiques en impulsions électriques au niveau des synapses à ruban formées avec les fibres afférentes du nerf auditif. L'exocytose des vésicules glutamatergiques par les CCIs est déclenchée par l'activation des canaux calciques Cav1.3 et par l'otoferline, le senseur calcique intracellulaire présumé. Les mécanismes moléculaires précis régulant cette exocytose restent encore mal compris, notamment ceux à l’origine de sa précision temporelle, sa vitesse élevée en phase avec le signal acoustique("phase-locking" jusqu'à 1-2 kHz) et son infatigabilité. Nous montrons que la spécificité des synapses à ruban auditive et vestibulaire passe par une organisation spatiale spécifique des canaux Cav1.3 dans les zones actives. Les CCIs utilisent différentes isoformes de canaux Cav1.3, notamment des isoformes courtes tronquées dans leur partie C-terminale. Ces isoformes courtes (Cav1.343S et Cav1.342A) sont essentiellement impliquées dans le déclenchement et dans l'adaptation rapide de l'exocytose. Cette adaptation se réalise au niveau des canaux Cav1.3 à la fois en intracellulaire par le Ca2+ et en extracellulaire parles protons secrétés lors de l'exocytose. Les isoformes longues (Cav1.342L et Cav1.3∆44),positionnées en périphérie du ruban, réguleraient le recrutement vésiculaire. Par ailleurs, nous montrons que l'organisation spatiale des canaux Cav1.3 est dépendante d'un cytosquelette d'actine-F au ruban synaptique. La clarine 1 (protéine Usher IIIA) interagirait avec l'actine-F, l'harmonine (protéine PDZ, Usher IC) et la sous-unité β2 des canaux calciques pour organiser les canaux Cav1.3 dans les zones actives. / Cochlear inner hair cells (IHCs) encode acoustic signals into nerve impulses at their ribbon synapses formed with the auditory afferent fibers. The exocytosis of glutamatergic vesicles is triggered by voltage activation of Cav1.3 channels and requires otoferlin, the putative intracellular Ca2+ sensor. The precise molecular mechanisms of exocytosis still remain elusive, notably the mechanisms allowing the temporal precision, the high rates of vesicular fusion (high frequency phase-locking with sound) and the indefatigability of the process. We show here that exocytosis in auditory and vestibular hair cells relies on a specific tight spatial organization of Cav1.3 channels at the active zones. Auditory IHCs use different Cav1.3isoforms, notably short C-terminal isoforms (Cav1.343S et Cav1.342A). These short Cav1.3isoforms essentially trigger the RRP exocytosis (Readily Releasable Pool of vesicles) and are at the origin of its fast adaptation. This fast exocytotic adaptation is based both on an intracellularCa2+ dependant inactivation of the Ca2+ current and on its extracellular block by exocytosed protons. Long Cav1.3 isoforms (Cav1.342L et Cav1.3∆44) regulate the vesicular recruitment at the active zones. Furthermore, our results show that a synaptic actin cytoskeleton is essential for the tight spatial organization of the Cav1.3 channels at the ribbons. Clarin 1 (Usher IIIA protein),through its interactions with the F-actin network, harmonin (PDZ protein, Usher IC) and the Ca2+channel β2 subunit, is required to maintain the tight organization of Cav1.3 channels at the ribbon synapses.

Cette thèse s'intéresse au développement de lois de commande basées sur la perception auditive. Dans le domaine de l'audition robotique, le contrôle du robot à partir d'informations auditives est généralement basé sur des approches de localisation de source sonore. Cependant, la localisation de source en conditions réelles est un tâche complexe à résoudre. En environnement intérieur, les perturbations causées par le bruit, la réverbération ou même la structure du robot peuvent altérer le processus de localisation. Cette tâche de localisation devient encore plus complexe si la source et/ou le robot sont en mouvement. Aujourd'hui, en se restreignant aux systèmes binauraux, la localisation sonore en environnement réel n'est pas encore réalisable de manière robuste. A l'opposé, nous développons dans cette thèse une commande référencée capteurs, l'asservissement sonore, qui ne nécessite pas de localiser la source. Le mouvement du robot est directement reliée à la perception auditive: une tâche de positionnement est réalisée par une boucle de commande, où le mouvement du robot est régi par la dynamique d'indices sonores de bas niveau. Les résultats expérimentaux dans différentes conditions acoustiques et sur différentes plates-formes robotiques confirment la pertinence de cette approche en condition réelle. / This thesis is concerned about the development of a control framework based on auditory perception. In general, in robot audition, the motion control of a robot using hearing sense is based on sound source localization approaches. However, sound source localization under realistic conditions is a significant challenge to solve. In indoor environment perturbations caused by noise, reverberation or even the structure of the robot may alter the localization process. When considering dynamic scenes where the robot and/or the sound source might move, the degree of complexity of source localization raises to a higher level. As a result, sound source localization considering binaural setup is not achievable yet in real-world environments. By contrast, we develop in this thesis a sensor-based control approach, aural servo, that does not require to localize the source. The motion of the robot is straightly connected to the auditory perception: a positioning task is performed through a feedback loop where the motion of the robot is governed by the dynamic of low-level auditory features. Experimental results in various acoustic conditions and robotic platforms confirm the relevance of this approach for real-world environments.

Le maintien de la stabilité posturale est généralement décrit comme le résultat de l’intégration de plusieurs modalités sensorielles : vision, proprioception, tactile plantaire et système vestibulaire. Bien qu’étant une source riche d’informations spatiales, l’audition a été très peut étudiée dans ce cadre. Dans cette thèse, nous nous sommes intéressés à l’influence spécifique du son sur la posture.La première partie de ces travaux concerne la mise en place et la caractérisation perceptive d’un système de spatialisation ambisonique d’ordre 5. Ce système permet de générer et de déplacer des sons dans tout l’espace 3D entourant l’auditeur, ainsi que de synthétiser des espaces sonores immersifs et réalistes.Ensuite, ce système a été utilisé comme un outil pour la génération de stimuli adaptés à l’étude de l’influence du son sur la posture. Ainsi, la posture debout statique de sujets jeunes et en bonne santé a été étudiée dans un ensemble de cinq expériences posturales. Les résultats de ces différentes études montrent que l’information auditive spatiale peut être intégrée dans le système de régulation posturale, et permettre aux sujets d’atteindre une meilleure stabilité posturale.Deux pistes sont évoquées pour interpréter cette stabilisation : d’un côté, l’utilisation des indices acoustiques pour construire une carte spatiale de l’espace environnant, représentation par rapport à laquelle les sujets peuvent se stabiliser ; de l’autre, des phénomènes d’intégration multi-sensorielle, où la modalité auditive permettrait de potentialiser l’intégration des différentes informations fournies par les autres modalités impliquées dans le contrôle postural. / Postural control is known to be the result of the integration by the central nervous system of several sensory modalities. In the literature, visual, proprioceptive, plantar touch and vestibular inputs are generally mentioned, and the role of audition is often neglected, even though sound is a rich and broad source of information on the whole surroundind 3D space. In the frame of this PhD, we focused on the specific role of sound on posture. The first part of this work is related to the design, the set-up and the perceptual evaluation of a fifth order ambisonics sound spatialization system. This system makes it possible to generate and move sound sources in the 3D space surrounding the listener and also to synthesize immersive and realistic sound environments. Then, this sound spatialization system was used as a tool to generate sound stimuli used in five different postural tests. In these tests, we studied the static upright stance of young and healthy subjects. The results of these studies show that the spatial auditory information can be integrated in the postural control system, allowing the subjects to reach a better stability.Two complementary trails are proposed to explain these stabilizing effects. Firstly, the spatial acoustic cues can contribute to the building of a mental representation of the surrounding environment; given this representation, the subjects could improve their stability. Secondly, we introduce multisensory integration phenomena: the auditory component could facilitate the integration of the other modalities implied in the postural control system.

Tystnad kan användas som ett kognitivt verktyg för att påverka en filmupplevelse och för att förhöja vissa audiovisuella aspekter. Denna studie undersöker hur tystnad som berättargrepp inom genren sci-fi kan användas genom två koncept för ljudinspelning: fidelity, som är en trogen ljudinspelning av vad som visas i bild, och intelligibility, som adderar ljud för narrativ information. Koncepten lät oss som ljuddesigners analysera och kontrollera tystnadsögonblicken i varje scenario. Point of audition användes som ett adderat designverktyg för att fokusera tystnadsögonblicken i narrativet. Genom diskussion i fokusgrupper kunde vi utvärdera hur tystnaden upplevdes i varje separat klipp. Studien visade att tystnad som berättargrepp föredrogs vid en kombination av de två koncepten. / Silence can be used as a cognitive tool to influence a film experience and to elevate certain audiovisual aspects. This study examines how silence as a narrative technique in the sci-fi genre can be used through two concepts for sound recording: fidelity, which is a faithful sound recording of what is shown on screen, and intelligibility, which adds sound for narrative information. The concepts allowed us as sound designers to analyze and control the moments of silence in each scenario. Point of audition was used as an added design tool to focus the moments of silence in the narrative. Through discussions in focus groups, we were able to evaluate how the silence was experienced in each separate clip. The study showed that silence as a narrative approach was preferred in a combination of the two concepts.

L'audition artificielle est de plus en plus utilisée en robotique mobile pour améliorer l'interaction humain-robot. La reconnaissance de la parole occupe présentement une place importante tandis qu'un intérêt particulier se développe pour la reconnaissance de locuteurs. Le système ManyEars permet actuellement à un robot mobile de localiser, suivre et séparer plusieurs sources sonores. Ce système utilise un ensemble de huit microphones qui sont disposés en cube. Ce mémoire porte sur la conception et l'évaluation d'un système de reconnaissance de locuteurs, baptisé WISS (Who IS Speaking), couplé au système ManyEars. Le système de reconnaissance de locuteurs conçu est robuste au bruit ambiant et au changement d'environnement. Une technique de combinaison de modèle parallèle (parallel model combination (PMC)) et des masques sont utilisés pour améliorer le taux d'identification dans un milieu bruité. Un indice de confiance est également introduit pour pondérer les identifications obtenues. La simplicité du système proposé fait en sorte qu'il est possible d'exécuter en temps réel l'algorithme sur un processeur généraliste ( General Purpose Processor (GPP)). Les performances du système sont établies à l'aide de plusieurs scénarios. Dans un premier lieu, des enregistrements sont diffusés dans des haut-parleurs pour un ensemble de vingt locuteurs. Le système est ainsi caractérisé en fonction des positions angulaires et radiales des sources sonores. Le taux de reconnaissance est affecté par la qualité du signal (i.e. diminution du rapport signal sur bruit ( Signal-to-Noise Ratio (SNR))) : il passe de 95.6% à 84.3% en moyenne lorsque le SNR passe d'environ 16 dB à 2 dB lorsque le locuteur se situe à 1.5 mètres des microphones. Par la suite, un scénario dit statique est vérifié à l'aide de quatre locuteurs qui récitent chacun leur tour des phrases à un volume de voix naturel. Finalement, un scénario dynamique dans lequel un groupe de quatre locuteurs ont une conversation naturelle avec des chevauchements entre les segments de paroles est étudié. Le taux de reconnaissance varie entre 74.2% et 100.0% (avec une moyenne de 90.6%) avec le scénario statique, et entre 42.6% et 100.0% avec le scénario dynamique (avec des moyennes de 58.3%, 72.8% et 81.4% pour des segments de 1, 2 et 3 secondes respectivement). Des solutions sont identifiées afin d'améliorer les performances lors de travaux futurs. Au meilleur de notre connaissance, il n'existe aucun système qui effectue une reconnaissance de locuteurs dans un environnement contaminé simultanément par des bruits convolutif et additif. De plus, l'utilisation de masques pour estimer ces bruits est un nouveau concept. Ces masques sont d'ailleurs généralement employés pour la reconnaissance de la parole et leur utilisation dans un contexte de reconnaissance de locuteur est une première. De plus, une caractérisation complète du système qui inclue les SNRs est proposée en fonction de la position du locuteur, ce qui est rarement disponible dans la littérature en audition artificielle pour les robots.

The physical properties of the distal stimuli activating our senses are often correlated in nature; it would therefore be advantageous to exploit such correlations to better process sensory information. Stimulus correlations can be contingent and readily available to the senses (like the temporal correlation between mouth movements and vocal sounds in speech), or can be the results of the statistical co-occurrence of certain stimulus properties that can be learnt over time (like the relation between the frequency of acoustic resonance and the size of the resonator). Over the last century, a large body of research on multisensory processing has demonstrated the existence of compatibility effects between individual features of stimuli from different sensory modalities. Such compatibility effects, termed crossmodal correspondences, possibly reflect the internalization of the natural correlation between stimulus properties. The present dissertation assesses the effects of crossmodal correspondences on multisensory processing and reports a series of experiments demonstrating that crossmodal correspondences influence the processing rate of sensory information, distort perceptual experiences and lead to stronger multisensory integration. Moreover, a final experiment investigating the effects of contingent signals’ correlation on multisensory processing demonstrates the key role of temporal correlation in inferring whether two signals have a common physical cause or not (i.e., the correspondence problem). A Bayesian framework is proposed to interpret the present results whereby stimulus correlations, represented on the prior distribution of expected crossmodal co-occurrence, operate as cues to solve the correspondence problem.