Sensory substitution refers to the replacement of one sensory input with another. This concept, originally developed to aid the blind, presents a scientific opportunity to study crossmodal perceptual learning and neural plasticity. Using a technique that translates vision into sound, the present dissertation examined sensory substitution learning. Four studies tested the hypotheses that mental representations of spatial information such as shape are abstract, and that they are based on involvement of common brain regions independently of sensory modality. Study 1 aimed to develop a training paradigm in auditory vision substitution. We examined the minimum amount of learning necessary to identify visual images using sound, and the effects of more extensive training on a wide range of stimuli to test the hypothesis that sensory substitution would be based on generalized crossmodal rule learning. Study 2 was a functional magnetic resonance imaging (fMRI) adaptation of study 1. Subjects were scanned before and after training during a task in which shape-coded sound was to be matched to visually presented shape. It was predicted that training would lead to sound-induced visual recruitment. Study 3 examined auditory touch substitution learning. Blindfolded sighted subjects were trained to recognize tactile shapes using shape-coded sounds and tested on a matching task. We also tested post-training transfer to vision. It was predicted that shape could be conveyed across sensory modalities. Study 4 was an fMRI adaptation of Study 3. Subjects were scanned before and after training during a task in which shape-coded sound was matched to tactually presented shape. Visual recruitment driven by non-visual inputs was predicted. Results showed that sighted people learned to extract visual or tactile patterns from auditory input. This learning was generalizable across stimuli within and across modalities, suggesting an abstract mental representation of shape. Auditory shape learning was associated with change in the functional network between the auditory cortex and the lateral occipital complex (LOC), a region known for visual shape processing. The auditory access to the LOC supports the notion that sensory specificity of the brain is not determined by the nature of the stimuli but rather by the task demand of the information to be processed. / La substitution sensorielle réfère à la capacité de remplacer une entrée sensorielle par une autre. Ce concept, initialement développé pour aider les personnes aveugles, offre une opportunité scientifique pour étudier l'apprentissage perceptuel à travers plusieurs modalités sensorielles et la plasticité neurale. La présente dissertation utilise une technique qui transforme la vision en son pour examiner l'apprentissage de la substitution sensorielle. Quatre études ont testé les hypothèses que les représentations mentales de l'information spatiale telles que des formes abstraites sont basées sur l'implication de régions cérébrales communes indépendamment de modalités sensorielles. L'étude 1 avait pour but de développer un paradigme d'apprentissage de la substitution audio-visuelle. Nous avons examiné le taux minimal d'apprentissage nécessaire pour identifier les images visuelles en utilisant le son, et les effets d'un entraînement plus intensif sur une large gamme de stimuli pour tester l'hypothèse que la substitution sensorielle serait basée sur une loi d'apprentissage généralisé à travers plusieurs modalités. L'étude 2 était une adaptation de l'étude 1 utilisant l'imagerie par résonance magnétique fonctionnelle (IRMf). Les sujets étaient scannés avant et après un entraînement à une tâche pendant laquelle une forme codée sonore devait être appariée à une forme abstraite présentée visuellement. Nous faisions l'hypothèse que suite à l'entraînement, l'exposition sonore conduirait à un recrutement visuel. L'étude 3 a examiné l'apprentissage pour transformer le toucher en son. Des sujets voyants avaient les yeux bandés et étaient entraînés pour reconnaitre des formes tactiles utilisant des formes codées sonores et testées sur une tâche d'appariement. Nous avons aussi testé le transfert à la vision après entraînement. Nous avons prédit que les formes pourraient être transportées à travers les modalités sensorielles. L'étude 4 était une adaptation en IRMf de l'étude 3. Les sujets étaient scannés avant et après un entraînement pendant une tâche dans laquelle une forme codée sonore était appariée à une forme présentée tactilement. Nous faisions l'hypothèse que des entrées non visuelles conduiraient à un recrutement visuel. Les résultats ont montré que les personnes voyantes ont appris à extraire des modes visuels ou tactiles à partir d'entrées auditives. Cet apprentissage était généralisable à travers les stimuli, dans et à travers les modalités, suggérant une représentation mentale abstraite des formes. L'apprentissage de formes auditives était associé à un changement dans le réseau fonctionnel entre le cortex auditif et le complexe latero-occipital (CLO), une région connue pour le traitement visuel des formes. L'accès auditif au CLO supporte la notion que la spécificité sensorielle du cerveau n'est pas déterminée par la nature des stimuli mais plutôt par le traitement requis pour exécuter la tache.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.96695 |
| Date | January 2011 |
| Creators | Kim, Jung-Kyong |
| Contributors | Robert J Zatorre (Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Doctor of Philosophy (Department of Psychology) |
| Rights | All items in eScholarship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.0033 seconds