Lo studio si prefigge di indagare il decoding simultaneo degli elementi vocali e della mimica facciale delle emozioni mediante i potenziali evocati corticali (ERPs), utilizzando un'ampia gamma di emozioni. Stimoli emotivi vocali e patterns mimici sono stati accoppiati in condizioni di congruenza o di incongruenza. Le variazioni ERPs e i tempi di risposta (TR) rilevati sono state sottoposti ad analisi univariata della varianza per misure ripetute (ANOVA). Alcuni fenomeni ERP sono altamente sensibili alla condizione di congruenza/incongruenza del pattern (con una maggiore ampiezza per stimoli congruenti rispetto a stimoli incongruenti) e costituiscono marker specifici dell'integrazione intersensoriale. In particolare, i dati permettono di riconoscere l'indice di media latenza P200 come un marker dell'integrazione intersensoriale di stimoli emotivi. Altri fenomeni, invece, maggiormente sensibili al contenuto emotivo, segnalano la presenza di processi cognitivi legati più in generale al decoding emotivo. I risultati indicano inoltre che l'integrazione, che nelle prime fasi di processamento è un fenomeno automatico, coinvolge successivamente processi decisionali intenzionali. Infine, è stato riscontrato che la condizione di congruenza provoca un effetto di riduzione dei TR per alcune delle emozioni analizzate (tristezza) ed un effetto inverso per un secondo gruppo di emozioni (paura, rabbia e sorpresa). Tale risultato viene discusso in riferimento al significato adattivo dei diversi correlati emotivi e dei rispettivi processi di decodifica cross-modale. / The study investigates the simultaneous processing of emotional tone of voice and emotional facial expression by event-related potentials (ERPs), through an ample range of different emotions. Auditory emotional stimuli and visual patterns were matched in congruous and incongruous pairs. ERPs variations and behavioral data (response time) were submitted to repeated measures analysis of variance (ANOVA). ANOVA showed numerous ERP effects, with different cognitive functions. Some of them, in particular the medium-latency P200, are highly sensible to pattern congruent/incongruent condition (with more intense amplitude for congruent rather then incongruent stimuli) and constitute intersensory integration specific markers. The other ERP effects, instead, are more sensible to the emotional content and signal the presence of cognitive processes that are more generally tied to the emotional decoding. Furthermore results show that, in the first processing phase, integration is an automatic and obliged phenomenon, while later it implies intentional decisional processes. Finally, a TR reduction was found for some congruous patterns (i.e. sadness) and an inverted effect for a second group of emotions (i.e. fear, anger, and surprise). Finally, behavioural results indicate that congruence causes a RT reduction for some emotions (sadness) and, on the contrary, an inverse effect for other emotions (fear, anger, surprise). This result is discussed with reference to different emotional correlates adaptive function and their respective cross-modal decoding processes.

Sensory deprivation in one modality can enhance the development of the remaining modalities via mechanisms of synaptic plasticity. Mice of C3H strain suffers from RD1 retinal degeneration that leads to visual impairment at weaning age. Independently on the retinal degeneration there is also present olivocerebellar degeneration caused by Lurcher mutation. This neurodegenerative disorder causes motor deficits, increased CNS excitability as well as changes in synaptic plasticity. The aim of this study was to evaluate a role of whiskers in compensation of the visual deficit and to assess the influence of the olivocerebellar degeneration on this process. To differentiate contribution of the whiskers from other mechanisms that can take part in the compensation, we investigated the effect of both chronic and acute tactile deprivation. We focused on motor skills (rotarod, beam walking test), gait control (CatWalk system), spontaneous motor activity (open field) and the CNS excitability (audiogenic epilepsy). In the seeing mice without olivocerebellar degeneration, the removal of the whiskers had no effect. In the blind animals without olivocerebellar degeneration, chronic tactile deprivation caused changes in gait and impaired the performance in motor tests. Some other compensatory mechanisms were involved but the...

La vision est le sens privilégié pour intéragir avec notre environnement. C’est pourquoi le système visuel prend plus d’un tiers du cortex cérébral. Lorsqu’un individu perd sa vision, ce système est dépourvu de sa source première de stimuli. Il subit donc une réorganisation neuronale massive et devient un espace intermodal. Pour ce faire, il recrute des afférences des autres modalités afin que celles-ci prennent en charge les fonctions qui sont normalement soutenues par la vision. Ce phénomène, appelé plasticité cérébrale, est stimulé par la durée de la cécité et par l’entraînement des sens fonctionnels. Ceci fait en sorte que les aveugles développent des supra-capacités dans les modalités fonctionnelles. La substitution sensorielle est un principe qui exploite ce phénomène. Celle-ci permet de substituer un sens déficient par un autre sens. Pour ce faire, des appareils de substitution sensorielle sont développés pour acheminer des informations visuelles via le toucher ou l’audition. Bien que le but de ces appareils est d’offrir une vision fonctionnelle aux aveugles, la problématique principale demeure l’indépendance de navigation des aveugles. Cependant, ces appareils sont très peu appréciés par les aveugles parce qu’ils sont inaccessibles et qu’ils fournissent un signal complexe qui demande un entraînement intense et une charge cognitive trop élevée. Dans ce projet, nous avons évalué le potentiel d’un nouvel appareil de substitution sensorielle qui fournit des informations strictement pertinentes à la navigation spatiale sous la forme de sons spatialisés horizontalement. Pour ce faire, des participants aveugles précoces, aveugles tardifs et des voyants aux yeux bandés ont été testé pour leurs habiletés à détecter et éviter des obstacles à l’aide de l’appareil dans des conditions expérimentales de détection et d’évitement d’obstacles. L’étude a démontré qu’il est possible d’utiliser cet appareil en tant qu’aide à la navigation et que ce système est utilisé plus efficacement par les groupes d’aveugles. / Vision is the preferred sense for interacting with our environment. This is why the visual system takes up more than a third of the cerebral cortex. When an individual loses his vision, this system misses its primary source of stimuli. It therefore undergoes a massive neuronal reorganization and becomes an intermodal space. To do so, it recruits afferents from other modalities so that they take over the functions that are normally mediated by vision. This phenomenon, known as cerebral plasticity, is stimulated by the experience of blindness as well as by the training of the functional senses. This causes the blind to develop supra-abilities in their functional modalities. Sensory substitution is a principle that exploits this phenomenon. It makes it possible to substitute a deficient modality with another modality. To help the blind, sensory substitution devices are being developed to convey visual information via touch or hearing. Although these devices attempt to provide functional vision for the blind, the main issue they try to address is the improvement of the navigational independency of the blind. However, these devices are very little appreciated by the blind since they are inaccessible and provide a complex signal that requires intense training and too high of a cognitive load. Therefore, in this project, we evaluated the potential of a new sensory substitution device that provides information strictly relevant to spatial navigation in the form of horizontally spatialized sounds. To do so, early blind , late blind and sighted blindfolded individuals were tested for their ability to detect and avoid obstacles using the device under experimental conditions. The study showed that it is possible to use this device as a navigation aid and that this system is used more effectively by the blind.

The thesis project concerns the development and evaluation of a real-time music visualization system aimed at creating a multi-modal perceptual experience of music emotions. The purpose of the project is to provide singers with real-time visual feedback on their singing, to enhance their expression of emotions in the music. Built upon results from previous studies on emotional expression in music, crossmodal correspondences, and associations among sound, shape, color, and emotions, a singing voice visualization system is proposed that generates real-time graphics to reflect the emotional expression in the input singing in an intuitive fashion. A mapping between musical and visual features was established and tested within a user study regarding the setting of its polarities. The singing voice visualization system was developed as as a software system that runs on personal computers, utilizing Pure Data and Unity. This implementation allows for instantaneous feedback to the user during their singing. The mapping was evaluated in a user study, where participants engage in expressive singing to test the system,in order to assess the meaningfulness of the visual feedback and the effectiveness of the mapping, as well as the impact of the polarity. The results show that color as a strong visual cue of emotional expression provided meaningful information on some participants’ expression of typical happiness and sadness. Other cues of the visual feedback possibly enhanced some participants’ emotional expression of singing in an indirect way. The polarity had a noticeable impact on the perception of the visual feedback. The current study is limited by the reliability of the techniques used for the extracting acoustic features from real-time singing, particularly in the detection of attack speed. The evaluation were limited by the broad definition of one of the research questions. The findings of this study suggest potential applications for the singing voice visualization system in fields of music education, art, and entertainment. Additionally, the research highlights the need for further exploration and refinement in the design of the mapping and the evaluation methodology. / Avhandlingsprojektet handlar om utveckling och utvärdering av ett realtidssystem för musikvisualisering som syftar till att skapa en multimodal perceptuell upplevelse av musikkänslor. Syftet med projektet är att ge sångare visuell feedback i realtid på deras sång, för att förstärka deras uttryck av känslor i musiken. Med utgångspunkt i resultat från tidigare studier om känslouttryck i musik, korsmodala korrespondenser och associationer mellan ljud, form, färg och känslor, föreslås ett visualiseringssystem för sångstämmor som genererar realtidsgrafik för att på ett intuitivt sätt återspegla känslouttrycket i den inmatade sången. En mappning mellan musikaliska och visuella funktioner etablerades och testades i en användarstudie avseende inställningen av dess polariteter. Visualiseringssystemet för sångröst utvecklades som ett mjukvarusystem som körs på persondatorer med Pure Data och Unity. Denna implementering möjliggör omedelbar feedback till användaren under dennes sång. Kartläggningen utvärderades i en användarstudie, där deltagarna fick sjunga uttrycksfullt för att testa systemet, för att bedöma meningsfullheten i den visuella feedbacken och kartläggningens effektivitet, samt polaritetens inverkan. Resultaten visar att färg som en stark visuell signal för känslomässiga uttryck gav meningsfull information om vissa deltagares uttryck av typisk lycka och sorg. Andra ledtrådar i den visuella återkopplingen förstärkte möjligen vissa deltagares känslomässiga uttryck av sång på ett indirekt sätt. Polariteten hade en märkbar inverkan på uppfattningen av den visuella feedbacken. Den aktuella studien begränsas av tillförlitligheten hos de tekniker som används för att extrahera akustiska egenskaper från sång i realtid, särskilt när det gäller att upptäcka attackhastighet. Utvärderingen begränsades av den breda definitionen av en av forskningsfrågorna. Resultaten av denna studie visar på potentiella tillämpningar för visualiseringssystemet för sångröster inom musikutbildning, konst och underhållning. Dessutom belyser forskningen behovet av ytterligare utforskning och förfining av kartläggningens utformning och utvärderingsmetodiken.

Sensory deprivation in one modality can enhance the development of the remaining modalities via mechanisms of synaptic plasticity. Mice of C3H strain suffers from RD1 retinal degeneration that leads to visual impairment at weaning age. Independently on the retinal degeneration there is also present olivocerebellar degeneration caused by Lurcher mutation. This neurodegenerative disorder causes motor deficits, increased CNS excitability as well as changes in synaptic plasticity. The aim of this study was to evaluate a role of whiskers in compensation of the visual deficit and to assess the influence of the olivocerebellar degeneration on this process. To differentiate contribution of the whiskers from other mechanisms that can take part in the compensation, we investigated the effect of both chronic and acute tactile deprivation. We focused on motor skills (rotarod, beam walking test), gait control (CatWalk system), spontaneous motor activity (open field) and the CNS excitability (audiogenic epilepsy). In the seeing mice without olivocerebellar degeneration, the removal of the whiskers had no effect. In the blind animals without olivocerebellar degeneration, chronic tactile deprivation caused changes in gait and impaired the performance in motor tests. Some other compensatory mechanisms were involved but the...

There is a growing interest in designing for whole body interactions in the field of Human–Computer Interaction, where numerous researchers are using this knowledge for creating new age digital musical instruments, with the secondary focus on creating inclusive music creation mediums for all. The aim was to create a new interaction medium for Sound Forest, a digital musical instrument at Stockholm Museum of Performing Arts. In this report we have used an Android app to allow users to modulate sound created by the Sound Forest by their hand movements. The app was tested and evaluated by 9 individual users, where they were told to use the app and were asked to try to modulate the sound with their hands while holding the phone in their hand. They were asked to fill a Google Form that inquired about their experience and asked about their informal feedback regarding the process. The data was visualised and observed, where one can see the moderate success of the mappings and visual feedback provided by the app. Qualitative suggestions provided by the users were recorded for future development and evaluation. / Det finns ett växande intresse för att designa interaktioner av hela kroppen inom området människa–datorinteraktion, där många forskare använder denna kunskap för att skapa nya digitala musikinstrument, samt för att skapa inkluderande musikskapande medier lämpliga för alla. Syftet var att skapa ett nytt interaktionsmedium för Sound Forest, ett digitalt musikinstrument vid Stockholms Scenkonstmuseum. I den här rapporten har vi använt en Androidapp för att tillåta användare att modulera ljud som skapas av Sound Forest genom sina handrörelser. Appen testades och utvärderades av 9 individuella användare, där de blev tillsagda att använda appen och ombads att försöka modulera ljudet med händerna medan de höll telefonen i handen. De ombads att fylla i ett Google-formulär angående deras upplevelse samt deras informella feedback angående processen. Datan visualiserades och observerades, vilket visade framgången av kartläggningarna och den visuella feedback som kom från appen. Kvalitativa förslag från användarna registrerades för framtida utveckling och utvärdering.

La vision est un élément très important pour la navigation en général. Grâce à des mécanismes compensatoires les aveugles de naissance ne sont pas handicapés dans leurs compétences spatio-cognitives, ni dans la formation de nouvelles cartes spatiales. Malgré l’essor des études sur la plasticité du cerveau et la navigation chez les aveugles, les substrats neuronaux compensatoires pour la préservation de cette fonction demeurent incompris. Nous avons démontré récemment (article 1) en utilisant une technique d’analyse volumétrique (Voxel-Based Morphometry) que les aveugles de naissance (AN) montrent une diminution de la partie postérieure de l’hippocampe droit, structure cérébrale importante dans la formation de cartes spatiales. Comment les AN forment-ils des cartes cognitives de leur environnement avec un hippocampe postérieur droit qui est significativement réduit ? Pour répondre à cette question nous avons choisi d’exploiter un appareil de substitution sensorielle qui pourrait potentiellement servir à la navigation chez les AN. Cet appareil d’affichage lingual (Tongue display unit -TDU-) retransmet l’information graphique issue d’une caméra sur la langue. Avant de demander à nos sujets de naviguer à l’aide du TDU, il était nécessaire de nous assurer qu’ils pouvaient « voir » des objets dans l’environnement grâce au TDU. Nous avons donc tout d’abord évalué l’acuité « visuo »-tactile (article 2) des sujets AN pour les comparer aux performances des voyants ayant les yeux bandées et munis du TDU. Ensuite les sujets ont appris à négocier un chemin à travers un parcours parsemé d’obstacles i (article 3). Leur tâche consistait à pointer vers (détection), et contourner (négociation) un passage autour des obstacles. Nous avons démontré que les sujets aveugles de naissance non seulement arrivaient à accomplir cette tâche, mais encore avaient une performance meilleure que celle des voyants aux yeux bandés, et ce, malgré l’atrophie structurelle de l’hippocampe postérieur droit, et un système visuel atrophié (Ptito et al., 2008). Pour déterminer quels sont les corrélats neuronaux de la navigation, nous avons créé des routes virtuelles envoyées sur la langue par le biais du TDU que les sujets devaient reconnaitre alors qu’ils étaient dans un scanneur IRMf (article 4). Nous démontrons grâce à ces techniques que les aveugles utilisent un autre réseau cortical impliqué dans la mémoire topographique que les voyants quand ils suivent des routes virtuelles sur la langue. Nous avons mis l’emphase sur des réseaux neuronaux connectant les cortex pariétaux et frontaux au lobe occipital puisque ces réseaux sont renforcés chez les aveugles de naissance. Ces résultats démontrent aussi que la langue peut être utilisée comme une porte d’entrée vers le cerveau en y acheminant des informations sur l’environnement visuel du sujet, lui permettant ainsi d’élaborer des stratégies d’évitement d’obstacles et de se mouvoir adéquatement. / Vision is a very important tool for navigation in general. Due to compensatory mechanisms people who are blind from birth are not handicapped in spatio-cognitive abilities, nor in the formation of novel spatial maps. Despite the growing volume of studies on brain plasticity and navigation in the blind, the compensatory neural substrates or the preservation of this function remain unclear. We have recently demonstrated (article 1) by using volumetric analysis techniques (Voxel-Based Morphometry) that early blind individuals (EB) show a reduction of the posterior end of the hippocampus on the right side. This cerebral structure is important for the formation of cognitive maps. How do EB form maps of their environment with a significantly reduced posterior right hippocampus? To answer this question we chose to exploit a sensory substitution device that could potentially serve navigation in EB. This tongue display unit (TDU) is capable of transmitting pictorial imagery in the form of electricity on the tongue. Before asking our participants to navigate using the TDU, it was necessary to ascertain that they could really « see » objects in the environment using the TDU. We thus evaluated the « visuo »-tactile acuity (article 2) of EB compared to sighted blindfolded participants using the TDU. Participants later learned to negotiate a path through an obstacle course (article 3). Their task consisted of pointing to (detection), and avoiding (negotiation) obstacles while advancing through the hallway. We demonstrated that despite a reduced right posterior hippocampus, and an iii atrophied visual system (Ptito et al., 2008) EB not only were able to accomplish this task, but had a better performance than the blindfolded sighted controls. To determine what the neural correlates of navigation in EB are, we devised an fMRI compatible virtual route task conveyed through the tongue (article 4). Participants had to learn to navigate the routes and recognize them. We showed that EB use another cortical network involved in cognitive mapping than the sighted when recognizing routes on the tongue. We have emphasized neural networks connecting parietal and frontal cortices since they are re-enforced in EB. These results show that the tongue can be used as a portal to the brain by transferring pictorial information from the visual environment of participants, allowing the elaboration of strategies to avoid obstacles and move around in their environment.

La vision est un élément très important pour la navigation en général. Grâce à des mécanismes compensatoires les aveugles de naissance ne sont pas handicapés dans leurs compétences spatio-cognitives, ni dans la formation de nouvelles cartes spatiales. Malgré l’essor des études sur la plasticité du cerveau et la navigation chez les aveugles, les substrats neuronaux compensatoires pour la préservation de cette fonction demeurent incompris. Nous avons démontré récemment (article 1) en utilisant une technique d’analyse volumétrique (Voxel-Based Morphometry) que les aveugles de naissance (AN) montrent une diminution de la partie postérieure de l’hippocampe droit, structure cérébrale importante dans la formation de cartes spatiales. Comment les AN forment-ils des cartes cognitives de leur environnement avec un hippocampe postérieur droit qui est significativement réduit ? Pour répondre à cette question nous avons choisi d’exploiter un appareil de substitution sensorielle qui pourrait potentiellement servir à la navigation chez les AN. Cet appareil d’affichage lingual (Tongue display unit -TDU-) retransmet l’information graphique issue d’une caméra sur la langue. Avant de demander à nos sujets de naviguer à l’aide du TDU, il était nécessaire de nous assurer qu’ils pouvaient « voir » des objets dans l’environnement grâce au TDU. Nous avons donc tout d’abord évalué l’acuité « visuo »-tactile (article 2) des sujets AN pour les comparer aux performances des voyants ayant les yeux bandées et munis du TDU. Ensuite les sujets ont appris à négocier un chemin à travers un parcours parsemé d’obstacles i (article 3). Leur tâche consistait à pointer vers (détection), et contourner (négociation) un passage autour des obstacles. Nous avons démontré que les sujets aveugles de naissance non seulement arrivaient à accomplir cette tâche, mais encore avaient une performance meilleure que celle des voyants aux yeux bandés, et ce, malgré l’atrophie structurelle de l’hippocampe postérieur droit, et un système visuel atrophié (Ptito et al., 2008). Pour déterminer quels sont les corrélats neuronaux de la navigation, nous avons créé des routes virtuelles envoyées sur la langue par le biais du TDU que les sujets devaient reconnaitre alors qu’ils étaient dans un scanneur IRMf (article 4). Nous démontrons grâce à ces techniques que les aveugles utilisent un autre réseau cortical impliqué dans la mémoire topographique que les voyants quand ils suivent des routes virtuelles sur la langue. Nous avons mis l’emphase sur des réseaux neuronaux connectant les cortex pariétaux et frontaux au lobe occipital puisque ces réseaux sont renforcés chez les aveugles de naissance. Ces résultats démontrent aussi que la langue peut être utilisée comme une porte d’entrée vers le cerveau en y acheminant des informations sur l’environnement visuel du sujet, lui permettant ainsi d’élaborer des stratégies d’évitement d’obstacles et de se mouvoir adéquatement. / Vision is a very important tool for navigation in general. Due to compensatory mechanisms people who are blind from birth are not handicapped in spatio-cognitive abilities, nor in the formation of novel spatial maps. Despite the growing volume of studies on brain plasticity and navigation in the blind, the compensatory neural substrates or the preservation of this function remain unclear. We have recently demonstrated (article 1) by using volumetric analysis techniques (Voxel-Based Morphometry) that early blind individuals (EB) show a reduction of the posterior end of the hippocampus on the right side. This cerebral structure is important for the formation of cognitive maps. How do EB form maps of their environment with a significantly reduced posterior right hippocampus? To answer this question we chose to exploit a sensory substitution device that could potentially serve navigation in EB. This tongue display unit (TDU) is capable of transmitting pictorial imagery in the form of electricity on the tongue. Before asking our participants to navigate using the TDU, it was necessary to ascertain that they could really « see » objects in the environment using the TDU. We thus evaluated the « visuo »-tactile acuity (article 2) of EB compared to sighted blindfolded participants using the TDU. Participants later learned to negotiate a path through an obstacle course (article 3). Their task consisted of pointing to (detection), and avoiding (negotiation) obstacles while advancing through the hallway. We demonstrated that despite a reduced right posterior hippocampus, and an iii atrophied visual system (Ptito et al., 2008) EB not only were able to accomplish this task, but had a better performance than the blindfolded sighted controls. To determine what the neural correlates of navigation in EB are, we devised an fMRI compatible virtual route task conveyed through the tongue (article 4). Participants had to learn to navigate the routes and recognize them. We showed that EB use another cortical network involved in cognitive mapping than the sighted when recognizing routes on the tongue. We have emphasized neural networks connecting parietal and frontal cortices since they are re-enforced in EB. These results show that the tongue can be used as a portal to the brain by transferring pictorial information from the visual environment of participants, allowing the elaboration of strategies to avoid obstacles and move around in their environment.

Abstract Audio-oral speech and visuo-manual sign language as used by the Deaf community are two very different realizations of the human linguistic communication system. Sign language is not only used by the hearing impaired but also by different groups of hearing individuals. To date, there is a great discrepancy in scientific knowledge about signed and spoken languages. Particularly little is known about the integration of the two systems, even though the vast majority of deaf and hearing signers also have a command of some form of speech. This neurolinguistic study aimed to achieve basic knowledge about semantic integration mechanisms across speech and sign language in hearing native and non-native signers. Basic principles of sign processing as reflected in electrocortical brain activation and behavioral decisions were examined in three groups of study participants: Hearing native signers (children of deaf adults, CODAs), hearing late learned signers (professional sign language interpreters), and hearing non-signing controls. Event-related brain potentials (ERPs) and behavioral response frequencies were recorded while the participants performed a semantic decision task for priming lexeme pairs. The lexeme pairs were presented either within speech (spoken prime-spoken target) or across speech and sign language (spoken prime-signed target). Target-related ERP responses were subjected to temporal principal component analyses (tPCA). The neurocognitive basis of semantic integration processes were assessed by analyzing different ERP components (N170, N400, late positive complex) in response to the antonymic and unrelated targets. Behavioral decision sensitivity to the target lexemes is discussed in relation to the measured brain activity. Behaviorally, all three groups of study participants performed above chance level when making semantic decisions about the primed targets. Different result patterns, however, hinted at three different processing strategies. As the target-locked electrophysiological data was analyzed by PCA, for the first time in the context of sign language processing, objectively allocated ERP components of interest could be explored. A little surprisingly, the overall study results from the sign-naïve control group showed that they performed in a more content-guided way than expected. This suggested that even non-experts in the field of sign language were equipped with basic skills to process the cross-linguistically primed signs. Behavioral and electrophysiological study results together further brought up qualitative differences in processing between the native and late learned signers, which raised the question: can a unitary model of sign processing do justice to different groups of sign language users? / Tiivistelmä Kuuloaistiin ja ääntöelimistön motoriikkaan perustuva puhe ja kuurojen yhteisön käyttämä, näköaistiin ja käsien liikkeisiin perustuva viittomakieli ovat kaksi varsin erilaista ihmisen kielellisen viestintäjärjestelmän toteutumismuotoa. Viittomakieltä käyttävät kuulovammaisten ohella myös monet kuulevat ihmisryhmät. Tähänastinen tutkimustiedon määrä viittomakielistä ja puhutuista kielistä eroaa huomattavasti. Erityisen vähän on tiedetty näiden kahden järjestelmän yhdistämisestä, vaikka valtaosa kuuroista ja kuulevista viittomakielen käyttäjistä hallitsee myös puheen jossain muodossa. Tämän neurolingvistisen tutkimuksen tarkoituksena oli hankkia perustietoja puheen ja viittomakielen välisistä semanttisista yhdistämismekanismeista kuulevilla, viittomakieltä äidinkielenään tai muuna kielenä käyttävillä henkilöillä. Viittomien prosessoinnin perusperiaatteita, jotka ilmenevät aivojen sähköisen toiminnan muutoksina ja valintapäätöksinä, tutkittiin kolmessa koehenkilöryhmässä: kuulevilla viittomakieltä äidinkielenään käyttävillä henkilöillä (kuurojen aikuisten kuulevilla ns. CODA-lapsilla, engl. children of deaf adults), kuulevilla viittomakielen myöhemmin oppineilla henkilöillä (viittomakielen ammattitulkeilla) sekä kuulevilla viittomakieltä osaamattomilla verrokkihenkilöillä. Tapahtumasidonnaiset herätepotentiaalit (ERP:t) ja käyttäytymisvasteen frekvenssit rekisteröitiin koehenkilöiden tehdessä semanttisia valintoja viritetyistä (engl. primed) lekseemipareista. Lekseemiparit esitettiin joko puheena (puhuttu viritesana – puhuttu kohdesana) tai puheen ja viittomakielen välillä (puhuttu viritesana – viitottu kohdesana). Kohdesidonnaisille ERP-vasteille tehtiin temporaaliset pääkomponenttianalyysit (tPCA). Semanttisten yhdistämisprosessien neurokognitiivista perustaa arvioitiin analysoimalla erilaisia ERP-komponentteja (N170, N400, myöhäinen positiivinen kompleksi) vastineina antonyymisiin ja toisiinsa liittymättömiin kohteisiin. Käyttäytymispäätöksen herkkyyttä kohdelekseemeille tarkastellaan suhteessa mitattuun aivojen aktiviteettiin. Käyttäytymisen osalta kaikki kolme koehenkilöryhmää suoriutuivat satunnaistasoa paremmin tehdessään semanttisia valintoja viritetyistä kohdelekseemeistä. Erilaiset tulosmallit viittaavat kuitenkin kolmeen erilaiseen prosessointistrategiaan. Kun kohdelukittua elektrofysiologista dataa analysoitiin pääkomponenttianalyysin avulla ensimmäistä kertaa viittomakielen prosessoinnin yhteydessä, voitiin tutkia tarkkaavaisuuden objektiivisesti allokoituja ERP-komponentteja. Oli jossain määrin yllättävää, että viittomakielellisesti natiivin verrokkiryhmän tulokset osoittivat sen jäsenten toimivan odotettua sisältölähtöisemmin. Tämä viittaa siihen, että viittomakieleen perehtymättömilläkin henkilöillä on perustaidot lingvistisesti ristiin viritettyjen viittomien prosessointiin. Yhdessä käyttäytymisperäiset ja elektrofysiologiset tutkimustulokset toivat esiin laadullisia eroja prosessoinnissa viittomakieltä äidinkielenään puhuvien henkilöiden ja kielen myöhemmin oppineiden henkilöiden välillä. Tämä puolestaan johtaa kysymykseen, voiko yksi viittomien prosessointimalli soveltua erilaisille viittomakielen käyttäjäryhmille?

L'objectif de cette thèse est d'étudier l'implication de deux structures de la formation hippocampique, le cortex entorhinal latéral (CEL) et l'hippocampe dorsal (DH), dans les processus sous-tendant la formation et la flexibilité d'associations entre deux stimuli de modalités sensorielles différentes : l'olfaction et le toucher. Pour cela, une tâche bimodale olfacto-tactile (OT) est développée chez le rat. Dans celle-ci, l'animal doit apprendre à identifier une combinaison "odeur-texture" spécifique parmi les trois proposées afin d'obtenir un renforcement (ex: O1T1+ O2T1 O1T2, + désignant la combinaison renforcée). Aucun indice spatial ou contextuel n'est pertinent pour résoudre cette tâche. Suite à l'acquisition de deux tâches différentes, les stimuli sont réassociés sous forme de combinaisons inédites dans une troisième tâche appelée « recombinaison ». La manipulation pharmacologique de l'activité du CEL a mis en évidence l'implication des systèmes glutamatergique NMDA et cholinergique de cette structure dans les processus sous-tendant ces deux types de tâche. En revanche, si le DH n'est pas indispensable pour l'acquisition, son système cholinergique est critique pour la recombinaison. En comparaison avec l'acquisition, l'étude électrophysiologique a montré que la recombinaison repose sur un découplage de la synchronisation entre les activités oscillatoires du CEL et celles du DH dans la bande thêta (5-12 Hz). De plus, cet apprentissage est associé à une augmentation de l'amplitude des oscillations bêta (15-45 Hz) dans le CEL. Ces travaux montrent que le CEL et le DH interviennent dans les processus sous-tendant la flexibilité des représentations bimodales / The goal of this thesis is to study the involvement of two structures of the hippocampal formation, the lateral entorhinal cortex (LEC) and the dorsal hippocampus (DH), in the processes underlying the formation and the flexibility of associations of stimuli between two different sensory modalities. To this aim, a new olfactory-tactile (OT) bimodal task has been developed in the rat. To solve the task, animals have to identity one “odor-texture” combination between three in order to obtain a reinforcement (ex: O1T1+ O2T1 O1T2, + for the baited cup). This procedure excludes the use of any spatial or contextual cues for solving the task. After the acquisition of two different tasks, the familiar stimuli used in acquisition were recombined in a third task (called “recombination”). The pharmacological manipulation of the LEC showed that the NMDA glutamatergic and cholinergic system in this structure are involved in the processes underlying the acquisition and the recombination. In contrast, the cholinergic system in the DH is selectively and critically involved in the recombination processes. Compared to acquisition, our electrophysiological data showed that the recombination is based on a desynchronization between the oscillatory activities of the LEC and of the DH in the theta band (5-12 Hz). Moreover, this task is associated with increased amplitude of beta oscillations (15-45 Hz) in the LEC. These data demonstrated that the LEC and the DH are critically involved in the processes underlying the flexibility of bimodal representations