Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Situation awareness and collective intelligence are two technologies used in smart systems. The former renders those systems able to reason upon their abstract knowledge of what is going on. The latter enables them learning and deriving new information from a composition of experiences of their users. In this dissertation we present a doctoral research on an attempt to combine the two in order to obtain, in a collaborative fashion, situation-based rules that the whole community of entities would benefit of sharing. We introduce the KRAMER recommendation system, which we designed and implemented as a solution to the problem of not having decision support tools both situation-aware and collaborative. The system is independent from any domain of application in particular, in other words generic, and we apply its prototype implementation to context-enriched social communication scenario.

L'objectif de cette thèse est de s'intéresser à l'impact de la dégradation du signal de parole sur le traitement et les représentations du langage. Le signal peut être dégradé de façon transitoire (i.e., parole dans le bruit, Axe 1) ou permanente (Axe 2). L'Axe 1 étudie l'impact de la présence de bruit sur le traitement sémantique au niveau du mot isolé et dans un contexte phrastique. Deux études ont permis de mettre en évidence que lorsque le signal de parole est masqué, le traitement sémantique est moins efficace, voire disparait. A la lumière de l'Effortfulness Hypothesis nous suggérons que le traitement sémantique n'est pas automatique mais dépendant de ressources cognitives. Lorsque le signal de parole est dégradé ces ressources cognitives sont allouées aux traitements linguistiques de bas niveau, les traitements de haut niveau comme le traitement sémantique sont donc moins efficaces. L'Axe 2 évalue les liens entre la dégradation permanente du signal de parole du fait d'un manque de maturité des traitements auditifs centraux ou à un Trouble du Traitement Auditif (TTA) et les représentations langagières. Deux études se sont intéressées au développement des traitements auditifs et à la présence de TTA au sein d'une population d'adultes dyslexiques. Les résultats ont mis en évidence que les traitements auditifs centraux continuent leur maturation durant l'adolescence. La dernière étude a permis de mettre en évidence chez la population dyslexique des difficultés dans les tests impliquant des traitements spectral et temporel. Ces compétences sont apparues liées au sein de cette population aux représentations phonologiques. L'ensemble des résultats suggèrent que la dégradation du signal de parole a différents effets sur le langage selon sa nature. Ainsi, lorsqu'elle est transitoire elle impacte sa compréhension en dépit d'une intelligibilité préservée. Une dégradation transitoire impacte la compréhension malgré l'intelligibilité, la dégradation permanente impacte les représentations différemment selon la population / This thesis aims at investigating the effect of speech degradation on language processing and representation. Speech signal can be degraded temporary (i.e., speech in noise) or continually, when central auditory processes are deficient. Experimental work was therefore based on two main axes. The first one got interested in the effect of noise on semantic processing, despite preserved intelligibility. Two studies showed that semantic processing is less efficient when speech is presented in noisy condition. In light of the Effortfulness Hypothesis, we suggest that semantic processing relies on cognitive resources. When signal is degraded these resources are reallocated to low level processes and therefore few are left available to perform higher level processes. Axe 2 aims at evaluating links between continuous speech degradation because of immaturity of central auditory processes or Auditory Processing Disorder (APD) and language representation. Two studies investigated the effect of auditory processing development on language on a children population (6-11 years old) and the effect of APD on language representation in an adult dyslexic population. Both populations were evaluated using the BECAC (Donnadieu et al. 2014). This battery aims at evaluating central auditory processes using non-verbal material so that auditory performances can be related to language competences. Results evidenced that central auditory processes mature until adulthood, and at some point in development (8-9 years old) are linked to language representation. Results of the last study showed that dyslexic adults are impaired in tests involving spectral and temporal processes; in addition these abilities are related with phonological awareness. Altogether, these results indicate that speech degradation has distinct effects on language depending on its nature. Therefore when temporary, speech degradation impacts its comprehension despite intelligibility. When continuous, speech degradation’s impact evolves during development and disappears in normal adults. However, it stays for dyslexics

In this study we investigated the role of semantic-processing on memory for Spanish-English bilinguals using the DRM paradigm (Deese, 1959; Roediger & McDermott, 1995), a procedure commonly used to elicit false memories. Participants were tested in within-language (i.e., encoding language and recall language match) and across-language (i.e., encoding language and recall language mismatch). The results indicated higher levels of recall for semantic processing in all conditions, however at the cost of higher thematically-related intrusions. These findings are consistent with the “more is less” pattern (Toglia, Neuschatz, & Goodwin, 1999), wherein greater correct recall is accompanied by greater false recall. In addition, the cross-language conditions resulted in higher semantically relevant intrusions and lower recall overall when compared to the within-language conditions, what might be termed “less is less.” Across all conditions non-semantic processing led to fewer false memories leading to overall accuracy exceeding that in the semantic-processing. In addition, greater levels of accuracy were observed in the within-language conditions. The study highlights the effects of semantic-processing on associative memory by exploring linguistic conditions that lead to false memories and provides insight into the procedure involved in transferring information from one language at encoding and another at retrieval and how false memories occur during this transferring process. Spanish-English bilinguals represent more than half of all bilinguals in the United States, and this population continues to increase (Grosjean, 2012). Implications for forensic interviewing (as in avoiding suspect interrogations always being conducted in English) and eyewitness testimony are among the applications that are discussed.

Compte tenu de l ’importante augmentation de l ’espérance de vie de la population générale observée dans les dernières décennies, les études portant sur les modifications des fonctions cognitives lors du vieillissement normal et pathologique se révèlent d'un grand intérêt. Les résultats rapportés dans cette thèse contribuent à une meilleure compréhension de la nature des modifications avec l ’âge du traitement du sens métaphorique des mots et du phénomène de réorganisation fonctionnelle sous-tendant ces processus. Après une revue de littérature (chapitre 1), un premier article définissant la problématique générale du traitement du langage lors du vieillissement normal inaugure la série de travaux présentés dans cette thèse. Cet article, présenté dans le chapitre 2, confirme l ’importance du développement d ’études spécifiques permettant de faire le lien entre les différentes hypothèses portant sur les changements cognitifs propres au vieillissement normal et celles portant sur les changements propres au substrat neurobiologique du langage. Le chapitre 3 présente une étude comportementale ayant pour objectif d ’évaluer la disponibilité des ressources attentionnelles pour le traitement phonologique et sémantique des mots ainsi que son évolution possible avec l ’âge. Les conclusions tirées de cette étude vont dans le sens d ’une restriction des ressources attentionnelles particulièrement pour le traitement du sens métaphorique des mots lors du vieillissement normal. Le chapitre 4 présente une étude en neuroimagerie fonctionnelle. Cette étude a été réalisée afin de comparer les profils d'activation cérébrale des participants jeunes et âgés lors du traitement du sens métaphorique des mots. Les résultats obtenus soulignent qu ’autant pour les participants jeunes que pour les participants âgés, le traitement du sens métaphorique des mots pourrait imposer au cerveau le partage des ressources attentionnelles. Néanmoins, ils montrent une réorganisation fonctionnelle chez les participants âgés. L ’ensemble des travaux présentés appuie l ’hypothèse d ’une attribution différentielle des ressources attentionnelles ainsi que celle d ’une réorganisation fonctionnelle chez les participants âgés pour le traitement du sens métaphorique des mots. Les résultats viennent enrichir la compréhension des modèles neurocognitifs du vieillissement en ce qui concerne l ’évolution des bases neurobiologiques du langage. / Given the significant increase in life expectancy of the general population observed in recent decades, the study of alterations in cognitive functions during normal and pathological ageing is of great importance. The results reported in this thesis contribute to a better understanding of the nature of the age-related changes on processing metaphoric meaning of words and the phenomenon of functional reorganization underlying these processes. After a brief literature review (chapter 1), a first article offering a general view of the problem of language processing in normal aging introduces the series of studies presented in this thesis. This article, presented in Chapter 2, points out the importance of developing specific protocols aiming to establish a link between the different hypotheses concerning cognitive changes during normal aging and those related to changes in neurobiological substrate of language. Chapter 3 presents a behavioural study aiming to assess the availability of attentional resources for the phonological and semantic processing of words and its possible evolution with age. The findings of this study are consistent with the idea of an age- related restriction of available attentional resources for the processing of metaphorical meaning of words. Chapter 4 presents a neuroimaging study. This study was conducted to compare patterns of brain activation of young and older participants during the processing of metaphoric meaning of words. The results emphasize that both, younger and older participants, require the sharing of attentional resources during processing metaphorical meaning of words, but show a functional reorganization in the older group. Taken together, the studies presented here support the hypothesis of an age-related restriction of available attentional resources and of an age-related functional reorganization for the processing of metaphorical meaning of words. The results enrich our understanding of neurocognitive aging models regarding the evolution of neurobiological bases of language.

Lesen zielt darauf ab, Bedeutung aus geschriebenem Text zu extrahieren. Interessanterweise unterscheiden sich Wörter beträchtlich hinsichtlich der Menge mit ihnen assoziierter Bedeutung, und es wurde kürzlich gezeigt, dass eine hohe Bedeutungshaltigkeit lexikalische und semantische Aufgaben erleichtert. Die vorliegende Dissertation kombiniert ereigniskorrelierte Potentiale (EKPs) und konnektionistische Modellierung, um einige offene Fragen zur Rolle der Bedeutungshaltigkeit bei der Wortverarbeitung anzugehen. Hierbei wurden EKPs verwendet, um den Zeitverlauf unabhängiger Einflüsse der Anzahl semantischer Merkmale und Assoziationen beim Wortlesen zu bestimmen sowie Einflüsse von Bedeutungshaltigkeit auf implizites Wortlernen zu untersuchen. Um die zugrundeliegenden Mechanismen besser zu verstehen, wurden die Ergebnisse anschließend mittels eines semantischen Netzwerk-Modells simuliert. Es zeigten sich keine Einflüsse der Anzahl der Assoziationen, aber eine schnelle Aktivierung semantischer Merkmale, die das EKP bereits ab 190 ms beeinflussten - nur 20 bis 30 ms nach und zeitlich überlappend mit der Aktivierung orthographischer Repräsentationen, die durch N1-Lexikalitätseffekte angezeigt wurden. Im weiteren Verlauf ging eine hohe Merkmalsanzahl mit größeren N400-Amplituden einher. Zudem verstärkten semantische Merkmale Wiederholungseinflüsse auf die Akkuratheit lexikalischer Entscheidungen und N400-Amplituden, was einen ersten Hinweis auf Einflüsse von Bedeutungshaltigkeit auf implizites Wortlernen darstellt. Diese Ergebnisse stehen im Einklang mit merkmalsbasierten semantischen Netzwerk-Modellen. Simulationen legen nahe, dass semantische Aktivierung lexikalische Entscheidungen erleichtert, während Netzwerk-Fehler in engem Zusammenhang mit N400-Amplituden stehen. Da Netzwerk-Fehler psychologisch als implizite Vorhersagefehler interpretiert werden, deuten diese Ergebnisse darauf hin, dass N400-Amplituden implizite Vorhersagefehler im semantischen System widerspiegeln. / Language ultimately aims to convey meaning. Importantly, the amount of associated semantic information varies considerably between words. Recent evidence suggests that the richness of semantic representations facilitates performance in lexical and semantic tasks, but much remains to be learned about semantic richness effects. The present dissertation combined event-related brain potentials (ERPs) and connectionist modeling to address several unresolved issues concerning the role of semantic richness in word processing. Specifically, ERPs were employed to investigate the time course of independent influences of the number of semantic features and associates during word reading (study 1) and influences of semantic richness on implicit word learning (study 2). Aiming at advancing a mechanistic understanding of the obtained results, both studies were subsequently simulated using a network model of semantic cognition (study 3). Results showed no influences of the number of associates, but fast access to semantic features, with influences of feature-based semantic richness starting at about 190 ms - a mere 20 to 30 ms after and temporally overlapping with the activation of orthographic representations as reflected by N1 lexicality effects. Later on, a high number of semantic features induced larger N400 amplitudes. Furthermore, the number of semantic features enhanced repetition priming effects on lexical decision accuracy and N400 amplitudes, providing initial evidence for influences of semantic richness on implicit word learning. These results are in line with feature-based network models of semantic cognition. Simulations with such a model suggest that semantic activation can facilitate lexical decisions, while network error closely corresponds to N400 amplitudes. In psychological terms, network error has been conceptualized as implicit prediction error. Thus, these results are taken to suggest that N400 amplitudes reflect implicit prediction error in semantic memory.

This study examined the effects of linguistic task demands on the neuroanatomical localization of the neural response related to automatic semantic processing of concrete German nouns combining the associative priming paradigm with functional magnetic resonance imaging (fMRI). To clarify the functional role of the inferior frontal gyrus (IFG) for semantic processing with respect to semantic decision making compared to semantic processing per se, we used a linguistic task that involved either a binary decision process (i.e., semantic categorization; Experiment 1) or not (i.e., silently thinking about a word's meaning; Experiment 2). We observed associative priming effects indicated as neural suppression in bilateral superior temporal gyri (STG), anterior cingulate cortex (ACC), occipito-temporal brain areas, and in medial frontal brain areas independently of the linguistic task. Inferior parietal brain areas were more active for silently thinking about a word's meaning compared to semantic categorization. A conjunction analysis of linguistic task revealed that both tasks activated the same left-lateralized occipito-temporo-frontal network including the IFG. Contrasting neural associative priming effects across linguistic task demands, we found a significant interaction in the right IFG. The present fMRI data give rise to the assumption that activation of the left inferior frontal gyrus (LIFG) in the semantic domain might be important for semantic processing in general and not only for semantic decision making. These findings contrast with a recent study regarding the role of the LIFG for binary decision making in the lexical domain (Wright et al. 2011).

Compte tenu de l ’importante augmentation de l ’espérance de vie de la population générale observée dans les dernières décennies, les études portant sur les modifications des fonctions cognitives lors du vieillissement normal et pathologique se révèlent d'un grand intérêt. Les résultats rapportés dans cette thèse contribuent à une meilleure compréhension de la nature des modifications avec l ’âge du traitement du sens métaphorique des mots et du phénomène de réorganisation fonctionnelle sous-tendant ces processus. Après une revue de littérature (chapitre 1), un premier article définissant la problématique générale du traitement du langage lors du vieillissement normal inaugure la série de travaux présentés dans cette thèse. Cet article, présenté dans le chapitre 2, confirme l ’importance du développement d ’études spécifiques permettant de faire le lien entre les différentes hypothèses portant sur les changements cognitifs propres au vieillissement normal et celles portant sur les changements propres au substrat neurobiologique du langage. Le chapitre 3 présente une étude comportementale ayant pour objectif d ’évaluer la disponibilité des ressources attentionnelles pour le traitement phonologique et sémantique des mots ainsi que son évolution possible avec l ’âge. Les conclusions tirées de cette étude vont dans le sens d ’une restriction des ressources attentionnelles particulièrement pour le traitement du sens métaphorique des mots lors du vieillissement normal. Le chapitre 4 présente une étude en neuroimagerie fonctionnelle. Cette étude a été réalisée afin de comparer les profils d'activation cérébrale des participants jeunes et âgés lors du traitement du sens métaphorique des mots. Les résultats obtenus soulignent qu ’autant pour les participants jeunes que pour les participants âgés, le traitement du sens métaphorique des mots pourrait imposer au cerveau le partage des ressources attentionnelles. Néanmoins, ils montrent une réorganisation fonctionnelle chez les participants âgés. L ’ensemble des travaux présentés appuie l ’hypothèse d ’une attribution différentielle des ressources attentionnelles ainsi que celle d ’une réorganisation fonctionnelle chez les participants âgés pour le traitement du sens métaphorique des mots. Les résultats viennent enrichir la compréhension des modèles neurocognitifs du vieillissement en ce qui concerne l ’évolution des bases neurobiologiques du langage. / Given the significant increase in life expectancy of the general population observed in recent decades, the study of alterations in cognitive functions during normal and pathological ageing is of great importance. The results reported in this thesis contribute to a better understanding of the nature of the age-related changes on processing metaphoric meaning of words and the phenomenon of functional reorganization underlying these processes. After a brief literature review (chapter 1), a first article offering a general view of the problem of language processing in normal aging introduces the series of studies presented in this thesis. This article, presented in Chapter 2, points out the importance of developing specific protocols aiming to establish a link between the different hypotheses concerning cognitive changes during normal aging and those related to changes in neurobiological substrate of language. Chapter 3 presents a behavioural study aiming to assess the availability of attentional resources for the phonological and semantic processing of words and its possible evolution with age. The findings of this study are consistent with the idea of an age- related restriction of available attentional resources for the processing of metaphorical meaning of words. Chapter 4 presents a neuroimaging study. This study was conducted to compare patterns of brain activation of young and older participants during the processing of metaphoric meaning of words. The results emphasize that both, younger and older participants, require the sharing of attentional resources during processing metaphorical meaning of words, but show a functional reorganization in the older group. Taken together, the studies presented here support the hypothesis of an age-related restriction of available attentional resources and of an age-related functional reorganization for the processing of metaphorical meaning of words. The results enrich our understanding of neurocognitive aging models regarding the evolution of neurobiological bases of language.

This study examined the effects of linguistic task demands on the neuroanatomical localization of the neural response related to automatic semantic processing of concrete German nouns combining the associative priming paradigm with functional magnetic resonance imaging (fMRI). To clarify the functional role of the inferior frontal gyrus (IFG) for semantic processing with respect to semantic decision making compared to semantic processing per se, we used a linguistic task that involved either a binary decision process (i.e., semantic categorization; Experiment 1) or not (i.e., silently thinking about a word's meaning; Experiment 2). We observed associative priming effects indicated as neural suppression in bilateral superior temporal gyri (STG), anterior cingulate cortex (ACC), occipito-temporal brain areas, and in medial frontal brain areas independently of the linguistic task. Inferior parietal brain areas were more active for silently thinking about a word's meaning compared to semantic categorization. A conjunction analysis of linguistic task revealed that both tasks activated the same left-lateralized occipito-temporo-frontal network including the IFG. Contrasting neural associative priming effects across linguistic task demands, we found a significant interaction in the right IFG. The present fMRI data give rise to the assumption that activation of the left inferior frontal gyrus (LIFG) in the semantic domain might be important for semantic processing in general and not only for semantic decision making. These findings contrast with a recent study regarding the role of the LIFG for binary decision making in the lexical domain (Wright et al. 2011).

Die vorliegende Dissertation trägt zur Erforschung der fremdsprachlichen Sprachverarbeitung bei, indem sie den Einfluss von wachsendem Diskurs auf die semantische Verarbeitung von Wörtern durch fortgeschrittene Deutschlerner (L2) im Vergleich zu Muttersprachlern (L1) untersucht. Im Moment des Lese- und Hörverstehens wurde unter Laborbedingungen die kognitive Verarbeitung von bekannten Wörtern und die Bedeutungserschließung von unbekannten Wörtern mit Hilfe von kontextuellen Hinweisen im vorausgehenden Kontext erforscht. In der EEG-Studie wurde im Prozess des leisen Lesens die Gehirnreaktion der Versuchspersonen auf das kritische Wort im Text gemessen. Die Analyse des ereigniskorrelierten Potentials N400, das semantische Verarbeitung reflektiert, implizierte, dass selbst ein reduzierter unterstützender Kontext die Verarbeitung des kritischen bekannten Wortes erleichtert. Im Gegensatz dazu fördert ein zusammenhängender neutraler Kontext, der keine Hinweise auf die Bedeutung des kritischen bekannten Wortes enthält, dessen kognitive Verarbeitung nicht. Wenn aber in einem Text ein unbekanntes Wort vorkommt, scheinen nur die Muttersprachler, jedoch nicht die L2-Lerner, von erweitertem unterstützendem Kontext zu profitieren, um die Bedeutung dieses Wortes in realer Zeit zu erschließen. Die ursprüngliche Forschungsfrage wurde erweitert, um zu testen, ob Personen dazu fähig sind, ein nachfolgendes Wort im Kontext auf Grundlage der vorausgehenden semantischen Hinweise vorauszusagen. Diese Fähigkeit wurde im Moment der auditiv-visuellen Diskursverarbeitung untersucht. In der Eye-Tracking-Studie wurden die Blickbewegungen der Versuchsteilnehmer zu den kritischen Bildern auf dem Monitor aufgenommen, bevor das entsprechende kritische Wort genannt wurde. Die gewonnenen Daten belegen, dass Muttersprachler den nachfolgenden Input selbst auf Basis eines reduzierten unterstützenden Kontextes voraussagen können. Für die L2-Lermer scheint ein reduzierter unterstützender Kontext keine prädiktive Kraft zu besitzen. Im Kontrast zu den Ergebnissen der früheren Lesestudie demonstrierten beide Versuchspersonengruppen eine ähnlich ausgeprägte Fähigkeit dabei, die Bedeutung eines unbekannten Wortes aufgrund der semantischen Signale des vorausgehenden erweiterten Kontextes zu erschließen. Das könnte bedeuten, dass fortgeschrittene L2-Lerner in einer natürlicheren Sprachverarbeitungssituation – insbesondere wenn sie die Informationen über verschiedene sensorische Kanäle bekommen – die kontextuellen Signale eines erweiterten unterstützenden Kontextes ähnlich effektiv wie die Muttersprachler einsetzen können, um die nachfolgenden Wörter leichter zu verarbeiten. Die berichteten Ergebnisse wurden vor dem Hintergrund von gedächtnisbasierten Theorien der Diskursverarbeitung diskutiert. Es wurde angenommen, dass die gemessenen Unterschiede bei der kontextgebundener Wortverarbeitung mit der ungleich ausgeprägten Fähigkeit zusammenhängen könnten, in L1 und L2 mentale Modelle des verarbeiteten Diskurses aufzubauen. Die Erkenntnisse der vorliegenden Dissertation tragen zu dem Wissensstand über Diskursverarbeitungsstrategien durch neue empirische Daten bei, die einen Einblick darin gewähren, wie geschriebene und gesprochene Texte von L2-Sprechern und Muttersprachlern ähnlich oder unterschiedlich verarbeitet werden. Vom Standpunkt der Fremdsprachendidaktik aus könnten die Ergebnisse als Effizienzbeweis für die kontextbasierten Semantisierungsstrategie interpretiert werden. Die gewonnenen Erkenntnisse können in der Fremdsprachendidaktik eingesetzt werden, um die Diskursverarbeitung bei L2-Sprechern zu fördern.