The last twenty years presented increased interest for the study of cerebral processes caused by external events (stimuli). One of the most significant endogenous components of Evoked Potentials is the P600 component. The P600 component may be defined as the most positive peak in the time window between 500 and 800 msec after an eliciting stimulus. This component is thought to reflect the response selection stage of information processing. P600 component is usually less pronounced compared to other components, such as the N100 or the P300. Frequently the P600 component appears as a not-easily discernible secondary peak overlying the ascending negative-going slope of the P300 waveform. In our study we used ERP data from various groups of patients and healthy controls. Patients were recruited from the outpatient university clinic of Eginition Hospital of the University of Athens. The controls were recruited from hospital staff and local volunteer groups. The aim of the study is the implementation of classification systems for these groups, using P600 features. This is usually not achieved well using as features the ERPs amplitude and latency. So for that reason, in our study, we want to extract new features using advanced techniques for processing the original ERPs, such as the Independent Component Analysis (ICA) method. However as a precursor of ICA, is considered the Principal Component Analysis (PCA) method, which we used for comparison reasons to ICA. In the application of ICA we achieve the decomposition of the recorded signals in ICs, supposing temporally independent components and propose ICs selection techniques in order to recompose the P600 component. The next stage was the use of a classification method based on the features extracted using the original data, data extracted through PCA processing and ICA-processed data. First we applied Kolmogorov-Smirnov test to check the normality of the distribution of the features, then we used the Logistic Regression method for classification and finally we have done two implementations of classification using Probabilistic Neural Networks. The first implementation was done with the creation of 15 features from the P600 peak amplitudes from the subjects’ data and the second implementation was done with the creation of four meta-features from the subjects’ P600 amplitude data. The results show that the application of ICA, combined with the logistic regression classification technique, provides notable improvement, compared to the classification performance based on the original ERPs. The main merit of the application is that classification is based on single parameters, i.e. amplitude of the P600 component, or its latency or its termination latency, which are directly related to the brain mechanisms related to ERP generation and pathological processes. / Τα τελευταία 20 χρόνια παρουσιάζεται αυξημένο ενδιαφέρον για την μελέτη εγκεφαλικών επεξεργασιών που προκλήθηκαν από εξωτερικά γεγονότα (ερέθισμα). Ένα από τα πιο σημαντικά ενδογενή συστατικά των Προκλητών Δυναμικών είναι το συστατικό P600. Το συστατικό P600 μπορεί να οριστεί σαν η πιο θετική αιχμή στο χρονικό διάστημα μεταξύ 500 και 800 msec μετά από ένα εκλυτικό ερέθισμα. Το συστατικό αυτό θεωρείται ότι απεικονίζει το στάδιο επιλογής απόκρισης της επεξεργασίας πληροφορίας. Το συστατικό P600 είναι συνήθως λιγότερο έντονο συγκρίνοντας το με άλλα συστατικά, όπως το N100 ή το P300. Συχνά το συστατικό P600 εμφανίζεται ως μια δυσδιάκριτη δεύτερη αιχμή, επικαλύπτοντας την ανοδική αρνητική κλίση της κυματομορφής του P300. Στη μελέτη μας χρησιμοποιήσαμε δεδομένα ΠΔ από ποικίλες ομάδες ασθενών και υγιών μαρτύρων. Οι ασθενείς συλλέχθησαν από τη πανεπιστημιακή κλινική του Αιγηνήτειου Νοσοκομείου του Πανεπιστημίου Αθηνών. Οι υγιείς συλλέχθησαν από το προσωπικό του νοσοκομείου και ομάδες εθελοντών. Ο σκοπός της μελέτης είναι η εφαρμογή συστημάτων ταξινόμησης για αυτές τις ομάδες, χρησιμοποιώντας χαρακτηριστικά του P600. Αυτό συνήθως δεν επιτυγχάνεται καλά χρησιμοποιώντας σαν χαρακτηριστικά το πλάτος και τον λανθάνοντα χρόνο των ΠΔ. Για αυτό το λόγο, στην μελέτη μας, θέλουμε να εξάγουμε νέα χαρακτηριστικά χρησιμοποιώντας προηγμένες τεχνικές για επεξεργασία των αρχικών ΠΔ, όπως τη μέθοδο Ανάλυσης Ανεξαρτήτων Συνιστωσών (ICA). Εντούτοις ως πρόδρομο της ICA, θεωρείται η μέθοδος Ανάλυσης Κύριων Συνιστωσών (PCA), την οποία χρησιμοποιήσαμε για συγκριτικούς λόγους με την ICA. Στην εφαρμογή της ICA προχωρήσαμε στην αποσύνθεση των καταγραφόμενων σημάτων σε Ανεξάρτητες Συνιστώσες και διερευνήσαμε τρεις τεχνικές επιλογής ανεξαρτήτων συνιστωσών μέσω των οποίων επανασυνθέσαμε το συστατικό P600. Το επόμενο βήμα ήταν η χρήση μεθόδου ταξινόμησης βασισμένης στα χαρακτηριστικά που εξάχθηκαν χρησιμοποιώντας τα αρχικά δεδομένα, τα δεδομένα με επεξεργασία PCA και τα δεδομένα με επεξεργασία ICA. Πρώτα εφαρμόσαμε το τεστ Kolmogorov-Smirnov για τον έλεγχο της κανονικότητας της κατανομής των χαρακτηριστικών, μετά χρησιμοποιήσαμε τη μέθοδο Λογαριθμικής Παλινδρόμησης (Logistic Regression) για ταξινόμηση και τελικά πραγματοποιήσαμε δύο εφαρμογές ταξινόμησης χρησιμοποιώντας Πιθανοκρατικά Νευρωνικά Δίκτυα (Probabilistic Neural Networks). Η πρώτη εφαρμογή έγινε με την δημιουργία 15 χαρακτηριστικών από τα πλάτη των αιχμών του P600 από τα δεδομένα των ομάδων και η δεύτερη εφαρμογή έγινε με την δημιουργία τεσσάρων μετά-χαρακτηριστικών από τα δεδομένα των πλατών των ομάδων. Τα αποτελέσματα δείχνουν ότι η εφαρμογή της ICA, συνδυασμένη με την τεχνική ταξινόμησης λογαριθμικής παλινδρόμησης, παρέχει αξιοσημείωτη βελτίωση, συγκριτικά με την απόδοση ταξινόμησης βάση των αρχικών ΠΔ. Η κύρια αξία της εφαρμογής είναι ότι η ταξινόμηση πετυχαίνει ποσοστά μεγαλύτερα του 80% βασιζόμενη σε μία μόνο κάθε φορά παράμετρο, π.χ. το πλάτος του συστατικού P600, ή τον λανθάνοντα χρόνο του ή τον λανθάνοντα χρόνο τερματισμού του, οι οποίες σχετίζονται άμεσα με τους μηχανισμούς του εγκεφάλου σχετικούς με την παραγωγή ΠΔ και τις παθολογικές διαδικασίες.

Wie sich die Sprachwahrnehmung an ständig eingehende Informationen anpasst, ist eine Schlüsselfrage in der Gedanken- und Gehirnforschung. Die vorliegende Dissertation zielt darauf ab, zum Verständnis von Anpassungen an die Sprecheridentität und Sprachfehler während der Sprachverarbeitung beizutragen und unser Wissen über die Rolle der kognitiven Kontrolle bei der Sprachverarbeitung zu erweitern. Zu diesem Zweck wurden ereigniskorrelierte Potentiale (EKPs, englisch: event-related potentials, ERPs) N400 und P600 in der Elektroenzephalographie (EEG) analysiert. Die vorliegende Arbeit befasste sich insbesondere mit der Frage nach der Anpassung an die Sprecheridentität bei der Verarbeitung von zwei Arten von Sprachfehlern (Xu, Abdel Rahman, & Sommer, 2019), und untersuchte die proaktive Anpassungen, die durch die Erkennung von Sprachfehlern (Xu, Abdel Rahman, & Sommer, 2021) und durch die Sprecher(dis)kontinuität über aufeinanderfolgende Sätze in Situationen mit mehreren Sprechern ausgelöst wurden (Xu, Abdel Rahman, & Sommer, 2021, in press). Die Ergebnisse zeigten, dass unterschiedliche Sprachverarbeitungsstrategien entsprechend der Sprecheridentität von Muttersprachlern oder Nicht-Muttersprachlern und zwei verschiedenen Arten von Sprachfehlern angepasst wurden, was sich in unterschiedlichen N400- und P600-Effekten widerspiegelte. Darüber hinaus kann die Erkennung von Konflikten (Sprachfehler) und Sprecher(dis)kontinuität über aufeinanderfolgende Sätze hinweg eine proaktive kognitive Kontrolle erfordern, die die Verarbeitungsstrategien für den folgenden Satz schnell anpasst, was sich in bisher nicht gemeldeten sequentiellen Anpassungseffekten in der P600-Amplitude manifestierte. Basierend auf dem DMC Modell (Braver, 2012; Braver, Gray, & Burgess, 2007) und dem Überwachungsmodell der Sprachverarbeitung (van de Meerendonk, Indefrey, Chwilla, & Kolk, 2011) schlage ich vor, dass die P600-Amplitude nicht nur reaktive Anpassungen manifestiert, die durch Konflikterkennung ausgelöst werden, nämlich die klassischen P600-Effekte, die eine erneute Analyse der Sprachverarbeitung widerspiegeln, sondern auch proaktive Anpassungen in der Überwachung der Sprachverarbeitung, die Mechanismen der kognitiven Kontrolle von Aufmerksamkeit und Gedächtnis beinhalten. / How language perception adapts to constantly incoming information is a key question in mind and brain research. This doctoral thesis aims to contribute to the understanding of adaptation to speaker identity and speech error during speech processing, and to enhance our knowledge about the role of cognitive control in speech processing. For this purpose, event-related brain potentials (ERPs) N400 and P600 in the electroencephalography (EEG) were analyzed. Specifically, the present work addressed the question about adaptation to the speaker’s identity in processing two types of speech errors (Xu, Abdel Rahman, & Sommer, 2019), and explored proactive adaptation initiated by the detection of speech errors (Xu, Abdel Rahman, & Sommer, 2021) and by speaker (dis-)continuity across consecutive sentences in multi-speaker situations (Xu, Abdel Rahman, & Sommer, 2021, in press). Results showed that different speech processing strategies were adapted according to native or non-native speaker identity and two different types of speech errors, reflected in different N400 and P600 effects. In addition, detection of conflict (speech error) and speaker (dis-)continuity across consecutive sentences engage cognitive control to rapidly adapt processing strategies for the following sentence, manifested in hitherto unreported sequential adaptation effects in the P600 amplitude. Based on the DMC model (Braver, 2012; Braver, Gray, & Burgess, 2007) and the monitoring theory of language perception (van de Meerendonk, Indefrey, Chwilla, & Kolk, 2011), I propose that the P600 amplitude manifests not only reactive adaptations triggered by conflict detection, i.e., the classic P600 effect, reflecting reanalysis of speech processing, but also proactive adaptations in monitoring the speech processing, engaging cognitive control mechanisms of attention and memory.

This review has examined the spatial and temporal neural activation of speech comprehension. Six theories on speech comprehension were selected and reviewed. The most fundamental structures for speech comprehension are the superior temporal gyrus, the fusiform gyrus, the temporal pole, the temporoparietal junction, and the inferior frontal gyrus. Considering temporal aspects of processes, the N400 ERP effect indicates semantic violations, and the P600 indicates re-evaluation of a word due to ambiguity or syntax error. The dual-route processing model provides the most accurate account of neural correlates and streams of activation necessary for speech comprehension, while also being compatible with both the reviewed studies and the reviewed theories. The integrated theory of language production and comprehension provides a contemporary theory of speech production and comprehension with roots in computational neuroscience, which in conjunction with the dual-route processing model could drive the fields of language and neuroscience even further forward.

L'étude de fonctions cognitives telles que le langage, la conscience et a fortiori leurs relations, constitue un défi aux confins de la médecine et des neurosciences cognitives. Le traitement sémantique procure à nos expériences perceptuelles un niveau de représentation abstrait, permettant une variété de fonctions conceptuelles. Dans ce travail, nous avons voulu explorer les relations entre le traitement sémantique verbal et la conscience en adoptant une double approche : d'une part en étudiant des sujets sains en condition de perception consciente et inconsciente (en utilisant une technique de masquage visuel), et d'autre part en étudiant des patients présentant un trouble de la conscience. Au travers de ce travail, nous apportons des arguments en faveur de l'existence de représentations sémantiques verbales inconscientes. Nous proposons également que les deux signatures cérébrales observées en potentiels évoqués (N400 puis LPC/P600) puissent s'intégrer dans un modèle à deux temps : premier temps inconscient (correspondant à la N400), puis second temps conscient (correspondant à la LPC/P600). En explorant les différences entre traitement conscient et non conscient, nous montrons que le traitement sémantique non conscient est sensible aux influences descendantes conscientes, ce qui réfute une conception strictement automatique de la cognition inconsciente. Nos résultats apportent également un nouveau regard sur les mécanismes de résolution d'ambiguïté sémantique. L'exploration des capacités cognitives telles que le traitement sémantique verbal, chez des patients présentant un trouble de la conscience, devrait permettre des avancées notables dans leur prise en charge. / The study of cognitive functions so complex such as language and consciousness, and of their interactions, is a challenge at the boundaries between medicine (intensive care, anesthesia, neurology) and cognitive neuroscience. Semantic processing provides our perceptual experiences with a level of abstraction allowing a variety of conceptual functions such as object recognition, social cognition, or language. In this thesis, we explored the relationships between verbal semantic processing and consciousness using a double approach: first, by studying healthy subjects in conscious and unconscious condition (using visual masking), and secondly by studying patients with disorders of consciousness. Through this work we provided empirical evidence of unconscious semantic representations. We then proposed that the two main brain signatures of semantic processing observed in ERPs (N400 and LPC / P600) could be integrated in a two stages model: a first unconscious stage (corresponding to the N400), followed or not by a second stage of processing corresponding to conscious semantics (LPC / P600). Exploring the differences between conscious and nonconscious processing, we showed that nonconscious semantic processing is sensitive to conscious top-down influences. These results refute a strictly automatic conception of unconscious cognition. Our results also shed new light on the respective roles of the two hemispheres in the resolution of semantic ambiguity. The exploration of high-level cognitive abilities, - such a verbal semantic processing - in patients affected with disorder of consciousness should enable significant advancements in their medical management.

Objectifs : 1) Investiguer si des erreurs d’accord en genre en français oral induisent des réponses neurophysiologiques différentes chez les adultes et les adolescents. 2) Comparer les réponses neurophysiologiques induites par des erreurs d’accord en genre sur les déterminants et sur les adjectifs. Contexte : Le genre féminin en français oral est irrégulièrement marqué par une consonne finale sur les adjectifs ([vɛʁ] / [vɛʁt]) et régulièrement marqué par une alternance vocalique sur les déterminants ([loe] / [la]). Les études d’électroencéphalographie (EEG) ont trouvé que des erreurs d’accord en genre en français oral induisaient chez les adultes des réponses neuronales différentes pour les désaccords sur les adjectifs et ceux sur les déterminants. Des réponses différentes, incomparables à celles des adultes, ont aussi induites chez de jeunes enfants de 4 à 8 ans par les mêmes désaccords. À quel âge ce patron sera comparable à celui des adultes et pour quel processus grammatical n’a pas été étudié exhaustivement. Méthodologie : 29 adultes et 26 (pré)adolescents francophones de 10 à 16 ans ont participé au projet. Les participants ont entendu des phrases contenant un désaccord en genre sur i) le déterminant (Je vois *le chaise vert sur la table) et ii) sur l’adjectif (Je vois la chaise *vert dans la boite). Ils ont aussi entendu des phrases sans erreur. Les potentiels évoqués ont été extraits de la différence de voltage entre les phrases avec erreurs et les phases correctes, et ils ont été insérés dans des modèles mixtes linéaires pour comparer les effets entre les deux groupes. Résultats : Les désaccords sur les déterminants ont induit une négativité antérieure (AN) suivie d’une P600 dans les deux groupes. Les erreurs sur adjectifs ont plutôt induit chez les adultes une négativité latéralisée à gauche en plus d’une une N400 suivie par une P600. Cette condition a induit une N400-P600 chez les adolescents. Ces résultats nous indiquent que le traitement de l’accord en genre du déterminant semble être mature à l’adolescence, ce qui n’est pas le cas pour celui de l’adjectif. De plus, les N400 trouvées pour les deux groupes indiquent une possible lexicalisation du traitement de l’accord des adjectifs en français. / Objectives: 1) Investigate whether neurophysiological responses elicited by spoken French gender agreement errors differ between Quebec adolescents and adults. 2) Compare the response elicited by disagreements on adjectives and determiners. Context: Spoken French gender agreement is irregularly marked on adjectives by a final consonant ([vɛʁ] / [vɛʁt]), whereas it is regularly marked on determiners by a regular final vowel alternation ([loe] / [la]). Electroencephalography (EEG) studies have found that gender agreement violations on French adjectives and determiners elicited different patterns in adults. Different patterns, however, incomparable to those found in adults, were also found in young children aged 4-8 years old. At what age and for which grammatical process the EEG response will be comparable to adults have yet to be fully explored. Methods: 29 adults and 26 French-speaking (pre)adolescents aged 10-16 years old participated in this project. Participants heard sentences containing gender disagreements on i) determiners (Je vois *le chaise vert sur la table ‘I see *theM green chairF on the table) ii) on adjectives (Je vois la chaise *vert dans la boite ‘I see the *greenM chairF in the box) iii) sentences with on disagreements. Event-related potentials were extracted by comparing the voltage difference between correct and incorrect sentences; they were then fitted into mixed linear models to compare group differences. Results: Violations on determiners elicited an anterior negativity (AN) followed by a P600 in both groups. Adjective errors elicited, in adults, a lateralized negativity (LN) and a N400 followed by a P600. This condition elicited a N400-P600 in adolescents. These results indicate that French determiner gender agreement seems to be mature in adolescents, which is not the case for adjective gender agreement. Furthermore, the presence of N400 in both groups for adjective mismatches points towards a lexicalisation of adjective gender agreement.

La présente thèse utilise la technique des potentiels évoqués afin d’étudier les méchanismes neurocognitifs qui sous-tendent la compréhension de la phrase. Plus particulièrement, cette recherche vise à clarifier l’interaction entre les processus syntaxiques et sémantiques chez les locuteurs natifs et les apprenants d’une deuxième langue (L2). Le modèle “syntaxe en premier” (Friederici, 2002, 2011) prédit que les catégories syntaxiques sont analysées de façon précoce: ce stade est reflété par la composante ELAN (Early anterior negativity, Négativité antérieure gauche), qui est induite par les erreurs de catégorie syntaxique. De plus, ces erreurs semblent empêcher l’apparition de la composante N400 qui reflète les processus lexico-sémantiques. Ce phénomène est défini comme le bloquage sémantique (Friederici et al., 1999). Cependant, la plupart des études qui observent la ELAN utilisent des protocoles expérimentaux problématiques dans lesquels les différences entre les contextes qui précèdent la cible pourraient être à l’origine de résultats fallacieux expliquant à la fois l’apparente “ELAN” et l’absence de N400 (Steinhauer & Drury, 2012). La première étude rééevalue l’approche de la “syntaxe en premier” en adoptant un paradigme expériemental novateur en français qui introduit des erreurs de catégorie syntaxique et les anomalies de sémantique lexicale. Ce dessin expérimental équilibré contrôle à la fois le mot-cible (nom vs. verbe) et le contexte qui le précède. Les résultats récoltés auprès de locuteurs natifs du français québécois ont révélé un complexe N400-P600 en réponse à toutes les anomalies, en contradiction avec les prédictions du modèle de Friederici. Les effets additifs des manipulations syntaxique et sémantique sur la N400 suggèrent la détection d’une incohérence entre la racine du mot qui avait été prédite et la cible, d’une part, et l’activation lexico-sémantique, d’autre part. Les réponses individuelles se sont pas caractérisées par une dominance vers la N400 ou la P600: au contraire, une onde biphasique est présente chez la majorité des participants. Cette activation peut donc être considérée comme un index fiable des mécanismes qui sous-tendent le traitement des structures syntagmatiques. La deuxième étude se concentre sur les même processus chez les apprenants tardifs du français L2. L’hypothèse de la convergence (Green, 2003 ; Steinhauer, 2014) prédit que les apprenants d’une L2, s’ils atteignent un niveau avancé, mettent en place des processus de traitement en ligne similaires aux locuteurs natifs. Cependant, il est difficile de considérer en même temps un grand nombre de facteurs qui se rapportent à leurs compétences linguistiques, à l’exposition à la L2 et à l’âge d’acquisition. Cette étude continue d’explorer les différences inter-individuelles en modélisant les données de potentiels-évoqués avec les Forêts aléatoires, qui ont révélé que le pourcentage d’explosition au français ansi que le niveau de langue sont les prédicteurs les plus fiables pour expliquer les réponses électrophysiologiques des participants. Plus ceux-ci sont élevés, plus l’amplitude des composantes N400 et P600 augmente, ce qui confirme en partie les prédictions faites par l’hypothèse de la convergence. En conclusion, le modèle de la “syntaxe en premier” n’est pas viable et doit être remplacé. Nous suggérons un nouveau paradigme basé sur une approche prédictive, où les informations sémantiques et syntaxiques sont activées en parallèle dans un premier temps, puis intégrées via un recrutement de mécanismes contrôlés. Ces derniers sont modérés par les capacités inter-individuelles reflétées par l’exposition et la performance. / The present thesis uses event-related potentials (ERPs) to investigate neurocognitve mechanisms underlying sentence comprehension. In particular, these two experiments seek to clarify the interplay between syntactic and semantic processes in native speakers and second language learners. Friederici’s (2002, 2011) “syntax-first” model predicts that syntactic categories are analyzed at the earliest stages of speech perception reflected by the ELAN (Early left anterior negativity), reported for syntactic category violations. Further, syntactic category violations seem to prevent the appearance of N400s (linked to lexical-semantic processing), a phenomenon known as “semantic blocking” (Friederici et al., 1999). However, a review article by Steinhauer and Drury (2012) argued that most ELAN studies used flawed designs, where pre-target context differences may have caused ELAN-like artifacts as well as the absence of N400s. The first study reevaluates syntax-first approaches to sentence processing by implementing a novel paradigm in French that included correct sentences, pure syntactic category violations, lexical-semantic anomalies, and combined anomalies. This balanced design systematically controlled for target word (noun vs. verb) and the context immediately preceding it. Group results from native speakers of Quebec French revealed an N400-P600 complex in response to all anomalous conditions, providing strong evidence against the syntax-first and semantic blocking hypotheses. Additive effects of syntactic category and lexical-semantic anomalies on the N400 may reflect a mismatch detection between a predicted word-stem and the actual target, in parallel with lexical-semantic retrieval. An interactive rather than additive effect on the P600 reveals that the same neurocognitive resources are recruited for syntactic and semantic integration. Analyses of individual data showed that participants did not rely on one single cognitive mechanism reflected by either the N400 or the P600 effect but on both, suggesting that the biphasic N400-P600 ERP wave can indeed be considered to be an index of phrase-structure violation processing in most individuals. The second study investigates the underlying mechanisms of phrase-structure building in late second language learners of French. The convergence hypothesis (Green, 2003; Steinhauer, 2014) predicts that second language learners can achieve native-like online- processing with sufficient proficiency. However, considering together different factors that relate to proficiency, exposure, and age of acquisition has proven challenging. This study further explores individual data modeling using a Random Forests approach. It revealed that daily usage and proficiency are the most reliable predictors in explaining the ERP responses, with N400 and P600 effects getting larger as these variables increased, partly confirming and extending the convergence hypothesis. This thesis demonstrates that the “syntax-first” model is not viable and should be replaced. A new account is suggested, based on predictive approaches, where semantic and syntactic information are first used in parallel to facilitate retrieval, and then controlled mechanisms are recruited to analyze sentences at the interface of syntax and semantics. Those mechanisms are mediated by inter-individual abilities reflected by language exposure and performance.