Diese Dissertation führt den Beweis, dass Sprechaktbezug nicht anaphorischer, sondern deiktischer Natur ist, und stellt ein formales Modell für denselben vor. Korpusdaten in gesprochenem Deutsch und Daten aus Fernseh-Talkshows zeigen, dass man sich nur mit demonstrativen Ausdrücken auf Sprechakte beziehen kann. Zusätzlich unterstützen zwei Experimente die Beobachtung, dass Sprechaktbezüge nicht mit Personalpronomen getätigt werden. Nur selten lassen Muttersprachler des Deutschen ein gegebenes Personalpronomen auf einen Sprechakt referieren, und nur selten wählen sie das Personalpronomen, um sich auf einen gegebenen Sprechaktreferenten zu beziehen. Die klare Präferenz liegt beim Demonstrativum. Um auf Entitäten außerhalb des Diskurses zu referieren, nutzt man im Deutschen Demonstrativ-, nicht aber Personalpronomen. Dementsprechend sollten Sprechakte als Ereignisse im Äußerungskontext und nicht als Teil von sprachlicher Form und Bedeutung aufgefasst werden. Bestehenden Diskurstheorien mangelt es an einer Unterscheidung zwischen Anaphern und Deixis, während umgekehrt Theorien über sprachliche Bezüge sich nicht mit Sprechakten beschäftigen. Segmented Discourse Representation Theory (SDRT) integriert nicht-sprachliche Objekte als Diskursreferenten in die Diskursstruktur, was auch für Sprechakte gilt. Dieser Umstand erlaubt allerdings Anaphern auf Sprechakte. Da sich schwach referentielle Ausdrücke wie Personalpronomen nicht auf Sprechakte beziehen können, muss die Ontologie von Sprechakten in SDRT überdacht werden. Hier wird eine SDRT-Variante vorgestellt, die als Diskursmodell zwei Informationsquellen umfasst, nämlich a) semantische Äußerungsinhalte und b) die physische Umgebung der Gesprächsteilnehmer (d.h. ihre "joint attention"), dargestellt als zwei DRSen. Das Modell unterscheidet systematisch zwischen anaphorischem und deiktischem Bezug und dadurch auch zwischen Bezug auf sprachlichen Inhalt und auf sprachliche "Behältnisse": Sprechakte. / This dissertation provides evidence that reference to speech acts is deictic, not anaphoric, and furthermore introduces a formal model of speech act reference. Corpus data from spoken German as well as observed data from German TV talk shows demonstrates that speech acts are exclusively referred to by demonstrative expressions. Additionally, new experimental evidence supports this observation and shows that speech acts are not referred to by personal pronouns. German native speakers rarely make given personal pronouns refer to a speech act, nor do they decide for a personal pronoun to refer to a given speech act referent when forced to choose between personal and demonstrative pronouns. Demonstratives are strongly preferred. In German, demonstrative pronouns rather than personal pronouns are used to refer to objects external to the discourse. Consequently, speech acts should be modeled as events in the utterance context rather than as parts of linguistic form and meaning. Existing theories of discourse structure lack a distinction between anaphora and deixis, while theories of reference do not integrate the concept of a speech act. Segmented Discourse Representation Theory (SDRT) introduces non-linguistic entities in discourse structure. This includes speech acts, which are introduced as discourse referents, which in return predicts anaphoric reference to speech acts. Since reference to speech acts with weak expressions like personal pronouns does not occur, the status of speech acts in SDRT must be redefined. As variant of SDRT, I propose a discourse model that comprises the two information sources of a) semantic content of utterances and b) immediate physical environment of the interlocutors (i.e. their joint attention), which are represented as a pair of DRSs. This model systematically distinguishes between anaphora and deixis, and therefore between reference to linguistic content and reference to linguistic containers: speech acts.

Der Sprechakt teilt sich in zwei Vorgänge: Zunächst muss das richtige Wort aus dem mentalen Lexikon abgerufen werden und anschließend wird es in der Kommunikation verwendet. Zur Erforschung des ersteren Vorgangs werden oft Ein-Personen-Studien verwendet, in denen durch Beobachten der Reaktion auf Stimuli (z. B. Bilder) die Mikrostruktur des lexikalisch- semantischen Systems beleuchtet wird. Für die Anwendung von Sprache in der Kommunikation hingegen nutzt man Partnerexperimente, um die Koordination zwischen den Gesprächspartnern zu beobachten und zu ergründen, wie sich gegenseitiges Verstehen und biografisches Wissen darauf auswirken. Wenig erforscht ist aber, wie ein von einem Gesprächspartner eingebrachter Bedeutungskontext die traditionell in Ein-Personen-Studien untersuchten lexikalisch-semantischen Effekte beeinflusst. Im Rahmen meiner Dissertation möchte ich die Lücke zwischen den beiden Forschungsansätzen schließen, indem ich einen kommunikativen Kontext in etablierte Paradigmen der Bildbenennung integriere. Hierzu betrachte ich zunächst klassische semantische Kontexteffekte, die durch nähere oder entferntere kategorische Relationen zwischen Begriffen hervorgerufen werden (Studie 1), um anschließend lose thematische Beziehungen zu untersuchen, die mit alltäglichen Ereignissen verbunden sind (Studie 2 & Studie 3). Um die hochgradig verflochtenen Ebenen der lexikalischen und semantischen Verarbeitung voneinander zu trennen, habe ich ereigniskorrelierte Hirnpotentiale (ERPs) eingesetzt, um die elektrophysiologischen Signaturen des konzeptuellen Primings und der lexikalischen Auswahl zu verfolgen. Die vorliegende Arbeit liefert sowohl theoretische als auch praktische Beiträge. Erstens stützen unsere Ergebnisse die theoretischen Annahmen, dass sich semantisches Priming und lexikalische Interferenz vorübergehend überschneiden und gemeinsam das Benennungsverhalten in einem Trade-off beeinflussen. Auch die Gegenwart eines Kommunikationspartners kann Auswirkungen auf dieses Zusammenspiel haben. Zweitens ergänzen diese Ergebnisse die aktuelle Literatur zu verschiedenen Arten von semantischen Beziehungen, wie z. B. Nulleffekte für entfernte Beziehungen und Kontexteffekte, die systematisch mit der Stärke der Verwandtschaft zunehmen. Und schließlich bietet unser neuartiges Design eines kommunikativen Kontextes ein praktisches Instrument, um die Lücke zwischen Ein-Personen-Studien und Kommunikationsstudien zu schließen. Alles in allem tragen diese Ergebnisse zu einem besseren Verständnis der neuronalen Mechanismen unseres Sprachproduktionssystems bei, das in der Lage ist, sich flexibel sowohl an sprachliche als auch an soziale Kontexte anzupassen. / Speaking could be divided into two processes: first, the correct word must be retrieved from the mental lexicon, and then it is used in communication. To study the former process, single-person studies are often used, in which the microstructure of the lexical-semantic system is illuminated by observing reaction times to name stimuli (e.g., pictures). For the language use in communication, on the other hand, partner experiments are used to observe coordination between interlocutors and to explore how mutual understanding and biographical knowledge affect it. However, how a meaningful context brought by an interlocutor influences the established lexical-semantic effects from single-person studies remains underexplored. Within the scope of my dissertation, I aim to bridge the gap between these two research approaches by integrating a communicative context into well-established picture naming paradigms. To this end, I first investigate classic semantic context effects induced by close or distant categorical relations (Study 1), and then examine loose thematic relations associated with everyday events (Study 2 & Study 3). To separate the highly intertwined strata of lexical and semantic processing, I used event-related brain potentials (ERPs) to track the electrophysiological signatures of conceptual priming and lexical selection. The present work makes both theoretical and practical contributions. First, our results support the theoretical assumptions that semantic priming and lexical interference temporarily overlap, and jointly modulate naming behavior in a trade-off. Such interplay may be greatly influenced by the presence of a communicating partner. Second, these findings add to the current literature on different types of semantic relations, such as null effects for distant relations and context effects that systematically increase with the strength of relatedness. Finally, our novel design of a communicative context provides a practical tool to bridge the gap between single-person studies and communication studies. All in all, these findings advance our understanding of the neural mechanisms of our speech production system, which is capable of flexibly adapting to both linguistic and social contexts.

Der Prozess der lexikalischen Selektion, d.h. die Auswahl der richtigen Wörter zur Übermittlung einer intendierten Botschaft, ist noch nicht hinreichend verstanden. Insbesondere wurde kaum erforscht, inwiefern Bedeutungsaspekte, welche in sensomotorischen Erfahrungen gründen, diesen Prozess der Sprachproduktion beeinflussen. Die Rolle dieser Bedeutungsaspekte wurde mit zwei Studien untersucht, in denen Probanden Sätze vervollständigten. In Studie 1 wurde der visuelle Eindruck der Satzfragmente manipuliert, so dass die Sätze auf- oder absteigend am Bildschirm erschienen. In Studie 2 mussten die Probanden Kopfbewegungen nach oben oder unten ausführen, während sie die Satzfragmente hörten. Wir untersuchten, ob räumliche Aspekte der produzierten Wörter durch die räumlichen Manipulationen sowie die räumlichen Eigenschaften der präsentierten Satzfragmente beeinflusst werden. Die vertikale visuelle Manipulation in Studie 1 wirkte sich nicht auf die räumlichen Attribute der produzierten Wörter aus. Die Kopfbewegungen in Studie 2 führten zu einem solchen Effekt – bei Kopfbewegungen nach oben waren die Referenten der produzierten Wörter weiter oben im Raum angesiedelt als nach Bewegungen nach unten (und anders herum). Darüber hinaus war dieser Effekt stärker, je ausgeprägter die interozeptive Sensibilität der Probanden war. Zudem beeinflussten die räumlichen Aspekte der Satzfragmente die räumlichen Eigenschaften der produzierten Wörter in beiden Studien. Somit zeigt diese Arbeit, dass in der Erfahrung basierende Bedeutungsanteile, welche entweder in Sprache eingebettet sind oder durch körperliche Aktivität reaktiviert werden, die Auswahl der Wörter beim Sprechen beeinflussen und dass interindividuelle Unterschiede diesen Effekt modulieren. Die Befunde werden in Bezug zu Theorien der Semantik gesetzt. Darüber hinaus wird das Methodenrepertoire erweitert, indem mit Studie 3 ein Ansatz für die Durchführung von Online-Sprachproduktionsexperimenten mit Bildbenennung vorgestellt wird. / The process of lexical selection, i.e. producing the right words to get an intended message across, is not well understood. Specifically, meaning aspects grounded in sensorimotor experiences and their role during lexical selection have not been investigated widely. Here, we investigated the role of experientially grounded meaning aspects with two studies in which participants had to produce a noun to complete sentences which described sceneries. In Study 1, the visual appearance of sentence fragments was manipulated and they seemed to move upwards or downwards on screen. In Study 2, participants moved their head up- or downwards while listening to sentence fragments. We investigated whether the spatial properties of the freely chosen nouns are influenced by the spatial manipulations as well as by the spatial properties of the sentences. The vertical visual manipulation used in Study 1 did not influence the spatial properties of the produced words. However, the body movements in Study 2 influenced participants’ lexical choices, i.e. after up-movements the referents of the produced words were higher up compared to after downward movements (and vice verse). Furthermore, there was an increased effect of movement on the spatial properties of the produced nouns with higher levels of participants’ interoceptive sensibility. Additionally, the spatial properties of the stimulus sentences influenced the spatial properties of the produced words in both studies. Thus, experientially grounded meaning aspects which are either embedded in text or reactivated via bodily manipulations may influence which words we chose when speaking, and interindividual differences may moderate these effects. The findings are related to current theories of semantics. Furthermore, this dissertation enhances the methodological repertoire of language production researchers by showing how language production studies with overt articulation in picture naming tasks can be run online (Study 3).

Das Ziel der Dissertation ist, den Gebrauch von sekundären Raumdeixes (‚vor‘, ‚hinter‘, ‚rechts / links von‘) und Referenzrahmen (absolut, intrinsisch, relativ) von deutschen, englischen, italienischen und polnischen Muttersparcher_innen für die Beschreibung von statischen Raumrelationen zu untersuchen. Zwei Experimente pro Sprache wurden durchgeführt. Das erste Experiment untersuchte Seitenzuweisung. Die Proband_innen sahen ein Objekt von der Vorderseite (kanonische Position) und Rückseite (nicht-kanonische Position). Das Ergebnis bestätigt, dass die Proband_innen der vier Sprachen die Außenperspektive für die Seitenzuweisung des kanonisch stehenden vis-à-vis Objektes meistens benutzen. Einige Variationen haben die Pol_innen und Italiener_innen gezeigt, vor allem bei der Zuweisung von der rechten und linken Seite. Dabei wiesen die Deutschen und Italiener_innen signifikante Unterschiede auf. Mit dem Mouse Tracking habe ich die Interpretation von statischen Raumrelationen von zwei Komplexitätsgraden untersucht. Die einfachen Raumrelationen enthielten entweder ein extrinsisches oder intrinsisches Referenzobjekt (belebt; unbelebt) und eine Flasche als lokalisiertes Objekt. Die komplexeren Raumrelationen wurden um einen Agenten ergänzt und mit der indirekten Rede eingebettet. Das erlaubte die Erforschung von Origo-Shift. In allen Raumrelationen wurden die Proband_innen gebeten, die Lokalisation von der Flasche zu beschreiben. Die Deutschen und Italiener_innen zeigten signifikante Unterschiede bei der Interpretation von einfachen belebten und unbelebten intrinsischen Raumrelationen. Bei der Interpretation von komplexeren intrinsischen Raumrelationen haben die polnischen Muttersprachler_innen die Origo am häufigsten zum Agenten verschoben und von seinem Blickwinkel bezüglich des relativen Bezugsrahmens die Relationen beschrieben. Im Allgemeinen, für die Interpretation von komplexeren Raumrelationen ist die Wahl des intrinsischen Bezugsrahmens im Vergleich zu einfacheren Raumrelationen signifikant gesunken. Das heißt, die meisten Proband_innen haben die Origo zum Agenten verschoben und von seinem Blickwinkel die Raumrelationen bezüglich der Spiegelstrategie interpretiert. / The aim of this dissertation is to investigate the use of reference frames (absolute, relative, intrinsic) and secondary local deixes (‘in front of’, ‘behind’, ‘to the right / left of’) by German, English, Italian, and Polish native speakers to describe static spatial relations. Two experiments per language were carried out. The first experiment investigated side assignment. Participants saw the object from the front (the canonical position) and the back (the noncanonical position). The results confirm that for side assignments to a canonical positioned vis-à-vis object most speakers of the four languages use the outside perspective. However, some variations occurred for Polish and Italian, especially while identifying the right and left sides showing significant differences between German and Italian. Using mouse tracking, I tested the interpretation of static spatial relations of two kinds of complexity. The simple spatial relations included either extrinsic or intrinsic reference objects (animate; inanimate) and a bottle as localized object. The complex spatial relations were supplemented by an agent and embedded by indirect speech. This allows the investigation of origo shift. In all situations, participants were asked to describe the location of the bottle. German and Italian showed significant differences in interpreting simple animate and inanimate intrinsic relations. Interpreting the intrinsic complex relations, Polish speakers shifted the origo to the agent most frequently and described the relations from his point of view. All in all, for the complex relations, the choice of the intrinsic reference frame decreased significantly compared to the simple relations. That is, most participants shifted the origo to agents’ point of view and interpreted the spatial relations applying the reflection strategy.

Kognitive Kontrolle wird besonders in solchen Momenten deutlich, wenn eine geplante Handlung gestört wird. Weil zwei widerstreitende Verhaltenstendenzen gleichzeitig bestehen oder anlaufen, entsteht ein Konflikt. Experimentell können kognitive Konflikte beispielsweise mit dem Stroop-Paradigma hergestellt und untersucht werden (Stroop, 1935). Es ist dabei eine aktuelle Frage, wie Konflikte zeitlich verarbeitet werden und wo im Gehirn diese Verarbeitung geschieht. Zeitlich können Konflikte beispielsweise dann entstehen, wenn die Informationen des Stimulus abgerufen werden oder auch erst dann, wenn die intendierte Antwort tatsächlich für die Artikulation ausgewählt werden muss. Eine weiterführende Frage ist, ob sich die entsprechenden Ergebnisse für verschiedene Stroop-Varianten unterscheiden. In der vorliegenden Arbeit wurden diese Fragen systematisch für die Verarbeitung von Objekten und Zahlen mit zwei Varianten des Stroop-Paradigmas untersucht. In der vorliegenden Dissertation präsentiere ich Ergebnisse von Reaktionszeitstudien und fMRT-Experimenten zum zeitlichen Ablauf und zu neuronalen Substraten kognitiver Konflikte während der Verarbeitung von Objekten und Zahlen. Um die Konflikte zeitlich und räumlich lokalisieren zu können, wird die Abrufphase und die Antwortphase separat modelliert. Die Ergebnisse deuten darauf hin, dass die Konflikte eher während des Abrufs als bei der Antwortauswahl stattfinden. Außerdem wird geschlussfolgert, dass die Konflikte für Zahl- und Objektrepräsentationen nicht auf gemeinsamen neuronalen Substraten basieren. Die Ergebnisse meiner Reaktionszeitstudien und der MRT-Studien deuten also darauf hin, dass Konflikte bei der Verarbeitung von Objekten und Zahlen zwar einem ähnlichen zeitlichen Verlauf folgen, aber offenbar in unterschiedlichen neuronalen Netzwerken verarbeitet werden. / In daily life, we constantly have to adjust our goals and plans to changing task demands and internal needs. Our ability to balance the initiation and inhibition of our actions, and to solve resulting conflicts between them, is referred to as cognitive control. To study the processes of cognitive control, the Stroop Paradigm has become a popular tool (Stroop,1935). The Stroop Paradigm is frequently used to address central questions of cognitive control. It is, for instance, an open issue, where and when in the processing stream cognitive conflicts arise. Do they arise early, for example, during the retrieval of target and distractor? Or do they occur late, when the response is prepared for execution? Another debate is concerned with the question whether the findings agree for different Stroop variants (Van Maanen et al., 2009). In this dissertation I present research on the temporal characteristics and the neural substrates of cognitive conflicts during the processing of objects and numbers. To better understand the locus of the conflict, the retrieval phase and the response phase are modelled separately. The results from several reaction time studies and from two fMRI experiments speak to the issue that processing costs occur during retrieval, i.e., early in the processing stream, for both, object and number representations. The results further indicate that the processing of the conflict between target and distractor for number and object representations do not rely on common neural substrates. I will thus present the results from behavioural and functional imaging experiments, showing similar temporal patterns for the conflicts in both systems, but distinct underlying neural networks.

Das Wortlernen begleitet unser Leben von der Kindheit bis ins Alter. Kleinkinder lernen ihre Muttersprache(n), aber auch Erwachsene lernen neue Wörter, z.B. beim Fremdspracherwerb. Unter gewissen Umständen muss eine neue Sprache wieder erlernen werden, wie z.B. nach einer Gehirnläsion. Wie meistert unser Gehirn diese herausfordernden Wortlernsituationen? Um die Neuroplastizität des Wortlernens zu untersuchen, wurden unterschiedliche neurowissenschaftliche Methoden (Elektroenzephalographie, funktionelle Nahinfrarotspektroskopie, voxel-basierte Läsion-Verhalten/EEG Mapping), teilweise in Kombination, bei Kleinkindern, Kindern und Erwachsenen sowie Patienten mit einer Gehirnläsion im Vergleich zu älteren Kontrollprobanden angewendet. 5 Experimente untersuchten die neuronale Verarbeitung von Pseudowörtern, welche mutter- und fremdsprachlichen phonotaktischen Regeln (d.h. die Kombination von verschiedenen Phonemen) folgten, in unterschiedlichen Lernsettings bei monolingualen Teilnehmern. Gesunde Erwachsene aber auch 6monatige und ältere Teilnehmer und Patienten konnten diese Regeln differenzieren. Beteiligte Gehirnareale umfassten ein links-hemisphärisches fronto-temporales Netzwerk. Die Verarbeitung universeller Spracheigenschaften, andererseits, zeigte sich in parietalen Regionen. Während Erwachsene eine klare Dominanz der linken Hemisphäre aufwiesen, nutzten 6monatige noch beide Gehirnhälften. Unterschiedliche Sprachtrainings (semantische Trainings oder Passives Zuhören) an drei aufeinanderfolgenden Tagen veränderten auch die Gehirnaktivität der Kleinkinder und der Erwachsenen und wiesen auf eine erhöhte Lernflexibilität hin. Im 6. Experiment lernten 5jährige bilinguale Kinder anhand pragmatischer Eigenschaften neue Adjektive und zeigten effizientere neuronale Mechanismen als Monolinguale. Die Ergebnisse unterstreichen die Wichtigkeit multi-methodologischer Ansätze, um genauere Einblicke in die komplexen Mechanismen der Neuroplastizität zu erlangen. / Word learning accompanies our everyday life from infancy to advanced age. Infants have to learn the native language(s) but also during adulthood word learning can take place, for example if we learn a new foreign language. Sometimes people are confronted with a situation in which they have to re-learn a language because of a brain lesion. How does the brain master these challenging word learning settings? To assess neuroplasticity of word learning several neuroscientific methods (electroencephalography, functional near-infrared spectroscopy, voxel-based lesion-behavior/EEG mapping), partially in combination, were used in infants, children, and adults as well as in patients suffering from a brain lesion compared to matched elderly controls. In 5 experiments neuronal processing of pseudowords corresponding to native and non-native phonotactic rules (i.e., the combination of different phonemes) was investigated under different learning conditions in monolingual participants. Healthy adults but also 6-month-old infants and elderly subjects and patients were able to differentiate these rules. Involved brain areas included a left-hemispheric network of fronto-temporal regions. When processing universal linguistic features, however, more parietal regions were involved. While adults revealed a clear left-dominant network, 6-month-olds still recruited bilateral brain areas. Differential language trainings (semantic or passive listening trainings) over three consecutive days also modulated brain activation in both infants and adults suggesting a high flexibility for learning native and non-native linguistic regularities. In a 6th experiment, bilingual 5-year-old children learned novel adjectives by means of pragmatic cues and revealed more efficient neuronal mechanisms compared to monolingual children. Findings underline the importance of multi-methodological approaches to get clearer insights into the complex machinery of neuroplasticity.