The general aim of this thesis was to test the effects of paralinguistic (emotional) and prior contextual (topical) cues on perception of poorly specified visual, auditory, and audiovisual speech. The specific purposes were to (1) examine if facially displayed emotions can facilitate speechreading performance; (2) to study the mechanism for such facilitation; (3) to map information-processing factors that are involved in processing of poorly specified speech; and (4) to present a comprehensive conceptual framework for speech perception, with specification of the signal being considered. Experi¬mental and correlational designs were used, and 399 normal-hearing adults participated in seven experiments. The main conclusions are summarised as follows. (a) Speechreading can be facilitated by paralinguistic information as constituted by facial displayed emotions. (b) The facilitatory effect of emitted emotional cues is mediated by their degree of specification in transmission and ambiguity as percepts; and by how distinct the perceived emotions combined with topical cues are as cues for lexical access. (c) The facially displayed emotions affect speech perception by conveying semantic cues; no effect via enhanced articulatory distinctiveness, nor of emotion-related state in the perceiver is needed for facilitation. (d) The combined findings suggest that emotional and topical cues provide constraints for activation spreading in the lexicon. (e) Both bottom-up and top-down factors are associated with perception of poorly specified speech, indicating that variation in information-processing abilities is a crucial factor for perception if there is paucity in sensory input. A conceptual framework for speech perception, comprising specification of the linguistic and paralinguistic information, as well as distinctiveness of primes, is presented. Generalisations of the findings to other forms of paralanguage and language processing are discussed.

In unserem alltäglichen Leben ist Sprache ein unerlässliches Mittel für Kommunikation und die Umsetzung sozialer Interaktionen. Sprache kann in zwei verschiedene Modalitäten unterteilt werden, in die auditorische und die visuelle Modalität. Die auditorische Modalität umfasst gesprochene Sprache, wohingegen die visuelle Modalität vom geschriebenen Teil der Sprache gebildet wird. Auch wenn ein Tag ohne Sprechen für die meisten von uns unvorstellbar ist, hat die bisherige Forschung die Untersuchung von Effekten bei der Verarbeitung von emotionalem Bedeutungsinhalt in gesprochener Sprache, im Gegensatz zu der Verarbeitung von geschriebener Sprache, vernachlässigt. Die Verarbeitung des emotionalen Bedeutungsinhalts von geschriebenen Wörtern hat eine Vielzahl von Studien mit Hilfe von ereigniskorrelierten Potentialen (EKPs) ausführlich untersucht. Im Gegensatz dazu wurde der emotionale Bedeutungsinhalt bei der Verarbeitung von gesprochener Sprache nur gelegentlich und meist entweder in seiner Interaktion mit emotionaler Prosodie oder fokussiert auf die Existenz einer spezifischen EKP Komponente untersucht. Daher bleibt die Frage offen, wie und an welchen Verarbeitungsschritten der emotionale Inhalt gesprochener Sprache ereigniskorrelierte Potentiale beeinflusst, unabhängig von emotionaler Prosodie und der Frage, ob Gemeinsamkeiten mit der Verarbeitung von geschriebenen emotionalen Wörtern bestehen. In dieser Dissertation untersuche ich die Verarbeitung von gesprochenen Einzelwörtern mit positivem, neutralem und negativem Inhalt, mit der erkenntnisleitenden Fragestellung, ob der emotionale Inhalt von gesprochenen Wörtern Emotionseffekte in EKPs hervorruft und ob diese vergleichbar sind zu denen, die für geschriebene Wörter gezeigt wurden. In der ersten dieser Dissertation zugrundeliegenden Studie wurden gesprochene Wörter mit emotionalem und neutralem Inhalt den Versuchspersonen in zwei verschiedenen Lautstärken präsentiert, um mögliche Interaktionen mit bottom-up Aufmerksamkeitseffekten, geleitet durch die Größe des Stimulus, zu erklären. Für visuelle Stimuli mit emotionalem Inhalt, wie Bilder oder geschriebene Wörter, hat die Größe des Stimulus erhöhte emotions-bedingte EKPs hervorgerufen, zum Beispiel auf der Ebene der early posterior negativity (EPN). Es wurde untersucht, ob diese erhöhte Relevanz von größeren visuellen Stimuli auf die auditorische Modalität übertragbar sein könnte. Negativer emotionaler Bedeutungsinhalt führt zu einer erhöhten frontalen Positivierung und einer parieto-okzipitalen Negativierung zwischen 370 und 530 Millisekunden. Diese Komponente zeigt Ähnlichkeit mit der visuellen EPN, obwohl sich die Negativierung zu zentraleren Arealen der Kopfoberfläche ausweitet. Daher stellt sich die Frage, ob diese Komponente das auditorische Pendant zu einer visuellen EPN darstellen könnte. Entscheidend ist hier, dass keine Interaktion dieser emotions-bedingten EKP Komponente mit dem Lautstärkefaktor beobachtet werden kann. Die folgenden Vergleichsaspekte deuten auf umfassendere Unterschiede zwischen visueller und auditorischer Sprachverarbeitung hin: die fehlende Interaktion zwischen der Größe des Stimulus und der Emotionseffekte, die Unterschiede in den Topographien der Emotionseffekte sowie unterschiedliche Latenzen verglichen zu der visuellen EPN. Der zweite Teil dieser Dissertation ist auf einen direkteren Vergleich von Emotionseffekten in der visuellen und auditorischen Modalität ausgerichtet. Zu diesem Zweck wurde eine zweite Studie durchgeführt, in der Versuchspersonen dieselben Wörter in geschriebener und gesprochener Modalität präsentiert bekamen. Die gesprochenen Wörter wurden dabei sowohl von einer Computerstimme (Experiment 1) als auch von einer menschlichen Stimme (Experiment 2) produziert. Diese Studie wurde konzipiert, um die Existenz einer „auditorischen EPN“ und ihre Randbedingungen zu untersuchen. Darüber hinaus sollte die These überprüft werden, ob die höhere soziale Relevanz einer menschlichen Stimme die Emotionseffekte vergrößert. In beiden Experimenten zeigen sich Emotionseffekte. Für geschriebene Wörter zwischen 230 und 400 Millisekunden, im Zeitbereich der early posterior negativity, für gesprochene Wörter zwischen 460 und 510 Millisekunden. Wenn man die Verteilung der EKP Differenzen zwischen emotionalen und neutralen auditorischen Wörtern berücksichtigt, zeigen die Effekte interessanterweise sogar eine größere Ähnlichkeit mit der visuellen EPN als die Ergebnisse des ersten Teils dieser Dissertation. Eine Quellenlokalisierung ergab vergleichbare neuronale Generatoren im superioren parietalen Lobus (SPL) und im inferioren temporalen Lobus (IPL), sowohl im visuellen als auch im „auditorischen EPN“ Zeitfenster. Diese Befunde deuten auf Gemeinsamkeiten in der Verarbeitung emotionaler Inhalte über die Modalitäten hinweg hin, die – zumindest teilweise – durch das gleiche neuronale System gestützt werden. Trotzdem erscheinen diese Gemeinsamkeiten überraschend, da für die visuelle EPN angenommen wird, dass sie eine verstärkte sensorische Enkodierung für emotionale Stimuli in visuellen Arealen abbildet. Die oben beschriebenen und in diesen Studien gezeigten Emotionseffekte unterscheiden sich bezüglich ihrer Latenzen, Topographien und der Valenz, welche den Effekt hervorruft (positiv oder negativ). Im letzten Teil der Dissertation wurden daher systematisch Unterschiede zwischen den Studien untersucht um potenzielle Ursachen für die oben aufgeführten Unterschiede in den Emotionseffekten bestimmen zu können. Es zeigen sich Geschlechterunterschiede in den Topographien in Studie 2, die jedoch nicht die gefundenen Unterscheide in den Emotionseffekten zwischen den beiden Studien erklären können. Es wird angenommen, dass beide Studien die gleiche auditorische emotions-bedingte Komponente (AEK) in einem vergleichbaren Zeitfenster (Studie 1: 477 530 ms; Studie 2: 464 515 ms) hervorrufen, welcher in der ersten Studie eine N400-ähnlichen Verteilung vorausgegangen ist. Obwohl keine Interaktionen zwischen emotionalem Inhalt und Lautstärke aufgezeigt werden können, gehe ich davon aus, dass die Manipulation der Lautstärke in der ersten Studie den Kontext des Experiments verändert, und so den früheren Effekt ausgelöst hat. Auch wenn keine verifizierbaren Ursachen für die beschriebenen Unterschiede zwischen den Emotionseffekten aufgezeigt werden konnten, ist es mir mit dieser Dissertation gelungen, die Existenz einer auditorischen emotions-bedingten Komponente zu zeigen, die durch emotionalen (in Vergleich zu neutralem) Inhalt während der Verarbeitung von gesprochener Sprache hervorgerufen wird. Diese Komponente spiegelt sich in einer anterioren Positivierung und einer posterioren Negativierung zwischen 460 und 520 Millisekunden nach Wortbeginn wider. Diese zeigt sich gleichbleibend, unabhängig von der sozialen Signifikanz der Stimme des Sprechers oder der Manipulation der Lautstärke. Bezüglich eines Vergleich des zugrundeliegenden neuronalen Netzwerkes während der Verarbeitung des Inhalts von gesprochenen und geschriebenen Wörtern, kann man annehmen, dass die Verarbeitung Hirnareale aktiviert, die zumindest teilweise im SPL und IPL liegen. Obwohl die Verteilung der AEK eine hohe Ähnlichkeit zur visuellen EPN aufzeigt, kann man nicht annehmen, dass dieser Effekt ein auditorisches Pendant darstellt. Diese Schlussfolgerung beruht darauf, dass sich eine typische EPN-Verteilung nur bei der Berechnung der Differenzkurven von emotionalen und neutralen Stimuli zeigt. Die daraus resultierende posteriore Negativierung spiegelt eine erhöhte Aktivierung von visuellen Arealen - hervorgerufen durch emotionale Stimuli - wider. Die Analyse der zugrundeliegenden neuronalen Generatoren für den Unterschied zwischen auditorischen emotionalen und neutralen Stimuli liefert keine signifikanten Ergebnisse. Trotzdem zeigen die zugrundeliegenden Topographien der einzelnen Emotionskategorien, dass die Gemeinsamkeit auf der Ebene der Differenzkurven aus völlig unterschiedlichen Verteilungen resultiert. Zukünftige Forschung müsste das auditorische Stimulusmaterial bezüglich der Wortlänge oder des Worterkennungspunktes strikter kontrollieren, um den zeitlichen Jitter in den Daten zu reduzieren und somit die neuronalen Generatoren einer auditorischen emotions-bedingten Komponente besser bestimmen zu können.

Among philosophers of the emotions, it is common to view emotional content as purely descriptive – that is, belief-like or perception-like. I argue that this is a mistake. The intentionality of the emotions cannot be understood in isolation from their motivational character, and emotional content is also inherently directive – that is, desire-like. This view’s strength is its ability to explain a class of emotional behaviors that I argue, the common view fails to explain adequately. I claim that it is already implicit in leading theories of emotion elicitation in cognitive psychology – “appraisal theories.” The result is a deeper understanding of emotional intentionality. Employing Peter Goldie’s “Feeling Theory” of the emotions as an example of the common view, I suggest that emotional feelings, too, should be understood on this model: emotional feelings toward items in the world cannot be disentangled from felt motivation.

Esta pesquisa descreve um conjunto de estratégias específicas desenvolvidas pelo autor na preparação e execução do repertório pianístico. As estratégias, sistematizadas no curso de Doutorado da Universidade Federal do Rio Grande do Sul, consistem de deliberações expressivas e toques pianísticos que se entrelaçam formando um complexo de ações e atitudes adotadas na preparação e execução do conteúdo emocional do repertório pianístico. Trata-se de uma abordagem que visa o desenvolvimento das habilidades interpretativas como parte integral do domínio técnico do instrumentista. / This research describes a set of specific strategies developed by the author during the preparations and realizations of the pianístico repertoire. These strategies, systematized during his doctoral studies at the Universidade Federal do Rio Grande do Sul; consist of expressive deliberations and pianistic touches interwoven to form a complex of actions and attitudes to be adopted in the preparation and realization of the emotional content in the pianístic repertoire. This approach aims at developing interpretative abilities as an integral part of the instrumentalist’s technical domain.

Esta pesquisa descreve um conjunto de estratégias específicas desenvolvidas pelo autor na preparação e execução do repertório pianístico. As estratégias, sistematizadas no curso de Doutorado da Universidade Federal do Rio Grande do Sul, consistem de deliberações expressivas e toques pianísticos que se entrelaçam formando um complexo de ações e atitudes adotadas na preparação e execução do conteúdo emocional do repertório pianístico. Trata-se de uma abordagem que visa o desenvolvimento das habilidades interpretativas como parte integral do domínio técnico do instrumentista. / This research describes a set of specific strategies developed by the author during the preparations and realizations of the pianístico repertoire. These strategies, systematized during his doctoral studies at the Universidade Federal do Rio Grande do Sul; consist of expressive deliberations and pianistic touches interwoven to form a complex of actions and attitudes to be adopted in the preparation and realization of the emotional content in the pianístic repertoire. This approach aims at developing interpretative abilities as an integral part of the instrumentalist’s technical domain.

Esta pesquisa descreve um conjunto de estratégias específicas desenvolvidas pelo autor na preparação e execução do repertório pianístico. As estratégias, sistematizadas no curso de Doutorado da Universidade Federal do Rio Grande do Sul, consistem de deliberações expressivas e toques pianísticos que se entrelaçam formando um complexo de ações e atitudes adotadas na preparação e execução do conteúdo emocional do repertório pianístico. Trata-se de uma abordagem que visa o desenvolvimento das habilidades interpretativas como parte integral do domínio técnico do instrumentista. / This research describes a set of specific strategies developed by the author during the preparations and realizations of the pianístico repertoire. These strategies, systematized during his doctoral studies at the Universidade Federal do Rio Grande do Sul; consist of expressive deliberations and pianistic touches interwoven to form a complex of actions and attitudes to be adopted in the preparation and realization of the emotional content in the pianístic repertoire. This approach aims at developing interpretative abilities as an integral part of the instrumentalist’s technical domain.