Ausgangspunkt der vorliegenden Arbeit ist die gut belegte Assoziation zwischen mütterlicher Depression und ungünstigen emotionalen und behavioralen Folgen für ihre Kinder. Allerdings sind die Faktoren, die zu der transgenerationalen Übertragung der Depression beitragen, noch nicht geklärt. Ziel dieser Arbeit ist es, zwei möglicherweise dazu beitragende psychologische Faktoren zu untersuchen: (1) Affekterkennung von Gesichtsausdrücken in Mutter-Kind Dyaden und (2) mütterliche emotionale Verfügbarkeit. Dazu wurden drei Studien durchgeführt. Studie I untersucht mittels funktioneller Magnetresonanztomographie (fMRT) unterscheidbare und überlappende Aktivierungsmuster bei gesunden Müttern, während sie fröhliche und traurige Gesichter ihres eigenen Kindes sehen. Studie II verwendet eine Morphing-Aufgabe, um die Affekterkennung in Müttern mit remittierter Depression und ihren Kindern zu untersuchen. In Studie III wird die emotionale Verfügbarkeit von Müttern mit remittierter Depression in einer Verhaltensbeobachtung untersucht. Ergebnisse der Studie I zeigen eine größere Gehirnaktivierung der Mütter bei traurigen eigenen Kindergesichtern in der Amygdala und anterioren Cingulum, hingegen bei fröhlichen im Hippocampus und inferioren Frontalgyrus. Überlappende Aktivierung wurde in der Insula gefunden. Diese Aktivierungsmuster könnten feinfühliges mütterliches Verhalten erleichtern und das Aufrechterhalten der Mutter-Kind Beziehung unterstützen. Ergebnisse von Studie II belegen einen negativen Verarbeitungsbias bei Müttern mit einer remittierten Depression, wobei parallele Veränderungen bei ihren Kindern gefunden wurden. Dies könnte auf einen transgenerationalen Übertragungsprozess hinweisen. Ergebnisse von Studie III zeigen eine verminderte emotionale Verfügbarkeit bei Müttern in Remission, was eine Trait-Eigenschaft darstellen könnte. / Starting point of the present dissertation is the well-established association between maternal depression and adverse emotional and behavioral outcomes in children. The factors contributing to the transgenerational transmission of depression have not been fully elucidated. The aim of this thesis is to investigate two psychological factors that potentially contribute to this transgenerational association: (1) affect recognition of facial expressions in mother-child dyads and (2) maternal emotional availability. Therefore, three studies have been conducted. In study I, functional magnetic resonance imaging (fMRI) is used to measure dissociable and overlapping brain activation in healthy mothers, while they view happy, neutral and sad faces of their own child. By using a morphing task, study II tests the hypothesis that affect recognition is biased in mothers with depression in remission and their children. Study III investigates whether emotional availability is reduced in mothers remitted from depression. Study I revealed greater brain activation in the amygdala and anterior cingulate cortex while mothers viewed sad faces of their own child, whereas greater brain activation was detected in the hippocampus and inferior frontal gyrus in response to happy faces. Conjoint activation was found in the insula. These activations might facilitate sensitive maternal behavior and promote mothers to maintain the mother-child relationship. Findings of study II demonstrate a negative processing bias in mothers with depression in remission, which was paralleled in their children. This finding could possibly point to a process of transgenerational transmission. Results of study III indicate reduced emotional availability in mothers who have remitted from depression, which might represent a trait characteristic of depression.

Η παρούσα διδακτορική διατριβή πραγματεύεται προβλήματα που αφορούν το χώρο της τεχνολογίας ομιλίας, με στόχο τη αναγνώριση συναισθημάτων από ομιλία με χρήση τεχνικών ψηφιακής επεξεργασίας σήματος και μηχανικής μάθησης. Πιο αναλυτικά, στα πλαίσια της διατριβής προτάθηκαν και μελετήθηκαν καινοτόμες μέθοδοι σε μια σειρά από εφαρμογές που αξιοποιούν σύστημα αναγνώρισης συναισθηματικών καταστάσεων από ομιλία. Ο βασικός στόχος των μεθόδων ήταν η αντιμετώπιση των προκλήσεων που παρουσιάζονται όταν ένα σύστημα αναγνώρισης συναισθηματικών καταστάσεων καλείται να λειτουργήσει σε πραγματικές συνθήκες, με αυθόρμητες αντιδράσεις, ανεξαρτήτως ομιλητή. Πιο συγκεκριμένα, στα πλαίσια της διατριβής, αξιολογήθηκε η συμπεριφορά ενός συστήματος αναγνώρισης συναισθημάτων σε προσποιητή ομιλία και σε διαφορετικές συνθήκες θορύβου, και συγκρίθηκε η απόδοση του συστήματος με την υποκειμενική αξιολόγηση των ακροατών. Επιπλέον, περιγράφηκε ο σχεδιασμός και η υλοποίηση βάση δεδομένων συναισθηματικής ομιλίας, όπως αυτή προκύπτει από την αλληλεπίδραση μη-έμπειρων χρηστών με ένα διαλογικό σύστημα και προτάθηκε ένα σύστημα το οποίο εντοπίζει αρνητικές συναισθηματικές καταστάσεις, στο ανεξάρτητου ομιλητή πρόβλημα, με χρήση μοντέλου Γκαουσιανών κατανομών. Η προτεινόμενη αρχιτεκτονική συνδυάζει παραμέτρους ομιλίας χαμηλού και υψηλού επιπέδου και εφαρμόζεται στα πραγματικά δεδομένα. Επίσης, αξιολογήθηκε και υλοποιήθηκε η πρακτική εφαρμογή ενός συστήματος αναγνώρισης συναισθημάτων βασισμένου σε οικουμενικό μοντέλο Γκαουσιανών κατανομών σε διαφορετικούς τύπους δεδομένων πραγματικής ζωής. Ακόμα, παρουσιάστηκε μια πρωτότυπη αρχιτεκτονική κατηγοριοποίησης για αναγνώριση συνυπαρχόντων συναισθημάτων από ομιλία προερχόμενη από αλληλεπίδραση σε πραγματικά περιβάλλοντα. Σε αντίθεση με γνωστές προσεγγίσεις, η προτεινόμενη αρχιτεκτονική μοντελοποιεί τις συνυπάρχουσες συναισθηματικές καταστάσεις μέσω της κατασκευής μιας πολυσταδιακής αρχιτεκτονικής κατηγοριοποίησης. Τα πειραματικά αποτελέσματα που διενεργήθηκαν υποδεικνύουν ότι η προτεινόμενη αρχιτεκτονική είναι πλεονεκτική για τις συναισθηματικές καταστάσεις που είναι πιο διαχωρίσιμες, γεγονός που οδηγεί σε βελτίωση της συνολικής απόδοσης του συστήματος. / In this doctoral dissertation a number of novel approaches were proposed and evaluated in different applications that utilize emotion awareness. The major target of the proposed methods was facing the difficulties existing, when an emotion recognition system is asked to operate in real-life conditions, where human speech is characterized by spontaneous and genuine formulations. In detail, within the present dissertation, the performance of an emotion recognition system was evaluated, initially, in acted speech, under different noise conditions, and this performance was compared to the one of human listeners. Further, the design and implementation of a real world emotional speech corpus is described, as this results from the interaction of naive users with a smart home dialogue system. Moreover, a system which utilizes low and high level descriptors was suggested. The suggested architecture leads to significantly better performance in some working points of the integrated system in the dialogue system. Furthermore, we propose a novel multistage classification scheme for affect recognition from real-life speech. In contrast with conventional approaches for affect/emotion recognition from speech, the proposed scheme models co-occurring affective states by constructing a multistage classification scheme. The empirical experiments performed indicate that the proposed classification scheme offers an advantage for those classes that are more separable, which contributes for improving the overall performance of the affect recognition system.