This doctoral thesis is part of a research project on the development of the cognitive compre-hension of film at Würzburg University that was funded by the German Research Foundation (Deutsche Forschungsgemeinschaft) between 2013 and 2019 and awarded to Gerhild Nied-ing. That project examined children’s comprehension of narrative text and its development in illustrated versus non-illustrated formats. For this purpose, van Dijk and Kintsch’s (1983) tri-partite model was used, according to which text recipients form text surface and textbase rep-resentations and construct a situation model. In particular, predictions referring to the influ-ence of illustrations on these three levels of text representation were derived from the inte-grated model of text and picture comprehension (ITPC; Schnotz, 2014), which holds that text-picture units are processed on both text-based (descriptive) and picture-based (depictive) paths. Accordingly, illustrations support the construction of a situation model. Moreover, in line with the embodied cognition account (e.g., Barsalou, 1999), it was assumed that the situa-tion model is grounded in perception and action; text recipients mentally simulate the situation addressed in the text through their neural systems related to perception (perceptual simulation) and action (motor resonance). Therefore, the thesis also examines whether perceptual simula-tion takes place during story reception, whether it improves the comprehension of illustrated stories, and whether motor resonance is related to the comprehension of text accompanied by dynamic illustrations. Finally, predictions concerning the development of comprehending illus-trated text were made in line with Springer’s (2001) hypotheses according to which younger children, compared with older children and adults, focus more on illustrations during text comprehension (perceptual boundedness) and use illustrations for the development of cogni-tive skills (perceptual support).
The first research question sought to validate the tripartite model in the context of children’s comprehension of narrative text, so Hypothesis 1 predicted that children yield representations of the text surface, the textbase, and the situation model during text reception. The second research question comprised the assumptions regarding the impact of illustrations on text comprehension. Accordingly, it was expected that illustrations improve the situation model (Hypothesis 2a), especially when they are processed before their corresponding text passages (Hypothesis 2b). Both hypotheses were derived from the ITPC and the assumption that per-ceptual simulation supports the situation model. It was further predicted that dynamic illustra-tions evoke more accurate situation models than static ones (Hypothesis 2c); this followed from the assumption that motor resonance supports the situation model. In line with the ITPC, it was assumed that illustrations impair the textbase (Hypothesis 2d), especially when they are presented after their corresponding text passages (Hypothesis 2e). In accordance with earlier results, it was posited that illustrations have a beneficial effect for the text surface (Hypothesis 2f). The third research question addressed the embodied approach to the situation model. Here, it was assumed that perceptual simulation takes place during text reception (Hypothesis 3a) and that it is more pronounced in illustrated than in non-illustrated text (Hypothesis 3b); the latter hypothesis was related to a necessary premise of the assumption that perceptual sim-ulation improves the comprehension of illustrated text. The fourth research question was relat-ed to perceptual boundedness and perceptual support and predicted age-related differences; younger children were expected to benefit more from illustrations regarding the situation model (Hypothesis 4a) and to simulate vertical object movements in a more pronounced fash-ion (Hypothesis 4b) than older children. In addition, Hypothesis 4c held that perceptual simu-lation is more pronounced in younger children particularly when illustrations are present.
Three experiments were conducted to investigate these hypotheses. Experiment 1 (Seger, Wannagat, & Nieding, submitted).compared the tripartite representations of written text without illustrations, with illustrations presented first, and with illustrations presented after their corresponding sentences. Students between 7 and 13 years old (N = 146) took part. Ex-periment 2 (Seger, Wannagat, & Nieding, 2019) investigated the tripartite representations of auditory text, audiovisual text with static illustrations, and audiovisual text with dynamic il-lustrations among children in the same age range (N = 108). In both experiments, a sentence recognition method similar to that introduced by Schmalhofer and Glavanov (1986) was em-ployed. This method enables the simultaneous measurement of all three text representations. Experiment 3 (Seger, Hauf, & Nieding, 2020) determined the perceptual simulation of vertical object movements during the reception of auditory and audiovisual narrative text among chil-dren between 5 and 11 years old and among adults (N = 190). For this experiment, a picture verification task based on Stanfield and Zwaan’s (2001) paradigm and adapted from Hauf (2016) was used.
The first two experiments confirmed Hypothesis 1, indicating that the tripartite model is appli-cable to the comprehension of auditory and written narrative text among children. A benefi-cial effect of illustrations to the situation model was observed when they were presented syn-chronously with auditory text (Hypotheses 2a), but not when presented asynchronously with written text (Hypothesis 2b), so the ITPC is partly supported on this point. Hypothesis 2c was rejected, indicating that motor resonance does not make an additional contribution to the comprehension of narrative text with dynamic illustrations. Regarding the textbase, a general negative effect of illustrations was not observed (Hypothesis 2d), but a specific negative effect of illustrations that follow their corresponding text passages was seen (Hypothesis 2e); the latter result is also in line with the ITPC. The text surface (Hypothesis 2f) appears to benefit from illustrations in auditory but not written text. The results obtained in Experiment 3 sug-gest that children and adults perceptually simulate vertical object movements (Hypothesis 3a), but there appears to be no difference between auditory and audiovisual text (Hypothesis 3b), so there is no support for a functional relationship between perceptual simulation and the situ-ation model in illustrated text. Hypotheses 4a–4c were investigated in all three experiments and did not receive support in any of them, which indicates that representations of illustrated and non-illustrated narrative text remain stable within the age range examined here. / Die vorliegende Doktorthesis ist Teil eines Forschungsprojektes zur Entwicklung des kogni-tiven Filmverständnisses an der Universität Würzburg, das von der Deutschen Forschungs-gemeinschaft im Zeitraum 2013 – 2019 als Zuwendung an Gerhild Nieding finanziert wurde. In diesem Projekt wurde das Verständnis narrativer Texte mit und ohne Illustrationen bei Kindern sowie dessen Entwicklung untersucht. Zu diesem Zweck wurde van Dijk und Kintschs (1983) Drei-Ebenen-Modell verwendet, demzufolge Textrezipient*innen eine Re-präsentation der Textoberfläche und der Textbasis bilden sowie ein Situationsmodell kon-struieren. Im Speziellen wurden Vorhersagen in Bezug auf den Einfluss von Illustrationen auf diese drei Textrepräsentationsebenen vom integrierten Modell des Text- und Bildver-ständnisses (ITPC; Schnotz, 2014) abgeleitet; dieses nimmt an, dass Text-Bild-Einheiten sowohl auf einem textbasierten (deskriptiven) als auch auf einem bildbasierten (depiktiven) Pfad verarbeitet werden. Demzufolge unterstützen Illustrationen den Aufbau eines Situati-onsmodells. Darüber hinaus wurde mit Bezug auf den Ansatz der verkörperten Kognition (z.B. Barsalou, 1999) angenommen, dass das Situationsmodell im Wahrnehmen und Han-deln begründet ist; Textrezipient*innen simulieren demnach die im Text dargestellte Situati-on durch die neuronalen Systeme, die mit Wahrnehmung (perzeptuelle Simulation) und Handlung (motorische Resonanz) in Verbindung stehen. Deshalb untersucht diese Thesis auch, ob perzeptuelle Simulation während der Textrezeption stattfindet, ob diese das Verste-hen illustrierter Geschichten verbessert und ob motorische Resonanz einen Bezug zum Ver-stehen von Texten mit dynamischen Illustrationen aufweist. Schließlich wurden Vorhersagen bezüglich der Entwicklung des Verständnisses illustrierter Texte anhand von Springers (2001) Hypothesen getroffen, wonach jüngere Kinder während des Textverstehens stärker auf Illustrationen fokussieren als ältere Kinder und Erwachsene (perzeptuelle Gebundenheit) und wonach sie Illustrationen für die Entwicklung kognitiver Fertigkeiten nutzen (perzeptu-elle Unterstützung).
Die erste Forschungsfrage zielte darauf ab, das Drei-Ebenen-Modell im Zusammenhang mit dem Verständnis narrativer Texte bei Kindern zu validieren, daher sagte Hypothese 1 voraus, dass Kinder während der Textrezeption Repräsentationen der Textoberfläche, der Textbasis und des Situationsmodells aufweisen. Die zweite Forschungsfrage umfasste Annahmen be-züglich des Einflusses von Illustrationen auf das Textverständnis. Demnach wurde erwartet, dass Illustrationen das Situationsmodell verbessern (Hypothese 2a), vor allem, wenn diese vor den ihr jeweils zugeordneten Textpassagen verarbeitet werden (Hypothese 2b). Beide Hypothesen wurden hergeleitet aus dem ITPC sowie aus der Annahme, dass perzeptuelle Simulation das Situationsmodell unterstützt. Es wurde ferner vorhergesagt, dass dynamische Illustrationen genauere Situationsmodelle hervorrufen als statische (Hypothese 2c); dies folg-te aus der Annahme, dass motorische Resonanz das Situationsmodell unterstützt. In Überein-stimmung mit dem ITPC wurde angenommen, dass Illustrationen die Textbasis beeinträchti-gen (Hypothese 2d), vor allem, wenn diese nach den ihnen zugeordneten Textpassagen prä-sentiert werden (Hypothese 2e). Basierend auf früheren Ergebnissen wurde für die Textober-fläche die Hypothese aufgestellt, dass Illustrationen sich günstig auswirken (Hypothese 2f). Die dritte Forschungsfrage nahm Bezug auf den verkörperten Ansatz des Situationsmodells. Hierbei wurde postuliert, dass perzeptuelle Simulationen während der Textrezeption stattfin-den (Hypothese 3a) und dass diese stärker ausgeprägt sind bei illustriertem im Gegensatz zu nicht-illustriertem Text (Hypothese 3b); letztere Hypothese stand in Zusammenhang mit ei-ner notwendigen Voraussetzung der Annahme, dass perzeptuelle Simulation das Verständnis illustrierter Texte erhöht. Die vierte Forschungsfrage stand im Kontext der Annahmen perzeptueller Gebundenheit und perzeptueller Unterstützung und sagte Altersunterschiede voraus; es wurde erwartet, dass jüngere im Gegensatz älteren Kindern in Bezug auf das Situa-tionsmodell mehr von Illustrationen profitieren (Hypothese 4a) und vertikale Objektbewe-gungen stärker simulieren (Hypothese 4b). Zudem nahm Hypothese 4c an, dass die perzeptu-elle Simulation bei jüngeren Kindern vor allem dann stärker ausgeprägt ist, wenn Illustratio-nen gezeigt werden.
Zur Überprüfung dieser Hypothesen wurden drei Experimente durchgeführt. Experiment 1 (Seger, Wannagat & Nieding, eingereicht) verglich die drei Repräsentationsebenen bei schriftlichem Text ohne Illustrationen, schriftlichem Text mit Illustrationen, die vor dem jeweiligen Text erschienen und schriftlichem Text mit Illustrationen, die danach erschienen. Schüler*innen im Alter von 7 bis 13 Jahren (N = 146) nahmen daran teil. Experiment 2 (Se-ger, Wannagat & Nieding, 2019) erforschte die drei Repräsentationsebenen bei auditivem Text, audiovisuellem Text mit statischen Illustrationen und audiovisuellem Text mit dyna-mischen Illustrationen in einer Stichprobe von Kindern desselben Alters (N = 108). In bei-den Experimenten wurde eine Satzrekognitionsmethode ähnlich der von Schmalhofer und Glavanov (1986) angewendet. Diese Methode ermöglicht die simultane Messung aller drei Repräsentationsebenen. Experiment 3 (Seger, Hauf & Nieding, 2020) untersuchte die perzep-tuelle Simulation von vertikalen Objektbewegungen bei der Rezeption auditiver und audio-visueller narrativer Texte bei Kindern im Alter von 5 bis 11 Jahren sowie bei Erwachsenen (N = 190). Hierbei wurde eine Bildverifikationsaufgabe verwendet, die auf Stanfield und Zwaans (2001) Paradigma aufbaut und von Hauf (2016) adaptiert wurde.
Die ersten beiden Experimente bestätigen Hypothese 1, was darauf hindeutet, dass das Drei-Ebenen-Modell auf den Kontext des Verständnisses auditiver und schriftlicher narrativer Texte bei Kindern angewendet werden kann. Eine günstige Auswirkung von Illustrationen auf das Situationsmodell wurde beobachtet, wenn diese synchron mit auditivem Text (Hypo-these 2a), jedoch nicht wenn diese asynchron mit schriftlichem Text präsentiert wurden (Hy-pothese 2b); dies stellt eine partielle Bestätigung der ITPC in diesem Punkt dar. Hypothese 2c wurde verworfen, demnach trägt motorische Resonanz nicht zusätzlich zum Verständnis narrativer Texte mit dynamischen Illustrationen bei. Im Hinblick auf die Textbasis wurde kein genereller negativer Effekt von Illustrationen beobachtet (Hypothese 2d), jedoch ein spezifischer negativer Effekt wenn diese der ihnen jeweils zugeordneten Textpassage folgten (Hypothese 2e); letzteres Ergebnis steht ebenfalls im Einklang mit der ITPC. Die Textober-fläche (Hypothese 2f) scheint von Illustrationen bei auditivem, jedoch nicht bei schriftlichem Text zu profitieren. Die Ergebnisse von Experiment 3 legen nahe, dass Kinder und Erwach-sene vertikale Objektbewegungen perzeptuell simulieren (Hypothese 3a), es scheint jedoch diesbezüglich keinen Unterschied zwischen auditivem und audiovisuellem Text zu geben (Hypothese 3b); folglich wird die Annahme nicht unterstützt, dass perzeptuelle Simulationen beim Aufbau des Situationsmodells bei illustrierten Texten eine funktionale Rolle spielen. Die Hypothesen 4a–4c wurden in allen drei Experimenten untersucht und in keinem davon bestätigt; daraus folgt, dass Repräsentationen illustrierter und nicht illustrierter narrativer Texte innerhalb des untersuchten Altersbereichs stabil bleiben.
| Identifer | oai:union.ndltd.org:uni-wuerzburg.de/oai:opus.bibliothek.uni-wuerzburg.de:24228 |
| Date | January 2021 |
| Creators | Seger, Benedikt Thomas |
| Source Sets | University of Würzburg |
| Language | English |
| Detected Language | English |
| Type | doctoralthesis, doc-type:doctoralThesis |
| Format | application/pdf |
| Rights | https://creativecommons.org/licenses/by-sa/4.0/deed.de, info:eu-repo/semantics/openAccess |
Page generated in 0.0039 seconds