Since the turn of the millennium, a large number of computational models of visual salience have been put forward. How best to evaluate a given model's ability to predict where human observers fixate in images of real-world scenes remains an open research question. Assessing the role of spatial biases is a challenging issue; this is particularly true when we consider the tendency for high-salience items to appear in the image center, combined with a tendency to look straight ahead (“central bias”). This problem is further exacerbated in the context of model comparisons, because some—but not all—models implicitly or explicitly incorporate a center preference to improve performance. To address this and other issues, we propose to combine a-priori parcellation of scenes with generalized linear mixed models (GLMM), building upon previous work. With this method, we can explicitly model the central bias of fixation by including a central-bias predictor in the GLMM. A second predictor captures how well the saliency model predicts human fixations, above and beyond the central bias. By-subject and by-item random effects account for individual differences and differences across scene items, respectively. Moreover, we can directly assess whether a given saliency model performs significantly better than others. In this article, we describe the data processing steps required by our analysis approach. In addition, we demonstrate the GLMM analyses by evaluating the performance of different saliency models on a new eye-tracking corpus. To facilitate the application of our method, we make the open-source Python toolbox “GridFix” available.

Can cognition penetrate action-to-perception transfer? Participants observed a structure-from-motion cylinder of ambiguous rotation direction. Beforehand, they experienced one of two mechanical models: An unambiguous cylinder was connected to a rod by either a belt (cylinder and rod rotating in the same direction) or by gears (both rotating in opposite directions). During ambiguous cylinder presentation, mechanics and rod were invisible, making both conditions visually identical. Observers inferred the rod's direction from their moment-by-moment subjective perceptual interpretation of the ambiguous cylinder. They reported the (hidden) rod's direction by rotating a manipulandum in either the same or the opposite direction. With respect to their effect on perceptual stability, the resulting match/nonmatch between perceived cylinder rotation and manipulandum rotation showed a significant interaction with the cognitive model they had previously been biased with. For the “belt” model, congruency between cylinder perception and manual action is induced by same-direction report. Here, we found that same-direction movement stabilized the perceived motion direction, replicating a known congruency effect. For the “gear” model, congruency between perception and action is—in contrast—induced by opposite-direction report. Here, no effect of perception-action congruency was found: Perceptual congruency and cognitive model nullified each other. Hence, an observer's internal model of a machine's operation guides action-to-perception transfer.

Sakkadische Blickbewegungen sind die häufigsten und schnellsten aller menschlichen Bewegungen und führen zur wiederholtem und rapiden Verschiebung von Objektprojektionen über die Retina. Entgegen der verbreiteten Annahme der Suppression untersucht diese Arbeit Ausmaß und Funktion intrasakkadischer visueller Wahrnehmung. Studie I beschreibt eine individuell gefertigte LED-Installation zur ausschließlich intrasakkadischen Präsentation von Text und Bildern, während Studie II einen Algorithmus zur Detektion von Sakkaden vorstellt, welcher blickkontingente Stimulusmanipulationen mithilfe eines DLP Projektionssystems mit einer Bildwiederholungsrate von 1440 Hz ermöglicht. Studien III und IV untersuchten ob visuelle Bewegungsspuren (sog. motion streaks), welche durch die schnelle Bewegung von Objekten über die Retina erzeugt werden, Korrespondenz zwischen Objekten über Sakkaden hinweg herstellen könnten. Diese Bewegungsspuren erlaubten Versuchsteilnehmern nicht nur einen präsakkadischen Stimulus aus zwei identischen postsakkadischen Stimuli zu identifizieren, während diese Fähigkeit von der Deutlichkeit der Bewegungsspur abhing, sondern auch Korrektursakkaden zu einem ursprünglichen präsakkadischen Stimulus zu erleichtern, falls dieser während der Sakkade versetzt wurde. Studie V untersuchte die subjektive Wahrnehmung und Lokalisierung von intrasakkadischen Bewegungsspuren, indem Teilnehmer gezeichnete Berichte angaben. Die Modellierung letzterer ergab, dass retinale Positionssignale mit einer zeitlich gedämpften mentalen Repräsentation von Augenposition kombiniert wurden, um eine Lokalisation in weltzentrierten Koordinaten zu ermöglichen. Diese Ergebnisse legen nahe, dass intrasakkadische visuelle Signale einen Einfluss auf transsakkadische perzeptuelle und motorische Prozesse haben könnten. Letztlich werden die mögliche Funktionen intrasakkadischer Wahrnehmung, sowie Möglichkeiten für zukünftige wissenschaftliche Untersuchungen, diskutiert. / Rapid eye movements, so-called saccades, are the fastest and most frequent human movements and cause projections of objects in the world to constantly shift across the retina at high velocities, thereby producing large amounts of motion blur. In contrast to accounts of saccadic suppression, this work explores the extent and potential functional role of intra-saccadic perception. As saccades are fast and brief events, technical challenges were addressed. Study I describes a custom LED-based anorthoscopic presentation setup capable of displaying text and images strictly during saccades. In study II, a novel online saccade detection algorithm enabled rapid, gaze-contingent display changes using a DLP projection system running at 1440 fps. Studies III and IV investigated whether intra-saccadic motion streaks, i.e., blurred traces routinely induced by stimuli moving at saccadic speeds, could serve as cues to establishing object correspondence across saccades. Motion streaks not only enabled perceptual matching of pre- and post-saccadic object locations, while performance depended strongly on streak efficiency, but also facilitated gaze correction in response to intra-saccadic target displacements, that was previously found to be mainly driven by objects’ surface features. Finally, study V explored the subjective appearance and localization of intra-saccadic motion streaks, tasking observers to reproduce their trajectories. Computational modeling of resulting response patterns suggested that retinal positions over time were combined with a damped eye position signal to readily localize intra-saccadic input in world-centered coordinates. Taken together, these results invite the intriguing hypothesis that intra-saccadic visual signals are not discarded from processing and might affect trans-saccadic perceptual and motor processes. The potential role of intra-saccadic perception for active vision, as well as directions for future research, are discussed.

In the human visual system, one of the most prominent functions of the extensive feedback from the higher brain areas within and outside of the visual cortex is attentional modulation. The feedback helps the brain to concentrate its resources on visual features that are relevant for recognition, i. e. it iteratively selects certain aspects of the visual scene for refined processing by the lower areas until the inference process in the higher areas converges to a single hypothesis about this scene. In order to minimize a number of required selection-refinement iterations, one has to find a short sequence of maximally informative portions of the visual input. Since the feedback is not static, the selection process is adapted to a scene that should be recognized. To find a scene-specific subset of informative features, the adaptive selection process on every iteration utilizes results of previous processing in order to reduce the remaining uncertainty about the visual scene. This phenomenon inspired us to develop a computational algorithm solving a visual classification task that would incorporate such principle, adaptive feature selection. It is especially interesting because usually feature selection methods are not adaptive as they define a unique set of informative features for a task and use them for classifying all objects. However, an adaptive algorithm selects features that are the most informative for the particular input. Thus, the selection process should be driven by statistics of the environment concerning the current task and the object to be classified. Applied to a classification task, our adaptive feature selection algorithm favors features that maximally reduce the current class uncertainty, which is iteratively updated with values of the previously selected features that are observed on the testing sample. In information-theoretical terms, the selection criterion is the mutual information of a class variable and a feature-candidate conditioned on the already selected features, which take values observed on the current testing sample. Then, the main question investigated in this thesis is whether the proposed adaptive way of selecting features is advantageous over the conventional feature selection and in which situations. Further, we studied whether the proposed adaptive information-theoretical selection scheme, which is a computationally complex algorithm, is utilized by humans while they perform a visual classification task. For this, we constructed a psychophysical experiment where people had to select image parts that as they think are relevant for classification of these images. We present the analysis of behavioral data where we investigate whether human strategies of task-dependent selective attention can be explained by a simple ranker based on the mutual information, a more complex feature selection algorithm based on the conventional static mutual information and the proposed here adaptive feature selector that mimics a mechanism of the iterative hypothesis refinement. Hereby, the main contribution of this work is the adaptive feature selection criterion based on the conditional mutual information. Also it is shown that such adaptive selection strategy is indeed used by people while performing visual classification.:1. Introduction 2. Conventional feature selection 3. Adaptive feature selection 4. Experimental investigations of ACMIFS 5. Information-theoretical strategies of selective attention 6. Discussion Appendix Bibliography

Sensory inputs can be ambiguous. A physically constant stimulus that induces several perceptual alternatives is called multistable. Many factors can influence perception. In this thesis I investigate factors that affect visual multistability. All presented studies use a pattern-component rivalry stimulus consisting of two gratings drifting in opposite directions (called the plaid stimulus). This induces an “integrated” perception of a moving plaid (the pattern) or a “segregated” perception of overlaid gratings (the components). One study (chapter 2) investigates parameter dependence of a plaid stimulus on perception, with particular emphasis on the first percept. Specifically, it addresses how the enclosed angle (opening angle) affects the perception at stimulus onset and during prolonged viewing. The effects that are shown persist even if the stimulus is rotated. On a more abstract level it is shown that percepts can influence each other over time (chapter 3) which emphasizes the importance of instructions and report mode. In particular, it relates to the decision which percepts are instructed to be reported at all as well as which percepts can be reported as separate entities and which are pooled into the same response option. A further abstract level (predictability of a stimulus change, chapter 5) shows that transferring effects from one modality to another modality (specifically from audition to vision) requires careful choice of stimulus parameters. In this context, we give considerations to the proposal for a wider usage of sequential stopping rules (SSR, chapter 4), especially in studies where effect sizes are hard to estimate a priori. This thesis contributes to the field of visual multistability by providing novel experimental insights into pattern-component rivalry and by linking these findings to data on sequential dependencies, to the optimization of experimental designs, and to models and results from another sensory modality.:Bibliographische Beschreibung 3 Acknowledgments 4 CONTENTS 5 Collaborations 7 List of Figures 8 List of Tables 8 1. Introduction 9 1.1. Tristability 10 1.2. Two or more interpretations? 11 1.3. Multistability in different modalities 12 1.3.1. Auditory multistability 12 1.3.2. Haptic multistability 13 1.3.3. Olfactory multistability 13 1.4. multistability with several interpretations 13 1.5. Measuring multistability 14 1.5.1. The optokinetic nystagmus 14 1.5.2. Pupillometry 15 1.5.3. Measuring auditory multistability 15 1.5.4. Crossmodal multistability 16 1.6. Factors governing multistability 16 1.6.1. Manipulations that do not involve the stimulus 16 1.6.2. Manipulation of the stimulus 17 1.6.2.1. Factors affecting the plaid stimulus 17 1.6.2.2. Factors affecting the auditory streaming stimulus 18 1.7. Goals of this thesis 18 1.7.1. Overview of the thesis 18 2. Parameter dependence in visual pattern-component rivalry at onset and during prolonged viewing 21 2.1. Introduction 21 2.2. Methods 24 2.2.1. Participants 24 2.2.2. Setup 24 2.2.3. Stimuli 25 2.2.4. Procedure 26 2.2.5. Analysis 27 2.2.6. (Generalized) linear mixed-effects models 30 2.3. Results 30 2.3.1. Experiment 1 30 2.3.1.1. Relative number of integrated percepts 31 2.3.1.2. Generalized linear mixed-effects model 32 2.3.1.3. Dominance durations 33 2.3.1.4. Linear mixed-effects models 33 2.3.1.5. Control: Disambiguated trials 33 2.3.1.6. Time course of percept reports at onset 34 2.3.1.7. Eye movements 35 2.3.2. Experiment 2 36 2.3.2.1. Relative number of percepts 36 2.3.2.2. Generalized linear mixed-effects model 37 2.3.2.3. Dominance durations 38 2.3.2.4. Linear mixed-effects model 38 2.3.2.5. Control: Disambiguated trials 40 2.3.2.6. Time course of percept reports at onset 42 2.3.2.7. Eye movements 44 2.4. Discussion 45 2.5. Appendix 49 2.5.1. Appendix A 49 3. Perceptual history 51 3.1. Markov chains 52 3.1.1. Markov chains of order 1 and 2 52 3.2. Testing for Markov chains 55 3.2.1. The method of Naber and colleagues (2010) 56 3.2.1.1. The method 56 3.2.1.2. Advantages and disadvantages of the method 56 3.2.2. Further methods for testing Markov chains 57 3.3. Summary and discussion 58 4. Sequential stopping rules 60 4.1. The COAST rule 61 4.2. The CLAST rule 61 4.3. The variable criteria sequential stopping rule 61 4.4. Discussion 62 4.5. Using the vcSSR when transferring an effect from audition to vision 64 5. Predictability in visual multistability 66 5.1. Pretests 66 5.2. Predictability effects in visual pattern-component rivalry 69 5.2.1. Introduction 69 5.2.2. Methods 71 5.2.2.1. Participants 71 5.2.2.2. Setup 72 5.2.2.3. Stimuli 73 5.2.2.4. Conditions 73 5.2.2.5. Design and procedure 73 5.2.2.6. Analysis 74 5.2.3. Results 75 5.2.3.1. Valid reports 75 5.2.3.2. Verification of reports by eye movements 76 5.2.3.3. Onset latency 76 5.2.3.4. Dominance durations 78 5.2.3.5. Relative dominance of the segregated percept 78 5.2.4. Discussion 78 6. General discussion 83 6.1. Reporting percepts 83 6.1.1. Providing two versus three response options 83 6.1.2. Stimuli with more than three percepts 84 6.1.3. When to pool percepts together and when not 84 6.1.4. Leaving out percepts 87 6.1.5. Measuring (unreported) percepts 88 6.2. Comparing influencing factors on different levels 88 6.3. The use of the vcSSR 90 6.4. Valid reports 90 6.5. Conclusion 93 References 94

Visuelle Information wird am schärfsten wahrgenommen, wenn sie im Zentrum des Sichtfeldes (der Fovea) erscheint. Um relevante Reize mit fovealer Sehschärfe betrachten zu können, führen wir regelmäßig schnelle, ruckartige Augenbewegungen aus, die als Sakkaden bezeichnet werden. Über Jahrzehnte hinweg wurde der Einfluss der Sakkadenvorbereitung auf visuelle Sensitivität am peripheren Augenbewegungsziel untersucht. Gleichzeitig ist überraschend wenig darüber bekannt, wie sich unsere visuelle Wahrnehmung im gegenwärtigen Blickzentrum verändert, bevor eine Sakkade ausgeführt wird. Die in dieser Dissertation vorgestellten Experimente deuten darauf hin, dass foveales Sehen prädiktiv agiert: Definierende Merkmale des Augenbewegungsziels werden am präsakkadischen Fixationsort verstärkt wahrgenommen und somit im Zentrum des Sichtfeldes vorhergesagt. Diese präsakkadische Wahrnehmungsverstärkung zeigte sich als erhöhte Trefferraten für foveal präsentierte Reize, die die gleiche Orientierung wie das Sakkadenziel aufwiesen, sowie als systematisches Antwortverhalten auf zielkongruente Orientierungsinformation in foveal gezeigtem Rauschen. Foveale Vorhersagen waren auf einen kleinen räumlichen Radius um das Blickzentrum beschränkt, während der Sakkadenvorbereitung stärker ausgeprägt als unter Fixation und skalierten mit dem Signal-Rausch-Verhältnis von Orientierungsinformation am Augenbewegungsziel. Wir beobachteten darüber hinaus eine Interaktion zwischen der peripheren Auflösung des Sakkadenziels und dem Raumfrequenzinhalt foveal vorhergesagter Orientierungsinformation. Diese Interaktion legt nahe, dass das Sakkadenziel in seiner präsakkadischen Auflösung foveal antizipiert wurde. Zusammenfassend deuten unsere Ergebnisse darauf hin, dass foveales Sehen einen aktiven Beitrag zur Herstellung visueller Kontinuität leistet. Ein Sakkadenziel wird bereits vor der Bewegung foveal verarbeitet, was einen nahtlosen perzeptuellen Übergang ermöglicht, sobald die Augen auf dem Ziel landen. / Human vision is sharpest in the central part of the visual field (the fovea) and becomes increasingly blurry towards the periphery. To bring relevant information into foveal vision, we frequently execute rapid large-scale eye movements called saccades. Decades of research have characterized the impact of saccade preparation on visual sensitivity at the target of the imminent eye movement. Surprisingly, little is known about the concurrent development of perception in the pre-saccadic center of gaze. This dissertation proposes that foveal processing operates predictively while an eye movement is prepared to a peripheral visual field location: Defining features of the eye movement target are enhanced in the pre-saccadic center of gaze, anticipating the incoming post-saccadic image. In our investigations, enhancement manifested as increased Hit Rates for foveal probes with target-congruent orientation and systematic responses to target-similar orientation information in foveally presented noise. Foveal enhancement was confined to a small spatial region surrounding the pre-saccadic center of gaze, more pronounced during eye movement preparation than during passive fixation, and increased with the signal-to-noise ratio of orientation information at the target location. Intriguingly, we observed an interaction between the pre-saccadic peripheral resolution of the saccade target and the spatial frequency range of foveally enhanced information, suggesting that foveal predictions draw on instantaneous peripheral input. Finally, using a full-screen motion paradigm, we characterize reflexive gaze responses that may provide a continuous oculomotor readout of target anticipation in humans and non-human primates. Combined, our findings suggest an active contribution of foveal processing to transsaccadic visual continuity. Foveal processing of eye movement targets commences before the movement is executed, enabling a seamless perceptual transition immediately upon saccade landing.

In dieser Arbeit wird eine Theorie der transgressiven Kräfte entwickelt, mit deren Hilfe Kommunikationsdesign genauer analysiert werden kann als bisher. Dadurch ­können aktuelle Designfragen beantwortet und Handlungsempfehlungen für Praxis, Lehre und For­schung ausgesprochen werden. Die Arbeit richtet sich an Designerinnen und Designer aus Lehre und Praxis. Darüber hinaus an Akteure aus Design- und Bildforschung sowie aus design­nahen Disziplinen wie Architektur und Kunst. Ausgangspunkt ist, dass enkultivierte visuelle Elemente und Strukturen in einer frühen Rezeptionsphase Affekte auslösen. Die damit verbundenen transgressiven Kräfte können die intendierte Bedeutung oder Funktion eines visuellen Mediums positiv, negativ oder neutral beeinflussen. Beispielhaft wird die Rolle elementarer pikturaler Phänomene wie Linien und deren Stärke, Helligkeiten von Flächen und deren Strukturen sowie deren Prinzipien zur Anordnung im Kommunikationsdesign diskutiert. Positive visuelle Transgression verstärkt die Wirkung von Kommunikations­design-Lösungen nachhaltig, weil sie auf enkultivierten pikturalen Phänomenen basiert. Erreicht wird sie durch den kongruenten Einsatz von intendierter Bedeutung und visueller Substanz. Es werden Handlungs­empfeh­lungen abgeleitet, um Entwurfsprozesse im Kommunikationsdesign positiv zu beeinflussen.:I Einleitung … 1 Leitfragen, Thesen, Hypothesen und Aufbau … 1.1 Leitfragen, Thesen und Hypothesen, 1.2 Elementare Phänomene …: Terminologie für Analyse und Diskurs, 1.3 Aufbau der Arbeit als Narrativ, 1.4 Systematischer Aufbau der Arbeit. 2 Zur Analyse von Kommunikationsdesign 2.1 Ausblick auf Ergebnisse, 2.2 Ziel: Methodische Analysen und Diskurse …, 2.3 Transgressive Kräfte und Wirkungen …, 2.4 Visuelle Orte analysieren und diskutieren. II Pikturale Phänomene: Orte und Prozesse … 3 Elementare pikturale Phänomene und Prozesse im Kommunikationsdesign 3.1 Semiotik und Semiologie in sozialen Strukturen, 3.2 Kleinste bedeutungstragende pikturale Phänomene …, 3.3 Entwurfsprozess und Abstraktion als Leitkonzepte …, 3.4 Zusammenfassung. 4 Räumliche und zeitliche Orte in Grafik und Design, Vorüberlegungen … 4.1 Visuelle Verortung in Raum und Zeit, 4.2 Emblematik als vorindustrieller Bezugsrahmen, 4.3 Embleme und Picturi: Drei Beispiele, 4.4 Bilder in industriellem Kontext: Grafische Semiologie von Bertin, 4.5 Visualisierung bei Neurath und Arntz, 4.6 Zusammenfassung. III Visuelle Wahrnehmung: Pikturale Phänomene, Affekte und Signale 5 Visuelle Wahrnehmung und Affekt 5.1 Exkurs: Physiologie des Sehens, 5.2 Von der Gestalt zum Affekt, 5.3 Vor- und halbbewusste visuelle Erfahrung, 5.4 Affektives Sehen, 5.5 Invarianz medial vermittelter Bilder, 5.6 Zusammenfassung. 6 Mit Affekt zur Argumentation … 6.1 Affektive visuelle Rezeption: Leidenschaft vor Ratio, 6.2 Visuell-persuasive Argumentation …, 6.3 Maximen visuell-persuasiver Kommunikation, 6.4 Zusammenfassung. 7 Bi-, tri- und multimodale Wahrnehmung pikturaler Phänomene 7.1 Bildwahrnehmung in zwei Phasen, 7.2 Bildwahrnehmung in drei Phasen, 7.3 Multimodale Wahrnehmung bei Medien, 7.4 Zusammenfassung. IV Visuelle Elemente, Strukturen und Prozesse im soziosemiotischen Diskurs 8 Pikturale Phänomene im kulturellen Raum 8.1 Visuelle Kultur organisiert Beziehungen, 8.2 Visuelle Kultur verbindet Materialität mit Kommunikationsdesign, 8.3 Zusammenfassung. 9 Soziosemiotik und soziale Akteure … 9.1 Visuelle und menschliche Akteure, 9.2 Visuelle Orte als Elemente sozialer Systeme, 9.3 Die Macht visueller und menschlicher Akteure, 9.4 Zusammenfassung. 10 Dynamik und Stabilität visueller Prozesse … 10.1 Parameter Zeit in Semiologie und Gestaltung, 10.2 Evolution visueller Signale, 10.3 Semiose und Signifikation sind Grundlagen diskursiver Praxis, 10.4 Apriorische Wirkung von Grafik als gesellschaftlicher Kraft, 10.5 Exkurs: Archäologie bei Foucault, 10.6 Transgressive Wirkungen im semiosischen Feld, 10.7 Zusammenfassung. 11 Ästhetisches Handeln im visuellen Diskurs 11.1 Diskurs pikturaler Phänomene, 11.2 Visuelle Ereignisse – Verknüpfung von Diskurs- und Praxistheorie, 11.3 Andere Sichtweisen als Existenzweisen verstehen, 11.4 Ästhetisches Handeln: Kommunikation durch visuelle Zeichen, 11.5 Zusammenfassung. V Ästhetische Wirkungen pikturaler Phänomene 12 Materiale visuelle Ästhetik und natürliche Signale 12.1 Semiotik und Bewusstsein: Zeichentrichotomien und Zeichenklassen, 12.2 Ästhetische Zustände zwischen Präsentation und Repräsentation, 12.3 Transgression durch natürliche Signale, 12.4 Zusammenfassung. 13 Ästhetische Wirkungen in Design und Kunst 13.1 Ikonische Anschauung und Anschlussmöglichkeiten, 13.2 Wirkungsästhetik bei Text und Bild, 13.3 Ästhetische Zeichenprozesse …, 13.4 Visuelle Transgression in Bildwissenschaft und Kunstgeschichte, 13.5 Zusammenfassung. 14 Ontologie visueller Elemente und Strukturen 14.1 Grafische Elemente und Strukturen erzeugen Sinn, 14.2 Ontologie durch pikturale Phänomene, 14.3 Zusammenfassung. VI Methoden und erste Analysen pikturaler Phänomene 15 Erfahrungen mit Bildern aufzeichnen, messen und beschreiben 15.1 Identifizierung als Realisation, Clustering und Diskurs: Übersicht der Methodologie, 15.2 Mit Empirie und Heuristik zum Diskurs, 15.3 Grounded Theory als Methodologie zur Vorbereitung visueller Diskurse, 15.4 Durch Bildanalysen visuelle Diskurse vorbereiten, 15.5 Exkurs: Erfassen von Augen- und Blickbewegung, 15.6 Zusammenfassung. 16 Differenzierung und Klassifizierung pikturaler Phänomene 16.1 Identifizierung visueller Orte, 16.2 Figuration konkreter und abstrakter Orte, 16.3 Untersuchung räumlicher und zeitlicher Orte, 16.4 Zusammenfassung. 17 Visuell-syntaktisches Differenzial – Qualifizierung und Quantifizierung pikturaler Phänomene 17.1 Räumliche und zeitliche Orte qualifizieren, 17.2 Exkurs: Qualifizierung bei Kress und Leeuwen, 17.3 Cluster zur Quantifizierung abstrakter Dimensionen visueller Orte, 17.4 Exemplarische Quantifizierung bei Neurath und Arntz, 17.5 Befragung: Generalisierbarkeit der Ergebnisse, 17.6 Von visueller Transgression zu bildhermeneutischen Analysen, 17.7 Zusammenfassung. VII Anwendung der Methode: Visueller Diskurs im Kommunikationsdesign, Zwischenergebnisse 18 Vom visuellen Cluster zum Diskurs im Kommunikationsdesign 18.1 Narrativ für empirische soziosemiotische Studien im Kommunikationsdesign, 18.2 Spezifische Thesen sind Diskursgrundlage im Kommunikationsdesign, 18.3 Zusammenfassung. 19 Drei Praxisfelder im Diskurs – Infografik, visuelle Zeichen und Kartengrafik 19.1 Karten- und Infografik: Orte bei Jacques Bertin, 1960 bis 1974, 19.2 Schlussfolgerung im Anschluss an die Analysen bei Bertin, 19.3 Zeichen für Speicherorte, 2014, 19.4 Schlussfolgerung im Anschluss an die Analysen der Zeichen für Speicherorte, 19.5 Geschichtsdaten als Karten, 2000 bis 2017, 19.6 Schlussfolgerung im Anschluss an die Analysen von Geschichtskarten, 19.7 Zusammenfassung. VIII Ergebnis: Theorie visueller Transgression und Schlussfolgerungen für die Praxis 20 Theorie visueller Transgression 20.1 Diskurs zur Analyse von Beziehungen zwischen Mensch und Medium …, 20.2 Systemtheoretische Einordnung einer Organik des Visuellen, 20.3 Enkultivierte elementare visuelle Signale …, 20.4 Theorie elementarer pikturaler Phänomene …, 20.5 Zusammenfassung. 21 Visuelle Transgression im Kommunikationsdesign 21.1 Notwendigkeit positiver Transgression, 21.2 Methodische visuelle Analyse: Empfehlungen für die Praxis, 21.3 Transgressive Kräfte und visueller Diskurs in der Designlehre, 21.4 Folgeuntersuchungen …, 21.5 Zusammenfassung. IX Anhang 22 Begriffe und Definitionen 23 Recherchen, Erhebung, Bildbeispiele und Tabellen 23.1 Recherche …, 23.2 Statistische Übersicht der Bildrecherchen, 23.3 Visuelles Zeigen und visuelle Orte, 23.4 Gegenüberstellung von Abstraktionsgraden, 23.5 Tabelle: Eigenschaften von Bildern mit kommunikativer Funktion, 23.6 Untersuchung: Reliabilitätsschätzung von Polaritätenprofilen, 23.7 Recherche: Kartengrafik und Zeitdimension, 23.8 Speicherorte: Matrizen, Cluster, Fragebogen, 23.9 Tabellen zur Augen- und Blickbewegungsmessung, 23.10 Zeichenklassen bei Peirce, 23.11 Herleitungen und Darstellungsvarianten zum syntaktischen Differenzial 24 Bibliographie 25 Bildquellen, Dank, Kurzvita / In this work a theory of transgressive forces is developed. It can be used to analyse communication design more precisely than before. This provides an answer to current design questions and delivers recommendations for action in practice, teaching and research. The work is aimed at designers in the fields of teaching and practice, as well as actors in design and image research and design-related disciplines such as architecture and art. The starting point is that enculturated visual elements and structures trigger emotions in an early phase of perception. The associated transgressive forces have a positive, negative or neutral influence on communication. The role of elementary pictorial phenomena such as lines and their strength, brightness of surfaces and their structures as well as their principles for arrangement in communication design are discussed by way of example. Positive visual transgression sustainably enhances the impact of communication design solutions because it is based on encultivated pictorial phenomena. This is achieved through the congruent use of intended meaning and visual substance. Recommendations for action are derived to positively influence creative processes in communication design.:I Einleitung … 1 Leitfragen, Thesen, Hypothesen und Aufbau … 1.1 Leitfragen, Thesen und Hypothesen, 1.2 Elementare Phänomene …: Terminologie für Analyse und Diskurs, 1.3 Aufbau der Arbeit als Narrativ, 1.4 Systematischer Aufbau der Arbeit. 2 Zur Analyse von Kommunikationsdesign 2.1 Ausblick auf Ergebnisse, 2.2 Ziel: Methodische Analysen und Diskurse …, 2.3 Transgressive Kräfte und Wirkungen …, 2.4 Visuelle Orte analysieren und diskutieren. II Pikturale Phänomene: Orte und Prozesse … 3 Elementare pikturale Phänomene und Prozesse im Kommunikationsdesign 3.1 Semiotik und Semiologie in sozialen Strukturen, 3.2 Kleinste bedeutungstragende pikturale Phänomene …, 3.3 Entwurfsprozess und Abstraktion als Leitkonzepte …, 3.4 Zusammenfassung. 4 Räumliche und zeitliche Orte in Grafik und Design, Vorüberlegungen … 4.1 Visuelle Verortung in Raum und Zeit, 4.2 Emblematik als vorindustrieller Bezugsrahmen, 4.3 Embleme und Picturi: Drei Beispiele, 4.4 Bilder in industriellem Kontext: Grafische Semiologie von Bertin, 4.5 Visualisierung bei Neurath und Arntz, 4.6 Zusammenfassung. III Visuelle Wahrnehmung: Pikturale Phänomene, Affekte und Signale 5 Visuelle Wahrnehmung und Affekt 5.1 Exkurs: Physiologie des Sehens, 5.2 Von der Gestalt zum Affekt, 5.3 Vor- und halbbewusste visuelle Erfahrung, 5.4 Affektives Sehen, 5.5 Invarianz medial vermittelter Bilder, 5.6 Zusammenfassung. 6 Mit Affekt zur Argumentation … 6.1 Affektive visuelle Rezeption: Leidenschaft vor Ratio, 6.2 Visuell-persuasive Argumentation …, 6.3 Maximen visuell-persuasiver Kommunikation, 6.4 Zusammenfassung. 7 Bi-, tri- und multimodale Wahrnehmung pikturaler Phänomene 7.1 Bildwahrnehmung in zwei Phasen, 7.2 Bildwahrnehmung in drei Phasen, 7.3 Multimodale Wahrnehmung bei Medien, 7.4 Zusammenfassung. IV Visuelle Elemente, Strukturen und Prozesse im soziosemiotischen Diskurs 8 Pikturale Phänomene im kulturellen Raum 8.1 Visuelle Kultur organisiert Beziehungen, 8.2 Visuelle Kultur verbindet Materialität mit Kommunikationsdesign, 8.3 Zusammenfassung. 9 Soziosemiotik und soziale Akteure … 9.1 Visuelle und menschliche Akteure, 9.2 Visuelle Orte als Elemente sozialer Systeme, 9.3 Die Macht visueller und menschlicher Akteure, 9.4 Zusammenfassung. 10 Dynamik und Stabilität visueller Prozesse … 10.1 Parameter Zeit in Semiologie und Gestaltung, 10.2 Evolution visueller Signale, 10.3 Semiose und Signifikation sind Grundlagen diskursiver Praxis, 10.4 Apriorische Wirkung von Grafik als gesellschaftlicher Kraft, 10.5 Exkurs: Archäologie bei Foucault, 10.6 Transgressive Wirkungen im semiosischen Feld, 10.7 Zusammenfassung. 11 Ästhetisches Handeln im visuellen Diskurs 11.1 Diskurs pikturaler Phänomene, 11.2 Visuelle Ereignisse – Verknüpfung von Diskurs- und Praxistheorie, 11.3 Andere Sichtweisen als Existenzweisen verstehen, 11.4 Ästhetisches Handeln: Kommunikation durch visuelle Zeichen, 11.5 Zusammenfassung. V Ästhetische Wirkungen pikturaler Phänomene 12 Materiale visuelle Ästhetik und natürliche Signale 12.1 Semiotik und Bewusstsein: Zeichentrichotomien und Zeichenklassen, 12.2 Ästhetische Zustände zwischen Präsentation und Repräsentation, 12.3 Transgression durch natürliche Signale, 12.4 Zusammenfassung. 13 Ästhetische Wirkungen in Design und Kunst 13.1 Ikonische Anschauung und Anschlussmöglichkeiten, 13.2 Wirkungsästhetik bei Text und Bild, 13.3 Ästhetische Zeichenprozesse …, 13.4 Visuelle Transgression in Bildwissenschaft und Kunstgeschichte, 13.5 Zusammenfassung. 14 Ontologie visueller Elemente und Strukturen 14.1 Grafische Elemente und Strukturen erzeugen Sinn, 14.2 Ontologie durch pikturale Phänomene, 14.3 Zusammenfassung. VI Methoden und erste Analysen pikturaler Phänomene 15 Erfahrungen mit Bildern aufzeichnen, messen und beschreiben 15.1 Identifizierung als Realisation, Clustering und Diskurs: Übersicht der Methodologie, 15.2 Mit Empirie und Heuristik zum Diskurs, 15.3 Grounded Theory als Methodologie zur Vorbereitung visueller Diskurse, 15.4 Durch Bildanalysen visuelle Diskurse vorbereiten, 15.5 Exkurs: Erfassen von Augen- und Blickbewegung, 15.6 Zusammenfassung. 16 Differenzierung und Klassifizierung pikturaler Phänomene 16.1 Identifizierung visueller Orte, 16.2 Figuration konkreter und abstrakter Orte, 16.3 Untersuchung räumlicher und zeitlicher Orte, 16.4 Zusammenfassung. 17 Visuell-syntaktisches Differenzial – Qualifizierung und Quantifizierung pikturaler Phänomene 17.1 Räumliche und zeitliche Orte qualifizieren, 17.2 Exkurs: Qualifizierung bei Kress und Leeuwen, 17.3 Cluster zur Quantifizierung abstrakter Dimensionen visueller Orte, 17.4 Exemplarische Quantifizierung bei Neurath und Arntz, 17.5 Befragung: Generalisierbarkeit der Ergebnisse, 17.6 Von visueller Transgression zu bildhermeneutischen Analysen, 17.7 Zusammenfassung. VII Anwendung der Methode: Visueller Diskurs im Kommunikationsdesign, Zwischenergebnisse 18 Vom visuellen Cluster zum Diskurs im Kommunikationsdesign 18.1 Narrativ für empirische soziosemiotische Studien im Kommunikationsdesign, 18.2 Spezifische Thesen sind Diskursgrundlage im Kommunikationsdesign, 18.3 Zusammenfassung. 19 Drei Praxisfelder im Diskurs – Infografik, visuelle Zeichen und Kartengrafik 19.1 Karten- und Infografik: Orte bei Jacques Bertin, 1960 bis 1974, 19.2 Schlussfolgerung im Anschluss an die Analysen bei Bertin, 19.3 Zeichen für Speicherorte, 2014, 19.4 Schlussfolgerung im Anschluss an die Analysen der Zeichen für Speicherorte, 19.5 Geschichtsdaten als Karten, 2000 bis 2017, 19.6 Schlussfolgerung im Anschluss an die Analysen von Geschichtskarten, 19.7 Zusammenfassung. VIII Ergebnis: Theorie visueller Transgression und Schlussfolgerungen für die Praxis 20 Theorie visueller Transgression 20.1 Diskurs zur Analyse von Beziehungen zwischen Mensch und Medium …, 20.2 Systemtheoretische Einordnung einer Organik des Visuellen, 20.3 Enkultivierte elementare visuelle Signale …, 20.4 Theorie elementarer pikturaler Phänomene …, 20.5 Zusammenfassung. 21 Visuelle Transgression im Kommunikationsdesign 21.1 Notwendigkeit positiver Transgression, 21.2 Methodische visuelle Analyse: Empfehlungen für die Praxis, 21.3 Transgressive Kräfte und visueller Diskurs in der Designlehre, 21.4 Folgeuntersuchungen …, 21.5 Zusammenfassung. IX Anhang 22 Begriffe und Definitionen 23 Recherchen, Erhebung, Bildbeispiele und Tabellen 23.1 Recherche …, 23.2 Statistische Übersicht der Bildrecherchen, 23.3 Visuelles Zeigen und visuelle Orte, 23.4 Gegenüberstellung von Abstraktionsgraden, 23.5 Tabelle: Eigenschaften von Bildern mit kommunikativer Funktion, 23.6 Untersuchung: Reliabilitätsschätzung von Polaritätenprofilen, 23.7 Recherche: Kartengrafik und Zeitdimension, 23.8 Speicherorte: Matrizen, Cluster, Fragebogen, 23.9 Tabellen zur Augen- und Blickbewegungsmessung, 23.10 Zeichenklassen bei Peirce, 23.11 Herleitungen und Darstellungsvarianten zum syntaktischen Differenzial 24 Bibliographie 25 Bildquellen, Dank, Kurzvita

Thema dieser Dissertation ist die Frage, wie sich Licht und Sehen im Zuge der Elektrifizierung veränderten, und zwar aus Sicht literarischer Erzähltexte, die zwischen 1900 und 1933 publiziert wurden. Ausgangslage der Untersuchung ist erstens die These, dass durch den Einsatz des elektrischen Lichts eine Reihe neuer Wahrnehmungsdispositive entstanden, wo trotz der Lichtstärke elektrischer Leuchtmittel zwielichtige Licht- und prekäre Sichtverhältnisse herrschten. An drei besonders markanten Zwielichtszenarien der ästhetisch-technischen Moderne – Großstadt, Kino und Schützengraben – werden anhand einer breiten Quellenbasis aus Literatur, Technik, Wissenschaft, Philosophie und Ästhetik aufgezeigt, wie die Ausdifferenzierung der lichttechnischen Infrastruktur neue Blickregime und ästhetische Weltanschauungen produzierte, die ihrerseits veränderte Techniken des Sehens evozierten. Eine weitere zentrale These lautet, dass sich angesichts der prekären Licht- und Sichtverhältnisse auch die kulturelle Semantik des Lichts veränderte: die Art und Weise, wie Licht, und damit ebenso die Vorstellungen von Wahrnehmung, Wahrheit und Wirklichkeit, vor- und dargestellt wurden. Die neuen Lichtphänomene erforderten neben aisthetischen (die sinnliche Wahrnehmung betreffende) Anpassungsleistungen auch ästhetische Bewältigungsstrategien: neue Darstellungsweisen und symbolisch-metaphorische Zuschreibungen, die das zeitgenössische Wissen über Licht und Sehen gehörig in Bewegung brachte. Es entstanden virulente neue Korrelationen ‚moderner Wahrnehmung‘ zwischen technisch erzeugtem Zwielicht, epistemischer Irritation und narrativ erzeugter Visualität. Ich hoffe, mit meiner Arbeit neue Perspektiven auf die nach wie vor relevante Frage ‚moderner Wahrnehmung‘ zu werfen, die sich seit der ‚elektrischen Moderne‘ sukzessive als immer ausgeklügelteres Zusammenspiel von (Licht-)technik, aisthesis und Ästhetik neuformiert. / This dissertation focuses on how light(ing) and seeing/ perception changed in the course of electrification, from the perspective of German literature, published between 1900 and 1933. My first claim is, that the use of electric light created a series of new perceptual dispositifs, where dubious light and precarious visual conditions prevailed despite the luminous intensity of electric lighting. Three particularly striking twilight scenarios, that play a significant role in technology and aesthetics in the early 20th century, – namely the City, the Cinema, and the Trenches of WWI – are gripping settings to demonstrate, how disruptive lighting infrastructure produced new scopic regimes and innovative aesthetic perspectives (Weltanschauungen) that changed the techniques of visual perception. Drawing from a broad base of sources from literature, technology, science, philosophy, and aesthetics, I argue that the disruptive lighting technologies did not only change light phenomena, visual conditions and perception, but also transformed the cultural semantics of light substantially. Closely tied to concepts of truth, perception and reality, the rhetoric of light and lighting are dense metaphors and symbols, deeply interconnected with the history of knowledge. The new light phenomena required aisthetic (sensory perception-related) adaptations, as well as aesthetic coping strategies, like new modes of representation and symbolic-metaphorical attributions that troubled contemporary knowledge about light and visuality. My research zooms in on the visual dispositifs of ‘electric modernity’ and thus on the new correlations between technically generated twilight, epistemic irritation, and narrative visuality. By analysing the interplay of lighting and visual technology, aisthesis, and literary aesthetics in early 20th century, I hope to shed new light on the intriguing question of ‘modern perception’ that remains relevant from the beginning of the electric age until now.

Die vorliegende Arbeit beschäftigt sich mit der Untersuchung und Beschreibung der Eigenschaften der synthetischen Dekapeptide Cetrorelix und Ozarelix durch analytische Methoden und computergestützte Modellierung. Diese Moleküle sind hydrophobe, aggregierende Antagonisten des Gonadotropin-Releasing-Hormons (GnRH). Zusätzlich wurden amyloidbildende Peptidstrukturen als Modelle für die Assoziationsprozesse in hydrophoben Peptiden untersucht und visualisiert. Die intrinsische Fluoreszenz der GnRH-Antagonisten und zusätzlich der Peptide Teverelix und D-Phe6-GnRH sowie von verkürzten Fragmenten des Cetrorelix wurde untersucht. Ein Strukturmodell für die Beschreibung der Aggregation der Dekapeptide wurde erarbeitet. Der Aufbau eines Rechenclusters durch das Einbinden der Computer am Lehrstuhl in ein Linux-System zur Verteilung von Rechenprozessen über das Netzwerk ermöglichte die Bereitstellung der notwendigen Leistung zur Realisierung der Berechnungen. Es wurden Werkzeuge zur Modellierung der solvatisierten Aggregate von Peptiden ohne eindeutige Vorzugsstruktur programmiert und in ein Docking-System für beliebige Moleküle eingebunden. Verwendet wurde das Kraftfeld MMFF94 mit einer Erweiterung durch ein Verfahren zur dynamischen Berechnung von Partialladungen in Molekülstrukturen. Solvatisierte Aggregate der Dekapeptide und von bekannten amyloidbildenden Strukturen wurden modelliert (Docking). Berechnet wurden als aggregierend beschriebene Sequenzen und entsprechende Vergleichsstrukturen des Calcitonins, des Insel-Amyloid-Polypeptides, des beta2-Mikroglobulins, des Amyloid-beta-Proteins, des Lactoferrins und weitere Modellpeptide. Die wesentlichen Wechselwirkungen während der Aggregation konnten schließlich anhand von Dynamik-Simulationen der faltblattartigen Dimere des Cetrorelix und Ozarelix beschrieben werden. So wurden die Prozesse der hydrophoben Assoziation und Stabilisierung durch Wasserstoffbrücken von Peptiden veranschaulicht und auf molekularer Ebene erfolgreich analysiert. Die Visualisierung der erhaltenen Modellierungsergebnisse erfolgt durch die Darstellung der Strukturen und Dynamik-Simulationen als interaktive 3D-Modelle in einem für diese Arbeit aufgebauten Internetauftritt. / This work discusses the analysis of the aggregation properties of the gonadotropin releasing hormone antagonists Cetrorelix, Teverelix, Ozarelix and of small amyloid forming model peptides by analytical fluorescence spectroscopy and molecular modelling. A high performance linux compute cluster was developed for calculation of molecular structures. Solvated aggregate clusters of peptides without defined secondary structure were modelled by molecular mechanics methods (forcefield mmff94) in combination with an advanced charge equilibration and docking technique. Molecular dynamics of solvated peptide dimers were implemented and the role of hydrophic association and hydrogen bond formation in hydrophobic peptide aggregates was explained. Finally, an aggregation model for the directed association of hydrophobic peptides is presented. The modelling results, 3d structures and dynamic simulations are visualized in an interactive web material.

Die vorliegende Arbeit beschäftigt sich mit der Untersuchung und Beschreibung der Eigenschaften der synthetischen Dekapeptide Cetrorelix und Ozarelix durch analytische Methoden und computergestützte Modellierung. Diese Moleküle sind hydrophobe, aggregierende Antagonisten des Gonadotropin-Releasing-Hormons (GnRH). Zusätzlich wurden amyloidbildende Peptidstrukturen als Modelle für die Assoziationsprozesse in hydrophoben Peptiden untersucht und visualisiert. Die intrinsische Fluoreszenz der GnRH-Antagonisten und zusätzlich der Peptide Teverelix und D-Phe6-GnRH sowie von verkürzten Fragmenten des Cetrorelix wurde untersucht. Ein Strukturmodell für die Beschreibung der Aggregation der Dekapeptide wurde erarbeitet. Der Aufbau eines Rechenclusters durch das Einbinden der Computer am Lehrstuhl in ein Linux-System zur Verteilung von Rechenprozessen über das Netzwerk ermöglichte die Bereitstellung der notwendigen Leistung zur Realisierung der Berechnungen. Es wurden Werkzeuge zur Modellierung der solvatisierten Aggregate von Peptiden ohne eindeutige Vorzugsstruktur programmiert und in ein Docking-System für beliebige Moleküle eingebunden. Verwendet wurde das Kraftfeld MMFF94 mit einer Erweiterung durch ein Verfahren zur dynamischen Berechnung von Partialladungen in Molekülstrukturen. Solvatisierte Aggregate der Dekapeptide und von bekannten amyloidbildenden Strukturen wurden modelliert (Docking). Berechnet wurden als aggregierend beschriebene Sequenzen und entsprechende Vergleichsstrukturen des Calcitonins, des Insel-Amyloid-Polypeptides, des beta2-Mikroglobulins, des Amyloid-beta-Proteins, des Lactoferrins und weitere Modellpeptide. Die wesentlichen Wechselwirkungen während der Aggregation konnten schließlich anhand von Dynamik-Simulationen der faltblattartigen Dimere des Cetrorelix und Ozarelix beschrieben werden. So wurden die Prozesse der hydrophoben Assoziation und Stabilisierung durch Wasserstoffbrücken von Peptiden veranschaulicht und auf molekularer Ebene erfolgreich analysiert. Die Visualisierung der erhaltenen Modellierungsergebnisse erfolgt durch die Darstellung der Strukturen und Dynamik-Simulationen als interaktive 3D-Modelle in einem für diese Arbeit aufgebauten Internetauftritt. / This work discusses the analysis of the aggregation properties of the gonadotropin releasing hormone antagonists Cetrorelix, Teverelix, Ozarelix and of small amyloid forming model peptides by analytical fluorescence spectroscopy and molecular modelling. A high performance linux compute cluster was developed for calculation of molecular structures. Solvated aggregate clusters of peptides without defined secondary structure were modelled by molecular mechanics methods (forcefield mmff94) in combination with an advanced charge equilibration and docking technique. Molecular dynamics of solvated peptide dimers were implemented and the role of hydrophic association and hydrogen bond formation in hydrophobic peptide aggregates was explained. Finally, an aggregation model for the directed association of hydrophobic peptides is presented. The modelling results, 3d structures and dynamic simulations are visualized in an interactive web material.