Der Einsatz von Bildern in den unterschiedlichsten Bereichen ist enorm gestiegen, da Bilder die Fähigkeit haben Erlebnisse, sowie Emotionen zu erzeugen und die Phantasie anzuregen. Zudem lässt die rasante Entwicklung im Multimediabereich die Anzahl der fotografierten und gespeicherten Bilder steigen. Die Suche nach dem „besten Bild“ für z.B. eine Kampagne gestaltet sich schwierig, da die Inhalte mehrerer Bilder zu einem Thema nicht selten eine hohe Ähnlichkeit aufweisen. Die Bilder können sich allerdings sehr deutlich in ihren Low-Level Features, wie Farbton, Sättigung und Helligkeit, unterscheiden. Jedoch ist der Emotional Gap zwischen diesen Low-Level Features und der dahinter steckenden High-Level-Semantik im inhaltsbasierten Image Retrieval nur marginal untersucht. Im Fokus dieser Arbeit steht die Analyse des Einflusses der emotionalen Wirkung eines Bildes auf die Qualität der Image Retrieval Ergebnisse. Dies umfasst zum einen die Untersuchung der von Farbeigenschaften eines Bildes ausgelösten Emotionen, sowie die Evaluation der Ergebnisse einer emotionalen Bildsuche. Durch verschiedene Experimente kann gezeigt werden, dass die Helligkeit und der Farbton die emotionale Wahrnehmung eines Bildes maßgeblich beeinflussen. Anhand der Ergebnisse konnte eine emotionale Annotation von Bildern und somit die Einbindung von Emotionen in den Suchprozess ermöglicht werden. Die anschließende Evaluierung der Suchergebnisse zeigt, dass die Qualität der Ergebnisse des Image Retrievals verbessert werden konnte. / The use of pictures in a variety of areas has increased tremendously in recent years, as they stimulate a person’s imagination and help to create first experiences and emotions. Furthermore, the rapid developments in multimedia have led to an escalation of the number of digitally stored pictures and photographs. Consequently, finding the ‘best picture’ for a convincing advertising campaign has been becoming increasingly difficult due to the abundance of available pictures. To further complicate this search process, a lot of pictures related to a specific topic are very similar with regard to their content. However, their low-level features, such as hue, saturation, and luminance, might differ considerably. Therefore, this work focusses on the influence of emotional characteristics on the image retrieval process. This includes the study of emotions caused by the color properties of a picture, as well as the evaluation of the results of an emotional image retrieval processes. Results of different experiments show that a picture’s luminance and color have the power to influence emotion. The subsequent evaluation of the results shows an improvement of emotional image retrieval processes. Consequently, one can conclude that the consideration of emotions for ranking affects the quality of the results of the Image Retrieval positively.

The ability of the visual system for object recognition is remarkable. A better understanding of its processing would lead to better computer vision systems and could improve our understanding of the underlying principles which produce intelligence. We propose a computational model of the visual areas V1 and V2, implementing a rich connectivity inspired by the neocortical circuit. We combined the three most important cortical plasticity mechanisms. 1) Hebbian synaptic plasticity to learn the synapse strengths of excitatory and inhibitory neurons, including trace learning to learn invariant representations. 2) Intrinsic plasticity to regulate the neurons responses and stabilize the learning in deeper layers. 3) Structural plasticity to modify the connections and to overcome the bias for the learnings from the initial definitions. Among others, we show that our model neurons learn comparable receptive fields to cortical ones. We verify the invariant object recognition performance of the model. We further show that the developed weight strengths and connection probabilities are related to the response correlations of the neurons. We link the connection probabilities of the inhibitory connections to the underlying plasticity mechanisms and explain why inhibitory connections appear unspecific. The proposed model is more detailed than previous approaches. It can reproduce neuroscientific findings and fulfills the purpose of the visual system, invariant object recognition. / Das visuelle System des Menschen hat die herausragende Fähigkeit zur invarianten Objekterkennung. Ein besseres Verständnis seiner Arbeitsweise kann zu besseren Computersystemen für das Bildverstehen führen und könnte darüber hinaus unser Verständnis von den zugrundeliegenden Prinzipien unserer Intelligenz verbessern. Diese Arbeit stellt ein Modell der visuellen Areale V1 und V2 vor, welches eine komplexe, von den Strukturen des Neokortex inspirierte, Verbindungsstruktur integriert. Es kombiniert die drei wichtigsten kortikalen Plastizitäten: 1) Hebbsche synaptische Plastizität, um die Stärke der exzitatorischen und inhibitorischen Synapsen zu lernen, welches auch „trace“-Lernen, zum Lernen invarianter Repräsentationen, umfasst. 2) Intrinsische Plastizität, um das Antwortverhalten der Neuronen zu regulieren und damit das Lernen in tieferen Schichten zu stabilisieren. 3) Strukturelle Plastizität, um die Verbindungen zu modifizieren und damit den Einfluss anfänglicher Festlegungen auf das Lernergebnis zu reduzieren. Neben weiteren Ergebnissen wird gezeigt, dass die Neuronen des Modells vergleichbare rezeptive Felder zu Neuronen des visuellen Kortex erlernen. Ebenso wird die Leistungsfähigkeit des Modells zur invariante Objekterkennung verifiziert. Des Weiteren wird der Zusammenhang von Gewichtsstärke und Verbindungswahrscheinlichkeit zur Korrelation der Aktivitäten der Neuronen aufgezeigt. Die gefundenen Verbindungswahrscheinlichkeiten der inhibitorischen Neuronen werden in Zusammenhang mit der Funktionsweise der inhibitorischen Plastizität gesetzt, womit erklärt wird warum inhibitorische Verbindungen unspezifisch erscheinen. Das vorgestellte Modell ist detaillierter als vorangegangene Arbeiten. Es ermöglicht neurowissenschaftliche Erkenntnisse nachzuvollziehen, wobei es ebenso die Hauptleistung des visuellen Systems erbringt, invariante Objekterkennung. Darüber hinaus ermöglichen sein Detailgrad und seine Selbstorganisationsprinzipien weitere neurowissenschaftliche Erkenntnisse und die Modellierung komplexerer Modelle der Verarbeitung im Gehirn.

Die vorliegende Arbeit untersucht die Auswirkung von reichhaltigen, natürlichen Eingabe- und Ausgabeinformationen in virtuellen Umgebungen in Form von Natural Mapping und Stereoskopie. Dabei steht insbesondere die Kombination der Ein- und Ausgabemodalitäten mit dem damit verbundenen Interaktionsgegenstand im Fokus. Auf Basis von mentalen Modellen werden Transferprozesse von Wissen und Fertigkeiten bezüglich realer Handlungen auf virtuelle Handlungen angenommen. Diese resultieren in einer potenziell höheren User Experience und Performance bei der Interaktion. Spatial Mapping wird als Konzept der räumlichen Übereinstimmung von Wahrnehmungsräumen der Ein- und Ausgabeinformationen eingeführt und damit als holistische Erweiterung von Natural Mapping verstanden. Spatial Mapping bezeichnet in der vorliegenden Arbeit den Grad der Verknüpfung der physikalischen und virtuellen Umgebung, sodass Nutzer im Idealfall eine isomorphe Abbildung der beiden Wahrnehmungsräume erfahren und notwendige Transformationsprozesse für die Verarbeitung der virtuellen Umgebung minimiert werden können. Im Resultat stehen mehr kognitive Ressourcen für andere Inhalte zur Verfügung. Auf Basis des Spatial-Mapping-Ansatzes wurde ein Pfadmodell konstruiert, das experimentell überprüft wurde. In zwei Experimenten wurden Effekte von Natural Mapping und Stereoskopie in Szenarien mit hohem Spatial Mapping untersucht. Das erste Experiment nutzte dafür ein kommerzielles Computerspiel, bei dem Spatial Mapping für die Interaktion nicht handlungsrelevant war. Beim zweiten Experiment kam ein Virtual-Reality-Simulator zum Einsatz, bei dessen Aufgabenstellung Nutzer vom hohen Spatial Mapping deutlich profitieren konnten. Meist wird Stereoskopie auf existierende mediale Inhalte angewendet, ohne die Inhalte entsprechend darauf anzupassen. Diese Vorgehensweise lässt sich sowohl bei kommerziellen Computerspielen als auch in der Filmindustrie beobachten. Die Experimente zeigen, dass Stereoskopie keinen Einfluss auf UX und Performance hat, wenn das verfügbare Spatial Mapping für den Interaktionsgegenstand nicht handlungsrelevant ist. Die Arbeit diskutiert den Einsatz von Stereoskopie und Natural Mapping in Abhängigkeit des verwendeten Interaktionsgegenstandes und liefert damit einen Erklärungsansatz, der Eingabe- und Ausgabemodalitäten kombiniert betrachtet.:1. Einführung: Spatial Mapping in virtuellen Umgebungen 2. User Experience und Zustände fokussierter Aufmerksamkeit 3. Two Step Process Model of Spatial Presence Formation 4. Stereoskopie in virtuellen Umgebungen 5. Natural Mapping in virtuellen Umgebungen 6. Spatial Mapping von Wahrnehmungsräumen 7. Experiment 1: Spatial Mapping bei niedriger Task Adequacy 8. Experiment 2: Spatial Mapping bei hoher Task Adequacy 9. Fazit und Ausblick

Visual attention is an important cognitive concept for the daily life of humans, but still not fully understood. Due to this, it is also rarely utilized in computer vision systems. However, understanding visual attention is challenging as it has many and seemingly-different aspects, both at neuronal and behavioral level. Thus, it is very hard to give a uniform explanation of visual attention that can account for all aspects. To tackle this problem, this thesis has the goal to identify a common set of neuronal mechanisms, which underlie both neuronal and behavioral aspects. The mechanisms are simulated by neuro-computational models, thus, resulting in a single modeling approach to explain a wide range of phenomena at once. In the thesis, the chosen aspects are multiple neurophysiological effects, real-world object localization, and a visual masking paradigm (OSM). In each of the considered fields, the work also advances the current state-of-the-art to better understand this aspect of attention itself. The three chosen aspects highlight that the approach can account for crucial neurophysiological, functional, and behavioral properties, thus the mechanisms might constitute the general neuronal substrate of visual attention in the cortex. As outlook, our work provides for computer vision a deeper understanding and a concrete prototype of attention to incorporate this crucial aspect of human perception in future systems.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion / Visuelle Aufmerksamkeit ist ein wichtiges kognitives Konzept für das tägliche Leben des Menschen. Es ist aber immer noch nicht komplett verstanden, so dass es ein langjähriges Ziel der Neurowissenschaften ist, das Phänomen grundlegend zu durchdringen. Gleichzeitig wird es aufgrund des mangelnden Verständnisses nur selten in maschinellen Sehsystemen in der Informatik eingesetzt. Das Verständnis von visueller Aufmerksamkeit ist jedoch eine komplexe Herausforderung, da Aufmerksamkeit äußerst vielfältige und scheinbar unterschiedliche Aspekte besitzt. Sie verändert multipel sowohl die neuronalen Feuerraten als auch das menschliche Verhalten. Daher ist es sehr schwierig, eine einheitliche Erklärung von visueller Aufmerksamkeit zu finden, welche für alle Aspekte gleichermaßen gilt. Um dieses Problem anzugehen, hat diese Arbeit das Ziel, einen gemeinsamen Satz neuronaler Mechanismen zu identifizieren, welche sowohl den neuronalen als auch den verhaltenstechnischen Aspekten zugrunde liegen. Die Mechanismen werden in neuro-computationalen Modellen simuliert, wodurch ein einzelnes Modellierungsframework entsteht, welches zum ersten Mal viele und verschiedenste Phänomene von visueller Aufmerksamkeit auf einmal erklären kann. Als Aspekte wurden in dieser Dissertation multiple neurophysiologische Effekte, Realwelt Objektlokalisation und ein visuelles Maskierungsparadigma (OSM) gewählt. In jedem dieser betrachteten Felder wird gleichzeitig der State-of-the-Art verbessert, um auch diesen Teilbereich von Aufmerksamkeit selbst besser zu verstehen. Die drei gewählten Gebiete zeigen, dass der Ansatz grundlegende neurophysiologische, funktionale und verhaltensbezogene Eigenschaften von visueller Aufmerksamkeit erklären kann. Da die gefundenen Mechanismen somit ausreichend sind, das Phänomen so umfassend zu erklären, könnten die Mechanismen vielleicht sogar das essentielle neuronale Substrat von visueller Aufmerksamkeit im Cortex darstellen. Für die Informatik stellt die Arbeit damit ein tiefergehendes Verständnis von visueller Aufmerksamkeit dar. Darüber hinaus liefert das Framework mit seinen neuronalen Mechanismen sogar eine Referenzimplementierung um Aufmerksamkeit in zukünftige Systeme integrieren zu können. Aufmerksamkeit könnte laut der vorliegenden Forschung sehr nützlich für diese sein, da es im Gehirn eine Aufgabenspezifische Optimierung des visuellen Systems bereitstellt. Dieser Aspekt menschlicher Wahrnehmung fehlt meist in den aktuellen, starken Computervisionssystemen, so dass eine Integration in aktuelle Systeme deren Leistung sprunghaft erhöhen und eine neue Klasse definieren dürfte.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion

Warum verwenden wir Wörter, die mit physikalischer Temperatur zu tun haben, zur Beschreibung zwischenmenschlicher Phänomene (wie zum Beispiel “eine warmherzige Person” oder “jemandem die kalte Schulter zeigen”)? Jüngere Forschung im Bereich Embodied Cognition hat in aktuellen Publikationen eine Antwort auf diese Frage geliefert: Das Erleben von physikalischer Wärme wird unbewusst mit Gefühlen interpersonaler Wärme assoziiert; physikalische Kälte hingegen wird mit Gefühlen von interpersonaler Kälte und Einsamkeit verbunden. In diesem Zusammenhang konnten beispielsweise Williams und Bargh (2008) zeigen, dass bereits das kurzzeitige Halten einer Tasse mit heißem Kaffe (verglichen mit einer Tasse Eiskaffee) dazu führt, dass die Persönlichkeit einer Zielperson als wärmer (d.h. großzügiger und fürsorglicher) eingeschätzt wird. Diese unbewusste Assoziation hat weitreichende Konsequenzen für das Urteilen und Handeln von Menschen. Die vorliegende Arbeit zielt darauf ab zu klären, ob und wie Temperatur menschliches Urteilen und Verhalten in verschiedenen Kontexten beeinflusst. Desweiteren sollen zugrundeliegende Prozesse (Mediatoren) sowie weitere Rahmenbedingungen (Moderatoren) untersucht werden. Insgesamt wurden drei Versuchsreihen in drei angewandten Kontexten durchgeführt (Rechtsprechung, Verkauf und Dienstleistungen). Diese Bereiche stehen exemplarisch für eine große Anzahl von Situationen, in denen Temperatur das Urteilen und Handeln von Menschen beeinflussen kann (insbesondere alle Situationen, in denen Menschen sich gegenseitig wahrnehmen und miteinander interagieren). Zur Manipulation von Temperatur wurden verschiedene Methoden angewandt. Dies umfasste sowohl semantische Temperaturprimings als auch die systematische Variation der Raumtemperatur. Dabei wurde die Raumtemperatur unter Berücksichtigung bauphysikalischer Gesichtspunkte erfasst und innerhalb einer Komfortzone manipuliert. Die Ergebnisse aus allen Experimenten der vorliegenden Forschungsarbeit zeigen, dass Temperatur das Urteilen und Handeln von Menschen entscheidend beeinflussen kann. Ergebnisse aus dem ersten Laborexperiment (Kontext Rechtsprechung) legen nahe, dass die Beurteilung von Verbrechern signifikant von der Raumtemperatur, die innerhalb einer Komfortzone manipuliert wurde, beeinflusst wird: In einem kühlen Raum wurden Verbrecher als kaltblütiger eingeschätzt, während sie in einem warmen Raum als hitzköpfiger eingestuft wurden. In diesem Zusammenhang schrieben die Teilnehmer bei niedriger Raumtemperatur Verbrechern mit einer höheren Wahrscheinlichkeit Kalkülverbrechen, mehr Morde und schwerere Verbrechen, die mit längeren Gefängnisstrafen verbunden sind, zu (verglichen mit Teilnehmern bei mittlerer und hoher Raumtemperatur). Bei hoher Raumtemperatur hingegen hielten es die Teilnehmehmenden für wahrscheinlicher, dass die Verbrecher ein Affektverbrechen begangen haben (verglichen mit den anderen beiden Bedingungen). Diese Ergebnisse zeigen, dass Temperatur attributionale Prozesse beeinflusst. In der zweiten Versuchsreihe (Kontext Verkauf) gaben die Teilnehmer bei niedriger Raumtemperatur positivere Konsumentenurteile gegenüber Produkten und Verkaufspersonal ab (im Vergleich zu Teilnehmenden bei mittlerer und hoher Raumtemperatur). Zudem zeigten sie positivere Verhaltenstendenzen gegenüber Produkten und Verkäufer/innen (z.B. eine höhere Kaufwahrscheinlichkeit und eine höhere Bereitschaft, mit Verkaufspersonal ein Beratungsgespräch zu beginnen). Überdies steigerte in einer weiteren Studie ein semantisches Kältepriming den Drang der Teilnehmer, umgehend einen Einkauf zu tätigen (verglichen mit einem Priming von Wärme und einer Kontrollbedingung). In der dritten Versuchsreihe (Kontext Dienstleistungen) zeigten Personen in einem umfassenden Dienstleistungsszenario bei niedrigen Raumtemperaturen (im Vergleich zu hohen Temperaturen) eine höhere Kundenorientierung – sowohl in kritischen Service-Szenarien als auch in einem Selbstberichtsmaß. Zudem vergaben sie Kunden signfikant höhere Rabatte. Dieser Effekt wurde auch in einer Stichprobe mit erfahrenen Dienstleistern bestätigt, die nach einem semantischen Temperaturpriming eine höhere Kundenorientierung in der Kaltbedingung (im Vergleich zur Warm- und Kontrollbedingung) angaben. Mithilfe dieses Experiments konnte zudem aufgezeigt werden, dass die gefundenen Effekte unabhängig von menschlicher Routine, Erfahrung und individuellem Wissensstand stattfinden. Die vorliegende Forschungsarbeit konnte als erste in der Embodied Cognition-Forschung einen Mediationseffekt zwischen Temperatur und Verhaltensvariablen (im Kontext von Konsumentenverhalten) nachweisen. Niedrige Temperaturen führen demnach zu einem erhöhten Anschlussmotiv. Dies wirkt sich wiederum auf das Verhalten von Konsumenten aus (z.B. durch eine höhere Bereitschaft, mit einem/r Verkäufer/in in Interaktion zu treten oder etwas zu kaufen.) Zudem zeigt die vorliegende Arbeit als Erste in diesem Forschungszweig einen Moderationseffekt: In der dritten Versuchsreihe konnte in einer Moderationsanalyse bestätigt werden, dass die Verträglichkeit der Teilnehmenden den Einfluss von Temperatur auf die Gewährung von Kundenrabatten moderierte. Auf diese Weise liefert die Arbeit nicht nur in verschiedenen Kontexten Erkenntnisse über die Tragweite von Temperatureffekten auf menschliches Urteilen und Handeln – sie gewährt auch wertvolle Einblicke in die zugrundeliegenden Faktoren und Rahmenbedingungen von Temperatureffekten. Abschließend werden die Ergebnisse vor dem Hintergrund theoretischer und praktischer Gesichtspunkte diskutiert sowie künftige Forschungsthemen abgeleitet.:I. Introduction 1. The Effects of Temperature on Judgment and Behavior 1.1 Temperature Research Over the Past Decades 1.2 Temperature and Embodied Cognition 1.3 Need for Research 2. Aims of the Thesis 3. Theses and Outline of Own Research 3.1 Theses of the Present Research 3.2 Thesis 1: Effects of Comfortable Temperatures on Human Judgment 3.3 Thesis 2: Underlying Mechanisms and an Alternative Method of Manipulation 3.4 Thesis 3: Boundary Conditions and Temperature Effects on Professionals II. Research of the Present Thesis 1. Manuscript I: Hot-headed or Cold-blooded? The Effects of Comfortable Temperatures on Human Judgment 2. Manuscript II: To Buy or Not to Buy? The Underlying Mechanisms and Alternative Manipulations of Temperature Effects 3. Manuscript III: Best Served Cold? Boundary Conditions and Temperature Effects on Professionals III. Overall Summary and Conclusions 1. Summary of Overall Results 2. Suggestions for Future Research 3. Implications for the Applied Context References Appendix A Appendix B Appendix C Eidesstattliche Erklärung Curriculum Vitae Publikationen