Since the turn of the millennium, a large number of computational models of visual salience have been put forward. How best to evaluate a given model's ability to predict where human observers fixate in images of real-world scenes remains an open research question. Assessing the role of spatial biases is a challenging issue; this is particularly true when we consider the tendency for high-salience items to appear in the image center, combined with a tendency to look straight ahead (“central bias”). This problem is further exacerbated in the context of model comparisons, because some—but not all—models implicitly or explicitly incorporate a center preference to improve performance. To address this and other issues, we propose to combine a-priori parcellation of scenes with generalized linear mixed models (GLMM), building upon previous work. With this method, we can explicitly model the central bias of fixation by including a central-bias predictor in the GLMM. A second predictor captures how well the saliency model predicts human fixations, above and beyond the central bias. By-subject and by-item random effects account for individual differences and differences across scene items, respectively. Moreover, we can directly assess whether a given saliency model performs significantly better than others. In this article, we describe the data processing steps required by our analysis approach. In addition, we demonstrate the GLMM analyses by evaluating the performance of different saliency models on a new eye-tracking corpus. To facilitate the application of our method, we make the open-source Python toolbox “GridFix” available.

In binocular rivalry, paradigms have been proposed for unobtrusive moment-by-moment readout of observers' perceptual experience (“no-report paradigms”). Here, we take a first step to extend this concept to auditory multistability. Observers continuously reported which of two concurrent tone sequences they perceived in the foreground: high-pitch (1008 Hz) or low-pitch (400 Hz) tones. Interstimulus intervals were either fixed per sequence (Experiments 1 and 2) or random with tones alternating (Experiment 3). A horizontally drifting grating was presented to each eye; to induce binocular rivalry, gratings had distinct colors and motion directions. To associate each grating with one tone sequence, a pattern on the grating jumped vertically whenever the respective tone occurred. We found that the direction of the optokinetic nystagmus (OKN)—induced by the visually dominant grating—could be used to decode the tone (high/low) that was perceived in the foreground well above chance. This OKN-based readout improved after observers had gained experience with the auditory task (Experiments 1 and 2) and for simpler auditory tasks (Experiment 3). We found no evidence that the visual stimulus affected auditory multistability. Although decoding performance is still far from perfect, our paradigm may eventually provide a continuous estimate of the currently dominant percept in auditory multistability.

Gegenstand dieser Arbeit ist die Divergenz zwischen subjektiver und objektiver Zeitwahrnehmung. In drei empirischen Studien wird untersucht, wie Zeitwahrnehmung vom Inhalt eines Zeitintervalls beeinflusst wird. Dabei werden Paradigmen aus der Forschung zur visuellen Wahrnehmung mit Messungen der Zeitwahrnehmung kombiniert und durch Ableitungen neuronaler Aktivität (Elektroenzephalographie) ergänzt. Sensorische Modelle der Zeitwahrnehmung basieren auf der Annahme, dass die subjektive Dauer eines sensorischen Reizes in den selben neuronalen Netzwerken entsteht, die den Reiz selbst verarbeiten. Unter dieser Annahme müsste jede Veränderung des Reizes, welche neuronale Verarbeitung hervorruft, auch einen Effekt auf die wahrgenommene Dauer des Reizes haben, auch wenn diese Eigenschaft nicht bewusst wahrgenommen wird. Die Ergebnisse zeigen jedoch das nur Veränderungen die auch bewusst wahrgenommen werden einen Einflusss auf subjektive Dauer haben. Darüberhinaus zeigte sich, dass die subjektiv wahrgenommene Stärke der Veränderung die subjektive Dauer bestimmt. Die Befunde sprechen eher für das Modell einer zentrale inneren Uhr, das jedoch auch erklären muss, mittels welcher Mechanismen der Inhalt eines Zeitintervalls dessen subjektive Dauer beeinflusst. Anhand elektrophysiologischer Korrelate der Zeitwahrnehmung wird untersucht, ob die Dynamik visueller Reize die Zeitwahrnehmung schon während des Enkodierens der Zeit beeinflusst, oder erst später wenn eine Entscheidung über die Dauer des Zeitintervalls getroffen wird. Die Ergebnisse zeigen, dass die neuronalen Korrelate der Zeitwahrnehmung nicht die zeitliche Verzerrung widerspiegeln, die durch dynamische Reize hervorgerufen wird. Dies spricht dafür, dass diese Verzerrung auf einer späteren Prozessstufe eintritt. Insgesamt zeigen die Befunde der drei Studien, das Zeitwahrnehmung zwar stark vom sensorischen Inhalt beeinflusst wird, sich aber nicht direkt von der sensorischen Reizverarbeitung ableiten lässt. / Often, perceived time differs from objective time. This work addresses how perceived time is influenced by the content of a time interval. Three empirical studies were conducted to assess how visual stimulus dynamics affect perceived duration. We combined paradigms from vision research with timing tasks and measures of neural processing using electroencephalogram (EEG). Sensory models of interval timing claim that duration of a time interval is encoded in the same neural networks that process its sensory content. Thus, even stimulus dynamics that are processed only on the sensory level but are not consciously perceived should affect perceived duration. In contrary, we showed that only consciously perceived stimulus dynamics affect perceived duration, with more perceived dynamics leading to longer perceived duration. Changes that were not perceived but evoked a neural response (measured in the EEG) did not affect perceived duration. These findings argue against the assumption of sensory timing models, but are consistent with models that assume a central internal clock. However, internal clock models do not sufficiently explain why stimulus dynamics affect perceived duration. We tested whether stimulus dynamics affect the stage of temporal encoding as postulated by internal clock models, by measuring neural correlates of temporal encoding in the EEG. We found that the neural correlates of temporal encoding reflected internal variations in perceived duration, but not the dilation induced by stimulus dynamics. We argue that visual stimulus dynamics affect perceived duration after temporal encoding. In sum, the findings show that duration perception is not grounded in early sensory processing, but is probably achieved by a specialized timing system that can be biased by the perception of dynamic stimuli. The discussion addresses theoretical implication of these findings for theories of time perception, and their implications for further research in the field.

Zugl.: Wuppertal, Univ., Diss., 2006.

Zugl.: Regensburg, Univ., Diss., 2006

In the human visual system, one of the most prominent functions of the extensive feedback from the higher brain areas within and outside of the visual cortex is attentional modulation. The feedback helps the brain to concentrate its resources on visual features that are relevant for recognition, i. e. it iteratively selects certain aspects of the visual scene for refined processing by the lower areas until the inference process in the higher areas converges to a single hypothesis about this scene. In order to minimize a number of required selection-refinement iterations, one has to find a short sequence of maximally informative portions of the visual input. Since the feedback is not static, the selection process is adapted to a scene that should be recognized. To find a scene-specific subset of informative features, the adaptive selection process on every iteration utilizes results of previous processing in order to reduce the remaining uncertainty about the visual scene. This phenomenon inspired us to develop a computational algorithm solving a visual classification task that would incorporate such principle, adaptive feature selection. It is especially interesting because usually feature selection methods are not adaptive as they define a unique set of informative features for a task and use them for classifying all objects. However, an adaptive algorithm selects features that are the most informative for the particular input. Thus, the selection process should be driven by statistics of the environment concerning the current task and the object to be classified. Applied to a classification task, our adaptive feature selection algorithm favors features that maximally reduce the current class uncertainty, which is iteratively updated with values of the previously selected features that are observed on the testing sample. In information-theoretical terms, the selection criterion is the mutual information of a class variable and a feature-candidate conditioned on the already selected features, which take values observed on the current testing sample. Then, the main question investigated in this thesis is whether the proposed adaptive way of selecting features is advantageous over the conventional feature selection and in which situations. Further, we studied whether the proposed adaptive information-theoretical selection scheme, which is a computationally complex algorithm, is utilized by humans while they perform a visual classification task. For this, we constructed a psychophysical experiment where people had to select image parts that as they think are relevant for classification of these images. We present the analysis of behavioral data where we investigate whether human strategies of task-dependent selective attention can be explained by a simple ranker based on the mutual information, a more complex feature selection algorithm based on the conventional static mutual information and the proposed here adaptive feature selector that mimics a mechanism of the iterative hypothesis refinement. Hereby, the main contribution of this work is the adaptive feature selection criterion based on the conditional mutual information. Also it is shown that such adaptive selection strategy is indeed used by people while performing visual classification.

Die vorliegende Arbeit befasst sich mit grundlegenden Effekten bei der Projektion virtueller räumlicher Szenen auf zweidimensionale Bildflächen. Die Motivation dazu ergibt sich aus der Feststellung, dass in aktuellen computergrafischen Visualisierungssystemen die Räumlichkeit der Darstellung in der Regel durch eine Fläche vermittelt wird. Die aktuell benutzten Verfahren stützen sich dabei auf das Konzept der Virtuellen Kamera. Mit dieser sind jedoch auch Nachteile hinsichtlich einer an den Menschen angepassten (wahrnehmungskonformen) Darstellung verbunden. Zur Einführung der für das Verständnis der Arbeit notwendigen Fachtermini werden ausgewählte Grundlagen aus den Bereichen Technische Visualistik, Bildsprache, Computergrafik und Psychologie vorgestellt. Von besonderer Bedeutung sind dabei die Begriffe Abbild (das Ergebnisbild einer Projektion), Wahrnehmungskonformität (ein Indikator für Angepasstheit an die visuelle menschliche Wahrnehmung) und Multiperspektive (eine die Wahrnehmungskonformität förderliche Darstellungsform). Anschließend werden die, im weiteren Verlauf der Arbeit relevanten, Vektoren definiert. Im darauf folgenden Kapitel beschreibt die Arbeit zwei wesentliche Herausforderungen für die wahrnehmungskonforme Darstellung virtueller Objekte. Zum einen wird das Proportionsproblem beschrieben. Zum anderen das Orientierungsproblem als neu erkanntes Arbeitsthema eingeführt. Darauf aufbauend erfolgt eine Beschreibung des Grundkonzeptes zur Erstellung wahrnehmungskonformer Abbilder durch gesonderte Behandlung einzelner Szenenobjekte sowie die Vorstellung relevanter wissenschaftlicher Vorarbeiten für diesen Sachverhalt. Weiterhin stehen eine Einordnung der bestehenden Verfahren und ein Exkurs in verwandte Studien der Wahrnehmungspsychologie im Mittelpunkt der Ausführungen. Als ein existierendes Verfahren zur computergrafischen Erzeugung von wahrnehmungskonformen Abbildern wird nachfolgend das Verfahren der Erweiterten Perspektivischen Korrektur (EPK) als Ausgangspunkt für eine Optimierung detailliert vorgestellt. Aus den aufgeworfenen Fragen hinsichtlich des Orientierungsproblems ergibt sich die Notwendigkeit einer tiefergehenden Analyse. Aus der künstlerischen Praxis sowie wahrnehmungspsychologischen Aspekten heraus wird der Mensch als geeignetes Referenzmodell argumentativ untersetzt. Einen Schwerpunkt der Arbeit bildet die im Anschluss durchgeführte mehrstufige Studie zur Orientierungswahrnehmung in mono- und multiperspektivischen Abbildern. Aus den in der Studie gewonnenen Erkenntnissen kann schließlich ein Optimierungsansatz für die EPK synthetisiert werden. Das Konzept der so genannten Augpunkt-bezogenen EPK wird ausführlich hergeleitet, die Wirkung analysiert, eine algorithmische Umsetzung erarbeitet und diese mit den bereits bestehenden EPK-Ausprägungen verglichen. Als Vervollständigung der Ausführungen folgen zwei Praxisbeispiele zum Einsatz der EPK und dem Nutzen der vorgestellten Optimierung.

Die vorliegende Arbeit befasst sich mit grundlegenden Effekten bei der Projektion virtueller räumlicher Szenen auf zweidimensionale Bildflächen. Die Motivation dazu ergibt sich aus der Feststellung, dass in aktuellen computergrafischen Visualisierungssystemen die Räumlichkeit der Darstellung in der Regel durch eine Fläche vermittelt wird. Die aktuell benutzten Verfahren stützen sich dabei auf das Konzept der Virtuellen Kamera. Mit dieser sind jedoch auch Nachteile hinsichtlich einer an den Menschen angepassten (wahrnehmungskonformen) Darstellung verbunden. Zur Einführung der für das Verständnis der Arbeit notwendigen Fachtermini werden ausgewählte Grundlagen aus den Bereichen Technische Visualistik, Bildsprache, Computergrafik und Psychologie vorgestellt. Von besonderer Bedeutung sind dabei die Begriffe Abbild (das Ergebnisbild einer Projektion), Wahrnehmungskonformität (ein Indikator für Angepasstheit an die visuelle menschliche Wahrnehmung) und Multiperspektive (eine die Wahrnehmungskonformität förderliche Darstellungsform). Anschließend werden die, im weiteren Verlauf der Arbeit relevanten, Vektoren definiert. Im darauf folgenden Kapitel beschreibt die Arbeit zwei wesentliche Herausforderungen für die wahrnehmungskonforme Darstellung virtueller Objekte. Zum einen wird das Proportionsproblem beschrieben. Zum anderen das Orientierungsproblem als neu erkanntes Arbeitsthema eingeführt. Darauf aufbauend erfolgt eine Beschreibung des Grundkonzeptes zur Erstellung wahrnehmungskonformer Abbilder durch gesonderte Behandlung einzelner Szenenobjekte sowie die Vorstellung relevanter wissenschaftlicher Vorarbeiten für diesen Sachverhalt. Weiterhin stehen eine Einordnung der bestehenden Verfahren und ein Exkurs in verwandte Studien der Wahrnehmungspsychologie im Mittelpunkt der Ausführungen. Als ein existierendes Verfahren zur computergrafischen Erzeugung von wahrnehmungskonformen Abbildern wird nachfolgend das Verfahren der Erweiterten Perspektivischen Korrektur (EPK) als Ausgangspunkt für eine Optimierung detailliert vorgestellt. Aus den aufgeworfenen Fragen hinsichtlich des Orientierungsproblems ergibt sich die Notwendigkeit einer tiefergehenden Analyse. Aus der künstlerischen Praxis sowie wahrnehmungspsychologischen Aspekten heraus wird der Mensch als geeignetes Referenzmodell argumentativ untersetzt. Einen Schwerpunkt der Arbeit bildet die im Anschluss durchgeführte mehrstufige Studie zur Orientierungswahrnehmung in mono- und multiperspektivischen Abbildern. Aus den in der Studie gewonnenen Erkenntnissen kann schließlich ein Optimierungsansatz für die EPK synthetisiert werden. Das Konzept der so genannten Augpunkt-bezogenen EPK wird ausführlich hergeleitet, die Wirkung analysiert, eine algorithmische Umsetzung erarbeitet und diese mit den bereits bestehenden EPK-Ausprägungen verglichen. Als Vervollständigung der Ausführungen folgen zwei Praxisbeispiele zum Einsatz der EPK und dem Nutzen der vorgestellten Optimierung.:1 Einleitung 1.1 Motivation 1.2 Zielsetzung der Arbeit 1.3 Vorgehensmodell für die Untersuchung 1.4 Thesen 1.5 Aufbau der Arbeit 2 Ausgewählte Grundlagen 2.1 Begriffe aus der Technischen Visualistik und der Bildsprache 2.2 Begriffe aus der Computergrafik 2.3 Begriffe aus der Psychologie 2.4 Vektoren des Menschmodells 2.5 Zusammenfassung zu den Grundlagen 3 Herausforderungen im Abbildungsprozess 3.1 Proportionsproblem 3.2 Orientierungsproblem 3.3 Ausrichtungsmöglichkeiten der weiteren Untersuchung 3.4 Zusammenfassung zu den Herausforderungen 4 Objektbezogene, wahrnehmungskonforme Abbilder 4.1 Verwandte Arbeiten aus der Computergrafik und Bildwissenschaft 4.2 Einordnung der Ansätze hinsichtlich grundlegender Konzepte 4.3 Verwandte Studien der Psychologie 4.4 Zusammenfassung zu den verwandten Arbeiten 5 Erzeugung von Multiperspektive mittels Erweiterter Perspektivischer Korrektur (EPK) 5.1 Lösungspotentiale der Multiperspektive 5.2 Die Entwicklung der EPK 5.3 Aufbau und Einzelschritte der EPK 5.4 Vorstellung der EPK-Anpassungsmöglichkeiten 5.5 Allgemeine Defizite der Erweiterten Perspektivischen Korrektur 5.6 Zusammenfassung zur EPK 6 Das Menschmodell als Referenzobjekt 6.1 Künstlerische Analysen und Beschreibungen der Proportion von Menschen 6.2 Wahrnehmungspsychologische Betrachtung zur visuellen Menschwahrnehmung 6.3 Beispielhafte Bildanalyse 6.4 Zusammenfassung zum Menschmodell 7 Studie 7.1 Vorbereitung 7.2 Vorevaluation 7.3 Studie 1 (Hörsaalstudie) 7.4 Studie 2 (Laborstudie) 7.5 Probandenvergleich 7.6 Zusammenfassung zur Studie 8 Augpunkt-bezogene EPK 8.1 Konzept der Augpunkt-bezogenen EPK 8.2 Einbeziehung des Offset in den EPK-Algorithmus 8.3 Vergleich zwischen Prozentual-optimierter EPK sowie der Augpunkt-bezogenen EPK 8.4 Einbeziehung weiterer Parameter der Betrachtersituation 8.5 Erster Lösungsansatz 8.6 Zweiter Lösungsansatz 8.7 Analyse der Wirkungsweise 8.8 Vom virtuellen Augpunkt zum EPK-Referenzpunkt 8.9 Zusammenfassung der Augpunkt-bezogenen EPK 8.10 Vergleichsprototyp 8.11 Evaluation der Augpunkt-bezogenen EPK 8.12 Zusammenfassender Vergleich der verschiedenen EPK-Varianten 9 Praxisbeispiele 9.1 EPK-Praxisbeispiel CAD Visualisierung 9.2 EPK-Praxisbeispiel Gesichtsfeldvisualisierung 9.3 Zusammenfassung der Praxisbeispiele 10 Zusammenfassung 10.1 Inhalt 10.2 Ergebnisse der Arbeit 10.3 Ausblick 11 Verzeichnisse 11.1 Stichwortverzeichnis 11.2 Abbildungsverzeichnis 11.3 Tabellenverzeichnis 11.4 Verzeichnis der eigenen Veröffentlichungen zur Thematik 12 Quellen 13 Glossar 14 Anhang 14.1 Fragebogen Vorevaluation 14.2 Fragebogen Hörsaalstudie 14.3 Probandeninformationen, Nachbefragung und Arbeitsanweisung Laborstudie 14.4 Probandeninformationen, Nachbefragung und Arbeitsanweisung Evaluation 14.5 Implementierungsbeispiel

Das Geschwindigkeitsniveau beeinflusst sowohl die Lärmsituation, als auch die subjektive Wahrnehmung des Kfz-Verkehrs durch die betroffenen Anwohner. Daher bilden Maßnahmen zur Reduzierung der zulässigen Höchstgeschwindigkeit sowie zur Gewährleistung eines angemessenen Geschwindigkeitsniveaus einen wichtigen Baustein der Lärmaktions- bzw. Lärmminderungsplanung. Neben verkehrsorganisatorischen und baulichen Maßnahmen kommen hierfür auch unsanktionierte Verkehrsüberwachungsmaßnahmen mit Hilfe von Geschwindigkeitsanzeigetafeln bzw. „Dialog-Displays“ in Frage. Im Rahmen der vorliegenden Untersuchungen soll anhand konkreter Anwendungsbeispiele ermittelt werden, welchen Einfluss Geschwindigkeitsanzeigetafeln auf die gefahrene Geschwindigkeit haben und ob durch den Einsatz solcher Tafeln mess- bzw. berechenbare Lärmminderungseffekte erzielt werden können.

Laut der „Bayesian Brain“-Hypothese ist Wahrnehmung ein Inferenzprozess, der von sensorischen Daten abhängt, aber auch von Vorannahmen über die Wahrscheinlichkeit sensorischer Daten und ihrer Zuverlässigkeit. Feedback aus der Umgebung verbessert das Lernen und hilft dem Gehirn, diesen Inferenzprozess zu optimieren. In vorherigen Arbeiten wurde gezeigt, dass unzuverlässiges Feedback die perzeptuelle Genauigkeit beeinträchtigt und Fehlwahrnehmungen in Rauschsignalen erhöht. In dieser Arbeit wurde die Hypothese untersucht, dass der Effekt von unzuverlässigem Feedback einer geringeren Gewichtung sensorischer Daten im Inferenzprozess entspricht. Hierzu wurden zwei Studien mit visuellen Reizen durchgeführt: Studie I umfasste zwei Verhaltensexperimente; Studie II umfasste ein Experiment mit funktioneller Magnetresonanztomographie. Unter der Annahme einer Abwertung sensorischer Information infolge unzuverlässigen Feedbacks wurde eine Verringerung der perzeptuellen Leistung vorhergesagt und eine Verschiebung der Wahrnehmungsinferenz zu experimentell induzierten Vorannahmen. Auf neuronaler Ebene wurde untersucht, ob sich sensorische Repräsentationen im primären visuellen Kortex (V1) als Folge unzuverlässigen Feedbacks verschlechtern würden. In allen Experimenten wurde in einer Kontrollbedingung zuverlässiges Feedback gegeben. Die Ergebnisse beider Studien zeigten eine Abnahme der perzeptuellen Leistung nach unzuverlässigem versus zuverlässigem Feedback. Darüber hinaus verließen sich die Probanden zunehmend auf induzierte Vorannahmen. Auf neuronaler Ebene zeigte sich eine Verrauschung sensorischer Repräsentationen in V1 als Folge unzuverlässigen Feedbacks. Zusammenfassend zeigt sich, dass die Induzierung von Überzeugungen über die Zuverlässigkeit sensorischer Informationen durch manipuliertes Leistungsfeedback einen systematischen Einfluss auf perzeptuelle Inferenz hat und dass sich diese Veränderungen in frühen sensorischen Arealen manifestieren. / According to the Bayesian brain hypothesis, perception is an inferential process that depends not only on sensory data, but also on our beliefs about likely sensory data and their reliability. Feedback from the environment improves this inferential process. Indeed previous studies have shown that unreliable feedback impairs task performance and increases illusory pattern perception in noise. In this thesis, we explored the hypothesis that the effect of unreliable feedback is a down-weighting of sensory information in perceptual inference. We conducted two studies comprising visual stimuli: Study I comprised two behavioural experiments and Study II comprised a functional magnetic resonance imaging experiment. Based on the hypothesis that sensory data would be down-weighed after unreliable feedback , we predicted that perceptual performance would deteriorate and that perceptual inference would shift towards experimentally induced priors. Further, we investigated whether the sensory data representations in the primary visual cortex (V1) deteriorate as a result of unreliable feedback. Reliable feedback was used as a control condition in all the experiments. Data from both studies demonstrated that performance did decrease following unreliable feedback compared to reliable feedback. Moreover, observers increasingly relied on prior information as the feedback about their percepts became unreliable. At the neural level, low-level stimulus representations deteriorated in V1 with unreliable feedback. To sum up, our results show that inducing beliefs about the reliability of sensory information by manipulating performance feedback can systematically influence perceptual inference and that these changes manifest at the earliest stages of cortical sensory processing.