Die vorliegende Arbeit befasst sich mit grundlegenden Effekten bei der Projektion virtueller räumlicher Szenen auf zweidimensionale Bildflächen. Die Motivation dazu ergibt sich aus der Feststellung, dass in aktuellen computergrafischen Visualisierungssystemen die Räumlichkeit der Darstellung in der Regel durch eine Fläche vermittelt wird. Die aktuell benutzten Verfahren stützen sich dabei auf das Konzept der Virtuellen Kamera. Mit dieser sind jedoch auch Nachteile hinsichtlich einer an den Menschen angepassten (wahrnehmungskonformen) Darstellung verbunden. Zur Einführung der für das Verständnis der Arbeit notwendigen Fachtermini werden ausgewählte Grundlagen aus den Bereichen Technische Visualistik, Bildsprache, Computergrafik und Psychologie vorgestellt. Von besonderer Bedeutung sind dabei die Begriffe Abbild (das Ergebnisbild einer Projektion), Wahrnehmungskonformität (ein Indikator für Angepasstheit an die visuelle menschliche Wahrnehmung) und Multiperspektive (eine die Wahrnehmungskonformität förderliche Darstellungsform). Anschließend werden die, im weiteren Verlauf der Arbeit relevanten, Vektoren definiert. Im darauf folgenden Kapitel beschreibt die Arbeit zwei wesentliche Herausforderungen für die wahrnehmungskonforme Darstellung virtueller Objekte. Zum einen wird das Proportionsproblem beschrieben. Zum anderen das Orientierungsproblem als neu erkanntes Arbeitsthema eingeführt. Darauf aufbauend erfolgt eine Beschreibung des Grundkonzeptes zur Erstellung wahrnehmungskonformer Abbilder durch gesonderte Behandlung einzelner Szenenobjekte sowie die Vorstellung relevanter wissenschaftlicher Vorarbeiten für diesen Sachverhalt. Weiterhin stehen eine Einordnung der bestehenden Verfahren und ein Exkurs in verwandte Studien der Wahrnehmungspsychologie im Mittelpunkt der Ausführungen. Als ein existierendes Verfahren zur computergrafischen Erzeugung von wahrnehmungskonformen Abbildern wird nachfolgend das Verfahren der Erweiterten Perspektivischen Korrektur (EPK) als Ausgangspunkt für eine Optimierung detailliert vorgestellt. Aus den aufgeworfenen Fragen hinsichtlich des Orientierungsproblems ergibt sich die Notwendigkeit einer tiefergehenden Analyse. Aus der künstlerischen Praxis sowie wahrnehmungspsychologischen Aspekten heraus wird der Mensch als geeignetes Referenzmodell argumentativ untersetzt. Einen Schwerpunkt der Arbeit bildet die im Anschluss durchgeführte mehrstufige Studie zur Orientierungswahrnehmung in mono- und multiperspektivischen Abbildern. Aus den in der Studie gewonnenen Erkenntnissen kann schließlich ein Optimierungsansatz für die EPK synthetisiert werden. Das Konzept der so genannten Augpunkt-bezogenen EPK wird ausführlich hergeleitet, die Wirkung analysiert, eine algorithmische Umsetzung erarbeitet und diese mit den bereits bestehenden EPK-Ausprägungen verglichen. Als Vervollständigung der Ausführungen folgen zwei Praxisbeispiele zum Einsatz der EPK und dem Nutzen der vorgestellten Optimierung.

Die vorliegende Arbeit befasst sich mit grundlegenden Effekten bei der Projektion virtueller räumlicher Szenen auf zweidimensionale Bildflächen. Die Motivation dazu ergibt sich aus der Feststellung, dass in aktuellen computergrafischen Visualisierungssystemen die Räumlichkeit der Darstellung in der Regel durch eine Fläche vermittelt wird. Die aktuell benutzten Verfahren stützen sich dabei auf das Konzept der Virtuellen Kamera. Mit dieser sind jedoch auch Nachteile hinsichtlich einer an den Menschen angepassten (wahrnehmungskonformen) Darstellung verbunden. Zur Einführung der für das Verständnis der Arbeit notwendigen Fachtermini werden ausgewählte Grundlagen aus den Bereichen Technische Visualistik, Bildsprache, Computergrafik und Psychologie vorgestellt. Von besonderer Bedeutung sind dabei die Begriffe Abbild (das Ergebnisbild einer Projektion), Wahrnehmungskonformität (ein Indikator für Angepasstheit an die visuelle menschliche Wahrnehmung) und Multiperspektive (eine die Wahrnehmungskonformität förderliche Darstellungsform). Anschließend werden die, im weiteren Verlauf der Arbeit relevanten, Vektoren definiert. Im darauf folgenden Kapitel beschreibt die Arbeit zwei wesentliche Herausforderungen für die wahrnehmungskonforme Darstellung virtueller Objekte. Zum einen wird das Proportionsproblem beschrieben. Zum anderen das Orientierungsproblem als neu erkanntes Arbeitsthema eingeführt. Darauf aufbauend erfolgt eine Beschreibung des Grundkonzeptes zur Erstellung wahrnehmungskonformer Abbilder durch gesonderte Behandlung einzelner Szenenobjekte sowie die Vorstellung relevanter wissenschaftlicher Vorarbeiten für diesen Sachverhalt. Weiterhin stehen eine Einordnung der bestehenden Verfahren und ein Exkurs in verwandte Studien der Wahrnehmungspsychologie im Mittelpunkt der Ausführungen. Als ein existierendes Verfahren zur computergrafischen Erzeugung von wahrnehmungskonformen Abbildern wird nachfolgend das Verfahren der Erweiterten Perspektivischen Korrektur (EPK) als Ausgangspunkt für eine Optimierung detailliert vorgestellt. Aus den aufgeworfenen Fragen hinsichtlich des Orientierungsproblems ergibt sich die Notwendigkeit einer tiefergehenden Analyse. Aus der künstlerischen Praxis sowie wahrnehmungspsychologischen Aspekten heraus wird der Mensch als geeignetes Referenzmodell argumentativ untersetzt. Einen Schwerpunkt der Arbeit bildet die im Anschluss durchgeführte mehrstufige Studie zur Orientierungswahrnehmung in mono- und multiperspektivischen Abbildern. Aus den in der Studie gewonnenen Erkenntnissen kann schließlich ein Optimierungsansatz für die EPK synthetisiert werden. Das Konzept der so genannten Augpunkt-bezogenen EPK wird ausführlich hergeleitet, die Wirkung analysiert, eine algorithmische Umsetzung erarbeitet und diese mit den bereits bestehenden EPK-Ausprägungen verglichen. Als Vervollständigung der Ausführungen folgen zwei Praxisbeispiele zum Einsatz der EPK und dem Nutzen der vorgestellten Optimierung.:1 Einleitung 1.1 Motivation 1.2 Zielsetzung der Arbeit 1.3 Vorgehensmodell für die Untersuchung 1.4 Thesen 1.5 Aufbau der Arbeit 2 Ausgewählte Grundlagen 2.1 Begriffe aus der Technischen Visualistik und der Bildsprache 2.2 Begriffe aus der Computergrafik 2.3 Begriffe aus der Psychologie 2.4 Vektoren des Menschmodells 2.5 Zusammenfassung zu den Grundlagen 3 Herausforderungen im Abbildungsprozess 3.1 Proportionsproblem 3.2 Orientierungsproblem 3.3 Ausrichtungsmöglichkeiten der weiteren Untersuchung 3.4 Zusammenfassung zu den Herausforderungen 4 Objektbezogene, wahrnehmungskonforme Abbilder 4.1 Verwandte Arbeiten aus der Computergrafik und Bildwissenschaft 4.2 Einordnung der Ansätze hinsichtlich grundlegender Konzepte 4.3 Verwandte Studien der Psychologie 4.4 Zusammenfassung zu den verwandten Arbeiten 5 Erzeugung von Multiperspektive mittels Erweiterter Perspektivischer Korrektur (EPK) 5.1 Lösungspotentiale der Multiperspektive 5.2 Die Entwicklung der EPK 5.3 Aufbau und Einzelschritte der EPK 5.4 Vorstellung der EPK-Anpassungsmöglichkeiten 5.5 Allgemeine Defizite der Erweiterten Perspektivischen Korrektur 5.6 Zusammenfassung zur EPK 6 Das Menschmodell als Referenzobjekt 6.1 Künstlerische Analysen und Beschreibungen der Proportion von Menschen 6.2 Wahrnehmungspsychologische Betrachtung zur visuellen Menschwahrnehmung 6.3 Beispielhafte Bildanalyse 6.4 Zusammenfassung zum Menschmodell 7 Studie 7.1 Vorbereitung 7.2 Vorevaluation 7.3 Studie 1 (Hörsaalstudie) 7.4 Studie 2 (Laborstudie) 7.5 Probandenvergleich 7.6 Zusammenfassung zur Studie 8 Augpunkt-bezogene EPK 8.1 Konzept der Augpunkt-bezogenen EPK 8.2 Einbeziehung des Offset in den EPK-Algorithmus 8.3 Vergleich zwischen Prozentual-optimierter EPK sowie der Augpunkt-bezogenen EPK 8.4 Einbeziehung weiterer Parameter der Betrachtersituation 8.5 Erster Lösungsansatz 8.6 Zweiter Lösungsansatz 8.7 Analyse der Wirkungsweise 8.8 Vom virtuellen Augpunkt zum EPK-Referenzpunkt 8.9 Zusammenfassung der Augpunkt-bezogenen EPK 8.10 Vergleichsprototyp 8.11 Evaluation der Augpunkt-bezogenen EPK 8.12 Zusammenfassender Vergleich der verschiedenen EPK-Varianten 9 Praxisbeispiele 9.1 EPK-Praxisbeispiel CAD Visualisierung 9.2 EPK-Praxisbeispiel Gesichtsfeldvisualisierung 9.3 Zusammenfassung der Praxisbeispiele 10 Zusammenfassung 10.1 Inhalt 10.2 Ergebnisse der Arbeit 10.3 Ausblick 11 Verzeichnisse 11.1 Stichwortverzeichnis 11.2 Abbildungsverzeichnis 11.3 Tabellenverzeichnis 11.4 Verzeichnis der eigenen Veröffentlichungen zur Thematik 12 Quellen 13 Glossar 14 Anhang 14.1 Fragebogen Vorevaluation 14.2 Fragebogen Hörsaalstudie 14.3 Probandeninformationen, Nachbefragung und Arbeitsanweisung Laborstudie 14.4 Probandeninformationen, Nachbefragung und Arbeitsanweisung Evaluation 14.5 Implementierungsbeispiel

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiele