Innerhalb der Fachdomäne Logistik ist ein ausgeprägter Bedarf zur Unterstützung von immer komplexer werdenden und dynamischen Dienstleistungsprozessen durch mobile Informationssysteme festzustellen. Besonders neue Kommunikationstechnologien ermöglichen die Neugestaltung zugehöriger logistischer Wertschöpfungssysteme durch die Vernetzung von produzierenden Unternehmen, Dienstleistern und Endkunden entlang der Supply Chain. Für die Logistik wird die Technologie Augmented Reality (AR) als nutzenstiftendes Werkzeug zur Prozessunterstützung und Realisierung von zwischenmenschlichen Kollaborationen als auch Mensch-Maschine-Kollaborationen bewertet. Hierzu zählen besonders Datenbrillen, sogenannte „Smart Glasses“, die als Trägersystem für die augmentierte Prozessunterstützung zum Einsatz kommen. Zielsetzung dieser Forschungsarbeit ist die Gestaltung von logistischen Wertschöpfungssystemen mittels augmentierter Prozessunterstützung auf Basis Smart-Glasses-basierter Assistenzsysteme. Dazu werden zunächst (1) domänenspezifische als auch branchenübergreifende nutzenstiftende Anwendungsfälle identifiziert und aggregiert, (2) ein Vorgehensmodell zur Konzeption, Integration und Implementierung von entsprechen mobilen Informationssystemen erstellt und (3) Gestaltungsrichtlinien für mensch-zentrierte Assistenzsysteme und zugehörige Kollaborationsfunktionen mit Fokus auf die Gebrauchstauglichkeit (engl. Usability) etabliert. Mittels eines gestaltungsorientierten Vorgehens (Design Science Research) wird der identifizierte Forschungsbedarf mit Erkenntnissen aus einem in der Dienstleistungslogistik verorteten Konsortialforschungsprojekt als auch mehreren prototypischen Instanziierungen praktisch fundiert. Die vorliegende Arbeit erweitert durch die Gestaltung von gebrauchstauglichen Smart-Glasses-basierten Assistenzsystemen und die Schaffung entsprechender Kollaborationsfunktionen das Forschungsgebiet der Mensch-Computer-Interaktion und hier speziell den Forschungsbereich der Computer-Supported Cooperative Work. Zusätzlich wird der Bereich des Service Systems Engineering als Teildisziplin der Wirtschaftsinformatik mit Gestaltungswissen ergänzt. Zugleich wird die Wissensbasis der Fachdomäne Logistik (und hier speziell der Dienstleistungslogistik) um konkrete Anwendungsfälle für eine augmentierte Prozessunterstützung erweitert.

With the continued development towards a digitalized and data-driven world, the importance of visual data analysis is increasing as well. Visual data analysis enables people to interactively explore and reason on certain data through the combined use of multiple visualizations. This is relevant for a wide range of application domains, including personal, professional, and public ones. In parallel, a ubiquity of modern devices with very heterogeneous characteristics has spawned. These devices, such as smartphones, tablets, or digital whiteboards, can enable more flexible workflows during our daily work, for example, while on-the-go, in meetings, or at home. One way to enable flexible workflows is the combination of multiple devices in so-called device ecologies. This thesis investigates how such a combined usage of devices can facilitate the visual data analysis of multivariate data sets. For that, new approaches for both visualization and interaction are presented here, allowing to make full use of the dynamic nature of device ecologies. So far, the literature on these aspects is limited and lacks a broader consideration of data analysis in device ecologies. This doctoral thesis presents investigations into three main parts, each addressing one research question: (i) how visualizations can be adapted for heterogeneous devices, (ii) how device pairings can be used to support data exploration workflows, and (iii) how visual data analysis can be supported in fully dynamic device ecologies. For the first part, an extended analytical investigation of the notion of responsive visualization is contributed. This investigation is then complemented by the introduction of a novel matrix-based visualization approach that incorporates such responsive visualizations as local focus regions. For the two other parts, multiple conceptual frameworks are presented that are innovative combinations of visualization and interaction techniques. In the second part, such work is conducted for two selected display pairings, the extension of smartwatches with display-equipped watchstraps and the contrary combination of smartwatch and large display. For these device ensembles, it is investigated how analysis workflows can be facilitated. Then, in the third part, it is explored how interactive mechanisms can be used for flexibly combining and coordinating devices by utilizing spatial arrangements, as well as how the view distribution process can be supported through automated optimization processes. This thesis’s extensive conceptual work is accompanied by the design of prototypical systems, qualitative evaluations, and reviews of existing literature.

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiele

In der vorliegenden Arbeit werden Visualisierungsmethoden für das interaktive Erfassen und Strukturieren von Informationen im Kontext der Wissensmodellierung konzipiert und untersucht. Motiviert ist das Vorhaben durch das Interesse von Wissensarbeitern an unterstützenden Werkzeugen sowie von Unternehmen und Institutionen, unstrukturiertes Prozesswissen zu erfassen, zu strukturieren und intern für Optimierungszwecke verfügbar zu machen. Diese Problematik tritt domänenunabhängig auf. Die Herausforderung dabei ist, diese branchenübergreifend zu lösen. Die zwei wesentlichen Nachteile des Wissensmodellierungsprozesses sind zum einen die aufwendige Dateneingabe durch Benutzer und zum anderen der komplizierte Prozess der Wissensformalisierung. In den frühen Phasen bisheriger Arbeitsprozesse der Wissensmodellierung verwenden Wissensarbeiter hauptsächlich Papier und Stift sowie Whiteboards, da digitale Systeme für diesen Zweck häufig zu inflexibel sind. Ziel der vorliegenden Arbeit ist es, einen digitalen Lösungsansatz zu präsentieren, welcher diese nachteiligen Aspekte verbessert. Das Thema wird dabei methodisch in drei Schritten bearbeitet. Zuerst werden aktuelle Arbeitsprozesse der Wissensmodellierung sowie dabei verwendete Hilfsmittel analysiert. Basierend auf diesen Untersuchungen wird als theoretische Lösung die Methode der Freiform-Wissensmodellierung vorgestellt, welche eine Alternative zur Papierform und zu bisherigen digitalen Systemen darstellt. Das erarbeitete Konzept umfasst eine digitale, stiftbasierte Tablet-Computer-Anwendung, welche die Art und Weise der Darstellungen mittels Papier und Stift mit den Vorteilen der Veränderbarkeit und Datenspeicherung digitaler Systeme kombiniert. Um die theoretischen Überlegungen zu untermauern, werden zwei aufeinander aufbauende, prototypische Softwareanwendungen in der vorliegenden Arbeit entwickelt und vorgestellt (Auf Implementierungsarbeiten betreuter Studenten wird an den entsprechenden Stellen im Text verwiesen). Im Rahmen einer Laborstudie wird die entwickelte Methode der Freiform-Wissensmodellierung, welche den Softwareanwendungen zugrunde liegt, mit der Verwendung von Stift und Papier verglichen. Da bis dato keine derartige Vergleichsstudie zwischen Papier und Tablet-Computer gefunden werden konnte, wird anforderungsgeleitet ein spezieller Studienaufbau entwickelt. Dieser kann zukünftig für andere Forschungsvorhaben verwendet werden. Die Ergebnisse belegen, dass die digitale Anwendung zur Freiform-Wissensmodellierung in ihren Möglichkeiten eine hohe Ähnlichkeit zur Verwendung von Papier und Stift aufweist. Sie eignet sich daher in besonderem Maße zur Unterstützung der frühen Phasen der Wissensmodellierung. Basierend auf den Erkenntnissen der Studie werden darüber hinaus Weiterentwicklungsmöglichkeiten aufgezeigt. Für die wichtigsten Kritikpunkte wird ein weiterentwickeltes Konzept vorgestellt. Das Ergebnis der vorliegenden Arbeit ist ein in der Praxis auf Tablet-Computern anwendbares Konzept zur Wissensmodellierung. Dieses steht als prototypische Umsetzung zur Verfügung. Das entwickelte Konzept der Freiform-Wissensmodellierung ermöglicht jedem Benutzer (egal ob Laie oder Experte in grafischer Gestaltung oder in technischer Repräsentation) Gedanken visuell zu strukturieren und diese synchron in einem passenden Datenmodell abzulegen. Durch die Visualisierungsmethode der Freiformen wird die Struktur der Daten und der Aufbau der Informationen bereits durch die visuelle Oberfläche für den Benutzer und das System gleichermaßen „ersichtlich”. Das System erkennt die hierarchische Verschachtelung und Gruppierung von Informationen. Der darunterliegende Aufbau sowie die Struktur der Daten werden vom System grafisch explizit gezeigt, sodass ein Anwender zu jederzeit sieht, welche Struktur das System „verstanden” hat. So kann diese „entindividualisierte” Struktur der Inhalte auch von anderen Benutzern nachvollzogen werden. Dies erlaubt ein grundlegendes kooperatives Arbeiten. Das Konzept der Freiform-Wissensmodellierung ist dabei (ähnlich wie Whiteboards oder Papier und Stift) vom Anwendungsfall unabhängig einsetzbar. Die vorliegende Arbeit bietet einen neuartigen Ansatz, temporäre Informationen bereits im Verlauf der Wissensmodellierung digital festzuhalten und schrittweise weiterzuentwickeln. In der durchgeführten Studie wurden sämtliche von Probanden erstellte Typen grafischer Objekte ermittelt. Zukünftige Forschungsarbeiten können darauf aufbauend die softwareseitige Erkennung und Verarbeitung von handgezeichneten Inhalten verbessern. Somit bietet die vorliegende Arbeit die Grundlage für eine neue Generation unterstützender digitaler Werkzeuge für Wissensarbeiter.:1 Einleitung 2 Grundlagen und Begriffe 2.1 Überblick der Einflussfaktoren 2.2 Der Wissensbegriff 2.2.1 Grenzen der Definierbarkeit 2.2.2 Theoretische Ansätze 2.2.3 Arbeitsdefinition von Wissensarten 2.2.4 Abgrenzung der Wissensarten 2.3 Wissensmodellierung 2.3.1 Sinnerschließung 2.3.2 Wissensformalisierung 2.3.3 Problem der semantischen Lücke 2.4 Wissensrepräsentation 2.4.1 Interne (mentale) Repräsentation 2.4.2 Externe Repräsentation 2.5 Zusammenfassung der Grundlagen und Begriffe 3 Praxisanalyse der Wissensmodellierung 3.1 Relevanz der Arbeit mit Wissen 3.2 Rollen von Wissensarbeitern 3.3 Arbeitsprozesse der Wissensmodellierung 3.3.1 Sinnerschließung als Arbeitsprozess 3.3.2 Wissensformalisierung als Arbeitsprozess 3.4 Stand der Forschung und Technik 3.4.1 Durchgeführte Befragungen von Wissensarbeitern 3.4.2 Werkzeuge zur Sinnerschließung 3.4.3 Werkzeuge zur Wissensformalisierung 3.5 Probleme und Herausforderungen aktueller digitaler Systeme 3.6 Lösungsansatz: Freiform-Wissensmodellierung 3.6.1 Formalästhetische Orientierung an der Praxis 3.6.2 Menschzentrierte Gestaltung der Prozesse und Systeme 3.6.3 Definition Freiform-Wissensmodellierung 3.6.4 Basis-Editor 3.6.5 Formalisierungs-Editor 3.7 Zusammenfassung der Praxisanalyse 4 Anforderungsspezifikation zum Basis-Editor 4.1 Anforderungen aus Benutzersicht 4.2 Anforderungen aus softwaretechnischer Sicht 4.3 Einordnung verwandter Arbeiten 4.3.1 Pinnwandsysteme mit planarer Anordnung 4.3.2 Systeme mit Netzwerkvisualisierungen 4.3.3 Systeme mit hierarchischer Repräsentation 4.3.4 Mischsysteme 4.3.5 Übersicht verwandter Arbeiten 5 SketchViz: ein Basis-Editor zur Sinnerschließung 5.1 Konzeption SketchViz 5.1.1 Paper Prototyping zur Konzeptentwicklung 5.1.2 Fokussierte Hardware: Tablet-Computer 5.1.3 Anforderungsbezogene Funktionen 5.1.4 Interaktionskonzept von SketchViz 5.1.5 Benutzeroberfläche von SketchViz 5.2 Umsetzung von SketchViz 5.2.1 Modularer Systemaufbau 5.2.2 Realisierung eines Prototyps 5.3 Fazit SektchViz 6 Vergleichsstudie zwischen SketchViz und Papier 6.1 Ziel der vorliegenden Untersuchung 6.1.1 Verwandte Studien 6.1.2 Zielsetzung der Studie 6.2 Untersuchungsaufgabe 6.2.1 Anforderungen an die Untersuchungsaufgabe 6.2.2 Verwandte Aufgabentypen 6.2.3 Aufbau der Untersuchungsaufgabe 6.3 Stichprobe 6.4 Studien-Design 6.4.1 Untersuchungsaufbau und Apparatur 6.4.2 Untersuchungsablauf 6.5 Fragestellungen der Laborstudie 6.5.1 Veränderungshandhabung 6.5.2 Übersichtlichkeit 6.5.3 Interaktion 6.5.4 Darstellungsformen 6.6 Ergebnisse 6.6.1 Ergebnisse bezüglich Veränderungshandhabung 6.6.2 Ergebnisse bezüglich Übersicht 6.6.3 Ergebnisse bezüglich Interaktion 6.6.4 Ergebnisse bezüglich Darstellungsformen 6.7 Zusammenfassung und Diskussion der Ergebnisse 6.7.1 Eignung zur Unterstützung von Sinnerschließungsprozessen 6.7.2 Erreichte Ähnlichkeit zwischen SketchViz und Papier 6.7.3 Studienkritik 7 Weiterentwicklung SketchViz 7.1 Anforderungen aus den Ergebnissen der Evaluation von SketchViz 7.2 Suche nach einer formalästhetisch orientierten Visualisierungsmethode 7.3 Methodenbeschreibung zur Exploration natürlicher Materialien 7.4 Analyse der Experimentergebnisse mit fluiden Materialien 7.4.1 Interaktion mit fluiden Materialien 7.4.2 Visuelle Eigenschaften fluider Materialien 7.5 Übertragung physischer Eigenschaften fluider Materialien ins Digitale 7.5.1 Themenzuordnung 7.5.2 Hierarchiebildung 7.5.3 Veränderbarkeit 7.6 Fazit des weiterentwickelten Konzepts 8 Formalisierungs-Editor 8.1 Analyse des Arbeitsablaufs der Wissensformalisierung 8.2 Ontologien und deren Herausforderungen 8.2.1 Beispiel einer formalisierten Organisationsstruktur 8.2.2 Herausforderungen bei der Verwendung von Ontologien 8.3 Ein Formalisierungs-Editor basierend auf SketchViz 8.3.1 Arbeitsablauf mit Formalisierungs-Editor 8.3.2 Systemaufbau Formalisierungs-Editor 8.4 Erweiterte Anforderungen bezüglich des Formalisierungs-Editors 8.4.1 Übersicht bestehender und erweiterter Anforderungen 8.4.2 Beschreibung der erweiterten Anforderungen 8.5 Verwandte Arbeiten zur Wissensformalisierung 8.6 Prototypische Umsetzung des Formalisierungs-Editors 8.6.1 Modularer Aufbau von OntoSketch 8.6.2 Anforderungen zur Umsetzung 8.6.3 Realisierung von OntoSketch durch Schneider 8.7 Fazit OntoSketch 8.7.1 Übergang zwischen Sinnerschließung und Wissensformalisierung 8.7.2 Gegenüberstellung von SketchViz und OntoSketch 8.7.3 Gegenüberstellung zwischen OntoSketch und bisherigen menügesteuerten Werkzeugen 9 Zusammenfassung und Ausblick 9.1 Zusammenfassung 9.2 Ausblick A Anhang A.1 Publikationsliste A.2 Preisauszeichnungen A.3 Dokumente und Fragebögen zur SketchViz Evaluation A.4 Handouts Natural Interface Exploration Abbildungsverzeichnis Tabellenverzeichnis Literaturverzeichnis Glossar Index

The success of smartphones and tablets clearly shows that the fusion of input and output within one device can lead to a more direct and natural interaction. While a bigger part of previous research was devoted to the development of techniques for such touch-sensitive displays, this dissertation goes beyond the limitations of an interactive surface and extends the interaction to the physical space above a digital table by means of handheld spatially aware displays. By incorporating their spatial position and orientation, those displays add a further major input channel to the interaction. Even though this idea is not entirely new, the potential of using spatially aware displays (Tangible Displays) above a digital tabletop has rarely been used and requires systematic examination. In pursuit of lessening this gap, this dissertation makes three major contributions: (1) The conceptual framework has been developed as a guide for the design of Tangible Display applications. It offers a systematic description and analysis of the design space under investigation and its basic interaction principles. This includes a detailed overview of the general system components and underlying types of input as well as a categorization of common interaction and usage patterns. Based on that, a classification of four common types of information spaces is provided along with a set of novel techniques for their spatial exploration in midair above a tabletop. On an empirical level, the framework is supported by two comprehensive studies that investigate key aspects of spatial interaction. (2) To facilitate the rapid prototyping of interactive Tangible Display applications, a unifying technological framework has been designed and implemented that integrates the necessary sensor and display hardware and provides simple access to it through an easy-to-use API. Along with a modular architectural design, the API does not only encapsulate the complexity of the underlying input and output technologies, but also allows for their seamless substitution by alternative approaches. (3) On a practical level, the conceptual and technological framework have been validated by four comprehensive interactive systems. Those systems served as a testbed for the iterative development and formative assessment of various novel interaction techniques tailored to address basic tasks in common fields of application. The gathered insights helped refine the conceptual and technological framework and are a valuable starting point for the development of future systems.:Abstract iii Zusammenfassung v Acknowledgements vii Publications ix Supervised Student Theses xiii Acronyms xv Contents xix 1 Introduction 1 1.1 Goals of this Thesis 1.1.1 Research Challenges 1.1.2 Research Objectives 1.2 Scope of this Thesis 1.3 Methodological Approach 1.4 Contributions and Thesis Outline PART I: Conceptual Framework 2 Research Background 2.1 General Research Context 2.1.1 Post-WIMP & Reality-Based Interaction 2.1.2 Ubiquitous Computing 2.1.3 Augmented Reality and Environments 2.2 Interactive Surfaces 2.2.1 Advanced Form Factors 2.2.2 Interaction Beyond the Surface 2.2.3 Multi-display Environments 2.3 Tangible User Interfaces 2.3.1 Basic TUI Genres 2.3.2 Contributions and Qualities of TUI 2.4 Spatially Aware Displays 2.4.1 Potential Benefits 2.4.2 Spatially Aware Displays in Multi-Display Environments 2.4.3 A TUI Genre of its Own:Tangible Displays 2.5 Summary 3 Studying Spatial Input-based Zoom & Pan on Handheld Displays 3.1 Goals and Scope of the Study 3.1.1 Factors of Influence 3.1.2 Hypotheses 3.1.3 Scope of the Study 3.2 Design Rationale 3.2.1 Mapping the Physical to the Virtual World 3.2.2 Clutching and Relative Mode 3.2.3 Zooming and Panning 3.2.4 Responsiveness of the Prototype 3.3 Method 3.3.1 Study Design 3.3.2 Participants 3.3.3 Apparatus 3.3.4 Scenario and Task Design 3.3.5 Procedure 3.4 Results 3.4.1 Statistical Methodology & Collected Performance Data 3.4.2 Analysis of Completion Times 3.4.3 Analysis of Discrete Actions 3.4.4 Utilized Motor Space (Spatial Condition Only) 3.4.5 User Feedback & Fatigue 3.5 Discussion 3.5.1 Verification of Hypotheses 3.5.2 Further Observations 3.5.3 Explaining the Effects 3.5.4 Limitations 3.6 Future Generations of Mobile Displays 3.6.1 Device-Intrinsic Spatial Tracking 3.6.2 A Built-in Tactile Clutch 3.7 Summary 4 Design Space & Interaction Framework 4.1 Design Dimensions 4.1.1 Principle Setup & System Components 4.1.2 Basic Types of Input 4.1.3 Spatial Zones 4.2 Interaction Vocabulary 4.2.1 Vocabulary Based on Spatial Input 4.2.2 Vocabulary Based on Head Input 4.2.3 Vocabulary Based on Surface Input 4.2.4 Vocabulary Inspired by the Representation Aspect 4.3 Topologies for Representing Virtual Spaces 4.3.1 3D Volumes 4.3.2 Zoom Pyramids 4.3.3 Multi-layer Stacks 4.4 Classes of Explorable Information Spaces 4.4.1 Volumetric Information Spaces 4.4.2 Zoomable Information Spaces 4.4.3 Layered Information Spaces 4.4.4 Temporal Information Spaces 4.5 Summary 5 Studying Multi-layer Interaction Above a Tabletop 5.1 Goals and Scope of the Study 5.1.1 Basic Interaction Tasks 5.1.2 Previous Evaluations 5.1.3 Scope of the Study 5.2 Method 5.2.1 Participants 5.2.2 Study Design & Tasks 5.2.3 Procedure 5.2.4 Apparatus 5.3 Results 5.3.1 Collected Performance Data & Statistical Methodology 5.3.2 Basic Analysis Concerning the Three Interaction Tasks 5.3.3 Further Analysis Regarding Interaction Zones 5.3.4 Questionnaires & User Preferences 5.4 Discussion 5.4.1 Layer Thicknesses & Accuracy 5.4.2 Physical Interaction Space & Number of Layers 5.4.3 Design Recommendations & Further Observations 5.5 Summary PART II: Technological Framework 6 Technological Background 101 6.1 Basic Display Approaches 6.1.1 Projective Displays 6.1.2 Active Displays 6.2 Tracking Technologies for Handheld Displays 6.2.1 Infrared Marker Systems 6.2.2 Depth Sensor Systems 6.3 Technologies for Sensing Surface Input 6.3.1 Sensing Touch Input 6.3.2 Digital Pens and Paper 6.4 Summary 7 A Tangible Display Toolkit for Research Labs 7.1 Toolkit Architecture 7.1.1 History and General Overview 7.1.2 Lab and Mobile Setup 7.2 Toolkit Subsystems 7.2.1 Projection Subsystem 7.2.2 Spatial Input Subsystem 7.2.3 Surface Input Subsystem 7.3 Toolkit Interfaces 7.3.1 Inter-process Communication 7.3.2 Servers & UI Tools 7.3.3 Application Programming Interface 7.4 Summary 8 Towards a Tangible Display Ecosystem for Everyone 8.1 Motivation and Vision 8.1.1 Envisioned Hardware Setup 8.1.2 Proactive Cooperation Among Devices 8.2 Revision of the Previous Lab Setup 8.3 Case Study: Tracking via a Low-cost Depth Sensor 8.3.1 Implemented Tracking Algorithm 8.3.2 Evaluation 8.3.3 Areas of Improvement 8.4 Summary PART III: Tangible Display Systems 9 Tangible Lenses for Multimedia Information Spaces 9.1 Case Studies 9.1.1 Volume Slicer 9.1.2 Picture Zoomer 9.1.3 Layer Explorer 9.1.4 Video Browser 9.2 Evaluation 9.2.1 Study Design 9.2.2 Findings 9.3 Improved Navigation Techniques 9.3.1 Navigating through Information Layers 9.3.2 Navigational Aids 9.4 Annotating the Space Above the Tabletop 9.4.1 Creation of Annotations 9.4.2 Guided Exploration of Annotations 9.5 Summary 10 Tangible Views for Information Visualization 10.1 Background and Motivation 10.1.1 Conventional Interactive Visualization 10.1.2 Towards More Direct Interaction in InfoVis 10.1.3 Narrowing the Gap 10.2 The Tangible Views Concept 10.3 Case Studies 10.3.1 Graph Visualization 10.3.2 Scatter Plot 10.3.3 Parallel Coordinates Plot 10.3.4 Matrix Visualization 10.3.5 Space-Time-Cube Visualization 10.4 Initial User Experience & Discussion 10.4.1 Observations 10.4.2 Limitations 10.5 Potential Future Directions 10.5.1 Technology Gap 10.5.2 Integration Gap 10.5.3 Guidelines Gap 10.6 Summary 11 Tangible Palettes for Graphical Applications 11.1 Background and Motivation 11.2 The Tangible Palettes Concept 11.2.1 Spatial Work Zones 11.2.2 Previous Techniques Revisited 11.2.3 Allocating GUI Palettes to Tangible Displays 11.3 Interactive Prototype 11.3.1 Basic Functionality: Drawing and Document Navigation 11.3.2 Inter-Display Transfer of Palettes 11.3.3 Temporary Fade-out of Tool Palettes 11.3.4 Quick Access to Tool Palettes via Spatial Work Zones 11.3.5 Handling of Stacked Graphics Layers 11.4 Initial User Experience & Discussion 11.4.1 General Impression and Limitations 11.4.2 Document Navigation with Handheld Displays 11.4.3 Tool Organization with Spatial Work Zones 11.5 Summary 12 Tangible Windows for 3D Virtual Reality 193 12.1 Background and Motivation 12.1.1 Basic 3D Display Approaches 12.1.2 Seminal 3D User Interfaces 12.2 TheTangibleWindowsConcept 12.2.1 Windows into Virtuality 12.2.2 Head-coupled Perspectives 12.2.3 Tangible Windows Above a Digital Workbench 12.3 Interaction Techniques 12.3.1 Global Viewpoint Control on the Tabletop 12.3.2 Scene Exploration 12.3.3 Object Selection 12.3.4 Object Manipulation 12.3.5 Object Inspection 12.3.6 Global Scene Navigation on the Tabletop 12.4 Application Scenarios & Case Studies 12.4.1 Virtual Sandbox 12.4.2 Interior Designer 12.4.3 Medical Visualization 12.5 Initial User Experience & Discussion 12.5.1 Limitations 12.5.2 Precision and Constraints 12.5.3 More Permanent Representations 12.5.4 Head-coupled Perspectives and Head Input 12.6 Summary 13 Conclusion 13.1 Summary of Contributions 13.1.1 Major Contributions 13.1.2 Minor Contributions 13.2 Critical Reflection 13.2.1 General Limitations due to the Dissertation Scope 13.2.2 Limitations of the Techniques 13.2.3 Limitations of the Studies 13.3 Directions for Future Work 13.3.1 Adaptation to other Settings and Domains 13.3.2 Further Development of the Techniques 13.3.3 Current Developments 13.4 Closing Remarks A Appendix A.1 Materials for Chapter3 (Zoom & Pan Study) A.1.1 List of the 128 Zoom and Pan Tasks A.1.2 Usability Questionnaires A.2 Questionnaires for Chapter 5 (Multi-layer Stack Study) A.3 Materials for Section 9.2 (Evaluation of Tangible Lenses) A.3.1 Scratchpad for Study Leader A.3.2 Usability Questionnaires Bibliography List of Figures List of Tables / Der Erfolg von Smartphones und Tablets hat deutlich gezeigt, dass die Verschmelzung von Ein- und Ausgabe im selben Gerät zu einer direkteren und als natürlicher empfundenen Interaktion führen kann. Während sich ein Großteil bisheriger Forschung der Entwicklung von Touchtechniken auf derartigen berührungsempfindlichen Displays widmet, löst sich diese Dissertation von den Beschränkungen der Interaktion auf Oberflächen und erweitert diese auf den physischen Raum oberhalb eines digitalen Tisches mittels handgehaltener, lagebewusster Displays. Durch die Einbeziehung der räumlichen Position und Orientierung solcher „Tangible Displays” steht ein vielversprechender, zusätzlicher Eingabekanal zur Verfügung. Wenngleich diese Idee nicht vollständig neu ist, wurden die vielfältigen Möglichkeiten, die sich durch ihren Einsatz über einem digitalen Tisch ergeben, bisher wenig genutzt. Im Bestreben diese Lücke zu verringern, leistet diese Dissertation drei wesentliche Beträge: (1) Das Konzeptuelle Rahmenwerk wurde als Leitfaden für den Entwurf von Tangible Display- Anwendungen entwickelt. Es bietet eine systematische Beschreibung und Analyse des zu untersuchenden Entwurfsraums und seiner grundlegenden Interaktionsprinzipien. Neben einer detaillierten Übersicht aller Systemkomponenten und Eingabearten beinhaltet dies vor allem eine Kategorisierung von typischen Interaktions- und Nutzungsmustern. Darauf basierend wird ein neuartiger vereinheitlichender Ansatz zur räumlichen Interaktion mit verschiedenen gängigen Klassen von Informationsräumen über einem Tabletop vorgestellt. Auf empirischer Ebene wird das Konzeptuelle Rahmenwerk durch zwei umfangreiche Studien gestützt, in denen Kernaspekte der räumlichen Interaktion mit handgehaltenen Displays untersucht wurden. (2) Um die Entwicklung von interaktiven Anwendungen zu ermöglichen, wurde ein Technisches Rahmenwerk entworfen und umgesetzt, das die Sensor- und Displayhardware zusammenfasst und einfachen Zugriff darauf mittels eines API bietet. Im Zusammenspiel mit der modularen Software-Architektur kapselt das API nicht nur die Komplexität der verwendeten Ein- und Ausgabetechnologien, sondern ermöglicht auch deren nahtlosen Austausch durch alternative Lösungsansätze. (3) Die Tauglichkeit des Konzeptuellen und des Technischen Rahmenwerkes wird durch vier umfangreiche interaktive Systeme demonstriert. Diese Systeme dienten als Testumgebung für die iterative Entwicklung und formative Bewertung einer Reihe von neuartigen Interaktionstechniken, die gängige Basisaufgaben in verschiedenen Anwendungsbereichen adressieren. Die dabei gewonnenen Erkenntnisse halfen, das Konzeptuelle und das Technische Rahmenwerk zu verfeinern, welche einen wertvollen Ausgangspunkt für die Entwicklung von zukünftigen interaktiven Tangible Display-Systemen bilden.:Abstract iii Zusammenfassung v Acknowledgements vii Publications ix Supervised Student Theses xiii Acronyms xv Contents xix 1 Introduction 1 1.1 Goals of this Thesis 1.1.1 Research Challenges 1.1.2 Research Objectives 1.2 Scope of this Thesis 1.3 Methodological Approach 1.4 Contributions and Thesis Outline PART I: Conceptual Framework 2 Research Background 2.1 General Research Context 2.1.1 Post-WIMP & Reality-Based Interaction 2.1.2 Ubiquitous Computing 2.1.3 Augmented Reality and Environments 2.2 Interactive Surfaces 2.2.1 Advanced Form Factors 2.2.2 Interaction Beyond the Surface 2.2.3 Multi-display Environments 2.3 Tangible User Interfaces 2.3.1 Basic TUI Genres 2.3.2 Contributions and Qualities of TUI 2.4 Spatially Aware Displays 2.4.1 Potential Benefits 2.4.2 Spatially Aware Displays in Multi-Display Environments 2.4.3 A TUI Genre of its Own:Tangible Displays 2.5 Summary 3 Studying Spatial Input-based Zoom & Pan on Handheld Displays 3.1 Goals and Scope of the Study 3.1.1 Factors of Influence 3.1.2 Hypotheses 3.1.3 Scope of the Study 3.2 Design Rationale 3.2.1 Mapping the Physical to the Virtual World 3.2.2 Clutching and Relative Mode 3.2.3 Zooming and Panning 3.2.4 Responsiveness of the Prototype 3.3 Method 3.3.1 Study Design 3.3.2 Participants 3.3.3 Apparatus 3.3.4 Scenario and Task Design 3.3.5 Procedure 3.4 Results 3.4.1 Statistical Methodology & Collected Performance Data 3.4.2 Analysis of Completion Times 3.4.3 Analysis of Discrete Actions 3.4.4 Utilized Motor Space (Spatial Condition Only) 3.4.5 User Feedback & Fatigue 3.5 Discussion 3.5.1 Verification of Hypotheses 3.5.2 Further Observations 3.5.3 Explaining the Effects 3.5.4 Limitations 3.6 Future Generations of Mobile Displays 3.6.1 Device-Intrinsic Spatial Tracking 3.6.2 A Built-in Tactile Clutch 3.7 Summary 4 Design Space & Interaction Framework 4.1 Design Dimensions 4.1.1 Principle Setup & System Components 4.1.2 Basic Types of Input 4.1.3 Spatial Zones 4.2 Interaction Vocabulary 4.2.1 Vocabulary Based on Spatial Input 4.2.2 Vocabulary Based on Head Input 4.2.3 Vocabulary Based on Surface Input 4.2.4 Vocabulary Inspired by the Representation Aspect 4.3 Topologies for Representing Virtual Spaces 4.3.1 3D Volumes 4.3.2 Zoom Pyramids 4.3.3 Multi-layer Stacks 4.4 Classes of Explorable Information Spaces 4.4.1 Volumetric Information Spaces 4.4.2 Zoomable Information Spaces 4.4.3 Layered Information Spaces 4.4.4 Temporal Information Spaces 4.5 Summary 5 Studying Multi-layer Interaction Above a Tabletop 5.1 Goals and Scope of the Study 5.1.1 Basic Interaction Tasks 5.1.2 Previous Evaluations 5.1.3 Scope of the Study 5.2 Method 5.2.1 Participants 5.2.2 Study Design & Tasks 5.2.3 Procedure 5.2.4 Apparatus 5.3 Results 5.3.1 Collected Performance Data & Statistical Methodology 5.3.2 Basic Analysis Concerning the Three Interaction Tasks 5.3.3 Further Analysis Regarding Interaction Zones 5.3.4 Questionnaires & User Preferences 5.4 Discussion 5.4.1 Layer Thicknesses & Accuracy 5.4.2 Physical Interaction Space & Number of Layers 5.4.3 Design Recommendations & Further Observations 5.5 Summary PART II: Technological Framework 6 Technological Background 101 6.1 Basic Display Approaches 6.1.1 Projective Displays 6.1.2 Active Displays 6.2 Tracking Technologies for Handheld Displays 6.2.1 Infrared Marker Systems 6.2.2 Depth Sensor Systems 6.3 Technologies for Sensing Surface Input 6.3.1 Sensing Touch Input 6.3.2 Digital Pens and Paper 6.4 Summary 7 A Tangible Display Toolkit for Research Labs 7.1 Toolkit Architecture 7.1.1 History and General Overview 7.1.2 Lab and Mobile Setup 7.2 Toolkit Subsystems 7.2.1 Projection Subsystem 7.2.2 Spatial Input Subsystem 7.2.3 Surface Input Subsystem 7.3 Toolkit Interfaces 7.3.1 Inter-process Communication 7.3.2 Servers & UI Tools 7.3.3 Application Programming Interface 7.4 Summary 8 Towards a Tangible Display Ecosystem for Everyone 8.1 Motivation and Vision 8.1.1 Envisioned Hardware Setup 8.1.2 Proactive Cooperation Among Devices 8.2 Revision of the Previous Lab Setup 8.3 Case Study: Tracking via a Low-cost Depth Sensor 8.3.1 Implemented Tracking Algorithm 8.3.2 Evaluation 8.3.3 Areas of Improvement 8.4 Summary PART III: Tangible Display Systems 9 Tangible Lenses for Multimedia Information Spaces 9.1 Case Studies 9.1.1 Volume Slicer 9.1.2 Picture Zoomer 9.1.3 Layer Explorer 9.1.4 Video Browser 9.2 Evaluation 9.2.1 Study Design 9.2.2 Findings 9.3 Improved Navigation Techniques 9.3.1 Navigating through Information Layers 9.3.2 Navigational Aids 9.4 Annotating the Space Above the Tabletop 9.4.1 Creation of Annotations 9.4.2 Guided Exploration of Annotations 9.5 Summary 10 Tangible Views for Information Visualization 10.1 Background and Motivation 10.1.1 Conventional Interactive Visualization 10.1.2 Towards More Direct Interaction in InfoVis 10.1.3 Narrowing the Gap 10.2 The Tangible Views Concept 10.3 Case Studies 10.3.1 Graph Visualization 10.3.2 Scatter Plot 10.3.3 Parallel Coordinates Plot 10.3.4 Matrix Visualization 10.3.5 Space-Time-Cube Visualization 10.4 Initial User Experience & Discussion 10.4.1 Observations 10.4.2 Limitations 10.5 Potential Future Directions 10.5.1 Technology Gap 10.5.2 Integration Gap 10.5.3 Guidelines Gap 10.6 Summary 11 Tangible Palettes for Graphical Applications 11.1 Background and Motivation 11.2 The Tangible Palettes Concept 11.2.1 Spatial Work Zones 11.2.2 Previous Techniques Revisited 11.2.3 Allocating GUI Palettes to Tangible Displays 11.3 Interactive Prototype 11.3.1 Basic Functionality: Drawing and Document Navigation 11.3.2 Inter-Display Transfer of Palettes 11.3.3 Temporary Fade-out of Tool Palettes 11.3.4 Quick Access to Tool Palettes via Spatial Work Zones 11.3.5 Handling of Stacked Graphics Layers 11.4 Initial User Experience & Discussion 11.4.1 General Impression and Limitations 11.4.2 Document Navigation with Handheld Displays 11.4.3 Tool Organization with Spatial Work Zones 11.5 Summary 12 Tangible Windows for 3D Virtual Reality 193 12.1 Background and Motivation 12.1.1 Basic 3D Display Approaches 12.1.2 Seminal 3D User Interfaces 12.2 TheTangibleWindowsConcept 12.2.1 Windows into Virtuality 12.2.2 Head-coupled Perspectives 12.2.3 Tangible Windows Above a Digital Workbench 12.3 Interaction Techniques 12.3.1 Global Viewpoint Control on the Tabletop 12.3.2 Scene Exploration 12.3.3 Object Selection 12.3.4 Object Manipulation 12.3.5 Object Inspection 12.3.6 Global Scene Navigation on the Tabletop 12.4 Application Scenarios & Case Studies 12.4.1 Virtual Sandbox 12.4.2 Interior Designer 12.4.3 Medical Visualization 12.5 Initial User Experience & Discussion 12.5.1 Limitations 12.5.2 Precision and Constraints 12.5.3 More Permanent Representations 12.5.4 Head-coupled Perspectives and Head Input 12.6 Summary 13 Conclusion 13.1 Summary of Contributions 13.1.1 Major Contributions 13.1.2 Minor Contributions 13.2 Critical Reflection 13.2.1 General Limitations due to the Dissertation Scope 13.2.2 Limitations of the Techniques 13.2.3 Limitations of the Studies 13.3 Directions for Future Work 13.3.1 Adaptation to other Settings and Domains 13.3.2 Further Development of the Techniques 13.3.3 Current Developments 13.4 Closing Remarks A Appendix A.1 Materials for Chapter3 (Zoom & Pan Study) A.1.1 List of the 128 Zoom and Pan Tasks A.1.2 Usability Questionnaires A.2 Questionnaires for Chapter 5 (Multi-layer Stack Study) A.3 Materials for Section 9.2 (Evaluation of Tangible Lenses) A.3.1 Scratchpad for Study Leader A.3.2 Usability Questionnaires Bibliography List of Figures List of Tables

Augmented Reality enables combining virtual data spaces with real-world environments through visual augmentations, transforming everyday environments into user interfaces of arbitrary type, size, and content. In the past, the development of Augmented Reality was mainly technology-driven. This made head-mounted Mixed Reality devices more common in research, industrial, or personal use cases. However, such devices are always human-centered, making it increasingly important to closely investigate and understand human factors within such applications and environments. Augmented Reality usage can reach from a simple information display to a dedicated device to present and analyze information visualizations. The growing data availability, amount, and complexity amplified the need and wish to generate insights through such visualizations. Those, in turn, can utilize human visual perception and Augmented Reality’s natural interactions, the potential to display three-dimensional data, or the stereoscopic display. In my thesis, I aim to deepen the understanding of how Augmented Reality applications must be designed to optimally adhere to human factors and ergonomics, especially in the area of visual data analysis. To address this challenge, I ground my thesis on three research questions: (1) How can we design such applications in a human-centered way? (2) What influence does the real-world environment have within such applications? (3) How can AR applications be combined with existing systems and devices? To answer those research questions, I explore different human properties and real-world environments that can affect the same environment’s augmentations. For human factors, I investigate the competence in working with visualizations as visualization literacy, the visual perception of visualizations, and physical ergonomics like head movement. Regarding the environment, I examine two main factors: the visual background’s influence on reading and working with immersive visualizations and the possibility of using alternative placement areas in Augmented Reality. Lastly, to explore future Augmented Reality systems, I designed and implemented Hybrid User Interfaces and authoring tools for immersive environments. Throughout the different projects, I used empirical, qualitative, and iterative methods in studying and designing immersive visualizations and applications. With that, I contribute to understanding how developers can apply human and environmental parameters for designing and creating future AR applications, especially for visual data analysis. / Augmented Reality ermöglicht es, die reale Welt mit virtuellen Datenräume durch visuelle Augmentierungen zu kombinieren. Somit werden alltägliche Umgebungen in Benutzeroberflächen beliebiger Art, Größe und beliebigen Inhalts verwandelt. In der Vergangenheit war die Entwicklung von Augmented Reality hauptsächlich technologiegetrieben. Folglich fanden head-mounted Mixed Reality Geräte immer häufiger in der Forschung, Industrie oder im privaten Bereich anwendung. Da die Geräte jedoch immer auf den Menschen ausgerichtet sind, wird es immer wichtiger die menschlichen Faktoren in solchen Anwendungen und Umgebungen genau zu untersuchen. Die Nutzung von Augmented Reality kann von einer einfachen Informationsanzeige bis hin zur Darstellung und Analyse von Informationsvisualisierungen reichen. Die wachsende Datenverfügbarkeit, -menge und -komplexität verstärkte den Bedarf und Wunsch, durch solche Visualisierungen Erkenntnisse zu gewinnen. Diese wiederum können die menschliche visuelle Wahrnehmung und die durch Augmented Reality bereitgestellte natürlichen Interaktion und die Darstellung dreidimensionale and stereoskopische Daten nutzen. In meiner Dissertation möchte ich das Verständnis dafür vertiefen, wie Augmented Reality-Anwendungen gestaltet werden müssen, um menschliche Faktoren und Ergonomie optimal zu berücksichtigen, insbesondere im Bereich der visuellen Datenanalyse. Hierbei stütze ich mich in meiner Arbeit auf drei Forschungsfragen: (1) Wie können solche Anwendungen menschenzentriert gestaltet werden? (2) Welchen Einfluss hat die reale Umgebung auf solche Anwendungen? (3) Wie können AR Anwendungen mit existierenden Systemen und Geräten kombiniert werden? Um diese Forschungsfragen zu beantworten, untersuche ich verschiedene menschliche und Umgebungseigenschaften, die sich auf die Augmentierungen derselben Umgebung auswirken können. Für menschliche Faktoren untersuche ich die Kompetenz im Umgang mit Visualisierungen als ``Visualization Literacy'', die visuelle Wahrnehmung von Visualisierungen, und physische Ergonomie wie Kopfbewegungen. In Bezug auf die Umgebung untersuche ich zwei Hauptfaktoren: den Einfluss des visuellen Hintergrunds auf das Lesen und Arbeiten mit immersiven Visualisierungen und die Möglichkeit der Verwendung alternativer Platzierungsbereiche in Augmented Reality. Um zukünftige Augmented Reality-Systeme zu erforschen, habe ich schließlich Hybride Benutzerschnittstellen und Konfigurationstools für immersive Umgebungen entworfen und implementiert. Während der verschiedenen Projekte habe ich empirische, qualitative und iterative Methoden bei der Untersuchung und Gestaltung von immersiven Visualisierungen und Anwendungen eingesetzt. Damit trage ich zum Verständnis bei, wie Entwickler menschliche und umbebungsbezogene Parameter für die Gestaltung und Erstellung zukünftiger AR-Anwendungen, insbesondere für die visuelle Datenanalyse, nutzen können.

Für den Zugang zu grafischen Benutzungsoberflächen (GUIs) stehen blinden Menschen so genannte Screenreader und Braillezeilen zur Verfügung. Diese ermöglichen zwar das nicht-visuelle Wahrnehmen textueller Inhalte, allerdings kein effektives Arbeiten mit bildlichen Darstellungen. Neuartige taktile Flächendisplays können eine geeignete Lösung für den interaktiven Zugang zu tastbaren Grafiken darstellen und somit die Interaktionsmöglichkeiten blinder Benutzer im Umgang mit grafischen Anwendungen bereichern. Beispielsweise erlauben derartige Geräte nicht nur das Erkunden räumlicher Anordnungen, sondern darüber hinaus auch die kombinierte Ausgabe von Braille, Grafik und semi-grafischen Elementen. Um die deutlich größere Menge an gleichzeitig darstellbaren Informationen beherrschbar zu machen, sind neben entsprechenden Inhaltsaufbereitungen und Navigationsmechanismen auch geeignete Orientierungshilfen bereitzustellen. Im Rahmen der vorliegenden Arbeit wurde am Beispiel der BrailleDis Geräte der Metec AG, welche eine taktile Ausgabefläche von 120 mal 60 Stiften bereitstellen, untersucht, inwieweit flächige Brailledisplays blinden Menschen eine effektive und effiziente Bedienung grafischer Benutzungsoberflächen ermöglichen. Neben dem Zugang zur GUI selbst sowie dem Lesen von Texten stellt dabei insbesondere das Arbeiten mit Grafiken einen wichtigen Aspekt dar. Um die Bedienung auf einem taktilen Flächendisplay zu erleichtern, ist eine konsistente Organisation der Inhalte hilfreich. Hierfür wurde ein neuartiges taktiles Fenstersystem umgesetzt, welches die Ausgabe nicht nur in mehrere disjunkte Bereiche unterteilt, sondern auch verschiedene taktile Darstellungsarten unterstützt. Zur Systematisierung der Gestaltung und Evaluation derartiger taktiler Benutzungsoberflächen sowie der darin stattfindenden Benutzerinteraktionen wurde zunächst eine Taxonomie erarbeitet. Dabei wurden neben der Interaktion selber, welche durch die Ein-und Ausgabe sowie die Handbewegungen des Benutzers beschrieben werden kann, auch die Benutzerintention in Form von taktilen Elementaraufgaben sowie die technischen Spezifikationen des Geräts mit einbezogen. Basierend auf der Taxonomie wurden anschließend relevante Aspekte identifiziert, welche in mehreren Benutzerstudien mit insgesamt 46 blinden und hochgradig sehbehinderten Menschen untersucht wurden. Die betrachteten Untersuchungsfragen betrafen dabei einerseits die Effektivität der Ausgabe in Form verschiedener taktiler Ansichtsarten sowie die Eingabe und Erkundung durch den Benutzer, andererseits auch Aspekte zur Effizienz konkreter Interaktionstechniken. Als Ergebnis der einzelnen Studien wurden abschließend konkrete Empfehlungen zur Umsetzung von Benutzungsoberflächen auf flächigen Brailledisplays gegeben. Diese beinhalten insbesondere Aspekte zur Ergonomie von taktilen Flächendisplays, zur Anzeige von textuellen Inhalten, zur Darstellung und Interaktion mit grafischen Inhalten sowie zu Orientierungshilfen. Insgesamt konnte mit Hilfe der Benutzerstudien gezeigt werden, dass flächige Brailledisplays blinden Menschen einen effektiven und effizienten Zugang zu grafischen Benutzungsoberflächen ermöglichen. Verschiedene taktile Darstellungsarten können dabei das Lösen unterschiedlicher Aufgaben unterstützen. Generell erfordert die flächige Interaktion vom Benutzer allerdings auch die Erweiterung seiner konventionellen Erkundungs-und Eingabestrategien. Die Bereitstellung neuartiger Interaktionstechniken zur Unterstützung der Orientierung kann die Effizienz zusätzlich steigern. / Blind people normally use screen readers as well as single-lined refreshable Braille displays for accessing graphical user interfaces (GUIs). These technologies allow for a non-visual perception of textual content but not for an effective handling of visual illustrations. Novel two-dimensional tactile pin-matrix devices are an appropriate solution to interactively access tactual graphics. In this way, they can enrich the interaction possibilities of blind users in dealing with graphical applications. For instance, such devices enable the exploration of spatial arrangements and also combine output of Braille, graphics and semi-graphical elements. To make the high amount of simultaneously presented information perceivable and efficiently usable for blind users, an adequate preparation of content as well as adapted navigation and orientation mechanisms must be provided. In this thesis the BrailleDis devices of Metec AG, which have a tactile output area of 120 times 60 pins, were used. The goal was to investigate to what extent large pin-matrix devices enable blind people to use graphical user interfaces effectively and efficiently. Access to the GUI itself, reading text, and dealing with graphics are the main aspects of the application area of such devices. To facilitate the operation on a two-dimensional pin-matrix device a consistent organization of the content is helpful. Therefore, a novel tactile windowing system was implemented which divides the output area into multiple disjunctive regions and supports diverse tactile information visualizations. Moreover, a taxonomy was developed to systematize the design and evaluation of tactile user interfaces. Apart from interaction that can be described by input and output as well as hand movements, the taxonomy includes user intention in terms of interactive task primitives and technical specifications of the device. Based on the taxonomy, relevant aspects of tactile interaction were identified. These aspects were examined in multiple user studies with a total of 46 blind and visually impaired participants. The following research topics were considered during the user studies: 1. the effectiveness of diverse tactile view types (output), 2. user input and exploration, and 3. the efficiency of specific interaction techniques. As a result, practical recommendations for implementing user interfaces on two-dimensional pin-matrix devices were given. These recommendations include ergonomic issues of physical devices as well as design considerations for textual and graphical content as well as orientation aids. In summary, the user studies showed that two-dimensional pin-matrix devices enable blind people an effective and efficient access to graphical user interfaces. Diverse tactile information visualizations can support users to fulfill various tasks. In general, two-dimensional interaction requires the extension of conventional exploration and input strategies of users. The provision of novel interaction techniques for supporting orientation can help to increase efficiency even more.

Diese Arbeit untersucht den Einfluss von Kultur und Sprache auf die Nutzung des Internets. Drei Hauptgebiete wurden bearbeitet: (1) Der Einfluss von Kultur und Sprache auf Nutzerpräferenzen bezüglich der Darstellung von Informationen und Nutzung von Suchoptionen; (2) Der Einfluss von Kultur auf Nutzerpräferenzen bezüglich des Inhaltes von Websiteinformationen; (3) Der Einfluss von Sprache auf die Nutzerzufriedenheit und Sprache als Informationszugangsbarriere Daten aus Logfile-Analysen, Onlinebefragungen und experimentellen Untersuchungen bildeten die Auswertungsgrundlage für die Überprüfung der 33 Hypothesen. Die Ergebnisse zeigen, dass kulturspezifische Denkmuster mit Navigationsmusters und Nutzung von Suchoptionen korrelieren. Der Einfluss von Kultur auf Nutzerpräferenzen bezüglich des Inhaltes von Websiteinformationen erwies sich als weniger eindeutig. Aus den Untersuchungen zum Einfluss von Sprache ging hervor, dass Sprache Web¬sitezugriff und –nutzung beeinflusst. Die Daten zeigen, dass signifikant weniger L1-Nutzer als L2-Nutzer auf eine Website zugreifen. Dies lässt sich zum einem mit dem sprachbedingten kognitiven Aufwand erklären als auch mit der Tatsache, dass Websites unterschiedlicher Sprachen weniger miteinander verlinkt sind als Websites gleicher Sprachen. Im Hinblick auf die Nutzung von Suchoptionen zeigte sich, dass L2 Nutzer mit geringem themenspezifischen Wissen sich signifikant von L1 Nutzern unterscheiden. Schließlich lassen die Ergebnisse auch darauf schließen, dass Zufriedenheit der Nutzer einer Website einerseits mit Sprachfähigkeiten der Nutzer und andererseits mit der wahrgenommenen Menge muttersprachlichen Angebots im Internet korreliert. / This thesis analyses the impact of culture and language on Internet use. Three main areas were investigated: (1) the impact of culture and language on preferences for information presentation and search options, (2) the impact of culture on the need for specific website content, and (3) language as a barrier to information access and as a determinant of website satisfaction. In order to test the 33 hypotheses, data was gathered by means of logfile analyses, online surveys, and laboratory studies. It was concluded that culture clearly correlated with patterns of navigation behaviour and the use of search options. In contrast, results concerning the impact of culture on the need for website content were less conclusive. Results concerning language, showed that significantly fewer L1 users than L2 users accessed a website. This can be explained with language related cognitive effort as well as with the fact the websites of different languages are less linked than websites of the same language. With regard to search option use, a strong mediation effect of domain knowledge was found. Furthermore, results revealed correlations between user satisfaction and language proficiency, as well as between satisfaction and the perceived amount of native language information online.

Information visualization is an important research field concerned with making sense and inferring knowledge from data collections. Graph visualizations are specific techniques for data representation relevant in diverse application domains among them biology, software-engineering, and business finance. These data visualizations benefit from the display space provided by novel interactive large display environments. However, these environments also cause new challenges and result in new requirements regarding the need for interaction beyond the desktop and according redesign of analysis tools. This thesis focuses on interactive magic lenses, specialized locally applied tools that temporarily manipulate the visualization. These may include magnification of focus regions but also more graph-specific functions such as pulling in neighboring nodes or locally reducing edge clutter. Up to now, these lenses have mostly been used as single-user, single-purpose tools operated by mouse and keyboard. This dissertation presents the extension of magic lenses both in terms of function as well as interaction for large vertical displays. In particular, this thesis contributes several natural interaction designs with magic lenses for the exploration of graph data in node-link visualizations using diverse interaction modalities. This development incorporates flexible switches between lens functions, adjustment of individual lens properties and function parameters, as well as the combination of lenses. It proposes interaction techniques for fluent multi-touch manipulation of lenses, controlling lenses using mobile devices in front of large displays, and a novel concept of body-controlled magic lenses. Functional extensions in addition to these interaction techniques convert the lenses to user-configurable, personal territories with use of alternative interaction styles. To create the foundation for this extension, the dissertation incorporates a comprehensive design space of magic lenses, their function, parameters, and interactions. Additionally, it provides a discussion on increased embodiment in tool and controller design, contributing insights into user position and movement in front of large vertical displays as a result of empirical investigations and evaluations. / Informationsvisualisierung ist ein wichtiges Forschungsfeld, das das Analysieren von Daten unterstützt. Graph-Visualisierungen sind dabei eine spezielle Variante der Datenrepräsentation, deren Nutzen in vielerlei Anwendungsfällen zum Einsatz kommt, u.a. in der Biologie, Softwareentwicklung und Finanzwirtschaft. Diese Datendarstellungen profitieren besonders von großen Displays in neuen Displayumgebungen. Jedoch bringen diese Umgebungen auch neue Herausforderungen mit sich und stellen Anforderungen an Nutzerschnittstellen jenseits der traditionellen Ansätze, die dadurch auch Anpassungen von Analysewerkzeugen erfordern. Diese Dissertation befasst sich mit interaktiven „Magischen Linsen“, spezielle lokal-angewandte Werkzeuge, die temporär die Visualisierung zur Analyse manipulieren. Dabei existieren zum Beispiel Vergrößerungslinsen, aber auch Graph-spezifische Manipulationen, wie das Anziehen von Nachbarknoten oder das Reduzieren von Kantenüberlappungen im lokalen Bereich. Bisher wurden diese Linsen vor allem als Werkzeug für einzelne Nutzer mit sehr spezialisiertem Effekt eingesetzt und per Maus und Tastatur bedient. Die vorliegende Doktorarbeit präsentiert die Erweiterung dieser magischen Linsen, sowohl in Bezug auf die Funktionalität als auch für die Interaktion an großen, vertikalen Displays. Insbesondere trägt diese Dissertation dazu bei, die Exploration von Graphen mit magischen Linsen durch natürliche Interaktion mit unterschiedlichen Modalitäten zu unterstützen. Dabei werden flexible Änderungen der Linsenfunktion, Anpassungen von individuellen Linseneigenschaften und Funktionsparametern, sowie die Kombination unterschiedlicher Linsen ermöglicht. Es werden Interaktionstechniken für die natürliche Manipulation der Linsen durch Multitouch-Interaktion, sowie das Kontrollieren von Linsen durch Mobilgeräte vor einer Displaywand vorgestellt. Außerdem wurde ein neuartiges Konzept körpergesteuerter magischer Linsen entwickelt. Funktionale Erweiterungen in Kombination mit diesen Interaktionskonzepten machen die Linse zu einem vom Nutzer einstellbaren, persönlichen Arbeitsbereich, der zudem alternative Interaktionsstile erlaubt. Als Grundlage für diese Erweiterungen stellt die Dissertation eine umfangreiche analytische Kategorisierung bisheriger Forschungsarbeiten zu magischen Linsen vor, in der Funktionen, Parameter und Interaktion mit Linsen eingeordnet werden. Zusätzlich macht die Arbeit Vor- und Nachteile körpernaher Interaktion für Werkzeuge bzw. ihre Steuerung zum Thema und diskutiert dabei Nutzerposition und -bewegung an großen Displaywänden belegt durch empirische Nutzerstudien.

Information visualization is an important research field concerned with making sense and inferring knowledge from data collections. Graph visualizations are specific techniques for data representation relevant in diverse application domains among them biology, software-engineering, and business finance. These data visualizations benefit from the display space provided by novel interactive large display environments. However, these environments also cause new challenges and result in new requirements regarding the need for interaction beyond the desktop and according redesign of analysis tools. This thesis focuses on interactive magic lenses, specialized locally applied tools that temporarily manipulate the visualization. These may include magnification of focus regions but also more graph-specific functions such as pulling in neighboring nodes or locally reducing edge clutter. Up to now, these lenses have mostly been used as single-user, single-purpose tools operated by mouse and keyboard. This dissertation presents the extension of magic lenses both in terms of function as well as interaction for large vertical displays. In particular, this thesis contributes several natural interaction designs with magic lenses for the exploration of graph data in node-link visualizations using diverse interaction modalities. This development incorporates flexible switches between lens functions, adjustment of individual lens properties and function parameters, as well as the combination of lenses. It proposes interaction techniques for fluent multi-touch manipulation of lenses, controlling lenses using mobile devices in front of large displays, and a novel concept of body-controlled magic lenses. Functional extensions in addition to these interaction techniques convert the lenses to user-configurable, personal territories with use of alternative interaction styles. To create the foundation for this extension, the dissertation incorporates a comprehensive design space of magic lenses, their function, parameters, and interactions. Additionally, it provides a discussion on increased embodiment in tool and controller design, contributing insights into user position and movement in front of large vertical displays as a result of empirical investigations and evaluations. / Informationsvisualisierung ist ein wichtiges Forschungsfeld, das das Analysieren von Daten unterstützt. Graph-Visualisierungen sind dabei eine spezielle Variante der Datenrepräsentation, deren Nutzen in vielerlei Anwendungsfällen zum Einsatz kommt, u.a. in der Biologie, Softwareentwicklung und Finanzwirtschaft. Diese Datendarstellungen profitieren besonders von großen Displays in neuen Displayumgebungen. Jedoch bringen diese Umgebungen auch neue Herausforderungen mit sich und stellen Anforderungen an Nutzerschnittstellen jenseits der traditionellen Ansätze, die dadurch auch Anpassungen von Analysewerkzeugen erfordern. Diese Dissertation befasst sich mit interaktiven „Magischen Linsen“, spezielle lokal-angewandte Werkzeuge, die temporär die Visualisierung zur Analyse manipulieren. Dabei existieren zum Beispiel Vergrößerungslinsen, aber auch Graph-spezifische Manipulationen, wie das Anziehen von Nachbarknoten oder das Reduzieren von Kantenüberlappungen im lokalen Bereich. Bisher wurden diese Linsen vor allem als Werkzeug für einzelne Nutzer mit sehr spezialisiertem Effekt eingesetzt und per Maus und Tastatur bedient. Die vorliegende Doktorarbeit präsentiert die Erweiterung dieser magischen Linsen, sowohl in Bezug auf die Funktionalität als auch für die Interaktion an großen, vertikalen Displays. Insbesondere trägt diese Dissertation dazu bei, die Exploration von Graphen mit magischen Linsen durch natürliche Interaktion mit unterschiedlichen Modalitäten zu unterstützen. Dabei werden flexible Änderungen der Linsenfunktion, Anpassungen von individuellen Linseneigenschaften und Funktionsparametern, sowie die Kombination unterschiedlicher Linsen ermöglicht. Es werden Interaktionstechniken für die natürliche Manipulation der Linsen durch Multitouch-Interaktion, sowie das Kontrollieren von Linsen durch Mobilgeräte vor einer Displaywand vorgestellt. Außerdem wurde ein neuartiges Konzept körpergesteuerter magischer Linsen entwickelt. Funktionale Erweiterungen in Kombination mit diesen Interaktionskonzepten machen die Linse zu einem vom Nutzer einstellbaren, persönlichen Arbeitsbereich, der zudem alternative Interaktionsstile erlaubt. Als Grundlage für diese Erweiterungen stellt die Dissertation eine umfangreiche analytische Kategorisierung bisheriger Forschungsarbeiten zu magischen Linsen vor, in der Funktionen, Parameter und Interaktion mit Linsen eingeordnet werden. Zusätzlich macht die Arbeit Vor- und Nachteile körpernaher Interaktion für Werkzeuge bzw. ihre Steuerung zum Thema und diskutiert dabei Nutzerposition und -bewegung an großen Displaywänden belegt durch empirische Nutzerstudien.