Information visualization (InfoVis) makes data accessible in a graphical form, enables visual and interactive data exploration, and is becoming increasingly important in our data-driven world - InfoVis empowers people from various domains to truly benefit from abstract and vast amounts of data. Although they often target desktop environments, nowadays, data visualizations are also used on omnipresent mobile devices, such as smartphones and tablets. However, most mobile devices are personal digital companions, typically visualizing moderately complex data (e.g., fitness, health, finances, weather, public transport data) on a single and very compact display, making it inherently hard to show the full range or simultaneously different perspectives of data. The research in this thesis engages with these aspects by striving for novel mobile device interactions that enable data analysis with more than a single device, more than a single visualization view, and more than a single user. At the core of this dissertation are four realized projects that can be connected by the following research objectives: (i) Facilitating data visualization beyond the casual exploration of personal data, (ii) Integrating mobile devices in multi-device settings for InfoVis, and (iii) Exploiting the mobility and spatiality of mobile devices for InfoVis. To address the first objective, my research mainly concentrates on interactions with multivariate data represented in multiple coordinated views (MCV). To address the second objective, I consider two different device settings in my work: One part investigates scenarios where one or more people sit at a regular table and analyze data in MCV that are distributed across several mobile devices (mobile devices on a table). The other part focuses on scenarios in which a wall-sized display shows large-scale MCV and mobile devices enable interactions with the visualizations from varying positions and distances (mobile devices in 3D space). The settings also allow to look at different purposes and roles of mobile devices during data exploration. To address the third objective, I examine different spatial device interactions. This includes placing and organizing multiple mobile devices in meaningful spatial arrangements and also pointing interaction that combines touch and spatial device input. Overall, with my research, I apply an exploratory approach and develop a range of techniques and studies that contribute to the understanding of how mobile devices can be used not only for typical personal visualization but also in more professional settings as part of novel and beyond-the-desktop InfoVis environments.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259 / Informationsvisualisierung (InfoVis) macht Daten in grafischer Form zugänglich, ermöglicht eine visuelle und interaktive Datenexploration und wird in unserer von Daten bestimmten Welt immer wichtiger. InfoVis ermöglicht es Menschen in verschiedenen Anwendungsbereichen, aus den abstrakten und enormen Datenmengen einen echten Nutzen zu ziehen. Obwohl sie häufig auf Desktop-Umgebungen ausgerichtet sind, werden Datenvisualisierungen heutzutage auch auf den allseits präsenten Mobilgeräten wie Smartphones und Tablets eingesetzt. Die meisten Mobilgeräte sind jedoch persönliche digitale Begleiter, die in der Regel mäßig komplexe Daten (z.B. Fitness-, Gesundheits-, Finanz-, Wetter-, Nahverkehrsdaten) auf einem einzigen und sehr kompakten Display visualisieren, wodurch es grundsätzlich schwierig ist, die gesamte Bandbreite von bzw. gleichzeitig mehrere Blickwinkel auf Daten darzustellen. Die in dieser Arbeit vorgestellte Forschung greift diese Aspekte auf und versucht, neuartige Mobilgeräte-Interaktionen zu untersuchen, die eine Datenanalyse mit mehr als nur einem Gerät, mehr als nur einer Visualisierung und mehr als nur einem Benutzer ermöglichen. Im Mittelpunkt dieser Dissertation stehen vier durchgeführte Projekte, die sich anhand der folgenden Forschungsziele miteinander verbinden lassen: (i) Datenvisualisierung jenseits der einfachen Exploration persönlicher Daten ermöglichen, (ii) Mobilgeräte für InfoVis in geräteübergreifende Umgebungen einbinden und (iii) die Beweglichkeit und Räumlichkeit von Mobilgeräten für InfoVis ausnutzen. Um auf das erste Ziel hinzuarbeiten, liegt der Schwerpunkt meiner Forschung auf der Interaktion mit multivariaten Daten, die in mehreren miteinander verknüpften Visualisierungen (engl. multiple coordinated views, kurz MCV) abgebildet werden. Um das zweite Ziel zu adressieren, werden in meiner Arbeit zwei grundlegend unterschiedliche Gerätekonfigurationen behandelt: Der eine Teil befasst sich mit Szenarien, in denen eine oder mehrere Personen an einem Tisch sitzen, um Daten mit MCV zu analysieren, wobei die Ansichten auf mehrere Mobilgeräte verteilt sind (Mobilgeräte auf einem Tisch). Der andere Teil beschäftigt sich mit Szenarien, in denen ein wandgroßes Display eine große Anzahl von MCV anzeigt, während Mobilgeräte die Interaktion mit diesen Ansichten aus unterschiedlichen Positionen und Entfernungen ermöglichen (Mobilgeräte im 3D-Raum). Die Gerätekonfigurationen erlauben es zudem, verschiedene Einsatzzwecke und Rollen von mobilen Geräten während der Datenexploration zu untersuchen. Um auf das dritte Ziel hinzuwirken, untersuche ich mehrere räumliche Geräteinteraktionen. Dies umfasst die Platzierung und Anordnung mehrerer Mobilgeräte in sinnvollen räumlichen Konstellationen sowie Pointing-Interaktion die Touch- und räumliche Geräteeingaben miteinander kombiniert. Allgemein betrachtet wende ich in meiner Forschung einen explorativen Ansatz an. Ich entwickle eine Reihe von Techniken und führe Untersuchungen durch, die zu einem besseren Verständnis beitragen, wie Mobilgeräte nicht nur für typische persönliche Visualisierungen, sondern auch in einem eher professionellen Umfeld als Teil neuartiger InfoVis-Umgebungen jenseits klassischer Desktop-Arbeitsplätze eingesetzt werden können.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259

Das Ziel der Digital Intelligence bzw. datengetriebenen Strategischen Frühaufklärung ist, die Zukunftsgestaltung auf Basis valider und fundierter digitaler Information mit vergleichsweise geringem Aufwand und enormer Zeit- und Kostenersparnis zu unterstützen. Hilfe bieten innovative Technologien der (halb)automatischen Sprach- und Datenverarbeitung wie z. B. das Information Retrieval, das (Temporal) Data, Text und Web Mining, die Informationsvisualisierung, konzeptuelle Strukturen sowie die Informetrie. Sie ermöglichen, Schlüsselthemen und latente Zusammenhänge aus einer nicht überschaubaren, verteilten und inhomogenen Datenmenge wie z. B. Patenten, wissenschaftlichen Publikationen, Pressedokumenten oder Webinhalten rechzeitig zu erkennen und schnell und zielgerichtet bereitzustellen. Die Digital Intelligence macht somit intuitiv erahnte Muster und Entwicklungen explizit und messbar. Die vorliegende Forschungsarbeit soll zum einen die Möglichkeiten der Informatik zur datengetriebenen Frühaufklärung aufzeigen und zum zweiten diese im pragmatischen Kontext umsetzen. Ihren Ausgangspunkt findet sie in der Einführung in die Disziplin der Strategischen Frühaufklärung und ihren datengetriebenen Zweig – die Digital Intelligence. Diskutiert und klassifiziert werden die theoretischen und insbesondere informatikbezogenen Grundlagen der Frühaufklärung – vor allem die Möglichkeiten der zeitorientierten Datenexploration. Konzipiert und entwickelt werden verschiedene Methoden und Software-Werkzeuge, die die zeitorientierte Exploration insbesondere unstrukturierter Textdaten (Temporal Text Mining) unterstützen. Dabei werden nur Verfahren in Betracht gezogen, die sich im Kontext einer großen Institution und den spezifischen Anforderungen der Strategischen Frühaufklärung pragmatisch nutzen lassen. Hervorzuheben sind eine Plattform zur kollektiven Suche sowie ein innovatives Verfahren zur Identifikation schwacher Signale. Vorgestellt und diskutiert wird eine Dienstleistung der Digital Intelligence, die auf dieser Basis in einem globalen technologieorientierten Konzern erfolgreich umgesetzt wurde und eine systematische Wettbewerbs-, Markt- und Technologie-Analyse auf Basis digitaler Spuren des Menschen ermöglicht.

Information visualization is an important research field concerned with making sense and inferring knowledge from data collections. Graph visualizations are specific techniques for data representation relevant in diverse application domains among them biology, software-engineering, and business finance. These data visualizations benefit from the display space provided by novel interactive large display environments. However, these environments also cause new challenges and result in new requirements regarding the need for interaction beyond the desktop and according redesign of analysis tools. This thesis focuses on interactive magic lenses, specialized locally applied tools that temporarily manipulate the visualization. These may include magnification of focus regions but also more graph-specific functions such as pulling in neighboring nodes or locally reducing edge clutter. Up to now, these lenses have mostly been used as single-user, single-purpose tools operated by mouse and keyboard. This dissertation presents the extension of magic lenses both in terms of function as well as interaction for large vertical displays. In particular, this thesis contributes several natural interaction designs with magic lenses for the exploration of graph data in node-link visualizations using diverse interaction modalities. This development incorporates flexible switches between lens functions, adjustment of individual lens properties and function parameters, as well as the combination of lenses. It proposes interaction techniques for fluent multi-touch manipulation of lenses, controlling lenses using mobile devices in front of large displays, and a novel concept of body-controlled magic lenses. Functional extensions in addition to these interaction techniques convert the lenses to user-configurable, personal territories with use of alternative interaction styles. To create the foundation for this extension, the dissertation incorporates a comprehensive design space of magic lenses, their function, parameters, and interactions. Additionally, it provides a discussion on increased embodiment in tool and controller design, contributing insights into user position and movement in front of large vertical displays as a result of empirical investigations and evaluations. / Informationsvisualisierung ist ein wichtiges Forschungsfeld, das das Analysieren von Daten unterstützt. Graph-Visualisierungen sind dabei eine spezielle Variante der Datenrepräsentation, deren Nutzen in vielerlei Anwendungsfällen zum Einsatz kommt, u.a. in der Biologie, Softwareentwicklung und Finanzwirtschaft. Diese Datendarstellungen profitieren besonders von großen Displays in neuen Displayumgebungen. Jedoch bringen diese Umgebungen auch neue Herausforderungen mit sich und stellen Anforderungen an Nutzerschnittstellen jenseits der traditionellen Ansätze, die dadurch auch Anpassungen von Analysewerkzeugen erfordern. Diese Dissertation befasst sich mit interaktiven „Magischen Linsen“, spezielle lokal-angewandte Werkzeuge, die temporär die Visualisierung zur Analyse manipulieren. Dabei existieren zum Beispiel Vergrößerungslinsen, aber auch Graph-spezifische Manipulationen, wie das Anziehen von Nachbarknoten oder das Reduzieren von Kantenüberlappungen im lokalen Bereich. Bisher wurden diese Linsen vor allem als Werkzeug für einzelne Nutzer mit sehr spezialisiertem Effekt eingesetzt und per Maus und Tastatur bedient. Die vorliegende Doktorarbeit präsentiert die Erweiterung dieser magischen Linsen, sowohl in Bezug auf die Funktionalität als auch für die Interaktion an großen, vertikalen Displays. Insbesondere trägt diese Dissertation dazu bei, die Exploration von Graphen mit magischen Linsen durch natürliche Interaktion mit unterschiedlichen Modalitäten zu unterstützen. Dabei werden flexible Änderungen der Linsenfunktion, Anpassungen von individuellen Linseneigenschaften und Funktionsparametern, sowie die Kombination unterschiedlicher Linsen ermöglicht. Es werden Interaktionstechniken für die natürliche Manipulation der Linsen durch Multitouch-Interaktion, sowie das Kontrollieren von Linsen durch Mobilgeräte vor einer Displaywand vorgestellt. Außerdem wurde ein neuartiges Konzept körpergesteuerter magischer Linsen entwickelt. Funktionale Erweiterungen in Kombination mit diesen Interaktionskonzepten machen die Linse zu einem vom Nutzer einstellbaren, persönlichen Arbeitsbereich, der zudem alternative Interaktionsstile erlaubt. Als Grundlage für diese Erweiterungen stellt die Dissertation eine umfangreiche analytische Kategorisierung bisheriger Forschungsarbeiten zu magischen Linsen vor, in der Funktionen, Parameter und Interaktion mit Linsen eingeordnet werden. Zusätzlich macht die Arbeit Vor- und Nachteile körpernaher Interaktion für Werkzeuge bzw. ihre Steuerung zum Thema und diskutiert dabei Nutzerposition und -bewegung an großen Displaywänden belegt durch empirische Nutzerstudien.

Information visualization is an important research field concerned with making sense and inferring knowledge from data collections. Graph visualizations are specific techniques for data representation relevant in diverse application domains among them biology, software-engineering, and business finance. These data visualizations benefit from the display space provided by novel interactive large display environments. However, these environments also cause new challenges and result in new requirements regarding the need for interaction beyond the desktop and according redesign of analysis tools. This thesis focuses on interactive magic lenses, specialized locally applied tools that temporarily manipulate the visualization. These may include magnification of focus regions but also more graph-specific functions such as pulling in neighboring nodes or locally reducing edge clutter. Up to now, these lenses have mostly been used as single-user, single-purpose tools operated by mouse and keyboard. This dissertation presents the extension of magic lenses both in terms of function as well as interaction for large vertical displays. In particular, this thesis contributes several natural interaction designs with magic lenses for the exploration of graph data in node-link visualizations using diverse interaction modalities. This development incorporates flexible switches between lens functions, adjustment of individual lens properties and function parameters, as well as the combination of lenses. It proposes interaction techniques for fluent multi-touch manipulation of lenses, controlling lenses using mobile devices in front of large displays, and a novel concept of body-controlled magic lenses. Functional extensions in addition to these interaction techniques convert the lenses to user-configurable, personal territories with use of alternative interaction styles. To create the foundation for this extension, the dissertation incorporates a comprehensive design space of magic lenses, their function, parameters, and interactions. Additionally, it provides a discussion on increased embodiment in tool and controller design, contributing insights into user position and movement in front of large vertical displays as a result of empirical investigations and evaluations. / Informationsvisualisierung ist ein wichtiges Forschungsfeld, das das Analysieren von Daten unterstützt. Graph-Visualisierungen sind dabei eine spezielle Variante der Datenrepräsentation, deren Nutzen in vielerlei Anwendungsfällen zum Einsatz kommt, u.a. in der Biologie, Softwareentwicklung und Finanzwirtschaft. Diese Datendarstellungen profitieren besonders von großen Displays in neuen Displayumgebungen. Jedoch bringen diese Umgebungen auch neue Herausforderungen mit sich und stellen Anforderungen an Nutzerschnittstellen jenseits der traditionellen Ansätze, die dadurch auch Anpassungen von Analysewerkzeugen erfordern. Diese Dissertation befasst sich mit interaktiven „Magischen Linsen“, spezielle lokal-angewandte Werkzeuge, die temporär die Visualisierung zur Analyse manipulieren. Dabei existieren zum Beispiel Vergrößerungslinsen, aber auch Graph-spezifische Manipulationen, wie das Anziehen von Nachbarknoten oder das Reduzieren von Kantenüberlappungen im lokalen Bereich. Bisher wurden diese Linsen vor allem als Werkzeug für einzelne Nutzer mit sehr spezialisiertem Effekt eingesetzt und per Maus und Tastatur bedient. Die vorliegende Doktorarbeit präsentiert die Erweiterung dieser magischen Linsen, sowohl in Bezug auf die Funktionalität als auch für die Interaktion an großen, vertikalen Displays. Insbesondere trägt diese Dissertation dazu bei, die Exploration von Graphen mit magischen Linsen durch natürliche Interaktion mit unterschiedlichen Modalitäten zu unterstützen. Dabei werden flexible Änderungen der Linsenfunktion, Anpassungen von individuellen Linseneigenschaften und Funktionsparametern, sowie die Kombination unterschiedlicher Linsen ermöglicht. Es werden Interaktionstechniken für die natürliche Manipulation der Linsen durch Multitouch-Interaktion, sowie das Kontrollieren von Linsen durch Mobilgeräte vor einer Displaywand vorgestellt. Außerdem wurde ein neuartiges Konzept körpergesteuerter magischer Linsen entwickelt. Funktionale Erweiterungen in Kombination mit diesen Interaktionskonzepten machen die Linse zu einem vom Nutzer einstellbaren, persönlichen Arbeitsbereich, der zudem alternative Interaktionsstile erlaubt. Als Grundlage für diese Erweiterungen stellt die Dissertation eine umfangreiche analytische Kategorisierung bisheriger Forschungsarbeiten zu magischen Linsen vor, in der Funktionen, Parameter und Interaktion mit Linsen eingeordnet werden. Zusätzlich macht die Arbeit Vor- und Nachteile körpernaher Interaktion für Werkzeuge bzw. ihre Steuerung zum Thema und diskutiert dabei Nutzerposition und -bewegung an großen Displaywänden belegt durch empirische Nutzerstudien.

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA). / Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.

Large, strongly connected amounts of data, as collected in knowledge bases or those occurring when describing software, are often read slowly and with difficulty by humans when they are represented as spreadsheets or text. Graphical representations can help people to understand facts more intuitively and offer a quick overview. The electronic representation offers means that are beyond the possibilities of print such as unlimited zoom and hyperlinks. This paper addresses a framework for visualizing connected information in 3D-space taking into account the techniques of media design to build visualization structures and map information to graphical properties. / Große, stark vernetzte Datenmengen, wie sie in Wissensbasen oder Softwaremodellen vorkommen, sind von Menschen oft nur langsam und mühsam zu lesen, wenn sie als Tabellen oder Text dargestellt werden. Graphische Darstellungen können Menschen helfen, Tatsachen intuitiver zu verstehen und bieten einen schnellen Überblick. Die elektronische Darstellung bietet Mittel, welche über die Möglichkeiten von Print hinausgehen, wie z.B. unbegrenzten Zoom und Hyperlinks. Diese Arbeit stellt ein Framework für die Visualisierung vernetzter Informationen im 3D-Raum vor, welches Techniken der Gestaltung zur Erstellung von graphischen Strukturen und zur Abbildung von Informationen auf graphische Eigenschaften berücksichtigt.

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA).:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90 / Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90

Large, strongly connected amounts of data, as collected in knowledge bases or those occurring when describing software, are often read slowly and with difficulty by humans when they are represented as spreadsheets or text. Graphical representations can help people to understand facts more intuitively and offer a quick overview. The electronic representation offers means that are beyond the possibilities of print such as unlimited zoom and hyperlinks. This paper addresses a framework for visualizing connected information in 3D-space taking into account the techniques of media design to build visualization structures and map information to graphical properties.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 91 / Große, stark vernetzte Datenmengen, wie sie in Wissensbasen oder Softwaremodellen vorkommen, sind von Menschen oft nur langsam und mühsam zu lesen, wenn sie als Tabellen oder Text dargestellt werden. Graphische Darstellungen können Menschen helfen, Tatsachen intuitiver zu verstehen und bieten einen schnellen Überblick. Die elektronische Darstellung bietet Mittel, welche über die Möglichkeiten von Print hinausgehen, wie z.B. unbegrenzten Zoom und Hyperlinks. Diese Arbeit stellt ein Framework für die Visualisierung vernetzter Informationen im 3D-Raum vor, welches Techniken der Gestaltung zur Erstellung von graphischen Strukturen und zur Abbildung von Informationen auf graphische Eigenschaften berücksichtigt.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 91

Das Ziel der Digital Intelligence bzw. datengetriebenen Strategischen Frühaufklärung ist, die Zukunftsgestaltung auf Basis valider und fundierter digitaler Information mit vergleichsweise geringem Aufwand und enormer Zeit- und Kostenersparnis zu unterstützen. Hilfe bieten innovative Technologien der (halb)automatischen Sprach- und Datenverarbeitung wie z. B. das Information Retrieval, das (Temporal) Data, Text und Web Mining, die Informationsvisualisierung, konzeptuelle Strukturen sowie die Informetrie. Sie ermöglichen, Schlüsselthemen und latente Zusammenhänge aus einer nicht überschaubaren, verteilten und inhomogenen Datenmenge wie z. B. Patenten, wissenschaftlichen Publikationen, Pressedokumenten oder Webinhalten rechzeitig zu erkennen und schnell und zielgerichtet bereitzustellen. Die Digital Intelligence macht somit intuitiv erahnte Muster und Entwicklungen explizit und messbar. Die vorliegende Forschungsarbeit soll zum einen die Möglichkeiten der Informatik zur datengetriebenen Frühaufklärung aufzeigen und zum zweiten diese im pragmatischen Kontext umsetzen. Ihren Ausgangspunkt findet sie in der Einführung in die Disziplin der Strategischen Frühaufklärung und ihren datengetriebenen Zweig – die Digital Intelligence. Diskutiert und klassifiziert werden die theoretischen und insbesondere informatikbezogenen Grundlagen der Frühaufklärung – vor allem die Möglichkeiten der zeitorientierten Datenexploration. Konzipiert und entwickelt werden verschiedene Methoden und Software-Werkzeuge, die die zeitorientierte Exploration insbesondere unstrukturierter Textdaten (Temporal Text Mining) unterstützen. Dabei werden nur Verfahren in Betracht gezogen, die sich im Kontext einer großen Institution und den spezifischen Anforderungen der Strategischen Frühaufklärung pragmatisch nutzen lassen. Hervorzuheben sind eine Plattform zur kollektiven Suche sowie ein innovatives Verfahren zur Identifikation schwacher Signale. Vorgestellt und diskutiert wird eine Dienstleistung der Digital Intelligence, die auf dieser Basis in einem globalen technologieorientierten Konzern erfolgreich umgesetzt wurde und eine systematische Wettbewerbs-, Markt- und Technologie-Analyse auf Basis digitaler Spuren des Menschen ermöglicht.:Kurzzusammenfassung 2 Danksagung 3 Inhaltsverzeichnis 5 Tabellenverzeichnis 9 Abbildungsverzeichnis 10 A – EINLEITUNG 13 1 Hintergrund und Motivation 13 2 Beitrag und Aufbau der Arbeit 16 B – THEORIE 20 B0 – Digital Intelligence 20 3 Herleitung und Definition der Digital Intelligence 21 4 Abgrenzung zur Business Intelligence 23 5 Übersicht über unterschiedliche Textsorten 24 6 Informetrie: Bibliometrie, Szientometrie, Webometrie 29 7 Informationssysteme im Kontext der Digital Intelligence 31 B1 – Betriebswirtschaftliche Grundlagen der Digital Intelligence 36 8 Strategische Frühaufklärung 37 8.1 Facetten und historische Entwicklung 37 8.2 Methoden 41 8.3 Prozess 42 8.4 Bestimmung wiederkehrender Termini 44 8.5 Grundlagen der Innovations- und Diffusionsforschung 49 B2 – Informatik-Grundlagen der Digital Intelligence 57 9 Von Zeit, Daten, Text, Metadaten zu multidimensionalen zeitorientierten (Text)Daten 59 9.1 Zeit – eine Begriffsbestimmung 59 9.1.1 Zeitliche Grundelemente und Operatoren 59 9.1.2 Lineare, zyklische und verzweigte Entwicklungen 62 9.1.3 Zeitliche (Un)Bestimmtheit 62 9.1.4 Zeitliche Granularität 63 9.2 Text 63 9.2.1 Der Text und seine sprachlich-textuellen Ebenen 63 9.2.2 Von Signalen und Daten zu Information und Wissen 65 9.3 Daten 65 9.3.1 Herkunft 65 9.3.2 Datengröße 66 9.3.3 Datentyp und Wertebereich 66 9.3.4 Datenstruktur 67 9.3.5 Dimensionalität 68 9.4 Metadaten 69 9.5 Zusammenfassung und multidimensionale zeitorientierte Daten 70 10 Zeitorientierte Datenexplorationsmethoden 73 10.1 Zeitorientierte Datenbankabfragen und OLAP 76 10.2 Zeitorientiertes Information Retrieval 78 10.3 Data Mining und Temporal Data Mining 79 10.3.1 Repräsentationen zeitorientierter Daten 81 10.3.2 Aufgaben des Temporal Data Mining 86 10.4 Text Mining und Temporal Text Mining 91 10.4.1 Grundlagen des Text Mining 98 10.4.2 Entwickelte, genutzte und lizensierte Anwendungen des Text Mining 107 10.4.3 Formen des Temporal Text Mining 110 10.4.3.1 Entdeckung kausaler und zeitorientierter Regeln 110 10.4.3.2 Identifikation von Abweichungen und Volatilität 111 10.4.3.3 Identifikation und zeitorientierte Organisation von Themen 112 10.4.3.4 Zeitorientierte Analyse auf Basis konzeptueller Strukturen 116 10.4.3.5 Zeitorientierte Analyse von Frequenz, Vernetzung und Hierarchien 117 10.4.3.6 Halbautomatische Identifikation von Trends 121 10.4.3.7 Umgang mit dynamisch aktualisierten Daten 123 10.5 Web Mining und Temporal Web Mining 124 10.5.1 Web Content Mining 125 10.5.2 Web Structure Mining 126 10.5.3 Web Usage Mining 127 10.5.4 Temporal Web Mining 127 10.6 Informationsvisualisierung 128 10.6.1 Visualisierungstechniken 130 10.6.1.1 Visualisierungstechniken nach Datentypen 130 10.6.1.2 Visualisierungstechniken nach Darstellungsart 132 10.6.1.3 Visualisierungstechniken nach Art der Interaktion 137 10.6.1.4 Visualisierungstechniken nach Art der visuellen Aufgabe 139 10.6.1.5 Visualisierungstechniken nach Visualisierungsprozess 139 10.6.2 Zeitorientierte Visualisierungstechniken 140 10.6.2.1 Statische Repräsentationen 141 10.6.2.2 Dynamische Repräsentationen 145 10.6.2.3 Ereignisbasierte Repräsentationen 147 10.7 Zusammenfassung 152 11 Konzeptuelle Strukturen 154 12 Synopsis für die zeitorientierte Datenexploration 163 C – UMSETZUNG EINES DIGITAL-INTELLIGENCESYSTEMS 166 13 Bestimmung textbasierter Indikatoren 167 14 Anforderungen an ein Digital-Intelligence-System 171 15 Beschreibung der Umsetzung eines Digital-Intelligence-Systems 174 15.1 Konzept einer Dienstleistung der Digital Intelligence 175 15.1.1 Portalnutzung 177 15.1.2 Steckbriefe 178 15.1.3 Tiefenanalysen 180 15.1.4 Technologiescanning 185 15.2 Relevante Daten für die Digital Intelligence (Beispiel) 187 15.3 Frühaufklärungs-Plattform 188 15.4 WCTAnalyze und automatische Extraktion themenspezifischer Ereignisse 197 15.5 SemanticTalk 200 15.6 Halbautomatische Identifikation von Trends 204 15.6.1 Zeitreihenkorrelation 205 15.6.2 HD-SOM-Scanning 207 D – ZUSAMMENFASSUNG 217 Anhang A: Prozessbilder entwickelter Anwendungen des (Temporal) Text Mining 223 Anhang B: Synopsis der zeitorientierten Datenexploration 230 Literaturverzeichnis 231 Selbstständigkeitserklärung 285 Wissenschaftlicher Werdegang des Autors 286 Veröffentlichungen 287

Data masses on the World Wide Web can hardly be managed by humans or machines. One option is the formal description and linking of data sources using Semantic Web and Linked Data technologies. Ontologies written in standardised languages foster the sharing and linking of data as they provide a means to formally define concepts and relations between these concepts. A second option is visualisation. The visual representation allows humans to perceive information more directly, using the highly developed visual sense. Relatively few efforts have been made on combining both options, although the formality and rich semantics of ontological data make it an ideal candidate for visualisation. Advanced visualisation design systems support the visualisation of tabular, typically statistical data. However, visualisations of ontological data still have to be created manually, since automated solutions are often limited to generic lists or node-link diagrams. Also, the semantics of ontological data are not exploited for guiding users through visualisation tasks. Finally, once a good visualisation setting has been created, it cannot easily be reused and shared. Trying to tackle these problems, we had to answer how to define composable and shareable mappings from ontological data to visual means and how to guide the visual mapping of ontological data. We present an approach that allows for the guided visualisation of ontological data, the creation of effective graphics and the reuse of visualisation settings. Instead of generic graphics, we aim at tailor-made graphics, produced using the whole palette of visual means in a flexible, bottom-up approach. It not only allows for visualising ontologies, but uses ontologies to guide users when visualising data and to drive the visualisation process at various places: First, as a rich source of information on data characteristics, second, as a means to formally describe the vocabulary for building abstract graphics, and third, as a knowledge base of facts on visualisation. This is why we call our approach ontology-driven. We suggest generating an Abstract Visual Model (AVM) to represent and »synthesise« a graphic following a role-based approach, inspired by the one used by J. v. Engelhardt for the analysis of graphics. It consists of graphic objects and relations formalised in the Visualisation Ontology (VISO). A mappings model, based on the declarative RDFS/OWL Visualisation Language (RVL), determines a set of transformations from the domain data to the AVM. RVL allows for composable visual mappings that can be shared and reused across platforms. To guide the user, for example, we discourage the construction of mappings that are suboptimal according to an effectiveness ranking formalised in the fact base and suggest more effective mappings instead. The guidance process is flexible, since it is based on exchangeable rules. VISO, RVL and the AVM are additional contributions of this thesis. Further, we initially analysed the state of the art in visualisation and RDF-presentation comparing 10 approaches by 29 criteria. Our approach is unique because it combines ontology-driven guidance with composable visual mappings. Finally, we compare three prototypes covering the essential parts of our approach to show its feasibility. We show how the mapping process can be supported by tools displaying warning messages for non-optimal visual mappings, e.g., by considering relation characteristics such as »symmetry«. In a constructive evaluation, we challenge both the RVL language and the latest prototype trying to regenerate sketches of graphics we created manually during analysis. We demonstrate how graphics can be varied and complex mappings can be composed from simple ones. Two thirds of the sketches can be almost or completely specified and half of them can be almost or completely implemented. / Datenmassen im World Wide Web können kaum von Menschen oder Maschinen erfasst werden. Eine Option ist die formale Beschreibung und Verknüpfung von Datenquellen mit Semantic-Web- und Linked-Data-Technologien. Ontologien, in standardisierten Sprachen geschrieben, befördern das Teilen und Verknüpfen von Daten, da sie ein Mittel zur formalen Definition von Konzepten und Beziehungen zwischen diesen Konzepten darstellen. Eine zweite Option ist die Visualisierung. Die visuelle Repräsentation ermöglicht es dem Menschen, Informationen direkter wahrzunehmen, indem er seinen hochentwickelten Sehsinn verwendet. Relativ wenige Anstrengungen wurden unternommen, um beide Optionen zu kombinieren, obwohl die Formalität und die reichhaltige Semantik ontologische Daten zu einem idealen Kandidaten für die Visualisierung machen. Visualisierungsdesignsysteme unterstützen Nutzer bei der Visualisierung von tabellarischen, typischerweise statistischen Daten. Visualisierungen ontologischer Daten jedoch müssen noch manuell erstellt werden, da automatisierte Lösungen häufig auf generische Listendarstellungen oder Knoten-Kanten-Diagramme beschränkt sind. Auch die Semantik der ontologischen Daten wird nicht ausgenutzt, um Benutzer durch Visualisierungsaufgaben zu führen. Einmal erstellte Visualisierungseinstellungen können nicht einfach wiederverwendet und geteilt werden. Um diese Probleme zu lösen, mussten wir eine Antwort darauf finden, wie die Definition komponierbarer und wiederverwendbarer Abbildungen von ontologischen Daten auf visuelle Mittel geschehen könnte und wie Nutzer bei dieser Abbildung geführt werden könnten. Wir stellen einen Ansatz vor, der die geführte Visualisierung von ontologischen Daten, die Erstellung effektiver Grafiken und die Wiederverwendung von Visualisierungseinstellungen ermöglicht. Statt auf generische Grafiken zielt der Ansatz auf maßgeschneiderte Grafiken ab, die mit der gesamten Palette visueller Mittel in einem flexiblen Bottom-Up-Ansatz erstellt werden. Er erlaubt nicht nur die Visualisierung von Ontologien, sondern verwendet auch Ontologien, um Benutzer bei der Visualisierung von Daten zu führen und den Visualisierungsprozess an verschiedenen Stellen zu steuern: Erstens als eine reichhaltige Informationsquelle zu Datencharakteristiken, zweitens als Mittel zur formalen Beschreibung des Vokabulars für den Aufbau von abstrakten Grafiken und drittens als Wissensbasis von Visualisierungsfakten. Deshalb nennen wir unseren Ansatz ontologie-getrieben. Wir schlagen vor, ein Abstract Visual Model (AVM) zu generieren, um eine Grafik rollenbasiert zu synthetisieren, angelehnt an einen Ansatz der von J. v. Engelhardt verwendet wird, um Grafiken zu analysieren. Das AVM besteht aus grafischen Objekten und Relationen, die in der Visualisation Ontology (VISO) formalisiert sind. Ein Mapping-Modell, das auf der deklarativen RDFS/OWL Visualisation Language (RVL) basiert, bestimmt eine Menge von Transformationen von den Quelldaten zum AVM. RVL ermöglicht zusammensetzbare »Mappings«, visuelle Abbildungen, die über Plattformen hinweg geteilt und wiederverwendet werden können. Um den Benutzer zu führen, bewerten wir Mappings anhand eines in der Faktenbasis formalisierten Effektivitätsrankings und schlagen ggf. effektivere Mappings vor. Der Beratungsprozess ist flexibel, da er auf austauschbaren Regeln basiert. VISO, RVL und das AVM sind weitere Beiträge dieser Arbeit. Darüber hinaus analysieren wir zunächst den Stand der Technik in der Visualisierung und RDF-Präsentation, indem wir 10 Ansätze nach 29 Kriterien vergleichen. Unser Ansatz ist einzigartig, da er eine ontologie-getriebene Nutzerführung mit komponierbaren visuellen Mappings vereint. Schließlich vergleichen wir drei Prototypen, welche die wesentlichen Teile unseres Ansatzes umsetzen, um seine Machbarkeit zu zeigen. Wir zeigen, wie der Mapping-Prozess durch Tools unterstützt werden kann, die Warnmeldungen für nicht optimale visuelle Abbildungen anzeigen, z. B. durch Berücksichtigung von Charakteristiken der Relationen wie »Symmetrie«. In einer konstruktiven Evaluation fordern wir sowohl die RVL-Sprache als auch den neuesten Prototyp heraus, indem wir versuchen Skizzen von Grafiken umzusetzen, die wir während der Analyse manuell erstellt haben. Wir zeigen, wie Grafiken variiert werden können und komplexe Mappings aus einfachen zusammengesetzt werden können. Zwei Drittel der Skizzen können fast vollständig oder vollständig spezifiziert werden und die Hälfte kann fast vollständig oder vollständig umgesetzt werden.