„Hast Du Schwierigkeiten, die richtige Ansprache für Millennials zu finden?“ Dann empfiehlt die Onlinemarketingplattform www.onlinemarketing.de sich die perfekte Videowerbung für die Generation Y anzusehen. Im Video sind „hippe, junge Menschen in Zeitlupe“ zu sehen, die fröhlich sind, sich frei fühlen, lachen, bunte Haare haben, gern mit Freunden zusammen sind und Spaß an der Konversation haben, fotografieren, posten, liken und teilen. Natürlich werden im Video die Klischees überzogen und auch aufs Korn genommen. Aber die Kernaussage stimmt mit der Definition der Millennials überein: Sie sind technikaffin, legen Wert auf ihre Selbstverwirklichung und verfolgen eine hohe Leistungsorientierung. Sie studieren und investieren in die Ausbildung. Es ist aber auch die Generation, die mit dem Smartphone groß geworden ist. Sie beziehen nahezu alle Informationen aus dem Internet und halten sich täglich über mehrere Stunden in den sozialen Medien auf. Die Autorin setzt sich in ihrer Dissertation mit dem Thema auseinander, wie diese Generation sich Wissen aneignet. Sie möchte in Experimenten nachweisen, dass die Millennials anders lernen, weil sie aus der Informationsflut selektieren müssen. Sie wollen ihr Wissen möglichst effektiv, auf das Wesentliche reduziert, präsentiert bekommen. Das sind Erfahrungen der Autorin aus der Lehre. Dieses Paper fasst Hypothesen und Gedanken zusammen, die provokant und als mögliches Zukunftsszenario beschrieben werden. Dabei geht es einerseits um die Distribution. Wo müssen Lehrvideos veröffentlicht werden, dass sie von der lernenden Zielgruppe wahrgenommen und angenommen werden. Auf der anderen Seite geht es auch um den Content selbst und wie er dargestellt wird – strukturell und visuell. Die Autorin zieht dafür Parallelen zum Journalismus sowie zum Marketing.

While interaction with computers used to be dominated by mice and keyboards, new types of sensors now allow users to interact through touch, speech, or using their whole body in 3D space. These new interaction modalities are often referred to as "natural user interfaces" or "NUIs." While 2D NUIs have experienced major success on billions of mobile touch devices sold, 3D NUI systems have so far been unable to deliver a mobile form factor, mainly due to their use of cameras. The fact that cameras require a certain distance from the capture volume has prevented 3D NUI systems from reaching the flat form factor mobile users expect. In this dissertation, we address this issue by sensing 3D input using flat 2D sensors. The systems we present observe the input from 3D objects as 2D imprints upon physical contact. By sampling these imprints at very high resolutions, we obtain the objects' textures. In some cases, a texture uniquely identifies a biometric feature, such as the user's fingerprint. In other cases, an imprint stems from the user's clothing, such as when walking on multitouch floors. By analyzing from which part of the 3D object the 2D imprint results, we reconstruct the object's pose in 3D space. While our main contribution is a general approach to sensing 3D input on 2D sensors upon physical contact, we also demonstrate three applications of our approach. (1) We present high-accuracy touch devices that allow users to reliably touch targets that are a third of the size of those on current touch devices. We show that different users and 3D finger poses systematically affect touch sensing, which current devices perceive as random input noise. We introduce a model for touch that compensates for this systematic effect by deriving the 3D finger pose and the user's identity from each touch imprint. We then investigate this systematic effect in detail and explore how users conceptually touch targets. Our findings indicate that users aim by aligning visual features of their fingers with the target. We present a visual model for touch input that eliminates virtually all systematic effects on touch accuracy. (2) From each touch, we identify users biometrically by analyzing their fingerprints. Our prototype Fiberio integrates fingerprint scanning and a display into the same flat surface, solving a long-standing problem in human-computer interaction: secure authentication on touchscreens. Sensing 3D input and authenticating users upon touch allows Fiberio to implement a variety of applications that traditionally require the bulky setups of current 3D NUI systems. (3) To demonstrate the versatility of 3D reconstruction on larger touch surfaces, we present a high-resolution pressure-sensitive floor that resolves the texture of objects upon touch. Using the same principles as before, our system GravitySpace analyzes all imprints and identifies users based on their shoe soles, detects furniture, and enables accurate touch input using feet. By classifying all imprints, GravitySpace detects the users' body parts that are in contact with the floor and then reconstructs their 3D body poses using inverse kinematics. GravitySpace thus enables a range of applications for future 3D NUI systems based on a flat sensor, such as smart rooms in future homes. We conclude this dissertation by projecting into the future of mobile devices. Focusing on the mobility aspect of our work, we explore how NUI devices may one day augment users directly in the form of implanted devices. / Die Interaktion mit Computern war in den letzten vierzig Jahren stark von Tastatur und Maus geprägt. Neue Arten von Sensoren ermöglichen Computern nun, Eingaben durch Berührungs-, Sprach- oder 3D-Gestensensoren zu erkennen. Solch neuartige Formen der Interaktion werden häufig unter dem Begriff "natürliche Benutzungsschnittstellen" bzw. "NUIs" (englisch natural user interfaces) zusammengefasst. 2D-NUIs ist vor allem auf Mobilgeräten ein Durchbruch gelungen; über eine Milliarde solcher Geräte lassen sich durch Berührungseingaben bedienen. 3D-NUIs haben sich jedoch bisher nicht auf mobilen Plattformen durchsetzen können, da sie Nutzereingaben vorrangig mit Kameras aufzeichnen. Da Kameras Bilder jedoch erst ab einem gewissen Abstand auflösen können, eignen sie sich nicht als Sensor in einer mobilen Plattform. In dieser Arbeit lösen wir dieses Problem mit Hilfe von 2D-Sensoren, von deren Eingaben wir 3D-Informationen rekonstruieren. Unsere Prototypen zeichnen dabei die 2D-Abdrücke der Objekte, die den Sensor berühren, mit hoher Auflösung auf. Aus diesen Abdrücken leiten sie dann die Textur der Objekte ab. Anhand der Stelle der Objektoberfläche, die den Sensor berührt, rekonstruieren unsere Prototypen schließlich die 3D-Ausrichtung des jeweiligen Objektes. Neben unserem Hauptbeitrag der 3D-Rekonstruktion stellen wir drei Anwendungen unserer Methode vor. (1) Wir präsentieren Geräte, die Berührungseingaben dreimal genauer als existierende Geräte messen und damit Nutzern ermöglichen, dreimal kleinere Ziele zuverlässig mit dem Finger auszuwählen. Wir zeigen dabei, dass sowohl die Haltung des Fingers als auch der Benutzer selbst einen systematischen Einfluss auf die vom Sensor gemessene Position ausübt. Da existierende Geräte weder die Haltung des Fingers noch den Benutzer erkennen, nehmen sie solche Variationen als Eingabeungenauigkeit wahr. Wir stellen ein Modell für Berührungseingabe vor, das diese beiden Faktoren integriert, um damit die gemessenen Eingabepositionen zu präzisieren. Anschließend untersuchen wir, welches mentale Modell Nutzer beim Berühren kleiner Ziele mit dem Finger anwenden. Unsere Ergebnisse deuten auf ein visuelles Modell hin, demzufolge Benutzer Merkmale auf der Oberfläche ihres Fingers an einem Ziel ausrichten. Bei der Analyse von Berührungseingaben mit diesem Modell verschwinden nahezu alle zuvor von uns beobachteten systematischen Effekte. (2) Unsere Prototypen identifizieren Nutzer anhand der biometrischen Merkmale von Fingerabdrücken. Unser Prototyp Fiberio integriert dabei einen Fingerabdruckscanner und einen Bildschirm in die selbe Oberfläche und löst somit das seit Langem bestehende Problem der sicheren Authentifizierung auf Berührungsbildschirmen. Gemeinsam mit der 3D-Rekonstruktion von Eingaben ermöglicht diese Fähigkeit Fiberio, eine Reihe von Anwendungen zu implementieren, die bisher den sperrigen Aufbau aktueller 3D-NUI-Systeme voraussetzten. (3) Um die Flexibilität unserer Methode zu zeigen, implementieren wir sie auf einem großen, berührungsempfindlichen Fußboden, der Objekttexturen bei der Eingabe ebenfalls mit hoher Auflösung aufzeichnet. Ähnlich wie zuvor analysiert unser System GravitySpace diese Abdrücke, um Nutzer anhand ihrer Schuhsolen zu identifizieren, Möbelstücke auf dem Boden zu erkennen und Nutzern präzise Eingaben mittels ihrer Schuhe zu ermöglichen. Indem GravitySpace alle Abdrücke klassifiziert, erkennt das System die Körperteile der Benutzer, die sich in Kontakt mit dem Boden befinden. Aus der Anordnung dieser Kontakte schließt GravitySpace dann auf die Körperhaltungen aller Benutzer in 3D. GravitySpace hat daher das Potenzial, Anwendungen für zukünftige 3D-NUI-Systeme auf einer flachen Oberfläche zu implementieren, wie zum Beispiel in zukünftigen intelligenten Wohnungen. Wie schließen diese Arbeit mit einem Ausblick auf zukünftige interaktive Geräte. Dabei konzentrieren wir uns auf den Mobilitätsaspekt aktueller Entwicklungen und beleuchten, wie zukünftige mobile NUI-Geräte Nutzer in Form implantierter Geräte direkt unterstützen können.

„Hast Du Schwierigkeiten, die richtige Ansprache für Millennials zu finden?“ Dann empfiehlt die Onlinemarketingplattform www.onlinemarketing.de sich die perfekte Videowerbung für die Generation Y anzusehen. Im Video sind „hippe, junge Menschen in Zeitlupe“ zu sehen, die fröhlich sind, sich frei fühlen, lachen, bunte Haare haben, gern mit Freunden zusammen sind und Spaß an der Konversation haben, fotografieren, posten, liken und teilen. Natürlich werden im Video die Klischees überzogen und auch aufs Korn genommen. Aber die Kernaussage stimmt mit der Definition der Millennials überein: Sie sind technikaffin, legen Wert auf ihre Selbstverwirklichung und verfolgen eine hohe Leistungsorientierung. Sie studieren und investieren in die Ausbildung. Es ist aber auch die Generation, die mit dem Smartphone groß geworden ist. Sie beziehen nahezu alle Informationen aus dem Internet und halten sich täglich über mehrere Stunden in den sozialen Medien auf. Die Autorin setzt sich in ihrer Dissertation mit dem Thema auseinander, wie diese Generation sich Wissen aneignet. Sie möchte in Experimenten nachweisen, dass die Millennials anders lernen, weil sie aus der Informationsflut selektieren müssen. Sie wollen ihr Wissen möglichst effektiv, auf das Wesentliche reduziert, präsentiert bekommen. Das sind Erfahrungen der Autorin aus der Lehre. Dieses Paper fasst Hypothesen und Gedanken zusammen, die provokant und als mögliches Zukunftsszenario beschrieben werden. Dabei geht es einerseits um die Distribution. Wo müssen Lehrvideos veröffentlicht werden, dass sie von der lernenden Zielgruppe wahrgenommen und angenommen werden. Auf der anderen Seite geht es auch um den Content selbst und wie er dargestellt wird – strukturell und visuell. Die Autorin zieht dafür Parallelen zum Journalismus sowie zum Marketing.

In dieser Arbeit werden die in einer umfassenden Literaturrecherche zum Thema “Informationsvisualisierung auf mobilen Geräten” erlangten Ergebnisse strukturiert dargelegt. Dabei werden sowohl historische, als auch Aspekte des aktuellen Stands zur Visualisierung auf und Interaktion mit Mobilgeräten berücksichtigt. Des Weiteren wird eine Sammlung von wissenschaftlichen Arbeiten zum genannten Thema in einer web-basierten Literaturübersicht visualisiert. Dafür werden Vorgehensweisen und Konzepte für die Auswahl von geeigneten Daten, Technologien und Designentscheidungen vorgestellt und bei der Implementierung beachtet.:1 Einführung 1 1.1 Motivation 1 1.2 Ziel dieser Arbeit 2 1.3 Aufbau der Arbeit 2 2 Verwandte Arbeiten 5 2.1 Interaktive Informationsvisualisierung auf mobilen Geräten 5 2.1.1 Ideen hinter dem heutigen Stand der Technik 5 2.1.2 Stand der Technik: Interaktionen für mobile Geräte 6 2.1.3 Informationsvisualisierung auf mobilen Geräten 10 2.1.4 Aufgaben und Nutzung mobiler interaktiver Visualisierungen 16 2.1.5 Interaktive Visualisierungen durch Kombination von mobilen Geräten 17 2.2 Interaktive Literaturübersicht 19 2.2.1 Netzwerkdarstellungen wissenschaftlicher Arbeiten 20 2.2.2 Weitere Darstellungen wissenschaftlicher Arbeiten 22 2.2.3 Interaktive Visualisierungen literatur-ähnlicher Sammlungen 23 2.3 Zusammenfassung 25 3 Konzeption 27 3.1 Analyse der Datenbasis 27 3.1.1 Informationen aus exportierten Metadaten 27 3.1.2 Zu extrahierende Daten 29 3.2 Kriterien für das Design interaktiver Visualisierungen 32 3.2.1 Aufgaben einer interaktiven Literaturübersicht 32 3.2.2 Zielgruppe einer interaktiven Literaturübersicht 33 3.3 Design interaktiver Literaturübersichten 34 3.3.1 Vergleich von multiplen und Einzelansichten 34 3.3.2 Visuelles Designkonzept 36 3.3.3 Erweiterung der Visualisierungen durch Animationen 37 3.4 Vergleich vorgestellter Visualisierungen 38 3.4.1 Vergleich von Wortwolke, Netzwerk und Sunburst-Diagramm 38 3.4.2 Vergleich von Punktmatrizen, Stapel-, Marimekko und gruppierten Balkendiagrammen 39 3.5 Zusammenfassung 40 4 Entwicklung einer interaktiven Literaturübersicht 43 4.1 Auswahl geeigneter Technologien und der Datengrundlage 43 4.1.1 Technologieauswahl 43 4.1.2 Definition der Datengrundlage 45 4.2 Oberflächendesign 46 4.2.1 Designentscheidungen der Seitenelemente 47 4.2.2 Designentscheidungen der Benutzeroberfläche 50 4.3 Interaktionsdesign der Literaturübersicht 52 4.4 Implementierung 54 4.4.1 Modulstruktur 54 4.4.2 Datenhaltung 55 4.4.3 Wortwolke 55 4.4.4 Seitenleiste und Filter 56 4.4.5 Streudiagramm 57 4.4.6 Autorenvisualisierung 57 4.5 Schlussfolgerungen 58 5 Zusammenfassung 61 5.1 Fazit 61 5.2 Ausblick 62 Literatur 63 Selbstständigkeitserklärung 79 / In this thesis, the results obtained in a comprehensive literature search on the topic of “information visualization on mobile devices” are presented in a structured manner. Historical as well as aspects of the current state-of-the-art of visualization on and interaction with mobile devices are considered. Furthermore, a collection of scientific papers on this topic will be visualized in a web-based literature overview. Procedures and concepts for the selection of suitable data, technologies and design decisions will be presented and considered during implementation.:1 Einführung 1 1.1 Motivation 1 1.2 Ziel dieser Arbeit 2 1.3 Aufbau der Arbeit 2 2 Verwandte Arbeiten 5 2.1 Interaktive Informationsvisualisierung auf mobilen Geräten 5 2.1.1 Ideen hinter dem heutigen Stand der Technik 5 2.1.2 Stand der Technik: Interaktionen für mobile Geräte 6 2.1.3 Informationsvisualisierung auf mobilen Geräten 10 2.1.4 Aufgaben und Nutzung mobiler interaktiver Visualisierungen 16 2.1.5 Interaktive Visualisierungen durch Kombination von mobilen Geräten 17 2.2 Interaktive Literaturübersicht 19 2.2.1 Netzwerkdarstellungen wissenschaftlicher Arbeiten 20 2.2.2 Weitere Darstellungen wissenschaftlicher Arbeiten 22 2.2.3 Interaktive Visualisierungen literatur-ähnlicher Sammlungen 23 2.3 Zusammenfassung 25 3 Konzeption 27 3.1 Analyse der Datenbasis 27 3.1.1 Informationen aus exportierten Metadaten 27 3.1.2 Zu extrahierende Daten 29 3.2 Kriterien für das Design interaktiver Visualisierungen 32 3.2.1 Aufgaben einer interaktiven Literaturübersicht 32 3.2.2 Zielgruppe einer interaktiven Literaturübersicht 33 3.3 Design interaktiver Literaturübersichten 34 3.3.1 Vergleich von multiplen und Einzelansichten 34 3.3.2 Visuelles Designkonzept 36 3.3.3 Erweiterung der Visualisierungen durch Animationen 37 3.4 Vergleich vorgestellter Visualisierungen 38 3.4.1 Vergleich von Wortwolke, Netzwerk und Sunburst-Diagramm 38 3.4.2 Vergleich von Punktmatrizen, Stapel-, Marimekko und gruppierten Balkendiagrammen 39 3.5 Zusammenfassung 40 4 Entwicklung einer interaktiven Literaturübersicht 43 4.1 Auswahl geeigneter Technologien und der Datengrundlage 43 4.1.1 Technologieauswahl 43 4.1.2 Definition der Datengrundlage 45 4.2 Oberflächendesign 46 4.2.1 Designentscheidungen der Seitenelemente 47 4.2.2 Designentscheidungen der Benutzeroberfläche 50 4.3 Interaktionsdesign der Literaturübersicht 52 4.4 Implementierung 54 4.4.1 Modulstruktur 54 4.4.2 Datenhaltung 55 4.4.3 Wortwolke 55 4.4.4 Seitenleiste und Filter 56 4.4.5 Streudiagramm 57 4.4.6 Autorenvisualisierung 57 4.5 Schlussfolgerungen 58 5 Zusammenfassung 61 5.1 Fazit 61 5.2 Ausblick 62 Literatur 63 Selbstständigkeitserklärung 79

Diese Arbeit untersucht wie man mit mehreren, miteinander koordinierten Mobilgeräten Selektionen verwalten und Brushing und Linking unterstützen kann. Im Rahmen der Arbeit wird ein konzeptionelles Framework zur Selektionsverwaltung für mehrere Geräte angedacht und ein Konzept zur Selektionsverwaltung vorstellt, das Brushing und Linking für Mobilgeräte unterstützt. Des Weiteren werden Ziele für den Prototypen erörtert, die zur Umsetzung das Konzept beitragen. Mobile Geräte werden immer häufiger für Informationsvisualisierungen verwendet. Jedoch wurde bisher noch nicht untersucht, wie gängige Interaktionstechniken, wie Brushing und Linking, für diese Geräte anpassen werden müssen. Während des Brushings, werden zusätzlich Selektionen erstellt, für die es bislang keine Art der Verwaltung für Mobilgeräte gibt. In dieser Arbeit wird untersucht wie man Brushing und Linking mit mehreren Mobilgeräten unterstützen kann und Selektionen gleichzeitig verwalten kann.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 Conclusion / This thesis examines how to manage selections and use brushing and linking with multiple coordinated mobile devices. We discuss thoughts for a conceptual framework for selection management in multi-device environments. We then present a concept for managing selections and supporting brushing and linking for co-located mobile devices. Finally, we are providing an overview of and the goals for our proof-of-concept prototype. More and more mobile devices are used for visualization. However, it is still an open question how to adjust common interaction techniques, such as brushing and linking, for mobile devices. Furthermore, it has not been addressed how to manage the selections that are created through brushing. We explore how brushing and linking can be used in a setting with multiple, co-located mobile devices and how to manage its selections.:1 Introduction 1.1 Contributions 1.2 Motivation and Background 1.3 Goals 1.4 Research Questions 1.5 Thesis Overview 2. Related Work 2.1 Mobile Devices for InfoVis and Their Screen Real Estate Issues 2.2 Interacting with CMVs 2.3 Brushing and Linking 2.4 Summary 3 Selection Management and Brushing and Linking for Mobile Cross- Device Interaction 3.1 The Selection Management Framework 3.2 Fundamental Information About VisTiles 3.3 Design Considerations 3.4 Creating Selections Within a Visualization 3.5 Interacting with Selections Within a Visualization 3.6 Managing Multiple Selections 3.7 Managing a Single Selection 3.8 Linking Selections to Other Devices 3.9 Incorporating Join Operations 3.10 Overview over Side-by-side Interactions 3.11 Summary: Reviewing the Selection Management Framework 4 Prototype 4.1 Technical Setup 4.2 Techniques 5 Conclusion and Discussion 5.1 Discussion 5.2 Future Work 5.3 Conclusion

Der Einsatz großer, vertikaler Displays nimmt sowohl in Bereichen der Forschung als auch der Wirtschaft zu. Diese Displays eignen sich durch ihre Größe und Auflösung unter anderem für die Informationsvisualisierung. Es gibt bereits eine Menge von Forschungsarbeiten, welche die Interaktion mit großen, vertikalen Displays untersucht hat. Jedoch ist speziell die Bedienung Magischer Linsen auf großen Displaywänden weitgehend unbeachtet geblieben. Eine intuitive Interaktion mit Magischen Linsen auf einer Displaywand kann jedoch insbesondere in kollaborativen Szenarien große Vorteile bieten. Smartphones eignen sich durch ihre Portabilität zur Interaktion mit Displaywänden. Unter Verwendung von Mobilgeräten und einer hochauflösenden Displaywand wurden im Rahmen der vorliegenden Arbeit Interaktionskonzepte zur Steuerung und Parametrisierung Magischer Linsen entwickelt. Hierzu wurde eine Recherche des aktuellen Forschungsstandes betrieben und Anwendungsfälle für den Einsatz der Konzepte aufgestellt. Es wurde eine große Bandbreite von Interaktionskonzepten entwickelt, welche von lockeren bis zu fokussierten Interaktionen reichen. Für die Bedienung der Magischen Linsen wurden verschiedene Aktionen identifiziert, welche in einem Interaktionsablauf auftreten und durch die Konzepte zu unterstützen sind. Ein Teil der entwickelten Interaktionskonzepte wurde durch einen Prototypen implementiert und anhand von Beispieldatensätzen getestet. / The usage of large, vertical displays is increasing in felds of research as well as in the economy. Because of their size and resolution these displays are well suited for information visualization. There already are a number of publications which examine the interaction with large, vertical displays. Yet especially the operation of magic lenses on large display walls has been mostly ignored. An intuitive interaction with magic lenses on a large display may be espesially advantageous in collaborative scenarios. Smartphones are suited for interaction with display walls because of their portability. In this paper interaction concepts for operating and parametrizing magic lenses have been developed using mobile devices and a high resolution display wall. For this purpose the current state of research has been investigated and application scenarios for the use of the concepts have been constructed. A big amount of interaction concepts have been developed which range from casual to focused interactions. For the operation of magic lenses several actions have been identifed which occur in an interaction process and have to be adsressed by the concepts. Part of the developed interaction concepts have been implemented by a prototype and tested with sample data sets.

Der Einsatz großer, vertikaler Displays nimmt sowohl in Bereichen der Forschung als auch der Wirtschaft zu. Diese Displays eignen sich durch ihre Größe und Auflösung unter anderem für die Informationsvisualisierung. Es gibt bereits eine Menge von Forschungsarbeiten, welche die Interaktion mit großen, vertikalen Displays untersucht hat. Jedoch ist speziell die Bedienung Magischer Linsen auf großen Displaywänden weitgehend unbeachtet geblieben. Eine intuitive Interaktion mit Magischen Linsen auf einer Displaywand kann jedoch insbesondere in kollaborativen Szenarien große Vorteile bieten. Smartphones eignen sich durch ihre Portabilität zur Interaktion mit Displaywänden. Unter Verwendung von Mobilgeräten und einer hochauflösenden Displaywand wurden im Rahmen der vorliegenden Arbeit Interaktionskonzepte zur Steuerung und Parametrisierung Magischer Linsen entwickelt. Hierzu wurde eine Recherche des aktuellen Forschungsstandes betrieben und Anwendungsfälle für den Einsatz der Konzepte aufgestellt. Es wurde eine große Bandbreite von Interaktionskonzepten entwickelt, welche von lockeren bis zu fokussierten Interaktionen reichen. Für die Bedienung der Magischen Linsen wurden verschiedene Aktionen identifiziert, welche in einem Interaktionsablauf auftreten und durch die Konzepte zu unterstützen sind. Ein Teil der entwickelten Interaktionskonzepte wurde durch einen Prototypen implementiert und anhand von Beispieldatensätzen getestet. / The usage of large, vertical displays is increasing in felds of research as well as in the economy. Because of their size and resolution these displays are well suited for information visualization. There already are a number of publications which examine the interaction with large, vertical displays. Yet especially the operation of magic lenses on large display walls has been mostly ignored. An intuitive interaction with magic lenses on a large display may be espesially advantageous in collaborative scenarios. Smartphones are suited for interaction with display walls because of their portability. In this paper interaction concepts for operating and parametrizing magic lenses have been developed using mobile devices and a high resolution display wall. For this purpose the current state of research has been investigated and application scenarios for the use of the concepts have been constructed. A big amount of interaction concepts have been developed which range from casual to focused interactions. For the operation of magic lenses several actions have been identifed which occur in an interaction process and have to be adsressed by the concepts. Part of the developed interaction concepts have been implemented by a prototype and tested with sample data sets.

Information visualization (InfoVis) makes data accessible in a graphical form, enables visual and interactive data exploration, and is becoming increasingly important in our data-driven world - InfoVis empowers people from various domains to truly benefit from abstract and vast amounts of data. Although they often target desktop environments, nowadays, data visualizations are also used on omnipresent mobile devices, such as smartphones and tablets. However, most mobile devices are personal digital companions, typically visualizing moderately complex data (e.g., fitness, health, finances, weather, public transport data) on a single and very compact display, making it inherently hard to show the full range or simultaneously different perspectives of data. The research in this thesis engages with these aspects by striving for novel mobile device interactions that enable data analysis with more than a single device, more than a single visualization view, and more than a single user. At the core of this dissertation are four realized projects that can be connected by the following research objectives: (i) Facilitating data visualization beyond the casual exploration of personal data, (ii) Integrating mobile devices in multi-device settings for InfoVis, and (iii) Exploiting the mobility and spatiality of mobile devices for InfoVis. To address the first objective, my research mainly concentrates on interactions with multivariate data represented in multiple coordinated views (MCV). To address the second objective, I consider two different device settings in my work: One part investigates scenarios where one or more people sit at a regular table and analyze data in MCV that are distributed across several mobile devices (mobile devices on a table). The other part focuses on scenarios in which a wall-sized display shows large-scale MCV and mobile devices enable interactions with the visualizations from varying positions and distances (mobile devices in 3D space). The settings also allow to look at different purposes and roles of mobile devices during data exploration. To address the third objective, I examine different spatial device interactions. This includes placing and organizing multiple mobile devices in meaningful spatial arrangements and also pointing interaction that combines touch and spatial device input. Overall, with my research, I apply an exploratory approach and develop a range of techniques and studies that contribute to the understanding of how mobile devices can be used not only for typical personal visualization but also in more professional settings as part of novel and beyond-the-desktop InfoVis environments.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259 / Informationsvisualisierung (InfoVis) macht Daten in grafischer Form zugänglich, ermöglicht eine visuelle und interaktive Datenexploration und wird in unserer von Daten bestimmten Welt immer wichtiger. InfoVis ermöglicht es Menschen in verschiedenen Anwendungsbereichen, aus den abstrakten und enormen Datenmengen einen echten Nutzen zu ziehen. Obwohl sie häufig auf Desktop-Umgebungen ausgerichtet sind, werden Datenvisualisierungen heutzutage auch auf den allseits präsenten Mobilgeräten wie Smartphones und Tablets eingesetzt. Die meisten Mobilgeräte sind jedoch persönliche digitale Begleiter, die in der Regel mäßig komplexe Daten (z.B. Fitness-, Gesundheits-, Finanz-, Wetter-, Nahverkehrsdaten) auf einem einzigen und sehr kompakten Display visualisieren, wodurch es grundsätzlich schwierig ist, die gesamte Bandbreite von bzw. gleichzeitig mehrere Blickwinkel auf Daten darzustellen. Die in dieser Arbeit vorgestellte Forschung greift diese Aspekte auf und versucht, neuartige Mobilgeräte-Interaktionen zu untersuchen, die eine Datenanalyse mit mehr als nur einem Gerät, mehr als nur einer Visualisierung und mehr als nur einem Benutzer ermöglichen. Im Mittelpunkt dieser Dissertation stehen vier durchgeführte Projekte, die sich anhand der folgenden Forschungsziele miteinander verbinden lassen: (i) Datenvisualisierung jenseits der einfachen Exploration persönlicher Daten ermöglichen, (ii) Mobilgeräte für InfoVis in geräteübergreifende Umgebungen einbinden und (iii) die Beweglichkeit und Räumlichkeit von Mobilgeräten für InfoVis ausnutzen. Um auf das erste Ziel hinzuarbeiten, liegt der Schwerpunkt meiner Forschung auf der Interaktion mit multivariaten Daten, die in mehreren miteinander verknüpften Visualisierungen (engl. multiple coordinated views, kurz MCV) abgebildet werden. Um das zweite Ziel zu adressieren, werden in meiner Arbeit zwei grundlegend unterschiedliche Gerätekonfigurationen behandelt: Der eine Teil befasst sich mit Szenarien, in denen eine oder mehrere Personen an einem Tisch sitzen, um Daten mit MCV zu analysieren, wobei die Ansichten auf mehrere Mobilgeräte verteilt sind (Mobilgeräte auf einem Tisch). Der andere Teil beschäftigt sich mit Szenarien, in denen ein wandgroßes Display eine große Anzahl von MCV anzeigt, während Mobilgeräte die Interaktion mit diesen Ansichten aus unterschiedlichen Positionen und Entfernungen ermöglichen (Mobilgeräte im 3D-Raum). Die Gerätekonfigurationen erlauben es zudem, verschiedene Einsatzzwecke und Rollen von mobilen Geräten während der Datenexploration zu untersuchen. Um auf das dritte Ziel hinzuwirken, untersuche ich mehrere räumliche Geräteinteraktionen. Dies umfasst die Platzierung und Anordnung mehrerer Mobilgeräte in sinnvollen räumlichen Konstellationen sowie Pointing-Interaktion die Touch- und räumliche Geräteeingaben miteinander kombiniert. Allgemein betrachtet wende ich in meiner Forschung einen explorativen Ansatz an. Ich entwickle eine Reihe von Techniken und führe Untersuchungen durch, die zu einem besseren Verständnis beitragen, wie Mobilgeräte nicht nur für typische persönliche Visualisierungen, sondern auch in einem eher professionellen Umfeld als Teil neuartiger InfoVis-Umgebungen jenseits klassischer Desktop-Arbeitsplätze eingesetzt werden können.:Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259