Growing amounts of data, both in personal and professional settings, have caused an increased interest in data visualization and visual analytics. Especially for inherently three-dimensional data, immersive technologies such as virtual and augmented reality and advanced, natural interaction techniques have been shown to facilitate data analysis. Furthermore, in such use cases, the physical environment often plays an important role, both by directly influencing the data and by serving as context for the analysis. Therefore, there has been a trend to bring data visualization into new, immersive environments and to make use of the physical surroundings, leading to a surge in mixed-reality visualization research. One of the resulting challenges, however, is the design of user interaction for these often complex systems. In my thesis, I address this challenge by investigating interaction for immersive mixed-reality visualizations regarding three core research questions: 1) What are promising types of immersive mixed-reality visualizations, and how can advanced interaction concepts be applied to them? 2) How does spatial interaction benefit these visualizations and how should such interactions be designed? 3) How can spatial interaction in these immersive environments be analyzed and evaluated? To address the first question, I examine how various visualizations such as 3D node-link diagrams and volume visualizations can be adapted for immersive mixed-reality settings and how they stand to benefit from advanced interaction concepts. For the second question, I study how spatial interaction in particular can help to explore data in mixed reality. There, I look into spatial device interaction in comparison to touch input, the use of additional mobile devices as input controllers, and the potential of transparent interaction panels. Finally, to address the third question, I present my research on how user interaction in immersive mixed-reality environments can be analyzed directly in the original, real-world locations, and how this can provide new insights. Overall, with my research, I contribute interaction and visualization concepts, software prototypes, and findings from several user studies on how spatial interaction techniques can support the exploration of immersive mixed-reality visualizations. / Zunehmende Datenmengen, sowohl im privaten als auch im beruflichen Umfeld, führen zu einem zunehmenden Interesse an Datenvisualisierung und visueller Analyse. Insbesondere bei inhärent dreidimensionalen Daten haben sich immersive Technologien wie Virtual und Augmented Reality sowie moderne, natürliche Interaktionstechniken als hilfreich für die Datenanalyse erwiesen. Darüber hinaus spielt in solchen Anwendungsfällen die physische Umgebung oft eine wichtige Rolle, da sie sowohl die Daten direkt beeinflusst als auch als Kontext für die Analyse dient. Daher gibt es einen Trend, die Datenvisualisierung in neue, immersive Umgebungen zu bringen und die physische Umgebung zu nutzen, was zu einem Anstieg der Forschung im Bereich Mixed-Reality-Visualisierung geführt hat. Eine der daraus resultierenden Herausforderungen ist jedoch die Gestaltung der Benutzerinteraktion für diese oft komplexen Systeme. In meiner Dissertation beschäftige ich mich mit dieser Herausforderung, indem ich die Interaktion für immersive Mixed-Reality-Visualisierungen im Hinblick auf drei zentrale Forschungsfragen untersuche: 1) Was sind vielversprechende Arten von immersiven Mixed-Reality-Visualisierungen, und wie können fortschrittliche Interaktionskonzepte auf sie angewendet werden? 2) Wie profitieren diese Visualisierungen von räumlicher Interaktion und wie sollten solche Interaktionen gestaltet werden? 3) Wie kann räumliche Interaktion in diesen immersiven Umgebungen analysiert und ausgewertet werden? Um die erste Frage zu beantworten, untersuche ich, wie verschiedene Visualisierungen wie 3D-Node-Link-Diagramme oder Volumenvisualisierungen für immersive Mixed-Reality-Umgebungen angepasst werden können und wie sie von fortgeschrittenen Interaktionskonzepten profitieren. Für die zweite Frage untersuche ich, wie insbesondere die räumliche Interaktion bei der Exploration von Daten in Mixed Reality helfen kann. Dabei betrachte ich die Interaktion mit räumlichen Geräten im Vergleich zur Touch-Eingabe, die Verwendung zusätzlicher mobiler Geräte als Controller und das Potenzial transparenter Interaktionspanels. Um die dritte Frage zu beantworten, stelle ich schließlich meine Forschung darüber vor, wie Benutzerinteraktion in immersiver Mixed-Reality direkt in der realen Umgebung analysiert werden kann und wie dies neue Erkenntnisse liefern kann. Insgesamt trage ich mit meiner Forschung durch Interaktions- und Visualisierungskonzepte, Software-Prototypen und Ergebnisse aus mehreren Nutzerstudien zu der Frage bei, wie räumliche Interaktionstechniken die Erkundung von immersiven Mixed-Reality-Visualisierungen unterstützen können.

No description available.

No description available.

人口流動具有各種型態。其中包含了遷移、移動、以及通勤人口。在宏觀模型框架下，空間互動模型(簡稱SIM)對於測量人口流動扮演了重要的角色。距離遞減效應為空間互動模型中重要的因子。該效應描述了人口流動的頻率會隨著移動距離而逐漸下降。然而，從實證上，本研究發現人口流動與移動距離的函數，並非在距離上保有恆定的關係。 在本文中，我們提出了對此非恆定的距離遞減效應之修正方法。本修正法運用了轉折點模型的特點，套入了空間互動模型的距離函數上。本文首先運用了電腦模擬驗證了此方法的穩定性與有效性。接下來，研究將此方法應用在兩個人口流動資料。第一個是從台灣健保資料庫觀察出的民眾就醫地變化。健保資料庫包含了總人口的5%抽樣資料。由於在抽樣上瑕疵不大，因此健保抽樣資料具有了一定的代表性。第二個資料則是英國統計局所提供的人口遷移普查資料。在這兩個資料上，我們發現本研究所提修正法，相較於傳統的空間互動模型具有更好的模型配適表現。此改善程度在非都市地區尤其更為明顯。 / Population movement encompasses various forms, such as migration, mobility, and commuting. Spatial Interaction Model (SIM) serves as an important tool to calibrate these movements in the sense of macro modelling. One of the important features of this model is that the number of migrants often decays with the distance. However, we found that this is not always the case in practice and the decay pattern may change with distance. In this study, we propose a distanced-based modification to the SIM, via applying the techniques of change-point problem to construct distance functional form. Computer simulation is illustrated to validate the method and the empirical analysis of flow data from Taiwan’s National Health Insurance Research Database (NHIRD), and also England & Wales internal migration data also provides sound evidences to support the proposed approach. Note that the flow data from the NHIRD consists of a sample of about one million people and can be treated as a fine sample representative of Taiwan’s whole population (about 23 million people). Our results show that the modified approach is more adequate than the traditional SIM, especially for describing the movements of suburban areas in Taiwan.

We propose the concept of spatial analytic interfaces (SAIs) as a tool for performing in-situ, everyday analytic tasks. Mobile computing is now ubiquitous and provides access to information at nearly any time or place. However, current mobile interfaces do not easily enable the type of sophisticated analytic tasks that are now well-supported by desktop computers. Conversely, desktop computers, with large available screen space to view multiple data visualizations, are not always available at the ideal time and place for a particular task. Spatial user interfaces, leveraging state-of-the-art miniature and wearable technologies, can potentially provide intuitive computer interfaces to deal with the complexity needed to support everyday analytic tasks. These interfaces can be implemented with versatile form factors that provide mobility for doing such taskwork in-situ, that is, at the ideal time and place. We explore the design of spatial analytic interfaces for in-situ analytic tasks, that leverage the benefits of an upcoming generation of light-weight, see-through, head-worn displays. We propose how such a platform can meet the five primary design requirements for personal visual analytics: mobility, integration, interpretation, multiple views and interactivity. We begin with a design framework for spatial analytic interfaces based on a survey of existing designs of spatial user interfaces. We then explore how to best meet these requirements through a series of design concepts, user studies and prototype implementations. Our result is a holistic exploration of the spatial analytic concept on a head-worn display platform. / October 2016

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l’amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d’abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d’un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d’écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d’art visuel, plus précisément sur les premières étapes de la création quand l’artiste créer la structure. Nous offrons la possibilité de créer et d’éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c’est-à-dire qu’ils s’ajoutent aux outils existants: toute l’interface utilisateur est sur la table, et l’utilisateur n’utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d’un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L’acceptabilité de ce genre de système a été très bonne, et “magique” par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi. / This dissertation presents the design, implementation, and evaluation of novel SpatialAugmented Reality (SAR) applications. These applications focus on enhancing physical drawingsuch as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account thecamera and projector internal and external parameters to enable precise projection onto trackedsheets of paper. In addition to this, we enable touch and hand detection over the table with adepth camera. Consequently, it enables the creation of interactive touch screens on the pieces ofpaper on a table.Next, we focus on the creation of visual art, more precisely the first steps of creation whenthe artist structures it. We enable the creation and edition of digital construction lines (DCL)that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., theyadd to existing tools: the whole user interface is on the table and the user never uses a mouse,keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specializethem for specific drawings such as perspective drawing, character drawing and drawing from a3D model. We propose a novel way to display and interact with 3D objects on paper. We alsopropose to create mixed media drawing: it enables the creation of interactive visual art thattakes advantage from both the physical and digital possiblities.Finally, we describe new usages for our SAR system in many different contexts throughpublic exhibitions. The acceptability of such systems was found very good and “magical” bymost of the users. They only saw and interacted with interactive pieces of paper without noticingthe projection and tracking system.

Der Einsatz großer, vertikaler Displays nimmt sowohl in Bereichen der Forschung als auch der Wirtschaft zu. Diese Displays eignen sich durch ihre Größe und Auflösung unter anderem für die Informationsvisualisierung. Es gibt bereits eine Menge von Forschungsarbeiten, welche die Interaktion mit großen, vertikalen Displays untersucht hat. Jedoch ist speziell die Bedienung Magischer Linsen auf großen Displaywänden weitgehend unbeachtet geblieben. Eine intuitive Interaktion mit Magischen Linsen auf einer Displaywand kann jedoch insbesondere in kollaborativen Szenarien große Vorteile bieten. Smartphones eignen sich durch ihre Portabilität zur Interaktion mit Displaywänden. Unter Verwendung von Mobilgeräten und einer hochauflösenden Displaywand wurden im Rahmen der vorliegenden Arbeit Interaktionskonzepte zur Steuerung und Parametrisierung Magischer Linsen entwickelt. Hierzu wurde eine Recherche des aktuellen Forschungsstandes betrieben und Anwendungsfälle für den Einsatz der Konzepte aufgestellt. Es wurde eine große Bandbreite von Interaktionskonzepten entwickelt, welche von lockeren bis zu fokussierten Interaktionen reichen. Für die Bedienung der Magischen Linsen wurden verschiedene Aktionen identifiziert, welche in einem Interaktionsablauf auftreten und durch die Konzepte zu unterstützen sind. Ein Teil der entwickelten Interaktionskonzepte wurde durch einen Prototypen implementiert und anhand von Beispieldatensätzen getestet. / The usage of large, vertical displays is increasing in felds of research as well as in the economy. Because of their size and resolution these displays are well suited for information visualization. There already are a number of publications which examine the interaction with large, vertical displays. Yet especially the operation of magic lenses on large display walls has been mostly ignored. An intuitive interaction with magic lenses on a large display may be espesially advantageous in collaborative scenarios. Smartphones are suited for interaction with display walls because of their portability. In this paper interaction concepts for operating and parametrizing magic lenses have been developed using mobile devices and a high resolution display wall. For this purpose the current state of research has been investigated and application scenarios for the use of the concepts have been constructed. A big amount of interaction concepts have been developed which range from casual to focused interactions. For the operation of magic lenses several actions have been identifed which occur in an interaction process and have to be adsressed by the concepts. Part of the developed interaction concepts have been implemented by a prototype and tested with sample data sets.

Der Einsatz großer, vertikaler Displays nimmt sowohl in Bereichen der Forschung als auch der Wirtschaft zu. Diese Displays eignen sich durch ihre Größe und Auflösung unter anderem für die Informationsvisualisierung. Es gibt bereits eine Menge von Forschungsarbeiten, welche die Interaktion mit großen, vertikalen Displays untersucht hat. Jedoch ist speziell die Bedienung Magischer Linsen auf großen Displaywänden weitgehend unbeachtet geblieben. Eine intuitive Interaktion mit Magischen Linsen auf einer Displaywand kann jedoch insbesondere in kollaborativen Szenarien große Vorteile bieten. Smartphones eignen sich durch ihre Portabilität zur Interaktion mit Displaywänden. Unter Verwendung von Mobilgeräten und einer hochauflösenden Displaywand wurden im Rahmen der vorliegenden Arbeit Interaktionskonzepte zur Steuerung und Parametrisierung Magischer Linsen entwickelt. Hierzu wurde eine Recherche des aktuellen Forschungsstandes betrieben und Anwendungsfälle für den Einsatz der Konzepte aufgestellt. Es wurde eine große Bandbreite von Interaktionskonzepten entwickelt, welche von lockeren bis zu fokussierten Interaktionen reichen. Für die Bedienung der Magischen Linsen wurden verschiedene Aktionen identifiziert, welche in einem Interaktionsablauf auftreten und durch die Konzepte zu unterstützen sind. Ein Teil der entwickelten Interaktionskonzepte wurde durch einen Prototypen implementiert und anhand von Beispieldatensätzen getestet. / The usage of large, vertical displays is increasing in felds of research as well as in the economy. Because of their size and resolution these displays are well suited for information visualization. There already are a number of publications which examine the interaction with large, vertical displays. Yet especially the operation of magic lenses on large display walls has been mostly ignored. An intuitive interaction with magic lenses on a large display may be espesially advantageous in collaborative scenarios. Smartphones are suited for interaction with display walls because of their portability. In this paper interaction concepts for operating and parametrizing magic lenses have been developed using mobile devices and a high resolution display wall. For this purpose the current state of research has been investigated and application scenarios for the use of the concepts have been constructed. A big amount of interaction concepts have been developed which range from casual to focused interactions. For the operation of magic lenses several actions have been identifed which occur in an interaction process and have to be adsressed by the concepts. Part of the developed interaction concepts have been implemented by a prototype and tested with sample data sets.

In online learning, little is known about the impact of mixed reality and its underlying socio-technological factors on social space perceived by learners. The term social space refers to a group's socio-emotional dynamics that structure the social relationships among its members. Drawing upon extant literature on mixed reality, interaction and social presence, this research proposes and validates a theoretical model that elucidates the influence of immersion on users’ social space experiences within digital environments across different mixed realities (i.e., augmented and virtual realities, and video conferencing). Interaction and social presence are identified as two key factors mediating this relationship. To test the proposed model, a survey involving 488 participants in higher education was conducted, and the effects were examined under three conditions: video conferencing, augmented-reality, and virtual-reality. The findings show that 1) an immersion perspective plays a significant role in educational technology, particularly for its role in facilitating social space among learners in higher education; 2) the impact of immersion on social space is entirely mediated by learners’ assessment of interactions and their perception of social presence in digitally facilitated learning environments; and 3) the influences of immersion on learners to experience a prosocial space vary across virtual reality, augmented reality, and video conferencing. VR environments offer the most pronounced sensation of social presence, while AR environments prove to be optimal for interacting in digitally facilitated learning environments. Out of these three conditions, VC environments were perceived the lowest for interaction, sensation of social presence, and the establishment of a communal atmosphere of collaboration in digitally mediated learning environments. These findings make valuable contributions to theory by providing insights into the influence of immersion and variability in mixed reality on learners’ perception of social space experiences. In this respect, this research expands the body of knowledge and research in both the information systems and education fields. Furthermore, this research offers valuable insights for educators to make informed decisions regarding the selection and adoption of augmented and virtual reality technologies, as well as devising digital strategies in higher education. It contributes to our understanding of effective implementation of mixed reality in this context. / Dissertation / Doctor of Philosophy (PhD)

Au cours de la dernière décennie, la pathologie numérique a été améliorée grâce aux avancées des algorithmes d'analyse d'images et de la puissance de calcul. Néanmoins, le diagnostic par un expert à partir d'images histopathologiques reste le gold standard pour un nombre considérable de maladies notamment le cancer. Ce type d'images préserve la structure des tissus aussi proches que possible de leur état vivant. Ainsi, cela permet de quantifier les objets biologiques et de décrire leur organisation spatiale afin de fournir une description plus précise des tissus malades. L'analyse automatique des images histopathologiques peut avoir trois objectifs: le diagnostic assisté par ordinateur, l'évaluation de la sévérité des maladies et enfin l'étude et l'interprétation des mécanismes sous-jacents des maladies et leurs impacts sur les objets biologiques. L'objectif principal de cette thèse est en premier lieu de comprendre et relever les défis associés à l'analyse automatisée des images histologiques. Ensuite, ces travaux visent à décrire les populations d'objets biologiques présents dans les images et leurs relations et interactions à l'aide des statistiques spatiales et également à évaluer la significativité de leurs différences en fonction de la maladie par des tests statistiques. Après une étape de séparation des populations d'objets biologiques basée sur la couleur des marqueurs, une extraction automatique de leurs emplacements est effectuée en fonction de leur type, qui peut être ponctuel ou surfacique. Les statistiques spatiales, basées sur la distance pour les données ponctuelles, sont étudiées et une fonction originale afin de mesurer les interactions entre deux types de données est proposée. Puisqu'il a été montré dans la littérature que la texture d'un tissu est altérée par la présence d'une maladie, les méthodes fondées sur les motifs binaires locaux sont discutées et une approche basée sur une modification de la résolution de l'image afin d'améliorer leur description est introduite. Enfin, les statistiques descriptives et déductives sont appliquées afin d'interpréter les caractéristiques extraites et d'étudier leur pouvoir discriminant dans le cadre de l'étude des modèles animaux de cancer colorectal. Ce travail préconise la mesure des associations entre différents types d'objets biologiques pour mieux comprendre et comparer les mécanismes sous-jacents des maladies et leurs impacts sur la structure des tissus. En outre, nos expériences confirment que l'information de texture joue un rôle important dans la différenciation des deux modèles d'implantation d'une même maladie. / During the last decade, digital pathology has been improved thanks to the advance of image analysis algorithms and calculus power. However, the diagnosis from histopathology images by an expert remains the gold standard in a considerable number of diseases especially cancer. This type of images preserves the tissue structures as close as possible to their living state. Thus, it allows to quantify the biological objects and to describe their spatial organization in order to provide a more specific characterization of diseased tissues. The automated analysis of histopathological images can have three objectives: computer-aided diagnosis, disease grading, and the study and interpretation of the underlying disease mechanisms and their impact on biological objects. The main goal of this dissertation is first to understand and address the challenges associated with the automated analysis of histology images. Then it aims at describing the populations of biological objects present in histology images and their relationships using spatial statistics and also at assessing the significance of their differences according to the disease through statistical tests. After a color-based separation of the biological object populations, an automated extraction of their locations is performed according to their types, which can be point or areal data. Distance-based spatial statistics for point data are reviewed and an original function to measure the interactions between point and areal data is proposed. Since it has been shown that the tissue texture is altered by the presence of a disease, local binary patterns methods are discussed and an approach based on a modification of the image resolution to enhance their description is introduced. Finally, descriptive and inferential statistics are applied in order to interpret the extracted features and to study their discriminative power in the application context of animal models of colorectal cancer. This work advocates the measure of associations between different types of biological objects to better understand and compare the underlying mechanisms of diseases and their impact on the tissue structure. Besides, our experiments confirm that the texture information plays an important part in the differentiation of two implemented models of the same disease.