Spatial referencing denotes the act of referring to a location or an object in space. Since it is often essential in different collaborative activities, good support for spatial referencing could lead to exceptional collaborative experience and performance. Augmented Reality (AR) aims to enhance daily activities and tasks in the real world, including various collaborations and social interactions. Good support for accurate and rapid spatial referencing in collaborative AR often requires detailed environment 3D information, which can be critical for the system to acquire as constrained by current technology. This dissertation seeks to address the issues related to spatial referencing in collaborative AR through 3D user interface design and different experiments. Specifically, we start with investigating the impact of poor spatial referencing on close-range, co-located AR collaborations. Next, we propose and evaluate different pointing ray techniques for object reference at a distance without knowledge from the physical environment. We further introduce marking techniques aiming to accurately acquire the position of an arbitrary point in 3D space that can be used for spatial referencing. Last, we provide a systematic assessment of an AR collaborative application that supports efficient spatial referencing in remote learning to demonstrate its benefit. Overall, the dissertation provides empirical evidence of spatial referencing challenges and benefits to collaborative AR and solutions to support adequate spatial referencing when model information from the environment is missing. / Doctor of Philosophy / People often exchange spatial information about objects when they work together. Example phrases include: ``put that there'', or ``pick the third object from left''. On the other hand, Augmented Reality (AR) is the technology that displays 3D information into the real world to enhance or augment reality. Scientists and technology practitioners think that AR can help people collaborate in a better way. The AR system needs to have a good understanding of the physical environment to support exchanging spatial information in the first place. However, limited by current technology, acquiring spatial information from the real world is not always possible or reliable. In this dissertation, we first illustrate the severity of insufficient environmental knowledge when collaborators sit next to each other in AR. Then we present pointing ray techniques to help AR collaborators refer to distant objects without knowing where those objects are. We further explore different marking techniques that can help the AR system calculate the position of a point in space without scanning the area. Last, we provide an AR application that supports efficient spatial information communication in remote discussion around physical objects.

Avec l'importante disponibilité de données topographiques de référence, la création des données géographiques n'est plus réservée aux professionnels de l'information géographique. De plus en plus d'utilisateurs saisissent leurs propres données, que nous appelons données thématiques, en s'appuyant sur ces données de référence qui jouent alors le rôle de données support. Les données thématiques ainsi saisies font sens en tant que telles, mais surtout de par leurs relations avec les données topographiques. La non prise en compte des relations entre données thématiques et topographiques lors de traitements modifiant les unes ou les autres peut engendrer des incohérences, notamment pour les traitements liés au changement de niveau de détail. L'objectif de la thèse est de définir une méthodologie pour préserver la cohérence entre les données thématiques et topographiques lors d'un changement de niveau de détail. Nous nous concentrons sur l'adaptation des données thématiques suite à une modification des données topographiques, processus que nous appelons migration des données thématiques. Nous proposons d'abord un modèle pour la migration de données thématiques ponctuelles sur réseau composé de : (1) un modèle pour décrire le référencement des données thématiques sur les données topographiques par des relations spatiales (2) une méthode de relocalisation basée sur ces relations. L'approche consiste à identifier les relations finales attendues en fonction des relations initiales et des changements sur les données topographiques entre les états initial et final. La relocalisation est alors effectuée grâce à une méthode multicritère de manière à respecter au mieux les relations attendues. Une mise en œuvre est présentée sur des cas d'étude jouets et sur un cas réel fourni par un service de l'Etat gestionnaire de réseau routier. Nous discutons enfin l'extension du modèle proposé pour traiter la prise en compte des relations pour d'autres applications que la migration de données thématiques / With the large availability of reference topographic data, creating geographic data is not exclusive to experts of geographic information any more. More and more users rely on reference data to create their own data, hereafter called thematic data. Reference data then play the role of support for thematic data. Thematic data make sense by themselves, but even more by their relations with topographic data. Not taking into account the relations between thematic and topographic data during processes that modify the former or the latter may cause inconsistencies, especially for processes that are related to changing the level of detail. The objective of this thesis is to define a methodology to preserve the consistency between thematic and topographic when the level of detail is modified. This thesis focuses on the adaptation of thematic data after a modification of topographic data: we call this process thematic data migration. We first propose a model for the migration of punctual thematic data hosted by a network. This model is composed of: (1) a model to describe the referencing of thematic data on topographic data using spatial relations (2) a method to re-locate thematic data based on these relations. The approach consists in identifying the expected final relations according to the initial relations and the modifications of topographic data between the initial and the final state. The thematic data are then re-located using a multi-criteria method in order to satisfy, as much as possible, the expected relations. An implementation is presented on toy problems and on a real use case provided by a French public authority in charge of road network management. The extension of the proposed model to take into account the relations for other applications than thematic data migration is also discussed

Avec l'importante disponibilité de données topographiques de référence, la création des données géographiques n'est plus réservée aux professionnels de l'information géographique. De plus en plus d'utilisateurs saisissent leurs propres données, que nous appelons données thématiques, en s'appuyant sur ces données de référence qui jouent alors le rôle de données support. Les données thématiques ainsi saisies font sens en tant que telles, mais surtout de par leurs relations avec les données topographiques. La non prise en compte des relations entre données thématiques et topographiques lors de traitements modifiant les unes ou les autres peut engendrer des incohérences, notamment pour les traitements liés au changement de niveau de détail. L'objectif de la thèse est de définir une méthodologie pour préserver la cohérence entre les données thématiques et topographiques lors d'un changement de niveau de détail. Nous nous concentrons sur l'adaptation des données thématiques suite à une modification des données topographiques, processus que nous appelons migration des données thématiques. Nous proposons d'abord un modèle pour la migration de données thématiques ponctuelles sur réseau composé de : (1) un modèle pour décrire le référencement des données thématiques sur les données topographiques par des relations spatiales (2) une méthode de relocalisation basée sur ces relations. L'approche consiste à identifier les relations finales attendues en fonction des relations initiales et des changements sur les données topographiques entre les états initial et final. La relocalisation est alors effectuée grâce à une méthode multicritère de manière à respecter au mieux les relations attendues. Une mise en œuvre est présentée sur des cas d'étude jouets et sur un cas réel fourni par un service de l'Etat gestionnaire de réseau routier. Nous discutons enfin l'extension du modèle proposé pour traiter la prise en compte des relations pour d'autres applications que la migration de données thématiques / With the large availability of reference topographic data, creating geographic data is not exclusive to experts of geographic information any more. More and more users rely on reference data to create their own data, hereafter called thematic data. Reference data then play the role of support for thematic data. Thematic data make sense by themselves, but even more by their relations with topographic data. Not taking into account the relations between thematic and topographic data during processes that modify the former or the latter may cause inconsistencies, especially for processes that are related to changing the level of detail. The objective of this thesis is to define a methodology to preserve the consistency between thematic and topographic when the level of detail is modified. This thesis focuses on the adaptation of thematic data after a modification of topographic data: we call this process thematic data migration. We first propose a model for the migration of punctual thematic data hosted by a network. This model is composed of: (1) a model to describe the referencing of thematic data on topographic data using spatial relations (2) a method to re-locate thematic data based on these relations. The approach consists in identifying the expected final relations according to the initial relations and the modifications of topographic data between the initial and the final state. The thematic data are then re-located using a multi-criteria method in order to satisfy, as much as possible, the expected relations. An implementation is presented on toy problems and on a real use case provided by a French public authority in charge of road network management. The extension of the proposed model to take into account the relations for other applications than thematic data migration is also discussed

Future connected vehicles will be able to warn about hidden dangers already before they are visible for the driver. With sight obstructions as one of the most common factors of accident causation, there is a huge potential to improve traffic safety. However, it is unclear how to design the human-machine-interface of such systems to effectively warn drivers about invisible dangers. Especially the expectation that such warnings will be comparably unreliable lead to conflicting demands on amount and coding of warning information. Earlier work shows that warnings that contain more specific information about a hazard can improve drivers understanding of and responses to warnings but they can also raise processing costs and delay reactions or even distract drivers. Psychological theories as well as related research indicates that augmented reality (AR) has the potential to improve warning effectiveness through optimized coding of additional information. AR warnings can inherently transmit the location of a hazard and – due to the corresponding approach of the referenced display towards the driver – could increases the salience of a warning. The general aim of this work is to understand the human factors of future communication-based collision warnings. Based on a theoretical analysis revealing the most relevant questions within that context, we conducted three driving simulator studies to understand the impact of AR warning design on the effectiveness of unreliable warnings about sight obstructed dangers. To consider not only short-term effectiveness, all studies contained several necessary as well as unnecessary warnings that were analyzed in detail. The first study with 88 participants investigated the benefit of prototypical AR warnings over unspecific warnings of different modalities (visual vs. auditory). Visual AR warnings showed advantages over the other warning designs in gaze and brake reaction times, passing speeds, collision rates and subjective evaluation. Auditory AR warnings did not reveal comparable effects. The second test with 80 participants examined the contribution of different design aspects of visual AR warnings. Adding specific warning symbols or scaling animations to the warnings showed some positive but rather inconsistent effects. In contrast, spatial referencing even of an unspecific warning symbol with AR consistently improved driver’s reactions and evaluations. A third experiment with 36 participants observed the differential effects of the spatial information per se and the coding of the information with AR. The warnings had either no spatial information, symbolically encrypted spatial information or AR encrypted spatial information. A higher amount of information consistently led to stronger brake reactions, higher trust and better subjective evaluation. Additionally, with AR encryption we observed faster fixations as well as brake reactions. The present research emphasizes the importance of specificity for warnings about hidden hazards and the potential of AR especially for in-vehicle warnings of future collision avoidance systems. The systematic analysis of psychological factors of warning design and the corresponding findings on their relative contribution to driver’s behavior might also be transferred to other domains and applications of warning and information design. / In naher Zukunft werden vernetzte Fahrzeuge bereits vor sichtverdeckten Gefahren warnen können, noch bevor diese für den Fahrer sichtbar sind. Da Sichtverdeckungen bei einem Großteil schwerer Verkehrsunfälle eine Rolle spielen, stellt dies ein großes Potenzial zur Erhöhung der Verkehrssicherheit dar. Unklar ist jedoch, wie die Mensch-Maschine- Schnittstelle solcher Systeme gestaltet werden sollte, um Autofahrer möglichst effektiv vor noch nicht sichtbaren Gefahren zu warnen. Insbesondere die Vorhersage, dass solche Systeme nur eine begrenzte Zuverlässigkeit haben werden, führt zu teilweise widersprüchlichen Anforderungen an Informationsmenge und Kodierung der Warnungen. Frühere Arbeiten haben gezeigt, dass Warnungen mit spezifischen Informationen über eine Gefahr einerseits Verständnis und Reaktionen der Fahrer auf die Warnungen verbessern, andererseits aber auch kognitiven Verarbeitungsaufwand und Reaktionszeiten erhöhen und ablenken können. Sowohl kognitionspsychologische Theorien als auch Studien aus unserem Forschungsgebiet deuten darauf hin, dass die Darstellungsprinzipien der erweiterten Realität (AR, für engl. augmented reality) das Potenzial bieten, die Effizienz solcher Warnungen durch eine optimierte Kodierung von Zusatzinformationen zu steigern. AR-Warnungen können inhärent die Position einer Gefahr übermitteln, ohne dass der Fahrer dazu eine abstrakte Repräsentation der Information auf die reale Umwelt übertragen muss. Das grundlegende Ziel der vorliegenden Arbeit besteht darin, die psychologischen Faktoren zukünftiger vernetzter Kollisionswarnungen zu verstehen. Ausgehend von der theoretischen Analyse relevanter psychologischer Theorien wurden wesentliche Implikationen und offene Fragestellungen abgeleitet. Zur Beantwortung dieser Fragen wurden drei Fahrsimulator- Studien durchgeführt, in denen der Einfluss von AR als Darstellungsprinzip auf die Effizienz begrenzt zuverlässiger Warnungen über sichtverdeckte Gefahren untersucht wurden. Um valide Aussagen über die längerfristige Wirksamkeit treffen zu können, wurden in den Versuchen sowohl notwendige als auch unnötige Warnungen betrachtet. Eine erste Studie mit 88 Teilnehmern untersuchte den Mehrwert prototypischer AR-Warnungen unterschiedlicher Modalität (visuell vs. auditiv) gegenüber unspezifischen Warnungen. Visuelle AR-Warnungen zeigten klare Vorteile bezüglich Blick- und Bremsreaktionen, Geschwindigkeiten, Kollisionszahlen und subjektiven Bewertungen. Auditive AR-Warnungen hingegen führten zu einzelnen positiven, jedoch auch einigen negativen Effekten. In der zweiten Studie mit 80 Teilnehmern wurden die Auswirkungen gestalterischer Teilaspekte visueller AR-Warnungen verglichen. Das Hinzufügen von spezifischen Warnsymbolen über Bewegungsrichtung und Typ der Gefahr oder einer Vergrößerungs-Animation mit gleicher zeitlicher Veränderung wie bei der AR-Warnung führte zu einzelnen positiven aber nicht konsistenten Effekten. Im Gegensatz dazu führten räumlich verortete AR-Warnungen erneut sowohl zu schnelleren und stärkeren Fahrerreaktionen als auch zu besseren subjektiven Bewertungen. In der dritten Studie mit 36 Teilnehmern wurden schließlich die individuellen Effekte der räumlichen Information an sich und der Codierung dieser Information mittels AR analysiert. Dazu wurden Warnungen ohne Information über die Position der Gefahr, mit symbolisch kodierter Information, sowie mit AR-kodierter Information verglichen. Der höhere Informationsgehalt führte zu durchgehend stärkeren Bremsungen, höherem Systemvertrauen und besseren subjektiven Bewertungen. Darüber hinaus ermöglichte die AR-Kodierung desselben Informationsgehalts der Warnungen sowohl schnellere Gefahrenentdeckung als auch kürzere Bremsreaktionszeiten. Insgesamt bestätigen die Ergebnisse der vorliegenden Arbeit einen deutlichen Mehrwert von spezifischen Informationen bei Warnungen vor sichtverdeckten Gefahren sowie das hohe Potenzial von AR als Darstellungsprinzip, insbesondere für Warnungen zukünftiger Kollisionsvermeidungssysteme. Die systematische Analyse der bei der Gestaltung von Warnungen relevanten psychologischen Faktoren sowie unsere empirischen Erkenntnisse zu deren relativen Einfluss auf das Nutzerverhalten können zudem auf Warnungen anderer Anwendungen und Domänen übertragen werden, und somit einen generellen Beitrag zur Vermeidung von Unfällen in Mensch-Maschine-Systemen liefern.

Future connected vehicles will be able to warn about hidden dangers already before they are visible for the driver. With sight obstructions as one of the most common factors of accident causation, there is a huge potential to improve traffic safety. However, it is unclear how to design the human-machine-interface of such systems to effectively warn drivers about invisible dangers. Especially the expectation that such warnings will be comparably unreliable lead to conflicting demands on amount and coding of warning information. Earlier work shows that warnings that contain more specific information about a hazard can improve drivers understanding of and responses to warnings but they can also raise processing costs and delay reactions or even distract drivers. Psychological theories as well as related research indicates that augmented reality (AR) has the potential to improve warning effectiveness through optimized coding of additional information. AR warnings can inherently transmit the location of a hazard and – due to the corresponding approach of the referenced display towards the driver – could increases the salience of a warning. The general aim of this work is to understand the human factors of future communication-based collision warnings. Based on a theoretical analysis revealing the most relevant questions within that context, we conducted three driving simulator studies to understand the impact of AR warning design on the effectiveness of unreliable warnings about sight obstructed dangers. To consider not only short-term effectiveness, all studies contained several necessary as well as unnecessary warnings that were analyzed in detail. The first study with 88 participants investigated the benefit of prototypical AR warnings over unspecific warnings of different modalities (visual vs. auditory). Visual AR warnings showed advantages over the other warning designs in gaze and brake reaction times, passing speeds, collision rates and subjective evaluation. Auditory AR warnings did not reveal comparable effects. The second test with 80 participants examined the contribution of different design aspects of visual AR warnings. Adding specific warning symbols or scaling animations to the warnings showed some positive but rather inconsistent effects. In contrast, spatial referencing even of an unspecific warning symbol with AR consistently improved driver’s reactions and evaluations. A third experiment with 36 participants observed the differential effects of the spatial information per se and the coding of the information with AR. The warnings had either no spatial information, symbolically encrypted spatial information or AR encrypted spatial information. A higher amount of information consistently led to stronger brake reactions, higher trust and better subjective evaluation. Additionally, with AR encryption we observed faster fixations as well as brake reactions. The present research emphasizes the importance of specificity for warnings about hidden hazards and the potential of AR especially for in-vehicle warnings of future collision avoidance systems. The systematic analysis of psychological factors of warning design and the corresponding findings on their relative contribution to driver’s behavior might also be transferred to other domains and applications of warning and information design. / In naher Zukunft werden vernetzte Fahrzeuge bereits vor sichtverdeckten Gefahren warnen können, noch bevor diese für den Fahrer sichtbar sind. Da Sichtverdeckungen bei einem Großteil schwerer Verkehrsunfälle eine Rolle spielen, stellt dies ein großes Potenzial zur Erhöhung der Verkehrssicherheit dar. Unklar ist jedoch, wie die Mensch-Maschine- Schnittstelle solcher Systeme gestaltet werden sollte, um Autofahrer möglichst effektiv vor noch nicht sichtbaren Gefahren zu warnen. Insbesondere die Vorhersage, dass solche Systeme nur eine begrenzte Zuverlässigkeit haben werden, führt zu teilweise widersprüchlichen Anforderungen an Informationsmenge und Kodierung der Warnungen. Frühere Arbeiten haben gezeigt, dass Warnungen mit spezifischen Informationen über eine Gefahr einerseits Verständnis und Reaktionen der Fahrer auf die Warnungen verbessern, andererseits aber auch kognitiven Verarbeitungsaufwand und Reaktionszeiten erhöhen und ablenken können. Sowohl kognitionspsychologische Theorien als auch Studien aus unserem Forschungsgebiet deuten darauf hin, dass die Darstellungsprinzipien der erweiterten Realität (AR, für engl. augmented reality) das Potenzial bieten, die Effizienz solcher Warnungen durch eine optimierte Kodierung von Zusatzinformationen zu steigern. AR-Warnungen können inhärent die Position einer Gefahr übermitteln, ohne dass der Fahrer dazu eine abstrakte Repräsentation der Information auf die reale Umwelt übertragen muss. Das grundlegende Ziel der vorliegenden Arbeit besteht darin, die psychologischen Faktoren zukünftiger vernetzter Kollisionswarnungen zu verstehen. Ausgehend von der theoretischen Analyse relevanter psychologischer Theorien wurden wesentliche Implikationen und offene Fragestellungen abgeleitet. Zur Beantwortung dieser Fragen wurden drei Fahrsimulator- Studien durchgeführt, in denen der Einfluss von AR als Darstellungsprinzip auf die Effizienz begrenzt zuverlässiger Warnungen über sichtverdeckte Gefahren untersucht wurden. Um valide Aussagen über die längerfristige Wirksamkeit treffen zu können, wurden in den Versuchen sowohl notwendige als auch unnötige Warnungen betrachtet. Eine erste Studie mit 88 Teilnehmern untersuchte den Mehrwert prototypischer AR-Warnungen unterschiedlicher Modalität (visuell vs. auditiv) gegenüber unspezifischen Warnungen. Visuelle AR-Warnungen zeigten klare Vorteile bezüglich Blick- und Bremsreaktionen, Geschwindigkeiten, Kollisionszahlen und subjektiven Bewertungen. Auditive AR-Warnungen hingegen führten zu einzelnen positiven, jedoch auch einigen negativen Effekten. In der zweiten Studie mit 80 Teilnehmern wurden die Auswirkungen gestalterischer Teilaspekte visueller AR-Warnungen verglichen. Das Hinzufügen von spezifischen Warnsymbolen über Bewegungsrichtung und Typ der Gefahr oder einer Vergrößerungs-Animation mit gleicher zeitlicher Veränderung wie bei der AR-Warnung führte zu einzelnen positiven aber nicht konsistenten Effekten. Im Gegensatz dazu führten räumlich verortete AR-Warnungen erneut sowohl zu schnelleren und stärkeren Fahrerreaktionen als auch zu besseren subjektiven Bewertungen. In der dritten Studie mit 36 Teilnehmern wurden schließlich die individuellen Effekte der räumlichen Information an sich und der Codierung dieser Information mittels AR analysiert. Dazu wurden Warnungen ohne Information über die Position der Gefahr, mit symbolisch kodierter Information, sowie mit AR-kodierter Information verglichen. Der höhere Informationsgehalt führte zu durchgehend stärkeren Bremsungen, höherem Systemvertrauen und besseren subjektiven Bewertungen. Darüber hinaus ermöglichte die AR-Kodierung desselben Informationsgehalts der Warnungen sowohl schnellere Gefahrenentdeckung als auch kürzere Bremsreaktionszeiten. Insgesamt bestätigen die Ergebnisse der vorliegenden Arbeit einen deutlichen Mehrwert von spezifischen Informationen bei Warnungen vor sichtverdeckten Gefahren sowie das hohe Potenzial von AR als Darstellungsprinzip, insbesondere für Warnungen zukünftiger Kollisionsvermeidungssysteme. Die systematische Analyse der bei der Gestaltung von Warnungen relevanten psychologischen Faktoren sowie unsere empirischen Erkenntnisse zu deren relativen Einfluss auf das Nutzerverhalten können zudem auf Warnungen anderer Anwendungen und Domänen übertragen werden, und somit einen generellen Beitrag zur Vermeidung von Unfällen in Mensch-Maschine-Systemen liefern.