The need to be economically successful is the key driver for companies to be innovative and implement new technologies with increasing efficiency and effectiveness. Uncertainty about whether to use new technologies and missing knowledge about their advantages lead to staggering and withholding from fast diffusion of innovations. Focusing on the industry of logistics and the technology Mixed Reality, this research project developed a methodical approach for evaluating the fitness of an innovative technology and a specific process of application. A mixed methods approach was derived, based on interviews and experiments. The main methodologies used, were semi-structured interviews with decision makers in logistics companies to elaborate triggering criteria in the investment process and laboratory experiments for the evaluation of competing technologies. These methods were framed by an initial field experiment and feedback interviews after the analysis for the validation of the approach. The research proved the competitively viable applicability of Mixed Reality and its specific strengths and weaknesses in manual order picking. This set the foundation for possible further development and implementation of the technology. The developed methodological approach proved to be a valid and reliable assessment of the intersection between a technology and specified process of application. This can greatly enhance the speed of implementing new innovations and gaining competitive advantages for companies.

This thesis addresses the subject of converging real and virtual environments to a combined entity that can facilitate physiologically complying interfaces for the purpose of training. Based on the mobility and physiological demands of dismounted soldiers, the base assumption is that greater immersion means better learning and potentially higher training transfer. As the user can interface with the system in a natural way, more focus and energy can be used for training rather than for control itself. Identified requirements on a simulator relating to physical and psychological user aspects are support for unobtrusive and wireless use, high field of view, high performance tracking, use of authentic tools, ability to see other trainees, unrestricted movement and physical feedback. Using only commercially available systems would be prohibitively expensive whilst not providing a solution that would be fully optimized for the target group for this simulator. For this reason, most of the systems that compose the simulator are custom made to facilitate physiological human aspects as well as to bring down costs. With the use of chroma keying, a cylindrical simulator room and parallax corrected high field of view video see-though head mounted displays, the real and virtual reality are mixed. This facilitates use of real tool as well as layering and manipulation of real and virtual objects. Furthermore, a novel omnidirectional floor and thereto interface scheme is developed to allow limitless physical walking to be used for virtual translation. A physically confined real space is thereby transformed into an infinite converged environment. The omnidirectional floor regulation algorithm can also provide physical feedback through adjustment of the velocity in order to synchronize virtual obstacles with the surrounding simulator walls. As an alternative simulator target use, an omnidirectional robotic platform has been developed that can match the user movements. This can be utilized to increase situation awareness in telepresence applications.

Ce mémoire de thèse de doctorat présente l'évaluation d'un système de réalité mixte dans le cadre d'une utilisation sur le site d'opération de construction. Il s'agit notamment de déterminer la pertinence d'un tel outil mobile pour des opérateurs pour les assister dans leurs tâches quotidiennes, et notamment dans la préparation et le suivi des opérations de construction ou rénovation. Cet outil se voudrait être un outil d'aide à la décision pour les maîtres d'ouvrages et maîtres d'œuvre. Le cas d'étude porte sur la rénovation virtuelle des baies anciennes (datées du XVIIIème siècle) dans une cellule des bâtiments conventuels de Cluny (Saône et Loire, France). L'approche consiste à comparer l'efficacité, la précision et la rapidité d'opérateurs dans la réalisation de tâches identiques. Trois méthodes liées à l'utilisation des nouvelles technologies dans le domaine de l'AIC (Architecture Ingénierie et Construction) sont comparées, elles ont guidé la définition du protocole expérimental. La première méthode traditionnelle fournit à l'opérateur de la documentation papier. La seconde met en œuvre la dématérialisation des données constructives, accessibles depuis un ordinateur de bureau. La troisième méthode plus innovante ajoute à la précédente l'accès colocalisé à la base de données grâce à un terminal mobile. Une étude qui a suivi a porté sur la visualisation et l'interprétation de résultats de simulation thermique, en réalité virtuelle. La comparaison des trois premières méthodes a donné lieu à une première expérimentation dont les résultats ont montré la légère prédominance du second scénario (travail sur ordinateur de bureau). Cependant, au-delà des aspects d'ergonomie et d'interface utilisateur, des investigations complémentaires doivent être menées pour étudier l'opportunité du développement du BIM in situ, c'est-à-dire l'utilisation du modèle de données du bâtiment (BIM- Building Information Model) sur le chantier. / This dissertation presents the evaluation of an onsite augmented reality tool and its relevance for helping construction agents to prepare and monitor the progress of a building's construction or renovation through a mobile device. The case study focuses on virtual renovation works regarding an ancient window –dated eighteenth century- in a room of the Cluny (Saone et Loire, France) abbey buildings. The study aims at comparing the efficiency and the precision of users' behavior in four situations while performing identical sets of tasks. Three methods related to the ICT uses of onsite AEC (Architecture, Engineering and Construction) guided the experiment: the first method focuses on paper-based content; the second method provides a digital model of the project on a workstation. The third method consists in using a full digital model with colocation access to the database on a mobile device. The fourth method considers working in an immersive room to interpret thermal simulation data. The result of this work is dedicated mainly as a decision-aid tool for project owners and constructors. The comparison between these methods led to a first experiment whose results favor the second method, which implies working on a desktop workstation. However, beyond the aspect of ergonomics and user interface, further investigations are necessary to study the propriety of using the Building Information Model (BIM) on the construction site.

Dieser Beitrag stellt die Mixed-Reality-in-the-Loop Simulation (MRiLS) zur Schulung technischer Fachkräfte im Maschinen- und Anlagenbau vor. Die MRiLS koppelt die aus dem Engineering bereits vorhandenen Modelle der Hardware-in-the-Loop Simulation (HiLS) mit Visualisierungs- und Interaktionsmethoden der Mixed Reality (MR) und integriert dadurch den Nutzenden und dessen Verhalten sowie die reale Umgebung vollständig in den Simulationskreislauf. Der Beitrag thematisiert neben der notwendigen Middleware zur Kopplung der HiLS mit der MR-Umgebung auch die Steuerungsbelastung durch Multiuser-Zugriffe. Die Funktionsfähigkeit des vorgestellten Konzepts wird anhand eines ausgewählten beispielhaften Automatisierungssystems belegt. Für das Automatisierungssystem wird der Aufbau der MRiLS sowie das Konzept für den Ablauf einer Schulung mittels MRiLS vorgestellt.

L’expérience utilisateur est récemment devenue un sujet central dans la conception de produits ou services. Avec la démocratisation de la Réalité Virtuelle (RV), de plus en plus d’acteurs économiques prennent conscience du potentiel de la RV dans leurs secteurs respectifs.Dans ce contexte de plus en plus dynamique, l’expérience utilisateur (UX) permet d’anticiper les attentes des utilisateurs et des concepteurs afin de proposer l’expérience la plus satisfaisante possible. De plus, au travers de l’anticipation de l’expérience utilisateur, nous sommes en mesure de prédire de plus en plus précisément le degré d’adoption d’une solution technologique par les futurs utilisateurs. Nous avons aujourd’hui compris que la seule dimension technologique n’est plus suffisante pour assurer la réussite d’un produit matériel et/ou logiciel. En revanche, ce produit doit correspondre à l’usage que l’utilisateur compte en faire, et plus encore, il doit offrir une expérience unique, au travers de sensations, de perceptions, d’émotions et de réflexion, induisant un degré de satisfaction le plus élevé possible.Un consensus est depuis longtemps établi sur le fait que jouer, créer, apprendre ensemble est plus efficace et amusant qu’une activité solitaire. Partager et communiquer est primordial, c’est au travers des interactions sociales avec nos semblables que nous sommes capables de combler nombre de nos besoins, des plus pragmatiques aux plus éthérés. Nous avons, au travers de l’étude empirique conduite dans le cadre de cette thèse, apporté une meilleure compréhension de l’impact des interactions sociales (par la modalité vocale) dans le processus d’expérience utilisateur en 3D-IVE (3D Immersive Virtual Environment). À l’aide d’un état de l’art s’appuyant sur les études existantes de l’impact de l’interaction sociale sur la présence virtuelle (sentiment d’être là) ou l’engagement de l’utilisateur (flow). Nous proposons une vision plus holistique de cet impact par une étude centrée sur l’expérience utilisateur globale.Pour ce faire, nous avons conduit trois expérimentations immergeant des binômes d’utilisateurs dans un 3D-IVE. Par la répartition des participants en deux échantillons, l’un étant en mesure de communiquer vocalement, l’autre ne l’étant pas, nous avons pu comparer des données quantitatives et qualitatives afin de mettre en exergue l’impact des interactions sociales (vocales) sur l’expérience vécue. Les résultats quantitatifs obtenus ont confirmé nos postulats quant à l’impact bénéfique de l’interaction sociale (vocale) sur les performances des utilisateurs. Fait surprenant, nous avons aussi observé que la présence virtuelle ressentie tendait à être plus forte lorsque les participants, ne pouvant pas communiquer vocalement, se complétaient par le phénomène naturel de « translucence ». Toutefois, nous avons dû pondérer ces résultats, eu égard aux groupes de discussion qui ont fait émerger des différences d’appréhension de la performance, de la présence virtuelle et sociale. Cette triangulation entre quantitatif objectif, quantitatif subjectif et qualitatif a confirmé la nature variable de l’UX (en fonction de l’utilisateur et du temps) et l’influence forte de la nature de l'activité de l’expérimentation.Nos travaux ont permis de valider la capacité des environnements immersifs simples (logiciel de jeu Minecraft) à générer un bon niveau de présence virtuelle et d’engagement et, de manière générale, un haut niveau de satisfaction chez les utilisateurs. Nous apportons aussi un éclairage sur les méthodes à employer dans ce type de contexte vis-à-vis de la conception des tâches à accomplir; en effet, une même tâche présentée différemment peut induire une expérience assez dissemblable. Malgré la difficulté à généraliser un résultat dû à la nature très variable de l’expérience utilisateur, nous pensons que nos travaux contribueront à une plus grande compréhension de l’impact des interactions sociales vocales sur l’UX dans les 3D-IVEs. / User experience has recently become a central issue regarding to the design of products or services. With the democratization of Virtual Reality (VR), more and more economic actors start to being aware of the potential of VR in their respective sectors.In this increasingly dynamic context, user experience (UX) allows the anticipation of users’ and designers’ expectations in order to offer the most satisfying experience as possible. In addition, through the anticipation of user experience, we are able to predict more precisely the adoption level of a technological solution by future users. We have understood today that the only technological dimension is no longer enough to ensure the success of a hardware and/or software product. However, this must fit to the use that user will have of it, and more, it must provide a unique experience, through sensations, perceptions, emotions and thinking, inducing the highest satisfaction possible.A consensus has been established since a long time about the fact that play, create, learn together are more effective and fun than a lonely activity. Share and communicate is a primary need, it is through social interactions with our peers that we are able to fulfill many of our needs, from the most pragmatic to the most ethereal. We have, through the empirical study conducted as part of this thesis, brought a better understanding of the impact of social interactions (vocal mode) on the user experience process in a 3D-IVE (3D Immersive Virtual Environment). Through a literature review based on existing studies of the impact of social interaction on virtual presence (feeling of being there) or on users’ engagement (flow), we propose a more holistic view of this impact by a study focused on the overall user experience.With this aim, we have conducted three experiments immersing pairs of users in a 3D-IVE. By the division of participants into two samples, one being able to vocally communicate, the other not being so, we were able to compare quantitative and qualitative data to highlight the impact of social interactions (voice) on the user experience. Obtained quantitative results have confirmed our assumptions regarding the beneficial impact of social interaction (voice) on user performance. Surprisingly, we also observed that the perceived virtual presence tended to be higher when participants that were not able to communicate vocally, relied on the natural phenomenon of “translucence”. However, we had to balance these results, given to focus groups that have arisen differences regarding to the apprehension of performances, virtual and social presence. This triangulation between objective quantitative, subjective quantitative and qualitative data has confirmed the variable nature of the UX (depending on the user and time) and the strong influence of the nature of the activity of the experimentation.Our studies have validated the ability of simple immersive environments (Minecraft game software) to generate a high level of virtual presence and engagement, and in general, a high level of satisfaction among users. We also provide an insight into methods to be used in this type of context regarding to the design of tasks. Indeed, the same task presented differently can induce a quite dissimilar experience. Despite the difficulty to generalize a result due to the highly variable nature of user experience, we believe that our work will contribute to a greater understanding of the impact of vocal social interactions on UX in 3D-IVEs.