Smart built environments (SBE) include fundamentally different and enhanced capabilities compared to the traditional built environments. Traditional built environments consist of basic building elements and plain physical objects. These objects offer primitive interactions, basic use cases and direct affordances. As a result, the traditional architectural process is completely focused on two dimensions of design, i.e., the physical environment based on context and functional requirements based on the users. Whereas, SBEs have a third dimension, computational and communication capabilities embedded with physical objects enabling enhanced affordance and multi-modal interaction with the surrounding environment. As a result of the added capability, there is a significant change in activity pattern/spatial use pattern in an SBE. So, the traditional architectural design process needs to be modified to meet the unique requirements of SBE design. The aim of this thesis is to modify the traditional architectural design process by introducing SBE requirements. Secondly, this thesis explores a reference implementation of immersive technology based SBE design framework. The traditional architectural design tools are not always enough to represent, visualize or model the vast amount of data and digital components of SBE. SBE empowered with IoT needs a combination of the virtual and real world to assist in the design, evaluation and interaction process. A detailed discussion explored the required capabilities for facilitating an MR-based SBE design approach. An immersive technology is particularly helpful for SBE design because SBEs offer novel interaction scenarios and complex affordance which can be tested using immersive techniques. / Master of Science / Smart built environments (SBE) are fundamentally different from our everyday built environments. SBEs have enhanced capabilities compared to the traditional built environments because computational and communication capabilities are embedded with everyday objects in case of SBEs. An wall or a table is no longer just a simple object rather an interactive component that can process information and communicate with people or other devices. The introduction of these smart capabilities in physical environment leads to change in user's everyday activity pattern. So the spatial design approach also needs to be reflect these changes. As a result, the traditional architectural design process needs to be modified for designing SBEs. The aim of this thesis is to introduce a modified SBE design process based on the traditional architectural design process. Secondly, this thesis explores an immersive technology (e.g.- mixed reality, virtual reality etc.) based SBE design framework. The traditional architectural design tools mostly provide two dimensional representations like sketches or renderings. But two dimensional drawings are not always enough to represent, visualize or model the vast amount of data and digital components associated with SBE. The SBE design process needs enhanced capabilities to represent the interdependency of connected devices and interaction scenarios with people. Immersive technology can be introduced to address this problem, to test the proposed SBE in a virtual/mixed reality environment and to test the proposed 'smartness' of the objects. This thesis explores the potentials of this type of immersive technology based SBE design approach.

Der Einsatz von immersiven Systemen, also Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) Systemen in der Lehre ist naheliegend. Eigene interaktive Erfahrung einer Tätigkeit ist immer einer reinen rezeptiven Beobachtung bzw. verbalen Erläuterung vorzuziehen. Trotzdem ist heutige Lehre selbst in Praktika und Übungen zum sehr großen Teil passiv, die selbständige Umsetzung, etwa das Bedienen einer Anlage oder die eigenständige Synthese einer Chemikalie, können aus Gründen der Zeit, Verfügbarkeit, Sicherheitsbedenken und Kostengründen oft nur selten eingesetzt werden. Dem Einsatz o.g. neuer immersiven Technologien stand bisher nicht nur der erhebliche Aufwand zur Erstellung entsprechender Simulationen gegenüber. Vor allem aber auch der Hardwareaufwand bei gleichzeitigem nicht optimalem Grad an Immersivität ließ kaum Möglichkeiten offen. Jeden Studenten einzeln ausreichend Zeit in einer teuren und großen Cave-Umgebung zu ermöglichen, damit dieser virtuell technische Anlagen bedient, ist für größere Studentenzahlen untauglich. [... aus der Einleitung]

Dieser Beitrag stellt die Mixed-Reality-in-the-Loop Simulation (MRiLS) zur Schulung technischer Fachkräfte im Maschinen- und Anlagenbau vor. Die MRiLS koppelt die aus dem Engineering bereits vorhandenen Modelle der Hardware-in-the-Loop Simulation (HiLS) mit Visualisierungs- und Interaktionsmethoden der Mixed Reality (MR) und integriert dadurch den Nutzenden und dessen Verhalten sowie die reale Umgebung vollständig in den Simulationskreislauf. Der Beitrag thematisiert neben der notwendigen Middleware zur Kopplung der HiLS mit der MR-Umgebung auch die Steuerungsbelastung durch Multiuser-Zugriffe. Die Funktionsfähigkeit des vorgestellten Konzepts wird anhand eines ausgewählten beispielhaften Automatisierungssystems belegt. Für das Automatisierungssystem wird der Aufbau der MRiLS sowie das Konzept für den Ablauf einer Schulung mittels MRiLS vorgestellt.

Flight simulators are a central training method for pilots and with the advances of human-computer interaction, new cutting-edge technology introduces a new type of simulator using extended reality (XR). XR is an umbrella term for many representative forms of realities, where physical reality (PR) and virtual reality (VR) are the endpoints of this spectrum, and any reality in between can be seen as mixed reality (MR). The purpose of this thesis was to investigate the applicabilities of XR and how they can be compared with each other in terms of usability, immersion, presence, and simulator sickness for flight simulators, respectively. To answer these questions, a MR and a VR version was implemented in Unity using the Varjo XR-3 head-mounted display based on the Framework for Immersive Virtual Environments (FIVE). To evaluate these aspects, a user study (N = 11) was conducted, focusing on quantitative and qualitative experimental research methods. Interaction with physical interfaces is a core procedure for pilots; thus, three reaction tests were conducted with the goal of pressing a random button that is lit green for a 3 x 3 Latin square layout for a given time to measure the efficiency of interaction for both versions. Reaction tests were conducted in different complexities: Simple (no flight), moderate (easy flight), and advanced (difficult flight). Participants experienced the MR and VR versions, and completed complementary questionnaires on immersion, presence, and simulator sickness while remaining in the simulation. The user study showed that the usability in MR is considerably higher, and more immersive than VR when incorporating interaction. However, excluding the interaction aspects showed that VR was more immersive. Overall, this work demonstrates how to achieve high levels of immersion, and a high elicitation of sense of presence, simultaneously while having minuscule levels of simulator sickness with a relatively realistic experience. / Flygsimulatorer är en central träningsmetod för piloter, och med framsteg inom människa-datorinteraktion introduceras ny, toppmodernt teknik som använder utökad verklighet (XR) för en ny typ av simulator. XR är ett samlingsbeteckning för många olika former av verkligheter, där den fysiska verkligheten (PR) och den virtuell verklighet (VR) är ändpunkterna på detta spektrum, och alla verkligheter däremellan kan ses som blandad verklighet (MR). Syftet med denna avhandling var att undersöka tillämpbarheten av XR och hur de kan jämföras med varandra när det gäller användbarhet, immersion, närvaro och simulatorsjuka för flygsimulatorer. För att besvara dessa frågor implementerades en MR- och en VR-version i Unity med hjälp av Varjo XR-3 huvudmonterad display baserat på ramverket för immersiva virtuella miljöer FIVE. För att utvärdera dessa aspekter genomfördes en användarstudie (N = 11), med fokus på kvantitativa och kvalitativa experimentella forskningsmetoder. Interaktion med fysiska gränssnitt är en kärnprocedur för piloter; Därför genomfördes tre reaktionstester med målet att trycka på en slumpmässig knapp som lyser grönt för en 3 x 3 latinsk kvadrat under en given tid för att mäta interaktionens användbarhet för båda versionerna. Reaktionstesterna genomfördes under olika komplexiteter: Enkel (utan flygning), måttlig (enkel flygning) och avancerad (svår flygning). Deltagarna upplevde MR- och VR-versionerna och fyllde i kompletterande enkäter om immersion, närvaro och simulatorsjuka medan de var kvar i simuleringen. Användarstudien visade att användbarheten i MR är betydligt högre och mer immersiv än i VR när man inkluderar interaktion. Exkluderar man interaktionsaspekter visade det sig att VR var mer immersiv. Sammantaget visar detta arbete hur man kan uppnå höga nivåer av immersion och hög framkallning av sinnesnärvaro samtidigt som man har minimala nivåer av simulatorsjuka med en relativt realistisk upplevelse.

Mixed Reality (MR) is an emerging paradigm in industry. While MR equipment and software have taken great technological strides in past years, standardized methods and workflows for developing MR systems for industry have not been widely adopted for many tasks. This thesis proposes a dynamic MR system for an assembly process. Optical recognition methods are explored to drive the application logic. The systemis developed using the Unity platform for the HoloLens 2. The software tools Vuforia Engine and Mixed Reality Toolkit (MRTK) are utilized. The project work concludes with an application capable of guiding users using graphics and audio. Successful methods are realized for calibrating the application logic for dynamic object positions,as well as for validating user actions. Experiments are conducted to validate the system. Subjects complete a different assembly process using paper instructions as guidance before using the MR application. Qualitative results regarding the MR experience are obtained through a questionnaire subjects answer, where the experience using paper instructions serves as a benchmark. Data obtained from an experienced user completing the assembly process is used as a quantitative benchmark for system performance measures. All subjects were able to complete the assembly tasks correctly using the MR application. Results show significantly better system performance for the experienced user compared to subjects unfamiliar with the MR system. Vuforia Engine recognition tools successfully tracked individual components that meet a specific criterion. Methods for validating user actions using Vuforia Engine software tools and the HoloLens’s internal hand tracking capabilities resulted in a high validation success rate. The thesis concludes effective training methods for the specific assembly scenario, although not robust for general implementation. / Mixed Reality (MR) är ett framväxande paradigm inom industrin. Medan tillbehör och programvara för MR har gjort enorma framsteg under det senaste decenniet, har standardiserade metoder och arbetsflöden för utveckling av MR applikationer i industriella kontexter inte använts i lika stor utsträckning. Det här examensarbetet utvecklar och proponerar en dynamisk MR applikation för en monteringsprocess. Optiska valideringsmetoder utforskas för att använda applikationen. Applikationen är utvecklad med hjälp av Unity game engine för HoloLens 2. Programvaran Vuforia Engine och MRTK är utnyttjad. Projektarbetet resulterade i en applikation som kan vägleda användare med hjälp av ljud och grafik. Framgångsrika metoder implementerades för att kalibrera applikationslogiken av dynamisk objektspositionering, samt för att validera användarens rörelser. Ett experiment utfördes för att validera MR applikationen där deltagare genomförde en monteringsprocess med hjälp av pappersinstruktioner, vilket används som ett kvalitativt riktmärke. Mätningar av en erfaren applikationsanvändare har använts som ett kvantitativt riktmärke för mätning av systemmässigt utförande. Alla deltagare kunde utföra monteringsuppgifterna korrekt med hjälp av MR applikationen. Resultaten visar betydligt bättre utförande för den erfarna användaren jämfört med personer som inte är bekanta med MR systemet. Spårning av enskilda objekt med hjälp av Vuforia Engine igenkänningsverktyg var framgångsrikt för komponenter som uppfyller ett specifikt kriterium. Metoder för att validera användarens rörelser med programvaran Vuforia Engine samt HoloLens interna handspårningsfunktion gav mycket framgångsrika resultat vid validering. Sammanfattningsvis kom studien fram till effektiva upplärningsmetoder för det här monteringsscenariot, även om de inte var robusta nog för generell implementering.

Der Einsatz von immersiven Systemen, also Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) Systemen in der Lehre ist naheliegend. Eigene interaktive Erfahrung einer Tätigkeit ist immer einer reinen rezeptiven Beobachtung bzw. verbalen Erläuterung vorzuziehen. Trotzdem ist heutige Lehre selbst in Praktika und Übungen zum sehr großen Teil passiv, die selbständige Umsetzung, etwa das Bedienen einer Anlage oder die eigenständige Synthese einer Chemikalie, können aus Gründen der Zeit, Verfügbarkeit, Sicherheitsbedenken und Kostengründen oft nur selten eingesetzt werden. Dem Einsatz o.g. neuer immersiven Technologien stand bisher nicht nur der erhebliche Aufwand zur Erstellung entsprechender Simulationen gegenüber. Vor allem aber auch der Hardwareaufwand bei gleichzeitigem nicht optimalem Grad an Immersivität ließ kaum Möglichkeiten offen. Jeden Studenten einzeln ausreichend Zeit in einer teuren und großen Cave-Umgebung zu ermöglichen, damit dieser virtuell technische Anlagen bedient, ist für größere Studentenzahlen untauglich. [... aus der Einleitung]

Unilateral spatial neglect (USN) is a common disorder after stroke. An application especially developed for stroke rehabilitation, the RehAtt Mixed Reality (MR) intends to train cognitive and motor functions that are affected by USN, by the means of interactive 3D games played in mixed reality, through smart glasses. The present study targets one specific cognitive function, namely spatial attention, and compares individual performances in one of the games (scenarios) to performances in a widely used test for detection of deficits in spatial attention – the Posner test. The hypothesis is that user reaction times in the RehAtt MR scenario correlates with user reaction times in the Posner test. Another test, including a questionnaire, to validate the usability of the RehAtt MR is also conducted. The sample for the usability test and questionnaire includes a total of 74 participants (47 women, 27 men, M = 39.6 years of age), of which 29 individuals (13 women, 16 men, M = 35 years of age) carried out the experimental part of the study. The results suggest that there is a significant correlation, r(27) = .411, p = .027, between reaction times in the Posner test and the scenario in the RehAtt MR, and that the product usability shows high quality. It is concluded that the results support that the scenario explored in the RehAtt MR trains spatial attention, although further research is needed for full validation. / Unilateraltspatialt neglekt (USN) är en vanlig funktionsnedsättning efter stroke. En applikation som utvecklats speciellt för strokerehabilitering - RehAtt Mixed Reality (MR) - har som mål att träna kognitiva och motoriska funktioner som är påverkade av USN, med hjälp av 3D-spel som spelas i mixed reality, genom smarta glasögon. Den aktuella studien siktar in sig på en specifik kognitiv funktion – spatial uppmärksamhet – och jämför individuella prestationer i ett av spelen i RehAtt MR med prestationer i ett vanligt, ofta använt test för att upptäcka nedsättningar i spatial uppmärksamhet – Posner-testet. Hypotesen är att användares reaktionstider i spelet i RehAtt MR korrelerar med användares reaktionstider i Posner-testet. Ett annat test, inklusive en enkät, görs också, för att validera användbarheten i RehAtt MR. 74 deltagare (47 kvinnor, 27 män, M = 39.6 år) finns med i användbarhetstestet och enkäten, av vilka 29 individer (13 kvinnor, 16 män, M = 35 år) medverkade i den experimentella delen av studien. Resultaten indikerar att det är en signifikant korrelation, r(27) = .411, p = .027, mellan reaktionstiderna i Posner-testet och spelet i RehAtt MR, och att användbarheten hos produktenvisar hög kvalitet. Slutsatsen är att vad som hittats i den aktuella studien stödjer idéen att spelet i RehAtt MR tränar spatial uppmärksamhet, även om vidare studier krävs för en full validering.

This work has investigated how head-mounted-displays can enable more efficient and better work conditions for warehouse workers. Head-mounted-displays have increased in popularity among companies because of an increase in the field of e-commerce, therefore warehouse labour was an interesting area to review. The purpose of this project has been to investigate how head-mounted-displays can simplify warehouse work and to find an area where Tangar can be utilized. Tangar is an application to facilitate indoor navigation by helping users to reach points of interest. Through a mixed methodology approach that utilizes both quantitative and qualitative methods, a broad understanding in warehouse and inventory management have been established. The potentials of head-mounted display were evaluated using empirical and theoretical studies. Based on an early concept that was evaluated by a collaboration with a warehouse-solution company, factors that are of importance in warehouse management were identified. A decision to direct the project towards order picking was taken as it is a fundamental process within warehouse management. Three concepts were generated that harness the benefits of head-mounted-displays. With an informed decision the benefits for each of the concepts were compared with important parameters for a profitable warehouse management. It turned out that "Pick-by-Light", a common system in warehouse management, can be made virtual using head-mounted-displays. Since the system had never previously been operated virtually, an extensive study needed to be done in order to evaluate the viability in order-picking to propose a final concept. An experimental environment was set for the empirical studies, and two other common order picking systems were compared to the virtual Pick-by-Light system. Quantitative data in the form of time measurements from the order picking as well as picking errors and qualitative data from a NASA-TLX survey, was extracted from twelve users. A total of 360 samples from the quantitative study and 36 questionnaires from the qualitative study was then analysed. The result resembled those from similar studies with a conventional Pick-by-Light system. Thus, parallels were drawn that indicated that the virtual system had good potential to perform at least as well as a regular Pick-by-Light. A virtual Pick-by-Light system might be able to reduce implementation-, work- and operational costs as the use of material is replaced by a virtual product, and also no installation is required. With the combination of Tangar, there is also a potential that a virtual Pick-by-Light system could be more efficient and accurate. The disadvantages of the conventional Pick-by-Light system are also that confirmations are ineffective and that workers find it difficult to get an overview of pickplaces. Which can potentially be eliminated with the proposed concept. However, a new generation of hardware and further studies are required in order to establish a final concept. The Magic Leap One, which is the head-mounted-display used in the project, is new. Many problems regarding the display have been discovered during the project and affected the results of the user studies. Further studies need to be done with other displays to determine the validity of the results of this work. In summary, this work gives an introduction in how "Mixed-reality" can be used in warehouse management and recommendations for continued work. / Det här arbetet har undersökt hur huvudmonterade skärmar kan möjliggöra ett effektivare och bättre arbete för lager-personal. Huvudmonterade skärmar har ökat i popularitet bland företaget på grund av ökningen inom e-handel och därför var lagerarbete ett intressant område att undersöka. Syftet med det här projektet har varit att undersöka hur huvudmonterade skärmar fortsatt skulle kunna förenkla lagerarbete samt att ta hitta ett område där Tangar kan användas. Tangar är en applikation som förenklar inomhus navigering genom att leda användaren till valda intressepunkter. Genom en metodisk undersökning som utnyttjar både kvantitativa och kvalitativa metoder, har en bred bakgrund inom lagerhantering kunnat upprättas. Potentialen av att använda huvudmonterade skärmar har undersökts genom empiriska och teoretiska studier. Baserat på ett tidigt koncept som utvärderas genom ett samarbete med ett sakkunnigt företag, identifierades flertalet faktorer som är av vikt i lagerhantering. Ett beslut om att rikta projektet mot order-plockning togs då det är en fundamental process inom lagerabete. Tre koncept genererades som utnyttjar fördelarna med huvudmonterade skärmar. Genom att ta ett informativt beslut, kunde fördelarna för var och ett av koncepten jämföras med viktiga parametrar för ett lönsamt lagerarbete. Det visade sig att ”Pick-by-Light”, ett vanligt system inom lagerhantering, kunde göras virtuellt med hjälp av huvudmonterade skärmar. I och med att systemet tidigare aldrig utförts virtuellt, behövdes en omfattande studie göras för att evaluera dess potential inom order-plockning för att kunna föreslå ett slutgiltigt koncept. En experimentell miljö sattes upp som ram för de empiriska studierna och två andra vanliga order-plocknings system kunde jämföras mot det virtuella Pick-by-Light systemet. Kvantitativa data i form av orderplockningstider samt plock-fel och kvalitativa data från observationer samt en NASA-TLX enkät, kunde extraheras från tolv användare. Totalt kunde 360 stickprov från den kvantitative studien och 36 enkäter från den kvalitative studien därefter analyseras. Resultatet liknade det som observerats i liknande studier där ett vanligt Pick-by-Light system evaluerats. Därmed kunde paralleller dras som visade att det virtuella systemet hade god potential till att kunna prestera åtminstone lika bra som ett vanliga Pick-by-Light systemet och ett koncept togs fram för vidare utveckling. Ett virtuellt Pick-by-Light system skulle kunna reducera implementerings-, arbetes- samt driftkostnader i och med att materialåtgången ersätts av en virtuell produkt, samt att ingen installation krävs. I och med kombinationen av Tangar finns det även potential att konceptet är mer effektivt och exakt. De nackdelar med det traditionella Pick-by-Light systemet är också att plock-bekräftelser görs ineffektivt och att arbetare har svårt att få en överblick gällande plockställen. Vilket skulle kunna elimineras med det föreslagna konceptet. Dock krävs en ny generation hårdvara och vidare studier för att kunna fastställa ett slutgiltigt koncept. Magic Leap One, som är den huvudmonterade skärmen som används i projektet är väldigt ny. Många problem gällande displayen har upptäckts under projektet och påverkat resultatet av användarstudierna. Fortsatta studier skulle behöva göras med andra displayer för att fastställa validiteten av resultaten från det här arbetet. Sammanfattningsvis ger det här arbetet en introduktion om hur ”Mixed-reality” kan användas inom lagerhantering samt rekommendationer till fortsatt arbete.

Growing amounts of data, both in personal and professional settings, have caused an increased interest in data visualization and visual analytics. Especially for inherently three-dimensional data, immersive technologies such as virtual and augmented reality and advanced, natural interaction techniques have been shown to facilitate data analysis. Furthermore, in such use cases, the physical environment often plays an important role, both by directly influencing the data and by serving as context for the analysis. Therefore, there has been a trend to bring data visualization into new, immersive environments and to make use of the physical surroundings, leading to a surge in mixed-reality visualization research. One of the resulting challenges, however, is the design of user interaction for these often complex systems. In my thesis, I address this challenge by investigating interaction for immersive mixed-reality visualizations regarding three core research questions: 1) What are promising types of immersive mixed-reality visualizations, and how can advanced interaction concepts be applied to them? 2) How does spatial interaction benefit these visualizations and how should such interactions be designed? 3) How can spatial interaction in these immersive environments be analyzed and evaluated? To address the first question, I examine how various visualizations such as 3D node-link diagrams and volume visualizations can be adapted for immersive mixed-reality settings and how they stand to benefit from advanced interaction concepts. For the second question, I study how spatial interaction in particular can help to explore data in mixed reality. There, I look into spatial device interaction in comparison to touch input, the use of additional mobile devices as input controllers, and the potential of transparent interaction panels. Finally, to address the third question, I present my research on how user interaction in immersive mixed-reality environments can be analyzed directly in the original, real-world locations, and how this can provide new insights. Overall, with my research, I contribute interaction and visualization concepts, software prototypes, and findings from several user studies on how spatial interaction techniques can support the exploration of immersive mixed-reality visualizations. / Zunehmende Datenmengen, sowohl im privaten als auch im beruflichen Umfeld, führen zu einem zunehmenden Interesse an Datenvisualisierung und visueller Analyse. Insbesondere bei inhärent dreidimensionalen Daten haben sich immersive Technologien wie Virtual und Augmented Reality sowie moderne, natürliche Interaktionstechniken als hilfreich für die Datenanalyse erwiesen. Darüber hinaus spielt in solchen Anwendungsfällen die physische Umgebung oft eine wichtige Rolle, da sie sowohl die Daten direkt beeinflusst als auch als Kontext für die Analyse dient. Daher gibt es einen Trend, die Datenvisualisierung in neue, immersive Umgebungen zu bringen und die physische Umgebung zu nutzen, was zu einem Anstieg der Forschung im Bereich Mixed-Reality-Visualisierung geführt hat. Eine der daraus resultierenden Herausforderungen ist jedoch die Gestaltung der Benutzerinteraktion für diese oft komplexen Systeme. In meiner Dissertation beschäftige ich mich mit dieser Herausforderung, indem ich die Interaktion für immersive Mixed-Reality-Visualisierungen im Hinblick auf drei zentrale Forschungsfragen untersuche: 1) Was sind vielversprechende Arten von immersiven Mixed-Reality-Visualisierungen, und wie können fortschrittliche Interaktionskonzepte auf sie angewendet werden? 2) Wie profitieren diese Visualisierungen von räumlicher Interaktion und wie sollten solche Interaktionen gestaltet werden? 3) Wie kann räumliche Interaktion in diesen immersiven Umgebungen analysiert und ausgewertet werden? Um die erste Frage zu beantworten, untersuche ich, wie verschiedene Visualisierungen wie 3D-Node-Link-Diagramme oder Volumenvisualisierungen für immersive Mixed-Reality-Umgebungen angepasst werden können und wie sie von fortgeschrittenen Interaktionskonzepten profitieren. Für die zweite Frage untersuche ich, wie insbesondere die räumliche Interaktion bei der Exploration von Daten in Mixed Reality helfen kann. Dabei betrachte ich die Interaktion mit räumlichen Geräten im Vergleich zur Touch-Eingabe, die Verwendung zusätzlicher mobiler Geräte als Controller und das Potenzial transparenter Interaktionspanels. Um die dritte Frage zu beantworten, stelle ich schließlich meine Forschung darüber vor, wie Benutzerinteraktion in immersiver Mixed-Reality direkt in der realen Umgebung analysiert werden kann und wie dies neue Erkenntnisse liefern kann. Insgesamt trage ich mit meiner Forschung durch Interaktions- und Visualisierungskonzepte, Software-Prototypen und Ergebnisse aus mehreren Nutzerstudien zu der Frage bei, wie räumliche Interaktionstechniken die Erkundung von immersiven Mixed-Reality-Visualisierungen unterstützen können.

<p>Next-generation (Next-Gen) mobile applications, Extended Reality (XR), which encompasses Virtual/Augmented/Mixed Reality (VR/AR/MR), promise to revolutionize how people interact with technology and the world, ushering in a new era of immersive experiences. However, the hardware capacity of mobile devices will not grow proportionally with the escalating resource demands of the mobile apps due to their battery constraint. To bridge the gap, edge computing has emerged as a promising approach. It is further boosted by emerging 5G cellular networks, which promise low latency and high bandwidth. However, realizing the full potential of edge computing faces several fundamental challenges.</p> <p><br></p> <p>In this thesis, we first discuss a set of fundamental design challenges in supporting Next-Gen mobile applications via edge computing. These challenges extend across the three key system components involved — mobile clients, edge servers, and cellular networks. We then present how we address several of these challenges, including (1) how to coordinate mobile clients and edge servers to achieve stringent QoE requirements for Next-Gen apps; (2) how to optimize energy consumption of running Next-Gen apps on mobile devices to ensure long-lasting user experience; and (3) how to model and generate control-plane traffic of cellular networks to enable innovation on mobile network architectural design to support Next-Gen apps not only over 4G but also over 5G and beyond.</p> <p><br></p> <p>First, we present how to optimize the latency in edge-assisted XR system via the mobile-client and edge-server co-design. Specifically, we exploit key insights about frame similarity in VR to build the first multiplayer edge-assisted VR design, Coterie. We demonstrate that compared with the prior work on single-player VR, Coterie reduces the per-player network load by 10.6X−25.7X, and can easily support 4 players for high-quality VR apps on Pixel 2 over 802.11ac running at 60 FPS and under 16ms responsiveness without exhausting the finite wireless bandwidth.</p> <p><br></p> <p>Second, we focus on the energy perspective of running Next-Gen apps on mobile devices. We study a major limitation of a classic and de facto app energy management technique, reactive energy-aware app adaptation, which was first proposed two decades ago. We propose, design, and validate a new solution, the first proactive energy-aware app adaptation, that effectively tackles the limitation and achieves higher app QoE while meeting a given energy drain target. Compared with traditional approaches, our proactive solution improves the QoE by 44.8% (Pixel 2) and 19.2% (Moto Z3) under low power budget.</p> <p><br></p> <p>Finally, we delve into the third system component, cellular networks. To facilitate innovation in mobile network architecture to better support Next-Gen apps, we characterize and model the control-plane traffic of cellular networks, which has been mostly overlooked by prior work. To model the control-plane traffic, we first prove that traditional probability distributions that have been widely used for modeling Internet traffic (e.g., Poisson, Pareto, and Weibull) cannot model the control-plane traffic due to the much higher burstiness and longer tails in the cumulative distributions of the control-plane traffic. We then propose a two-level state-machine-based traffic model based on the Semi-Markov model. We finally validate that the synthesized traces by using our model achieve small differences compared with the real traces, i.e., within 1.7%, 4.9% and 0.8%, for phones, connected cars, and tablets, respectively. We also show that our model can be easily adjusted from LTE to 5G, enabling further research on control-plane design and optimization for 4G/5G and beyond.</p>