As Mixed Reality (MR) technologies become more prevalent, it is important for researchers to design and prototype the kinds of user interface and user interactions that are most effective for end-user consumers. Creating these standards now will aid in technology development and adoption in MR overall. In the current climate of this domain, however, the interface elements and user interaction styles are unique to each hardware and software vendor and are generally proprietary in nature. This results in confusion for consumers. To explore the MR interface and interaction space, this research employed a series of standard user-centered design (UCD) methods to rapidly prototype 3D head-worn display (HWD) systems in the first responder domain. These methods were performed across a series of 13 experiments, resulting in an in-depth analysis of the most effective methods experienced herein and providing suggested paths forward for future researchers in 3D MR HWD systems. Lessons learned from each individual method and across all of the experiments are shared. Several characteristics are defined and described as they relate to each experiment, including interface, interaction, and cost. / Ph. D.

<p dir="ltr">Omnidirectional images are a way to visualize an environment in all directions. They have a spherical topology and require careful attention when represented by a computer. Namely, mapping the sphere to a plane introduces stretching of the spherical image content, and requires at least one seam in the image to be able to unwrap the sphere. Generative neural networks have shown impressive ability to synthesize images, but generating spherical images is still challenging. Without specific handling of the spherical topology, the generated images often exhibit distorted contents and discontinuities across the seams. We describe strategies for mitigating such distortions during image generation, as well as ensuring the image remains continuous across all boundaries. Our solutions can be applied to a variety of spherical image representations, including cube-maps and equirectangular projections.</p><p dir="ltr">A closely related problem in generative networks is 3D-aware scene generation, wherein the task involves the creation of an environment in which the viewpoint can be directly controlled. Many NeRF-based solutions have been proposed, but they generally focus on generation of single objects or faces. Full 3D environments are more difficult to synthesize and are less studied. We approach this problem by leveraging omnidirectional image synthesis, using the initial features of the network as a transformable foundation upon which to build the scene. By translating within the initial feature space, we correspondingly translate in the output omnidirectional image, preserving the scene characteristics. We additionally develop a regularizing loss based on epipolar geometry to encourage geometric consistency between viewpoints. We demonstrate the effectiveness of our method with a structure-from-motion-based reconstruction metric, along with comparisons to related works.</p>

Virtuální realita je v současné době využívána nejen pro zábavu, ale i pro práci a sociální interakci, kde má soukromí a důvěrnost informací vysokou prioritu. Avšak bohužel, bezpečnostní opatření uplatňovaná dodavateli softwaru často nejsou dostačující. Tato práce přináší rozsáhlou bezpečnostní analýzu populární aplikace Bigscreen pro virtuální realitu, která má více než 500 000 uživatelů. Byly využity techniky analýzy síťového provozu, penetračního testování, reverzního inženýrství a dokonce i metody pro application crippling. Výzkum vedl k odhalení kritických zranitelností, které přímo narušovaly soukromí uživatelů a umožnily útočníkovi plně převzít kontrolu nad počítačem oběti. Nalezené bezpečnostní chyby umožnily distribuci škodlivého softwaru a vytvoření botnetu pomocí počítačového červa šířícího se ve virtuálních prostředích. Byl vytvořen nový kybernetický útok ve virtální realitě nazvaný Man-in-the-Room. Dále byla objevena bezpečnostní chyba v Unity engine. Zodpovědné nahlášení objevených chyb pomohlo zmírnit rizika pro více než půl milionu uživatelů aplikace Bigscreen a uživatele všech dotčených aplikací v Unity po celém světě.

Die Dissertation hat zum Ziel, zum einen Beitrag zur wissenschaftlichen Diskussion in der Wirtschaftsinformatik hinsichtlich der Gestaltung von Informationssystemen zur Unterstützung des Technischen Kundendienstes (TKD) zu leisten. Zum anderen sollen die Ergebnisse bei Herstellern und Serviceorganisationen des Maschinen- und Anlagenbaus, der Fertigungsindustrie sowie bei Softwareherstellern als Grundlage zur Konzeption und Implementierung derartiger Informationssysteme dienen. Die vorliegende Arbeit untersucht im Dachbeitrag (Teil A) zunächst komplementäre Lösungsansätze bzw. -zusammenhänge relevanter Wissenschaftsdisziplinen wie der Wirtschaftsinformatik, der Ingenieurwissenschaft, der Dienstleistungs- und Product-Service-Systems-Forschung sowie der Arbeitswissenschaft. Unter Berücksichtigung aktueller methodischer Diskussionen der Wirtschaftsinformatik wird die Arbeit in das gestaltungsorientierte Paradigma eingeordnet, ergänzt um Elemente einer erklärungsorientierten Perspektive. Das Untersuchungsdesign orientiert sich an dem Ordnungsrahmen von Gregor und Jones. Allerdings wird im Unterschied zu Gregor und Jones der prototypischen Instanziierung ausgewählter Artefakte inklusive Evaluation eine hohe Bedeutung zugemessen und diese entsprechend in der Arbeit dargestellt. So entstehen unter Anwendung ausgewählter Methoden der Wirtschaftsinformatik praxisnahe Artefakte, welche die in der Arbeit adressierte Problemstellungen und Forschungsfragen adäquat diskutieren. Im Ergebnisteil werden „Allgemeine Ergebnisse“ und „Spezifische Publikationsergebnisse“ differenziert. In den allgemeinen Ergebnissen erörtert die Arbeit zum einen die entstandenen Artefakte, zum anderen wird die wirtschaftliche Verwertung der Forschungsergebnisse skizziert. Diese Darstellung erfolgt anhand einer Unternehmensgründung, die im Anschluss an die Forschungsprojektphase vom Verfasser realisiert wurde. Die im Forschungszeitraum erarbeiteten und veröffentlichten Teilergebnisse aus dem Untersuchungskontext werden in den spezifischen Publikationsergebnissen zusammengefasst.

Architecture Jail Escape It is a specific device for futuroptimist people based on the philosophy of posthumanism and transhumanism, a version of their own faith in endless life on the net. It is a belief in the possibility of technological transformation of humanity that will allow us to overcome our physical and biological limits. Clause 2.0 is architecture for pioneers - the protagonist of this transformation - enabling the longest and most complete stay in virtual reality. This avant-garde is anxious 2.0. Escapist personalities of digital age soldiers are looking for a haven and their own version of the world in the cyberspace. They create a vision of paradise and colonize (cyber) space without the political consequences of the finiteness of the physical world and the exhaustion of natural resources. They live on the frontier of the being, and they want to unburden themselves and merge with the world they understand more. They fight with their own brain and body that cannot break away from the world. The endlessness of the virtual space has the limits of body and senses. Long-term stay in a cyberspace is a loss of sense of time and space. This monastic life in clause 2.0 is able to keep them in shape, by observing the ritual, the physical performance of walking that they must undergo so that they can exist every day in their version of the digital monastery. These versions are infinite, and they can be ritually traced among them. Clause geometry isolates them from one another. The clause is a monastic concept that allows the people to live hermetically, as well as the physical world. The gateway to the virtual space is a "zero architecture" - a room, a cell, a cube on a 4x4 meter plan, rid of any visual architectural site. It provides only a flat floor as the reflection point for an endless virtual world and four walls and a ceiling with a corresponding thickness for a sufficient separation from the outside world. The world of infinite freedom opens behind this "zero architecture". It seems that not through "architectural innovation and political subversion" a modern architect's dream of architecture will be realized as machines for the liberation of man but through the abandonment of physical architecture as such. The prospect of "zero architecture" opens up a space where the new architecture will no longer be "luxuries and good homes, not the architecture of separation and imprisonment, but it will ultimately be the architecture of freedom.

This project is an examination of the possibility of using existing software to develop Virtual Reality (VR) software that includes key aspects of objects in a user’s surroundings into a virtual environment, producing Augmented Virtuality (AV). A defining limitation is the requirement that the software be consumer-accessible, meaning it needs run on a common smartphone with no additional equipment. Two related AV concepts were considered: shape reconstruction and positional tracking. Two categories of techniques were considered for taking the measurements of reality necessary to achieve those AV concepts using only a monocular RGB camera as sensor: monocular visual SLAM (mvSLAM) and Structure from Motion (SfM). Two lists of requirements were constructed, formalising the notions of AV and consumer-accessibility. A search process was then conducted, where existing software packages were evaluated for their suitability to be included in a piece of software fulfilling all requirements. The evaluations of SfM systems were made in combination with Multi-View Stereo (MVS) systems – a necessary complement for achieving visible shape reconstruction using a system that outputs point clouds. After thoroughly evaluating a variety of software, it was concluded that consumer-accessible AV can not currently be achieved by combining existing packages, due to several issues. While future hardware performance increases and new software implementations would solve complexity and availability issues, some inaccuracy and usability issues are inherent to the limitation of using a monocular camera. / Detta projekt är en undersökning av möjligheten att använda befintlig programvara till att utveckla Virtual Reality (VR)-programvara som infogar framstående aspekter av objekt från en användares omgivning in i en virtuell miljö och därmed skapar Augmented Virtuality (AV). En definierande begränsning är kravet på att programvaran skall vara konsumenttillgänglig, vilket innebär att den behöver kunna köras på en vanlig smartphone utan extra utrustning. Två besläktade AV-koncept beaktades: formrekonstruktion och positionsspårning. Två kategorier av tekniker togs i beaktande, vilka kunde användas för att göra de uppmätningar av verkligheten som var nödvändiga för att uppnå de tänkta AV-koncepten med hjälp av endast en monokulär RGB-kamera som sensor: monocular visual SLAM (mvSLAM) och Structure from Motion (SfM). Två listor med kriterier konstruerades, vilka formaliserade begreppen AV och konsumenttillgänglighet. En sökprocess utfördes sedan, där befintliga programvarupaket utvärderades för sin lämplighet att inkluderas i en programvara som uppfyllde alla kriterier. Utvärderingarna av SfM-system gjordes i kombination med Multi-View Stereo (MVS)-system – ett nödvändigt komplement för att uppnå synlig formrekonstruktion med ett system vars utdata är punktmoln. Efter att noggrant ha utvärderat en mängd programvara var slutsatsen att konsumenttillgänglig AV inte för närvarande kan uppnås genom att kombinera befintliga programvarupaket, på grund av ett antal olika problem. Medan framtida prestandaökningar hos maskinvara och nya programvarutillämpningar skulle lösa problem med komplexitet och tillgänglighet, är vissa problem med tillförlitlighet och användbarhet inneboende hos begränsningen till att använda en monokulär kamera.

<p>When users begin to experience virtual reality (VR) for the first time, they can be met with some degree of motion sickness and nausea, especially if continuous joystick locomotion is used. The symptoms that are induced during these VR experiences fall under the umbrella term cybersickness, and due to these uncomfortable experiences, these users can get a bad first impression and abandon the innovative technology, not able to fully appreciate the convenience and fascinating adventures VR has to offer. As such, this project compares the effects of two cybersickness mitigation methods (Dynamic Field of View (FOV) and Virtual Reference Frame), both against each other and combined, on user-reported cybersickness symptoms to determine the best combination to implement in commercial applications to help create more user-friendly VR experiences. The hypothesis is that combining the FOV reduction and the resting frame methods can mitigate VR cybersickness more effectively without hindering the user’s experience and the virtual nose method is more potent at mitigating cybersickness compared to dynamic FOV. To test these hypotheses, an experimental game was developed for the Meta Quest 2 with five levels: a tutorial level and four maze levels (one for each scenario). The participants were asked to complete the tutorial level until they got used to the virtual reality controls, and then they were instructed to complete the maze level twice with one of the following conditions for each run: no method, dynamic field of view only, virtual nose only, and dynamic field of view and virtual nose combined. After completing each maze trial, the participants were asked to complete a simulator sickness questionnaire to get their thoughts on how much sickness they felt during the test. Upon concluding the testing phase with 36 participants and compiling the data, the results showed that while the subjects preferred the dynamic FOV method even though they were able to complete the trials significantly faster with the virtual nose method, it is inconclusive regarding which method is truly more effective. Furthermore, the results showed that it is also inconclusive if the scenario with both methods enabled is significantly better or worse than either method used separately.</p>

The advance of digitization influences medical sciences in various areas, increasingly including medical education. Therefore the Teaching Department of the Medical Faculty of the University of Leipzig constantly considers new technical developments and their possibilities for use in medical teaching. The focus is on the fact that teaching should be supplemented and explicitly not replaced by digital media. Virtual reality (hereinafter referred to as 'VR') represents a technology that can be expected to offer promising potential. In order to determine to what extent VR represents an added value for the study of human medicine and which hardware and software is suitable, the project VRmed – Virtual Reality in Medical Teaching was initiated in the Media section of the Teaching Department of the MF. This was funded as part of the Digital Fellowship Program by the University Didactic Center Saxony and the Working Group E-Learning of the LRK Saxony. The present report represents the final report of the project, which was created on its own initiative. In order to investigate the question of implementation possibilities for medical studies, four VR glasses (three different models) and four VR applications were purchased. Two simulation applications and two anatomy applications were selected as applications. The former are i:medtasim and StepVR applications. In addition, the anatomy applications 3D Organon VR Anatomy and Medicalholodeck were purchased. The initially extensive multi-stage evaluation with lecturers and students could not be implemented in 2020/2021 due to the pandemic-related restrictions and was therefore only applied in limited extent. Thus, hardware and software were evaluated qualitatively and in depth in the context of three presentation events by lecturers and media didactics. In particular, the simulation applications are considered to be helpful and useful extensions for teaching. The anatomy application 3D Organon VR Anatomy could also be used profitably in medical studies, especially in the early semesters. With regard to i:medtasim, there are initial considerations to include this in the curriculum as part of a medical elective. Another perspective is the establishment of a VR lab in which students and lecturers can freely use the technology. It should also be noted that VR is associated with many technical challenges and both the setup and the first use require expertise. In addition, the purchase is cost-intensive and hardware and software develop very quickly. Nevertheless, the potentials and the added value predominate. VR can be used to meet a wide range of learning types, practice scenarios bridge the gap between theory and practice, and students and lecturers can connect to technical developments.:1. Einleitung 2. Theoretische Hinführung 3. VR an Medizinischen Fakultäten und Universitäten außerhalb des Standorts Leipzig 4. Projektbeschreibung VRmed – Virtual Reality in der medizinischen Lehre Leipzig 5. VR Hardware und Software für den medizinischen Einsatz 6. Evaluation 7. Fazit und Ausblick 8. Literaturverzeichnis 9. Online-Quellen Anhang A) Projektstrukturplan B) Zeitplan C) Poster D) Evaluationsprotokolle / Das Voranschreiten der Digitalisierung beeinflusst die Medizin in verschiedenen Bereichen, weshalb deren Relevanz auch im Medizinstudium zunimmt. Daher werden im Referat Lehre der Medizinischen Fakultät der Universität Leipzig stetig neue technische Entwicklungen und deren Möglichkeiten für den Einsatz in der medizinischen Lehre betrachtet. Im Fokus steht, dass die Lehre ergänzt und explizit nicht durch digitale Medien ersetzt werden soll. Virtual Reality (im Folgenden „VR“) stellt dabei eine Technologie dar, die in der ersten Auseinandersetzung vielversprechende Potentiale erwarten lässt. Um festzustellen, inwiefern VR einen Mehrwert für das Humanmedizinstudium darstellt und welche Hard- und Software dabei in Frage kommt, wurde im Bereich Medien des Referats Lehre der MF das Projekt VRmed – Virtual Reality in der medizinischen Lehre initiiert. Dies wurde im Rahmen des Digital Fellowship-Programms vom Hochschuldidaktischen Zentrum Sachsen und dem Arbeitskreis E-Learning der LRK Sachsen gefördert. Der hier vorliegende Bericht stellt den Abschlussbericht des Projektes dar, welcher aus Eigenantrieb erstellt wurde. Um der Frage nach Implementierungsmöglichkeiten für das Medizinstudium nachzugehen, wurden vier VR-Brillen (drei verschiedene Modelle) und vier VR-Anwendungen angeschafft. Als Anwendungen wurden zwei Simulationsanwendungen und zwei Anatomieanwendungen ausgewählt. Bei ersterem handelt es sich um die Anwendungen i:medtasim und StepVR. Zudem wurden die Anatomieanwendungen 3D Organon VR Anatomy und Medicalholodeck eingekauft. Die zunächst umfangreich angelegte mehrstufige Evaluation mit Dozierenden und Studierenden konnte aufgrund der pandemiebedingten Einschränkungen in den Jahren 2020/2021 nicht umgesetzt werden und wurde eingegrenzt. Somit wurde Hard- und Software im Rahmen von drei Präsentationsveranstaltungen von Dozierenden und Mediendidaktiker:innen qualitativ und tiefgehend evaluiert. Insbesondere die Simulationsanwendungen werden als hilfreiche und sinnvolle Erweiterungen für die Lehre eingeschätzt. Auch die Anatomieanwendung 3D Organon VR Anatomy könnte im Medizinstudium, insbesondere in die frühen Semester, gewinnbringend eingesetzt werden. Bezüglich i:medtasim existieren erste Überlegungen, dies im Rahmen eines humanmedizinischen Wahlfachs in das Curriculum einzubinden. Eine weitere Perspektive ist die Etablierung eines VR-Labs, in dem Studierende und Dozierende die Technik frei nutzen können. Es bleibt auch festzuhalten, dass VR mit vielen technischen Herausforderungen verbunden ist und sowohl das Einrichten als auch die erste Nutzung Expertise bedürfen. Zudem ist die Anschaffung kostenintensiv und Hard- und Software entwickeln sich sehr schnell. Dennoch überwiegen die Potentiale und der Mehrwert. Durch VR kann vielfältigen Lerntypen begegnet werden, durch Übungsszenarien wird eine Brücke zwischen Theorie und Praxis geschlagen und Studierende wie auch Dozierende können an technische Entwicklungen anschließen.:1. Einleitung 2. Theoretische Hinführung 3. VR an Medizinischen Fakultäten und Universitäten außerhalb des Standorts Leipzig 4. Projektbeschreibung VRmed – Virtual Reality in der medizinischen Lehre Leipzig 5. VR Hardware und Software für den medizinischen Einsatz 6. Evaluation 7. Fazit und Ausblick 8. Literaturverzeichnis 9. Online-Quellen Anhang A) Projektstrukturplan B) Zeitplan C) Poster D) Evaluationsprotokolle