Universiẗat, Diss., 2004--Hohenheim.

Techn. Universiẗat, Diss., 2005--Hamburg-Harburg.

Zugl.: Aachen, Techn. Hochsch., Diss., 2008.

Les technologies liées à la réalité virtuelle sont les outils les plus avancés dans le domaine de l’interaction numérique, permettant à un utilisateur de communiquer avec une simulation créée à partir d’un matériel et d’une solution logicielle dédiés. Le degré d’immersion proposé par ces technologies et leur feedback audio et vidéo peut donner l’impression que ces environnements virtuels sont réels. Par conséquent, de multiples secteurs tels que le divertissement vidéo-ludique ou la médecine peuvent incorporer ces technologies. De plus, les installations de réalité virtuelle existantes sont nombreuses et leurs caractéristiques peuvent varier en fonction des contraintes physiques et financières des projets, ainsi qu’en fonction de l’expérience utilisateur souhaitée. Un de ces types d’installations de réalité virtuelle, le CAVE, est au cœur de cette thèse. Notre CAVE, nommé « Le SAS », utilise à heure actuelle une combinaison de technologie AR pour détecter des utilisateurs et d’un joystick pour récupérer des inputs directionnels. Notre objectif à travers cette thèse est de présenter, décrire et analyser une méthode alternative de détection de mouvements au sein du SAS, reposant sur l’utilisation d’un système de 4 Kinects connectées ensemble. Cette analyse est pertinente et justifiée étant donnée l’importance d’un système de détection d’utilisateur dans une installation de réalité virtuelle. Afin de proposer un niveau satisfaisant ‟interaction avec l’environnement virtuel, les capteurs installés sur le CAVE peuvent détecter différents types d’inputs. Dans le cadre d’un système multi-Kinect, l’interaction repose sur la détection de gestes effectués par l’utilisateur. Ces gestes sont extraits d’un squelette virtuel formé à partir des données recueillies par les Kinects. Cette thèse va aborder quatre points-clés décrits ci-dessous : V Premièrement, nous étudierons le contexte lié à notre CAVE et définirions ses caractéristiques ainsi que les contraintes que cet environnement particulier de réalité virtuelle impose à notre dispositif multi-Kinect. En second lieu, nous aborderons le sujet es algorithmes de suivi d’utilisateur au sein d’un CAVE. En effet, les dimensions du SAS amènent à utiliser plusieurs capteurs pour suivre l’utilisateur. Par conséquent, il devient nécessaire d’utiliser un algorithme capable de déterminer en temps-réel quelles Kinects produisent les données les plus précises et les plus fiables afin de correctement détecter les mouvements de l’utilisateur. Par la suite, nous proposerons un algorithme de détection de gestes. Cette étape est la suite logique de la détection d’utilisateur et consiste à interpréter les mouvements enregistrés. Bien que les Kinects soient capables d’enregistrer les mouvements et gestes de l’utilisateur, le CAVE doit être configuré afin de reconnaître certains gestes spécifiques, créant ainsi la possibilité d’interagir avec un environnement virtuel. Notre analyse se concentrera sur trois gestes spécifiques : Lever la main droite, lever la main gauche, et effectuer un petit saut. Finalement, nous fournirons des résultats d’expériences ayant pour objectif de comparer l’efficacité d’un système Multi-Kinect par rapport à l’utilisation d’un seul capteur. Nous présenterons des données indiquant une amélioration de la précision de la détection de gestes avec plusieurs Kinects. / Virtual Reality is the most modern technology that allows a user to interact with an artificial environment created by Hardware and Software, with visual and aural feedback powerful enough to create the impression of a realistic environment. As a consequence, this form of computer interaction can be used in various contexts such as entertainment, medicine or vehicle driving training. Furthermore, numerous types of VR installations exist depending on the physical and financial constraints as well as on the intended final user experience provided by the system. The subject of this thesis is user interaction in a specific type of VR installation called a CAVE. Our CAVE, named “Le SAS”, currently relies on AR technology technology to detect users, and a joystick is used to provide directional inputs. Our objective is to present, describe and analyze an alternative user-tracking method relying on a 4-Kinect set-up tasked with tracking the user‟s movements inside this CAVE. Proper usertracking is one of the main challenges provided by Virtual Reality as well as one of the core elements that define a proper and functional VR system; therefore it is important to implement an effective tracking system.In order to create true interaction with the virtual world provided by the CAVE, the sensors can detect various types of input. In the case of a multi-Kinect system, interaction with the CAVE will be based on user gestures which recognition is performed by the Kinects on a skeleton created after fusing the joint data from the various sensors.This thesis will focus on four main points, as described below. The first part will provide a context analysis of our immersive CAVE “Le SAS” and define thefeatures as well as the constraints of this specific environment in which the multi-Kinect system is installed.In the second part, the topic of tracking algorithms will be discussed. Indeed, the immersive CAVE‟s large-scale implies a tracking system composed of several sensors. The use of a network of cameras to track a user inside the CAVE is synonymous with the use of an algorithm that determines in real-time what sensors provide the most accurate tracking data and will therefore properly recognize the user‟s inputs and movements.Subsequently, we will propose a gesture detection algorithm. Once the user‟s gestures are properly tracked, such an algorithm is necessary in order to provide interaction. While the Kinects can capture the user‟s movements, the question of the detection of specific gestures by this system comes into play as the CAVE needs to be configured as to recognize specific gestures as potential inputs. The presented algorithm will focus on three specific gestures: Raising the right hand, raising the left hand and short hopping. Lastly, we will provide experimental results comparing the effectiveness of a multi-Kinect set-up with the effectiveness of a single sensor and present data showing a noticeable increase in accuracy with the 4-Kinect system.

Ce projet de thèse de doctorat traite du retour sensoriel du toucher dans des environnements virtuels. La partie théorique s’intéresse aux différents schémas de perception du toucher et aux modalités haptiques correspondantes. Nous nous sommes particulièrement concentrés sur la pertinence de chaque modalité pour chaque usage, à leur compatibilité avec les systèmes visuels qui ont une place très importante en réalité virtuelle, ainsi qu’aux problématiques inhérentes à chaque cas. Ces réflexions nous ont amenés à évaluer les méthodes d’haptique passive et de substitution sensorielle dans le cadre d’interactions dans des CAVEs. Les résultats mettent en lumière l’importance du choix de la modalité en parallèle avec la construction du scénario, mais aussi les difficultés à colocaliser les moteurs haptiques et visuels. Les interactions peuvent souffrir de performances insuffisantes si des précautions ne sont pas prises. Enfin, nous avons testé quelques méthodes logicielles visant à améliorer les performances des sujets lorsqu’ils interagissent. / This thesis tackles the subject of the feedbacks of interactions in virtual environments. The theoretical part addresses the different perception schemes and the corresponding haptic modalities. We especially focused on the relevance of each modality for each use-case, on the compatibility with the visual systems which take an important place in virtual reality, and on the problematics of each situation. These studies led us to evaluate passive haptics and sensory substitution for interactions in CAVEs. The results show the importance of choosing the right modality relative to the scenario design. We also evaluated how mismatched the visual and haptic workfield can be, and how the performance of interactions suffers from this fact. Ultimately, we tested a few software-based methods meant to improve the performance of the interactions of the subjects.

Si les possibilités de numérisation 3D de la présente réalité d'un site archéologique par le biais des dernières techniques d'acquisition 3D (photogrammétrie/scan laser) aident à la compréhension de son fonctionnement, elles peuvent aussi permettre de véritables hypothèses de reconstitutions de celui-ci tel qu'il a pu l'être à une époque donnée. Les besoins de la communauté archéologique concernant ces restitutions de structures ou d'environnements sont en effet considérables car, au-delà d'un intérêt évident en termes de valorisation du patrimoine, celles-ci permettent de véritablement mieux appréhender leurs fonctionnements et les sociétés qui les ont occupés. C'est partant de ce contexte que le premier objectif de cette thèse a été d'opérer, traiter et analyser différents niveaux de production d'environnements archéologiques 3D pour la recherche archéologique. Le second objectif a concerné la conception et la mise en place de méthodes d'interactions et de simulations immersives pour que les archéologues puissent démontrer certaines hypothèses, notamment en travaillant sur la perception d'indices visuels pertinents. / The possibilities of 3D digitisations of an archaeological site's current reality help to understand how it works, but they can also enable hypothesis about the reconstitutions of the site as it should have been in the past. Indeed the needs of archaeologists in the reproductions of those structures or environments are significant because, beyond an obvious advantage in terms of valuation of the heritage, they make it possible to understand better their organisation and the people that lived there. It is from this context that the first objective of this thesis was to operate, process and analyze different levels of 3D archaeological environments production for archaeological research. The second objective has concerned the design and implementation of immersive interaction and simulation methods so that archaeologists could demonstrate certain hypotheses, in particular by working on the perception of relevant visual cues / Se le possibilità di digitalizzazione 3D della situazione presente di un sito archeologico tramite le ultime tecniche di acquisizione 3D ( fotogrammetria, scan laser) aiutano alla comprensione del suo funzionamento, possono permettere anche delle veritiere ipotesi di ricostituzione di come esso potesse essere ad una determinata epoca. I bisogni della comunità archeologica riguardo a queste restituzioni di strutture o ambienti sono in effetti considerevoli poiché, al di là di un evidente interesse in termini di valorizzazione di patrimonio, permettono di comprendere al meglio i loro funzionamenti e le società che li hanno occupati. E' a partire da questo contesto, che il primo obbiettivo di questa tesi è stato quello di operare, trattare e analizzare diversi livelli di produzione di ambienti archeologici 3D per la ricerca archeologica. Il secondo obbiettivo riguarda la concezione e la realizzazione di metodi di interazione e di simulazione immersivi affinchè gli archeologi possano mostrare certe ipotesi, in particolar modo lavorando sulla percezione di indici visuali pertinenti. / Se as possibilidades de digitalização 3D da realidade actual de um sítio arqueológico através das mais recentes técnicas de aquisição 3D (fotogrametria / laser scanning) ajudam à compreensão do funcionamento do mesmo, elas possibilitam, também, hipóteses de reconstituição do sítio tal como este seria no passado. As necessidades da comunidade arqueológica no que concerne a reproduções de estruturas ou de ambientes são, sem dúvida, consideráveis, uma vez que, para além do claro interesse em termos de valorização do património, estas permitem uma melhor apreensão dos seus funcionamentos e das sociedades que os ocuparam. Neste contexto, o primeiro objectivo da presente dissertação foi o de criar, processar e analisar diferentes níveis de produção de ambientes arqueológicos 3D destinados à investigação arqueológica. O segundo objectivo visou a concepção e a implementação de métodos de interacção e simulação imersivas para que os arqueólogos pudessem demonstrar determinadas hipóteses, em particular incidindo na percepção de índices visuais pertinentes. / 最新の３次元データー収集技術（写真計測・レーザースキャン）による遺跡の現状の３次元デジタル化により、遺跡の仕組みの理解が容易となり、過去の様子を再現し仮説を立てることも可能となる。遺構や古環境の復元は、埋蔵文化財の活用を支えるという明白な寄与だけでなく、遺跡の様々な利用や古文化の理解を深める役割を果たすため、考古学界にとって非常に重要である。そういう事情で、本論文の目的は第一に、考古学的研究のために多様レベルの３d考古学環境を操作し、処理、分析する事であった。第二の目的は、没入型インタラクションとシミュレーション手法の構想と実装であり、特に適切な視覚的手がかりの知覚を用いて、考古学者の特定の仮説を支えることであった。 / Si las posibilidades de digitalización 3D de la realidad presente de un sitio arqueológico a través de las últimas técnicas de adquisición 3D (fotogrametría / escaneo láser) ayudan a entender su funcionamiento, también permiten auténticas hipótesis de reconstrucción de éste tal y como pudo ser en cierta época. Las necesidades de la comunidad arqueológica cuanto a estas restituciones de estructuras o de entornos son de hecho considerables pues, además del interés evidente en términos de valorización del patrimonio, estas permiten de concebir realmente mejor tanto sus funciones como las sociedades que los han ocupado. Es partiendo de este contexto que el primer objetivo de esta tesis ha sido el de realizar, tratar y analizar diferentes niveles de producción de entornos arqueológicos 3D para la investigación arqueológica. El segundo objetivo ha abarcado la concepción y el establecimiento de métodos de interacciones y de simulaciones inmersivos para que los arqueólogos puedan demostrar ciertas hipótesis, especialmente trabajando sobre la percepción de indicios visuales pertinentes. / Die 3D-Digitalisierung biete die Möglichkeit die aktuelle Realität einer archäologischen Stätte abzubilden und damit zu versehen wie diese funktioniert. Zudem können sie auch Hypothesen über die Wiederherstellung der Stätte ermöglichen, so wie diese in der Vergangenheit hätte aussehen sollen. In der Tat sind die Erkenntnisse der Archäologen bei der Reproduktion dieser Strukturen oder deren Umgebungen bedeutsam, da sie einen offensichtlichen Vorteil hinsichtlich der Bewertung und des Verständnisses über die Herkunft, die Organisation und die Menschen, die dort lebten, ermöglichen. Vor diesem Hintergrund war das erste Ziel dieser Arbeit, verschiedene Ebenen der 3D-Archäologie für die archäologische Forschung zu bearbeiten, zu prozessieren und anschließend zu analysieren. Das zweite Ziel dieser Arbeit befasste sich mit dem Entwurf und der Implementierung von Interaktions- und Simulationsmethoden. mit denen die Archäologen, dann bestimmte Hypothesen demonstrieren könnten. Insbesondere durch die Verarbeitung der Wahrnehmung von relevanten visuellen Hinweisen. / Möjligheten att 3D-digitalisera ett arkeologiskt områdes nuvarande tillstånd underlättar förståelsen av området, och kan generera hypoteser kring hur området kan ha sett ut tidigare. Arkeologers behov av att återskapa strukturer och miljöer är betydande, eftersom det inte bara förenklar värderingen av fynden, utan för att det också gör det möjligt att bättre förstå hur miljön var organiserad och fösta människorna som levde där. Utifrån denna kontext är det första syftet med denna avhandling att styra, bearbeta och analysera olika nivåer av produktion av arkeologiska 3D-modeller för arkeologisk forskning. Det andra syftet rör design och implementering av immersiva interaktions- och simuleringsmetoder för att arkeologer ska kunna visa specifika hypoteser, särskilt genom varseblivning av relevanta visuella signaler.

Wissenschaftliche Schriftenreihe, die Dissertationen der Professur Virtuelle Fertigungstechnik beinhaltet.

Cette thèse met en valeur la grande évolution de l’art de la mise en scène et étudie la relation décor-technologie numérique du point de vue du design. Parmi les technologies numériques dont la scénographie fait l’usage, nous choisissons la technologie de la RV (réalité virtuelle) en tant qu’outil permettant de créer le décor au théâtre et pouvant enrichir la présence du spectateur. La préoccupation donc dès le début de notre recherche était de savoir comment enrichir le sentiment de présence chez le spectateur au décor d’un art théâtral. Il est très important pour nous de réussir à créer ce décor théâtral dans lequel le spectateur devient un acteur ou plutôt un «Spect-acteur ».Les nombreux avis qui s'opposent à l’intégration de la technologie de la RV au théâtre donnent des arguments liés au danger de l’immersion. Notre thèse met en lumière l’interaction comme une deuxième caractéristique fondatrice de la RV contrebalançant la passivité de l’immersion. Puis, nous abordons largement le sujet du design interactif.En vue de créer donc une vision sur le monde de la mise en scène de demain, nous adaptons le récit d’Alice au pays des merveilles pour créer notre projet Aider Alice. Celui-ci permet aux « Spec-acteurs » d’échanger avec les éléments virtuels d’une animation interactive dans le cadre d'un jeu vidéo collaboratif. Un groupe de trois participants, à chaque passage, contribue à changer le point de vue sur le décor ainsi qu’à choisir sa couleur. Nous considérons que la scène médiatisée crée un sentiment de présence chez l’ensemble du public alors que l’interaction est la clé qui enrichit ce sentiment chez les «Spect-acteurs ». / This thesis highlights the great evolution of the art of staging and studies the relationship between the scenery and the digital technology from the standpoint of design. It focuses on its role in the future of the scenography. The scenography is used among the digital technologies; we choose the "VR"virtual reality technology as a tool to create the scenery of the theatre to enrich the viewer's presence. The concern from the beginning of our research was about; how to enhance the sense of presence in the viewer to the decor of a theatrical art.It is very important for us to succeed in creating a theatrical setting in which the spectator becomes an actor or rather a “Spect- actor”. Research has highlighted a few examples that used the virtual technology in the scenography. We then tackle the critiques of this technology made by researchers in the theatre. Many opinions that oppose the integration of this technology in theatre give arguments related to the danger of the immersion. The thesis highlights the interaction as a second founding characteristic of the "VR" offsetting the passivity of immersion. Then we approach the subject of the interactive design.In order to create a vision of the world of the staging in the future, we adapt the story of Alice in Wonderland to create our project Helping Alice. This allows spec-actors to interact with virtual elements of an interactive animation within a framework of collaborative video game. A group of 3 “Spect- actors” everyone participate to change the view of the scenery but also to choose the colour. We consider that the mediatized scene creates a sense of presence among the public so that interaction is the key that enriches the received feeling.

Le contrôle automatique de caméra est un composant essentiel en cinématographie virtuelle à la fois pour la sélection des points de vue appropriés dans une scène 3D ou pour passer en revue efficacement le contenu d'un environnement 3D. Les applications de cinématographie virtuelle reposent sur des critères réalisme afin de provoquer un impact positif chez le spectateur. Dans cette thèse, nous présentons deux contributions. Tout d'abord, nous proposons une métrique permettant d'évaluer et de corriger l'équilibre visuel dans les images basée sur un large éventail de caractéristiques visuelles, dont la taille, la silhouette, la position et la saillance d'objets cibles, associés à des métriques liées aux positions et orientations des objets. Le procédé consiste à annoter des images bien équilibrées, pour estimer automatiquement la façon dont chaque caractéristique influence l'équilibre visuel dans chaque image. Nous proposons de créer une base de données d'images annotées de façon à (i) évaluer l'équilibre dans une nouvelle image en comparant ses caractéristiques visuelles à celles de la base de donnée, et (ii) d'optimiser automatiquement les points de vue dans une scène 3D de façon à recréer un équilibre visuel. Deuxièmement, nous présentons les Camera Motion Graph, une technique pour générer facilement et efficacement des séquences cinématographiques en temps réel dans des environnements 3D dynamiques. Un Camera Motion Graph est composé de (i) morceaux de trajectoires de caméra réelles exprimées dans le repère local d'une ou plusieurs cibles, (ii) de transitions continues entre les trajectoires des caméras et (iii) de transitions représentant des sauts directs d'une trajectoire à une autre. Les échantillons de trajectoires sont construits en extrayant des mouvements de caméra à partir de véritables films en utilisant des techniques de vision par ordinateur, ou par capture de mouvement en utilisant un système de caméra virtuelle. Une transformation est proposée afin d'exprimer les trajectoires des caméras dans une représentation normalisée. Le Camera Motion Graph est alors construit par échantillonnage de toutes les paires de trajectoires de caméras et le calcul des possibilités de transitions continues ou directes. Les résultats que nous présentons illustrent la simplicité de la technique, son adaptabilité à différents environnements 3D ainsi que son efficacité. / Automated camera control techniques are key components of virtual cinematography systems by providing means to select appropriate viewpoints in a 3D scene and to efficiently review the content of a 3D environment. In this work we present two contributions. First, we propose an example-driven on-screen balance metric which estimates how well balanced is the composition of a shot. Our metric accounts for a large set of visual features including size, silhouette, position and saliency of target objects, together with metrics related to character’s positions, orientations and gaze. The process consists in annotating well balanced images, to estimate automatically how each visual feature influences balance in each image. We then rely on this database of annotated images to (i) estimate how well new images are balanced by comparing their visual features, and (ii) automatically optimize viewpoints in a 3D scene to enforce balance. Second, we present Camera Motion Graphs, a technique to easily and efficiently generate cinematographic sequences in real-time dynamic 3D environments. A camera motion graph consists of (i) pieces of original camera trajectories attached to one or multiple targets, (ii) generated continuous transitions between camera trajectories and (iii) transitions representing cuts between camera trajectories. Pieces of original camera trajectories are built by extracting camera motions from real movies using vision-based techniques, or relying on motion capture techniques using a virtual camera system. A transformation is proposed to recompute all the camera trajectories in a normalized representation, making camera paths easily adaptable to new 3D environments through a specific retargeting technique. The camera motion graph is then constructed by sampling all pairs of camera trajectories and evaluating the possibility and quality of continuous or cut transitions. Results illustrate the simplicity of the technique, its adaptability to different 3D environments and its efficiency.

Workshop Mensch-Computer-Vernetzung - basierend auf Multicast - 3D-Welten werden im Fenster dargestellt - mehrere Nutzer bewegen sich in einer Welt