Le classicisme hollywoodien permet d’explorer la variété des sens que revêt au cinéma le concept de réalité à partir de fragments de réalité matérielle enregistrés, du réalisme ontologique qui s’y attache, de la réalité diégétique qui constitue l’univers des films, et de la réalité philosophique, qui renvoie le spectateur à son être propre par le partage de l’expérience de personnages auxquels il s’identifie. Par l’instrumentalisation de ces réalités relatives, Hollywood crée une nouvelle forme de récit qu’alimenteront la littérature, les mythes et la psychanalyse, participant à la diffusion d’un fonds culturel commun à tous les Américains. Parce que la réalité cinématographique n’est pas ce que croit le spectateur, elle a naturellement partie liée avec le rêve et le fantasme, justifiant une réflexion sur leurs interrelations et sur la dynamique de transformation de l’art cinématographique qui se joue dans ces interrelations.Les mondes hollywoodiens, soumis à l’ imaginaire et au désir des cinéastes, n’ont que l’apparence du nôtre, jusqu’aux mondes intérieurs dont les portes nous seront ouvertes par Hollywood à travers la représentation des rêves, créant une hybridité entre réalité, rêve et fantasme. Mais un doute se créera chez le spectateur à qui on aura fait croire au rêve et au fantasme autant qu’à la réalité, et ce doute mettra en péril la « suspension d’incrédulité » qui avait fait le succès d’Hollywood et contribuera à la fin du classicisme, le rêve ayant contaminé la fiction. / Through classical Hollywood cinema, one can explore the broad variety of meanings that the concept of reality has in cinema: fragments of recorded reality material, the ontological realism that is attached to it, the narrative reality that constitutes the universe of films, and the philosophical reality that transports the viewer back to his own self by sharing the experience of characters with whom he identifies. Through the instrumentalisation of these relative realities, Hollywood creates a new form of narrative that nourishes literature, myths and psychoanalysis, and help spread a common cultural background to all Americans. Because cinematographic reality is not what the audience believes it is, it is naturally linked with dream and fantasy, justifying thoughts on their inter-relationships and on the dynamics of the transformation of cinematographic art that is played out in these inter-relationships.Subjects of the imagination and desire of filmmakers, the worlds created by Hollywood merely have the appearance of our world. This even encompasses inner worlds, whose doors will be opened to us through the representation of dreams, creating a hybridity between reality, dream and fantasy. But a doubt will be created in the spectator, who has been made to believe equally in dreams, fantasy and reality, and this doubt will jeopardize the "suspension of disbelief" that has made Hollywood successful, ultimately contributing to the end of classicism; the dream having contaminated fiction.

Cette approche de recherche sur Fernando Arrabal et le théâtre panique pointe une période circonscrite à l’œuvre théâtrale du dramaturge dite « panique ».L’objet de cette thèse cherche donc à essayer de comprendre la théorie panique (la mémoire, le hasard et la confusion) ainsi qu’une thématisation sur les différents modèles artistiques de ses pièces paniques et l’influence arrabalienne dans le devenir scénique d’aujourd’hui. L’étude part d’une nouvelle esthétique théâtrale baroque allant du texte à la scène ainsi que de la stratégie utilisée par l’écrivain dramaturge dans ces pièces appelée la cérémonie panique.La problématique centrale est celle de la perception esthétique et cathartique qui plonge le spectateur vers la confusion de la scène et de la vie. Le panique suivant la théorie artauldienne fusionne la réalité et le cauchemar. L’individu est confronté au chaos de la vie jusqu’à la fin tragique de la mort.La dramaturgie arrabalienne mène l’écrivain sur un double questionnement, celui de la quête de la gloire, de l’identité avec la réalité à travers la connaissance de soi et du monde mais aussi aux peurs que cela provoque. La représentation de ce théâtre plonge le spectateur dans un véritable choc émotionnel. Le théâtre panique de Fernando Arrabal est un théâtre universel, mais aussi un théâtre de l’extrême, qui va à l’encontre de la vérité, de la liberté et de la panique. Une panique individuelle et collective qui à travers un théâtre total fait éclater la raison et les carcans sociétaux cherchant un monde meilleur. L’écrivain est d’autant plus d’actualité que la triste réalité nous confronte au théâtre panique. / This approach to the research on Fernando Arrabal and the panic theater points out to a specific and limited time of the playwright’s theatrical work called "panic".The aim of this thesis is therefore to try to understand the panic theory (memory, chance and confusion) as well as a thematization on the different artistic models of these panic plays and the Arrabalian influence on the scenic future of today. The study begins with a new baroque theatrical aesthetics ranging from text to scene and from the strategy used by the playwright in these panic plays called the panic ceremony.The central problem is that of the aesthetic and cathartic perception that plunges the viewer into the confusion of the scene and of life. The panic following the Artauldian theory merges reality and nightmare. The individual is confronted with the chaos of life until the tragic end of death.The Arrabalian dramaturgy leads the writer on a double questioning, that of the quest for glory, of identity with reality through the knowledge of the self and of the world, but also that of the fears it fathers. The representation of this theatre plunges the viewer into a real emotional shock. The panic theater of Fernando Arrabal is not only a universal theatre, but also a theatre of the extreme, which goes against the truth, freedom and panic. An individual and collective panic which, through a complete theater, is breaking out reason and social contraints, and also looking for a better world. The writer is all the more topical as the sad reality confronts us with panic theater.

S’inscrivant à l’intersection des champs du marketing expérientiel et des théories des systèmes d’information et d’interaction homme-machine, ce travail de recherche doctorale étudie les spécificités de l’expérience de shopping dans un environnement commercial en 3D enrichi de dispositifs de réalité virtuelle. Particulièrement, il étudie les facteurs d’accès à l’expérience d’immersion et de présence dans cet environnement et ses conséquences sur les intentions comportementales. La revue de la littérature et la phase qualitative triangulée ont permis de mettre en évidence l’importance de trois facteurs clés d’accès à l’expérience et à son enrichissement ainsi que le rôle central du processus immersion – présence. Une expérimentation mise en oeuvre dans un « véritable » environnement commercial en 3D nous a permis d’étudier de manière concomitante les effets des différents facteurs à savoir : la navigabilité du site web (par le biais d’une manipulation liée à la présence/l’absence d’un map interactif), la richesse sensorielle de l’environnementcommercial (par le biais de la manipulation des couleurs et de la musique diffusée) et la sociabilité (par le biais de la manipulation de la présence/l’absence d’un vendeur virtuel) sur l’immersion sensorielle et la présence. Les conséquences sur les intentions comportementales ont également été investiguées. Les contributions théoriques, méthodologiques et managériales sont nombreuses. / As part of the intersection of the fields of experiential marketing and the theories of information systems and human-computer interaction, this doctoral research work investigates the specificities of the shopping experience in a 3D commercial environment enriched with virtual reality devices. In particular, it studies the factors of access to the immersion and presence experience in thisenvironment and its consequences on behavioral intentions. The review of the literature and the triangulated qualitative phase made it possible to highlight the importance of three key factors of access to the experience and its enrichment as well as the central role of the immersion - presence process. An experiment implemented in a "real" commercial environment in 3D allowed us to studyconcomitantly the effects of the various factors namely: the navigability of the website (through a manipulation related to the presence / l lack of an interactive map), the sensory wealth of the commercial environment (through the manipulation of colors and diffused music) and sociability (through the manipulation of the presence / absence of 'a virtual seller) on sensory immersion and presence. The consequences on behavioral intentions have also been investigated. Theoretical,methodological and managerial contributions are numerous.

La réalité augmentée (RA) consiste en l’insertion d’éléments virtuels dans une scène réelle, observée à travers un écran ou en utilisant un système de projection sur la scène ou l’objet d’intérêt. Les systèmes de réalité augmentée peuvent prendre des différentes formes pour obtenir l’équilibre désiré entre trois critères : précision, latence et robustesse. Il est possible d’identifier trois composants principaux à ces systèmes : localisation, reconstruction et affichage. Les contributions de cette thèse se concentrent essentiellement sur l’affichage et plus particulièrement le rendu des applications de réalité augmentée. À l’opposé des récentes avancées dans le domaine de la localisation et de la reconstruction, l’insertion d’éléments virtuels de façon plausible et esthétique reste une problématique compliquée, mal-posée et peu adaptée à un contexte temps réel. En effet, cette insertion requiert une reconstruction de l’illumination de la scène afin d’appliquer les conditions lumineuses adéquates à l’objet inséré. L’illumination de la scène peut être divisée en plusieurs catégories. Nous pouvons modéliser l’environnement de façon à décrire l’interaction de la lumière incidente et réfléchie pour chaque point 3D d’une surface. Il est également possible d’expliciter l’environnement en calculant la position des sources de lumière, leur type (lampe de bureau, néon, ampoule, ….), leur intensité et leur couleur. Pour insérer un objet de façon cohérente et réaliste, il est primordial d’avoir également une connaissance de la surface recevant l’illumination. Cette interaction lumière/matériaux est dépendante de la géométrie de la surface, de sa composition chimique (matériau) et de sa couleur. Pour tous ces aspects, le problème de reconstruction de l’illumination est difficile, car il est très complexe d’isoler l’illumination sans connaissance a priori de la géométrie, des matériaux de la scène et de la pose de la caméra observant la scène. De manière générale, sur une surface, une source de lumière laisse plusieurs traces telles que les ombres, qui sont créées par l’occultation de rayons lumineux par un objet, et les réflexions spéculaires ou spécularités qui se manifestent par la réflexion partielle ou totale de la lumière. Bien que ces spécularités soient souvent considérées comme des éléments parasites dans les applications de localisation de caméra, de reconstruction ou encore de segmentation, ces éléments donnent des informations cruciales sur la position et la couleur de la source lumineuse, mais également sur la géométrie de la surface et la réflectance du matériau où elle se manifeste. Face à la difficulté du problème de modélisation de la lumière et plus particulièrement du calcul de l’ensemble des paramètres de la lumière, nous nous sommes focalisés, dans cette thèse, sur l’étude des spécularités et sur toutes les informations qu’elles peuvent fournir pour la compréhension de la scène. Plus particulièrement, nous savons qu’une spécularité est définie comme la réflexion d’une source de lumière sur une surface réfléchissante. Partant de cette remarque, nous avons exploré la possibilité de considérer la spécularité comme étant une image issue de la projection d’un objet 3D dans l’espace. Nous sommes partis d’un constat simple, mais peu traité par la littérature qui est que les spécularités présentent une forme elliptique lorsqu’elles apparaissent sur une surface plane. À partir de cette hypothèse, pouvons-nous considérer un objet 3D fixe dans l’espace tel que sa projection perspective dans l’image corresponde à la forme de la spécularité ? Plus particulièrement, nous savons qu’un ellipsoïde projeté perspectivement donne une ellipse. Considérer le phénomène de spécularité comme un phénomène géométrique a de nombreux avantages. (...) / Augmented Reality (AR) consists in inserting virtual elements in a real scene, observed through a screen or a projection system on the scene or the object of interest. The augmented reality systems can take different forms to obtain a balance between three criteria: precision, latency and robustness. It is possible to identify three main components to these systems: localization, reconstruction and display. The contributions of this thesis focus essentially on the display and more particularly the rendering of augmented reality applications. Contrary to the recent advances in the field of localization and reconstruction, the insertion of virtual elements in a plausible and aesthetic way remains a complicated problematic, ill-posed and not adapted to a real-time context. Indeed, this insertion requires a good understanding of the lighting conditions of the scene. The lighting conditions of the scene can be divided in several categories. First, we can model the environment to describe the interaction between the incident and reflected light pour each 3D point of a surface. Secondly, it is also possible to explicitly the environment by computing the position of the light sources, their type (desktop lamps, fluorescent lamp, light bulb, . . . ), their intensities and their colors. Finally, to insert a virtual object in a coherent and realistic way, it is essential to have the knowledge of the surface’s geometry, its chemical composition (material) and its color. For all of these aspects, the reconstruction of the illumination is difficult because it is really complex to isolate the illumination without prior knowledge of the geometry, material of the scene and the camera pose observing the scene. In general, on a surface, a light source leaves several traces such as shadows, created from the occultation of light rays by an object, and the specularities (or specular reflections) which are created by the partial or total reflection of the light. These specularities are often described as very high intensity elements in the image. Although these specularities are often considered as outliers for applications such as camera localization, reconstruction or segmentation, these elements give crucial information on the position and color of the light source but also on the surface’s geometry and the material’s reflectance where these specularities appear. To address the light modeling problem, we focused, in this thesis, on the study of specularities and on every information that they can provide for the understanding of the scene. More specifically, we know that a specularity is defined as the reflection of the light source on a shiny surface. From this statement, we have explored the possibility to consider the specularity as the image created from the projection of a 3D object in space.We started from the simple but little studied in the literature observation that specularities present an elliptic shape when they appear on a planar surface. From this hypothesis, can we consider the existence of a 3D object fixed in space such as its perspective projection in the image fit the shape of the specularity ? We know that an ellipsoid projected perspectivally gives an ellipse. Considering the specularity as a geometric phenomenon presents various advantages. First, the reconstruction of a 3D object and more specifically of an ellipsoid, has been the subject to many publications in the state of the art. Secondly, this modeling allows a great flexibility on the tracking of the state of the specularity and more specifically the light source. Indeed, if the light is turning off, it is easy to visualize in the image if the specularity disappears if we know the contour (and reciprocally of the light is turning on again). (...)

La détection et l’évaluation des émotions sont des domaines qui suscitent un grand intérêt par de nombreuses communautés tant au niveau des sciences humaines que des sciences exactes. Dans cette thèse nous nous intéressons à la reconnaissance de l’anxiété sociale qui est une peur irrationnelle ressentie par une personne lors de toute forme de relation sociale. L’anxiété peut être révélée par un ensemble de traits physiques et physiologiques tels que l’intonation de la voix, les mimiques faciales, l’augmentation du rythme cardiaque, le rougissement… etc. L’avantage de l’utilisation des mesures physiologiques est que les individus ne peuvent pas les manipuler, c’est une source continue de données et chaque émotion est caractérisée par une variation physiologique particulière. Dans ce travail, nous proposons un système de mesure d’anxiété basé sur l’utilisation d’un seul signal physiologique « signal de pression sanguine volumique (Blood volume pulse BVP)». Le choix d’un seul capteur limite la gêne des sujets due au nombre de capteurs. De ce signal nous avons sélectionné des paramètres pertinents représentant au mieux les relations étroites du signal BVP avec le processus émotionnel de l’anxiété. Cet ensemble de paramètres est classé en utilisant les séparateurs à vastes marges SVM. Les travaux engagés dans le domaine de la reconnaissance des émotions utilisent fréquemment, pour support d’information, des données peu fiables ne correspondant pas toujours aux situations envisagées. Ce manque de fiabilité peut être dû à plusieurs paramètres parmi eux la subjectivité de la méthode d’évaluation utilisée (questionnaire, auto-évaluation des sujets, …etc.). Nous avons développé une approche d’évaluation objective des données basée sur les dynamiques des paramètres sélectionnés. La base de données utilisée a été enregistrée dans notre laboratoire dans des conditions réelles acquises sur des sujets présentant un niveau d’anxiété face aux situations sociales et qui ne sont pas sous traitement psychologique. L’inducteur utilisé est l’exposition à des environnements virtuels représentant quelques situations sociales redoutées. L’étape d’évaluation, nous a permis d’obtenir un modèle de données fiable pour la reconnaissance de deux niveaux d’anxiété. Ce modèle a été testé dans une clinique spécialisée dans les thérapies cognitives comportementales (TCC) sur des sujets phobiques. Les résultats obtenus mettent en lumière la fiabilité du modèle construit notamment pour la reconnaissance des niveaux d’anxiété sur des sujets sains ou sur des sujets phobiques ce qui constitue une solution au manque de données dont souffrent les différents domaines de reconnaissances / Detection and evaluation of emotions are areas of great interest in many communities both in terms of human and exact sciences. In this thesis we focus on social anxiety recognition, which is an irrational fear felt by a person during any form of social relationship. Anxiety can be revealed by a set of physical and physiological traits such as tone of voice, facial expressions, increased heart rate, flushing ... etc. The interest to the physiological measures is motivated by them robustness to avoid the artifacts created by human social masking, they are a continuous source of data and each emotion is characterized by a particular physiological variation. In this work, we propose a measurement system based on the use of a single physiological signal "Blood volume pulse BVP". The use of a single sensor limits the subjects’ discomfort. From the BVP signal we selected three relevant features which best represents the close relationship between this signal and anxiety status. This features set is classified using support vector machine SVM. The work undertaken in the field of emotion recognition frequently use, for information support, unreliable data do not always correspond to the situations envisaged. This lack of reliability may be due to several parameters among them the subjectivity of the evaluation method used (self-evaluation questionnaire, subjects…etc.). We have developed an approach to objective assessment of data based on the dynamics of selected features. The used database was recorded in our laboratory under real conditions acquired in subjects with a level of anxiety during social situations and who are not under psychological treatment. The used stimulus is the exposition to virtual environments representing some feared social situations. After the evaluation stage, we obtained a reliable model for the recognition of two levels of anxiety. The latter was tested in a clinic specializing in cognitive behavioral therapy (CBT) on phobic subjects. The results highlight the reliability of the built model specifically for the recognition of anxiety levels in healthy subjects or of phobic subjects, what constitutes a solution to the lack of data affecting different areas of recognition

Ce travail de recherche s'inscrit dans le cadre des environnements virtuels pour la formation aux instruments de diagnostic biomédical. La simulation de la situation réelle seule ne suffisant pas, il convient d'incorporer un scénario pédagogique pour construire l'apprentissage. Le scénario s'applique pour tous les apprenants, il est donc important d'intégrer des possibilités d'individualisation. Pour cela, nous proposons de coupler l'environnement virtuel à un Système Tutoriel Intelligent (STI). Notre étude débute par une identification des systèmes existants qui nous semblent les mieux adaptés, sur lesquels baser notre proposition : le STI Pégase, le modèle de scénario pédagogique Poseïdon et le méta-modèle Mascaret. Ceci nous permet également d'identifier les limites de Pégase qui sont : le manque de lien avec le scénario pédagogique, le manque de modularité et le manque d'individualisation. Notre proposition, appelée Chrysaor, vise à combler ces faiblesses. Nous proposons ainsi qu'un scénario pédagogique soit une connaissance explicite et par conséquent exploitable par un STI. Les concepts proposés dans notre modèle permettent également au formateur de facilement modifier les comportements, les rôles et les affectations (humain ou agent autonome) : notre système devient ainsi modulaire. Nous illustrons ensuite l'utilisation de Chrysaor dans une application de formation par la réalité virtuelle à un instrument de diagnostic en hémostase utilisé en milieu hospitalier. Sur cette application, des expérimentations comparant les deux types de formation (traditionnelle et virtuelle) permettent de vérifier la qualité de l'apprentissage obtenu par une formation en réalité virtuelle, et de vérifier que ces connaissances sont transférables en environnement réel. / This research focuses on the virtual environments for training in biomedical diagnostic devices. The simulation of the real situation only is not enough, we needs to incorporate a pedagogical scenario to build the learning. The scenario applies to all learners, so it is important to integrate individualization. For this we propose to couple the virtual environment with an Intelligent Tutoring System (ITS). Our study begins with an identification of existing systems that seem best suited, on which to base our proposal: the ITS Pegase, the pedagogical scenario model Poseidon and the meta-model Mascaret. This also allows us to identify the limits of Pegase : the lack of connection with the pedagogical scenario, the lack of modularity and lack of individualization. Our proposal, called Chrysaor, aims to provide the most complete ITS. Thus we propose that a pedagogical scenario is an explicit knowledge and therefore exploitable by an STI. The concepts proposed in our model also allow the instructor to easily modify the behavior, roles and assignments (human or autonomous agent): our system becomes modular. Then we illustrate the use of Chrysaor in an application of virtual reality training in a biomedical device used in hemostasis in hospital. We lead two experiments in order to compare the two types of training (traditional and virtual) to verify the quality of learning achieved by a virtual reality training, and to ensure that this knowledge are transferable in a real environment.

La thématique générale de notre thèse porte sur le transfert virtuel/réel de connaissances spatiales, et plus particulièrement sur l’identification de variables susceptibles d’optimiser ce transfert. Notamment, nous nous sommes intéressés à l’influence des interfaces de déplacement, de l’engagement physique et des informations sensorielles relatives au corps sur l’acquisition et le transfert de connaissances spatiales du virtuel vers le réel. L’engagement physique a été manipulé à l’aide de deux interacteurs (tapis roulant Vs joystick) proposant respectivement un fort et un faible engagement physique, ainsi que par une Interface Cerveau Ordinateur (ICO), permettant de commander un déplacement à l’aide de l’activité cérébrale du sujet, supprimant ainsi toute composante motrice effective. Enfin nous avons également manipulé l’expertise en jeu vidéo, variable susceptible de jouer un rôle important dans l’acquisition et l’utilisation des compétences spatiales au sens large, et plus spécifiquement dans le transfert virtuel-réel.Nos expérimentations consistaient à apprendre un trajet à l’aide d’une des situations d’interaction définie ci-dessus. Le transfert virtuel/réel des connaissances spatiales a été ensuite évalué à l’aide de 6 tâches : une tâche de classification chronologique de photos, une tâche d’estimation de la distance parcourue et une tâche d’estimation de directions (tâches égocentriques) ; une tâche de croquis du trajet, une tâche d’estimation de la direction du point de départ du trajet (tâche allocentrique) ; et enfin une tâche globale de wayfinding consistant à reproduire en environnement réel le trajet préalablement appris en virtuel.Nos résultats montrent que les effets de l’engagement physique (en particulier des informations proprioceptives et vestibulaires) et de l’expertise en jeu vidéo sont différents selon la nature de la compétence spatiale sollicitée (composante égocentrique, allocentrique ou reproduction du parcours). De plus, les résultats obtenus à l’aide de l’ICO permettent de préciser le rôle de la composante motrice dans l’acquisition et le transfert virtuel/réel de compétences spatiales.L’ensemble de ces données sont discutées au regard des modèles d’acquisition et d’utilisation des connaissances spatiales, tels que le modèle Landmark-Route-Survey et la théorie des graphes. Les perspectives de notre travail concernent le développement d’interfaces adaptées aux utilisateurs ainsi que l’entraînement ou le réentraînement des compétences spatiales de sujets âgés ou de patients présentant des pathologies lésionnelles et/ou dégénératives. / The general theme of our thesis focuses on the transfer of spatial learning from a virtual to a real environment, and more precisely on the identification of parameters that might optimize this transfer. Namely, we investigated the influence of displacement interfaces, of the physical involvement, and of the body-based information on the acquisition and the transfer of spatial learning from a virtual to a real world. The physical involvement was manipulated with the help of two interactors (Treadmill vs. Joystick) that respectively propose strong and mild physical involvements as well with the help of a Brain-Computer Interface (BCI). The BCI allows controlling displacements using subject’s brain activity, thus nullifying all effective motor components. Finally, we also manipulated videogame experience, a parameter supposed to play an important role in the acquisition and the use of spatial skills in the widest sense and, more specifically in the virtual-to-real transfer. Our experimentations first consisted in route learning within one of the above described interaction conditions. Then, the virtual-to-real transfer of spatial learning was evaluated with 6 tasks: the picture classification task, the distance estimation task, and the direction estimation task (egocentric task); the sketch-mapping task, the starting point estimation task (exocentric task); and finally the global wayfinding task, consisting in reproducing the previously learned virtual route in the real environment.Our results reveal that the effects of the physical involvement (in particular, of the proprioceptive and vestibular information) and of the videogame experience are different, depending on the nature of the spatial ability needed (egocentric or exocentric component, route reproduction). Moreover, the results obtained with the BCI allow to precise the role of the motor component in the acquisition and the transfer of spatial skills from the virtual to the real environment.These findings are discussed relative to the models of spatial knowledge acquisition and its utilization, such as the Landmark-Route-Survey model and the graph theory. Future trends of our work will concern the development of user-friendly interfaces as well as the training or the retraining of spatial abilities in older adults with or without degenerative disorders and patients with various brain lesions.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D. / Online immersive and collaborative 3D environments are emerging very fast. They raise the issues of sensation of presence within virtual worlds, immersion and interaction capabilities. Multi-camera 3D systems allow to extract geometrical information (3D model) of the observed scene using the photometric information. It enables calculation of a numerical textured model in real-time, which is then used to ensure the user's presence in cyberspace. In this thesis we have studied how to pair the ability of presence, obtained from such a system, with visual immersion and co-located interactions. This led to the realization of an application that combines a head mounted display, an optical tracking system and a multi-camera system. Thus, the user can view his 3D model correctly aligned with his own body and mixed with virtual objects. We also have implemented an experimental telepresence application featuring three sites (Bordeaux, Grenoble, Orleans) that allows multiple users to meet in 3D and collaborate remotely. Textured 3D model gives a very strong sense of presence of each other and strengthens the physical interactions, thanks to body language and facial expressions. Finally, we studied how to extract 3D velocity information from the cameras images; using 2D optical flow and 2D and 3D correspondences, we can estimate the dense displacement of the 3D model. This data extend the interaction capabilities by enriching the 3D model.

Les travaux de cette thèse sont menés dans le cadre d’un projet porté par le centre de recherche LGI2P, (IMT Mines Ales). L’objectif final de ce projet vise à permettre le retour à l’emploi et à améliorer le quotidien des personnes malvoyantes atteintes de rétinite pigmentaire et de glaucome. Le dispositif final est conçu pour aider les personnes dans leurs activités en mobilité : détection d’obstacles, recherche d’indices visuels, en adressant les problèmes liés à l’éblouissement et à l’héméralopie dont souffrent ces utilisateurs potentiels.La contribution de cette thèse au projet se situe sur plusieurs plans. Tout d’abord, il était demandé de définir les paramètres caractérisant la vision résiduelle de chaque utilisateur. En effet, chaque patient a ses propres conditions de confort lumineux, qui dépendent en particulier de l’état d’avancement de sa pathologie : à chaque étape de l’évolution de leur maladie, les patients ont des limites spécifiques de luminosité minimale en dessous de laquelle ils ne perçoivent plus les détails dans une scène, et aussi de la luminosité maximale au-dessus de laquelle ils ressentent gêne et douleur. La définition de ces limitations en luminosité va permettre de paramétrer le dispositif et l’adapter à chaque utilisateur. Mais il n’existe pas de méthode pour mesurer ces niveaux de luminance limite. Nous avons donc participé à la conception et au développement de tests dédiés, et à la réalisation d’essais sur des sujets déficients visuels, dans le cadre d’un essai clinique piloté par le CHU de Nîmes et l’ARAMAV (institut spécialisé dans la rééducation fonctionnelle basse vision), pour l’aspect médical. Nous avons également proposé un nouveau test pour mesurer la sensibilité au contraste chromatique, toujours dans le but de mieux adapter les images affichées à la vision des utilisateurs.Nous avons ensuite travaillé sur la mise au point d’un prototype du dispositif (caméras et visiocasque de réalité virtuelle). Pour cela, nous avons dû choisir les équipements de capture et d’affichage d’images. Un travail de calibration colorimétrique sur ces équipements nous permet de relier grandeurs numériques (code RGB) et grandeurs physiques (luminance et chrominance). Cette étape est nécessaire pour réaliser les tests précités dans des conditions physiquement connues. Elle nous permet également de définir les caractéristiques physiques que devront posséder les équipements qui seront choisis pour réaliser le produit final, s’ils sont différents de ceux utilisés pendant nos travaux.Enfin, nous avons abordé la question des traitements à appliquer au signal capturé par la caméra. Nous avons proposé des traitements en temps réel sur la luminosité dans le but d’augmenter la luminosité dans les zones sombres de l’image et de baisser la luminosité dans les zones qui éblouissent le patient. Nous avons montré les limitations de l’imagerie classique et la nécessité de travailler sur des images HDR (high dynamic range) Nous avons comparé plusieurs méthodes pour permettre l’affichage de ces images HDR sur les écrans de plus faible dynamique, en recherchant les caractéristiques de l’image que ces méthodes doivent préserver au mieux, et en prenant en compte les performances visuelles des utilisateurs potentiels. Nous avons aussi proposé des traitements sur la couleur en augmentant le contraste et la saturation pour rendre les images mieux perceptibles par les patients qui souffrent de troubles de vision des couleurs. / This thesis is part of a project conducted by the LGI2P research center (IMT Mines Ales). The project's final aim is to help people with vision disorders suffering from retinitis pigmentosa and glaucoma get back to work and improve their daily lives. The final device is designed to help people in their mobility activities: detecting obstacles, searching for visual signals, by addressing problems related to dazzling and haemeralopia affecting these potential users.The research of this thesis has several contributions to the project. First of all, parameters characterizing the residual vision of each user had to be defined. Indeed, each patient has his own light comfort conditions, which depend in particular on his pathology's progress: at each stage of the evolution of their disease, patients have specific minimum luminosity limits below which they no longer perceive the details in a scene, and also on the maximum luminosity above which they feel discomfort and pain. The definition of these limitations in luminosity will make it possible to parameterize the device and adapt it to each user. But there is no method to measure these limiting luminance levels. We have therefore participated in the design and development of specialized tests, and in the conduct of trials on visually impaired subjects, as part of a clinical trial led by the Nîmes University Hospital and the ARAMAV (institute specializing in low vision functional rehabilitation), for medical research. We have also proposed a new test to measure sensitivity to chromatic contrast, always with the aim of better adjusting the images displayed to users' vision.Then, we developed a prototype of the device (cameras and virtual reality video headset). In order to achieve these results, we had to choose the image capture and display equipment. A colorimetric calibration work on these equipments allowed us to link digital quantities (RGB code) and physical quantities (luminance and chrominance). This stage is required to perform the above tests under physically known conditions. It also allowed us to define the physical characteristics of the equipment that would be selected to produce the final product, whether they are different from those required during our work.Finally, we discussed the processing to be applied to the signal captured by the camera. We have proposed real-time brightness treatments to increase brightness in dark areas of the image and decrease brightness in areas that dazzle the patient. We have presented the limitations of conventional imaging and the necessity to work on HDR (high dynamic range) images. We have compared several methods to allow the display of these HDR images on screens with lower dynamic range, looking for the image characteristics that these methods should better preserve, and taking into consideration the visual performance of potential users. We have also suggested color treatments by increasing contrast and saturation to make images more perceptible to patients with color vision disorders.

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ? / In this work, image based estimation methods, also known as direct methods, are studied which avoid feature extraction and matching completely. Cost functions use raw pixels as measurements and the goal is to produce precise 3D pose and structure estimates. The cost functions presented minimize the sensor error, because measurements are not transformed or modified. In photometric camera pose estimation, 3D rotation and translation parameters are estimated by minimizing a sequence of image based cost functions, which are non-linear due to perspective projection and lens distortion. In image based structure refinement, on the other hand, 3D structure is refined using a number of additional views and an image based cost metric. Image based estimation methods are usable whenever the Lambertian illumination assumption holds, where 3D points have constant color despite viewing angle. The main application domains in this work are indoor 3D reconstructions, robotics and augmented reality. The overall project goal is to improve image based estimation methods, and to produce computationally efficient methods which can be accomodated into real applications. The main questions for this work are : What is an efficient formulation for an image based 3D pose estimation and structure refinement task ? How to organize computation to enable an efficient real-time implementation ? What are the practical considerations of using image based estimation methods in applications such as augmented reality and 3D reconstruction ?