La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes. / We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.

Le sentiment de présence, but ultime de la réalité virtuelle, peut être atteint en stimulant ces quatre "piliers" que sont l'immersion, l'interaction, le maintien de la boucle action-perception et les émotions. Notre objectif est de proposer des méthodes visant à améliorer ce sentiment en s'intéressant plus particulièrement à la perception visuelle. Dans cette optique, nous proposons tout d'abord une solution appliquant le rendu stéréoscopique sur carte graphique. Traditionnellement effectué en deux passes, ce rendu se fait maintenant en une passe, grâce aux shaders et au regroupement de certaines phases de calculs. Nous étendons ce processus de rendu aux tout récents écrans auto-stéréoscopiques nécessitant plus de deux vues, améliorant d'autant plus les temps de calcul. Pour assurer l'immersion et l'interaction, voire l'émotion, nous avons aussi cherché à diminuer la fatigue oculaire induite par les images stéréoscopiques, en ajoutant un flou de profondeur de champ. Ce flou, obtenu en temps réel grâce aux shaders, permet également d'inviter l'observateur à focaliser son attention sur des objets précis au lieu de laisser son regard errer. Enfin, un objectif pour obtenir le sentiment de présence est de faire croire à l'utilisateur qu'il existe dans la scène virtuelle. Notre contribution à ce but, est d'intégrer de manière naturelle une représentation virtuelle de l'utilisateur. Pour cela, nous créons par visual hulls un avatar à l'aide de caméras. Finalement, cet avatar est employé pour illustrer la présence de l'utilisateur au travers de surfaces réfléchissantes virtuelles ou de la projection de son ombre / The feeling of presence is the ultimate goal of a virtual reality system. It can be achieved by stimulating its four pillars that are immersion, interaction, consistency of the action-perception loop and emotions. Our objective is submit methods which could increase this feeling of presence. We will especially focus on visual perception. First, we present a solution applying the stereoscopic rendering on GPU. Using the latest shaders extensions, we join the traditional two passes to a single that reduce redundant computation. Our method can also be applied on recent autostereoscopic screens which need about ten different view points. The second contribution refers to eyestrain caused when a user watches stereoscopic images during a long time. We propose to use the graphic cards to render, in real time, a blur on problematic areas thus the user will focus on the others. We also use blur to point out some objects of the virtual scene that we considerate as important and avoid to let user's eye wander. Finally, we propose a method to increase the presence of the user into the virtual environment. An avatar, based on images taken from several cameras and visual hull method, is first build. In a second stage, the avatar is integrated into the virtual scene so it seems natural to the user. Thus we use reflective surfaces like mirrors or virtual lights interactions like shadows

Cette thèse vise à avoir une meilleure compréhension des mécanismes qui sous-tendent la perception visuelle spatiale, et plus particulièrement la perception de la distance égocentrique. Nous cherchons à déterminer les raisons qui font que la distance égocentrique est, en général, sous-estimée lorsque l’observateur est placé dans un dispositif de réalité virtuelle par rapport au monde réel. Dans une première étude, nous montrons que la présence d’indice visuels liés à la parallaxe du mouvement de la tête impacte le comportement de suivi de véhicule des conducteurs en simulateur de conduite de manière différente selon qu’elle est couplée à une vision stéréoscopique ou non. Dans la seconde étude, nous montrons que l’étude de la variabilité interpersonnelle peut se révéler très informative et conduit à penser que le phénomène de sous-estimation de la distance en réalité virtuelle n’est pas généralisable à tous les participants. Dans la troisième étude, par le biais d’un modèle d’identification de facteur de gains, nous proposons une méthode afin de distinguer l’effet des erreurs de perceptions de distance égocentrique de celui des erreurs de perception de la distance parcourue. Les résultats de ces études montrent que la variabilité inter-individuelle doit être prise en compte dans l’évaluation de la perception spatiale. Ils apportent de plus des éléments de preuve en faveur d’une utilisation de différents référentiels spatiaux dépendant de la tâche demandée et pouvant varier significativement d’un individu à l’autre. Ces résultats sont à prendre en compte dès lors qu’on cherche à généraliser au monde réel les résultats d’études effectuées grâce à la réalité virtuelle. / This thesis aims to better understand the mechanisms that underlie spatial visual perception, and more particularly the perception of egocentric distance. We seek to determine the reasons that egocentric distance is, in general, underestimated when the observer is placed in a virtual reality device in relation to the real world. In a first study, we show that the presence of visual cues related to the head motion parallax impacts the drivers behavior in driving simulator differently depending on whether it is coupled to a stereoscopic vision or not. In the second study, we show that the analyse of interpersonal variability can be very informative and leads us to believe that the phenomenon of underestimation of distance in virtual reality is not generalizable to all participants. In the third study, using a gain factor identification model, we propose a method to distinguish the effect of egocentric distance perceptual errors from the perception of distance traveled. The results of these studies show that inter-individual variability must be taken into account in the evaluation of spatial perception. In addition, its provide evidence for the use of different spatial referenceframe that depend on the task requested and can vary significantly from one individual to another. These results are to be taken into account when one seeks to generalize to the real world the results of studies carried out thanks to the virtual reality.

La grande distribution affiche une politique anti-gaspillage et a ainsi proposé dès 2014des Fruits et Légumes (F&Ls) « moches » [109] à la vente. Mais ces ventes sont temporaires et locales,et ont des effets peu étudiés sur le comportement des consommateurs. Nous proposons ici d'étudier si un magasin virtuel immersif (dans lequel nous contrôlons les F&Ls) peut être utilisé pour étudier le comportement des consommateurs confronté à des F&Ls « moches ». Afin d'avoir assez de F&Ls pour remplir le magasin virtuel, nous avons généré des F&Ls d'apparences variables de manière semi-procédurale comme suit :(1) nous générons le maillage avec des Cylindres Généralisés (CGs) [6] ; puis (2) gêneront les couleurs avec un système de particule.Nous avons réalisé 2 études comparatives (resp.N=142 et N=196). L'une portant sur le comportement consommateur lorsque les F&Ls sont plus ou moins anormaux (8F&Ls séparés en 4 groupes : sans déformation,légèrement déformés, déformés et fortement déformés). Ces différences n'avaient pas d'incidences sur le comportement. L'autre portait sur le comportement consommateur lorsque l'environnement est plus ou moins immersif (8 F&Ls sans déformation et 8 F&Ls déformés, séparés en 3groupes : magasin laboratoire, magasin virtuel non immersif et magasin virtuel immersif). Il existe des différences entre ces environnements sur le comportement. Enfin, nous avons étudié si la représentation virtuelle du consommateur avait un effet lors de l'achat des produits (incluant, mais ne se limitant pas aux F&Ls) nous avons donc réalisé une étude (N=29) avec 2 groupes : avatar obèse et avatar non-obèse. Il existe des différences localisées entre ces représentations sur le comportement consommateur. / The retail sector has an anti-waste policyand has therefore offered “ugly” FaVs (Fruits and Vegetables) for sale as early as 2014 [109]. But these sales remain temporary and local and have little studied effects on consumer behavior. We propose here to study if an immersive virtual store (in which we control the FaVs) can be used to study consumer behavior confronted to “ugly” FaVs To have enough “ugly” FaVs to fill the virtual store, we developed a method capable of generatings emiprocedural FaVs. To do so we: (1) generate the mesh with Generalized Cylinders (GCs) [6]; then (2) generate the colors with a particle system.We conducted 2 comparative studies (N=142 andN=196 respectively). The first study focused on consumer behavior when the FaVs are abnormal (8 FaVs separated into 4groups: no deformation, slightly deformed, deformed and strongly deformed). These differences had no impact on consumer behavior. The other study focused on consumer behavior when the environment is more or less immersive (8 FaVs without deformation and 8 FaVs with deformation, separated into 3 groups: laboratory store, non immersive virtual store and immersive virtual store).There are differences between these environments on consumer behavior. Finally, we studied if the virtual representation of the consumer had an impact during the purchase of products (including, but not limited to, FaVs). To do so we carried out a third consumer study (N=29) (2groups: obese avatar and non-obese avatar). There are very localized differences between these representations on consumer behavior.

Les domaines de la réalité virtuelle et du jeu vidéo convoquent les problématiques émotionnelles dans leurs objectifs respectifs de présence et de flow zone. Cependant, la question des méthodologies d'induction d'émotions dans les environnements virtuels de ces médiums n'a pas été largement questionnée. Après avoir défini ce que sont les émotions dans la littérature philosophique, psychologiste et physiologiste, nous cherchons à montrer les liens supposés existants entre l'émotion et les états extatiques de présence en réalité virtuelle et de flow zone dans les jeux vidéo. Nous commençons donc par montrer combien le niveau de connaissance des médiums peut influencer la sensibilité aux inductions d'émotions dans les environnements virtuels. Puis nous mettons en place une stratégie inductive d'émotions basée sur une gestion itérative des niveaux de challenge en lien avec les niveaux de compétences acquises.Nous avons validé au travers de deux expériences empiriques ayant impliquées 176 participants, une méthodologie d'induction d'émotions basée sur un schéma circomplexe. Ce schéma, construit autour de la valence et le niveau d'activation des émotions, permet d'induire des émotions dans les cinq composantes essentielles de la conception d'environnements virtuels pour la réalité virtuelle ou les jeux vidéo : la chromatique, la luminosité, la vitesse des mouvements, la dimension des espaces et le volume des interactions sociales.Mots clés : réalité virtuelle, jeu vidéo, émotions, présence, flow zone. / The fields of virtual reality and video games summon the emotional issues in their respective goals of presence and flow area. However the question of methodologies for inducing emotions in virtual environments in these mediums has not yet been widely questioned. After defining what emotions are in the philosophical, as in psychologist and physiologist literature, we seek to show existing links between emotion and states of presence in virtual reality and flow zone in video games. We show how the level of knowledge of the mediums may influence susceptibility to induction of emotions in virtual environments. Then we define a way of inducing emotions based on an iterative level management challenge in relation to the skill level.We validated through two empirical experiments that involved 176 participants a methodology for inducing emotions based on a circumplex pattern. This scheme built around the valence and arousal level of emotion, able to induce emotions in the five essential items component of the design of virtual environments for virtual reality and video games: color, brightness, movement speed, size of the space, and the volume of social interactions.Keywords: virtual reality, video games, emotions, presence, flow area.

La perception visuelle est un élément déterminant pour interagir avec notre environnement. Lors des activités physiques et sportives, la prise d'informations visuelles permet notamment à un athlète d'extraire et de sélectionner les indices visuels nécessaires pour anticiper le mouvement adverse. L'analyse de cette prise d'informations visuelles a fait l'objet de nombreuses recherches dans le domaine sportif, cependant toutes les méthodes employées semblent limitées sur le plan fonctionnel ou matériel. Ce travail a pour objectif l'évaluation et la mise en oeuvre d'une nouvelle méthodologie d'analyse de la prise d'informations visuelles fondée sur l'utilisation des environnements virtuels. Cette méthodologie est appliquée à l'activité du gardien de but de handball en situation de duel. Dans un premier temps, nous comparons les performances des gardiens de but face à notre méthodologie avec ceux obtenus face à une séquence filmée afin de démontrer l'intérêt des environnements virtuels dans ce domaine. Puis, nous abordons la mise en place de notre méthodologie en nous focalisant sur l'influence du niveau de détail et de la représentation graphique de l'action de tir sur la performance du gardien de but de handball. Enfin, nous utilisons notre méthodologie pour étudier la prise d'informations visuelles du gardien de but de handball. Plus précisément, nous estimons l'importance relative des informations visuelles issues de la trajectoire du ballon et du mouvement de tir

La Réalité Virtuelle propose un nouvel outil d'investigation des systèmes biologiques complexes : l'expérimentation in virtuo. La modélisation de tels systèmes implique nécessairement celle de la cinétique de réactions biochimiques. Dans ce contexte, nous soutenons la thèse qu'il est possible d'expérimenter in virtuo la cinétique biochimique d'un système biologique complexe par des systèmes multi-agents (SMA) ordonnancés sur la base d'itérations asynchrones et chaotiques. Cette cinétique peut être abordée selon trois échelles de modélisation : macroscopique, mésoscopique et microscopique. Ainsi, nous proposons d'abord un SMA capable de simuler cette dernière à l'échelle macroscopique. Nous proposons ensuite un SMA pour la cinétique à l'échelle microscopique. Afin d'illustrer ces modèles, nous les appliquons à l'exemple de la coagulation du sang. Le modèle macroscopique est illustré sur le test du temps de Quick, tandis que le modèle microscopique est appliqué à la réaction d'activation de la prothrombine en thrombine.

Cette thèse décrit la plate-forme EVI3d, dont le but premier est d'intégrer tous les résultats récents de la communication humain-machine pour améliorer les interactions en Réalité Virtuelle (RV). En termes d'architecture logicielle, le modèle proposé consiste à gérer des événements qui transitent d'un module interactif vers un autre au travers d'un serveur distribué. Afin de soulager les calculateurs 3d de certaines charges de traitement liées à l'interaction, plusieurs périphériques et modules sont ainsi exportés sur d'autres machines. Les systèmes logiciels actuels de RV ne permettent pas cette gestion distribuée des interactions immersives. Dans ce contexte, la plate-forme EVI3d intègre également un ensemble logiciel pour le développement d'applications sur divers dispositifs immersifs. Ce module permet entre autre de gérer dynamiquement la configuration géométrique et le degré d'immersion de l'application en accord avec celle du dispositif. L'une des fonctionnalités originales de cet ensemble logiciel vise à libérer la main de tout autre périphérique que ceux associés à la manipulation des objets. Pour gérer le déplacement de l'utilisateur au sein de scènes virtuels, nous proposons une extension du concept de véhicule. En analysant les mouvements de la tête de l'utilisateur par rapport à un référentiel neutre préalablement calibré, le principe consiste à utiliser cet écart pour paramétrer le déplacement du véhicule dans le monde virtuel. Cette thèse prouve enfin la faisabilité d'une approche multimodale des interactions en RV. Un démonstrateur présente notamment des interactions immersives qui utilisent une synchronisation temporelle des machines pour fusionner des événements interactifs issus de systèmes de reconnaissance à forte latence (geste, voix). Notons que la plate-forme EVI3d est entre autre validée par son utilisation dans trois applications à caractère scientifique : Mécanique des Fluides, Visualisation d'ADN et CAO en environnement immersif.

Dans les hautes vallées alpines, on observe des conflits d'intérêts entre l'économie du ski et les objectifs de préservation de la biodiversité dans le cadre du changement climatique global. Les enjeux sont importants et la concertation en matière d'aménagement devient très difficile Nous avons cherché à développer une méthodologie et un instrument d'aide à la concertation par heuristique visuelle. L'expérimentation de cet instrument est conduite sur le territoire de la Savoie et de la Haute Savoie. Cette thèse se développe en trois temps. Le premier temps définit le contexte général du changement climatique d'un point de vue global. Nous établissons ensuite un changement d'échelle pour nous rapprocher de l'échelon local. Il s'agit d'identifier les mécanismes d'émergence des conflits d'intérêts en fonction des enjeux simultanés économie du ski/préservation de la biodiversité. Le second temps développe une méthodologie pour aider la concertation autour de ce type de conflits par simulation interactive. C'est l'approche par heuristique visuelle. Nous montrons comment, une base de données doit être conçue, pour permettre la mise en œuvre de ce concept. Nous définissons également les types d'outils qui doivent être utilisés ainsi que leurs agencements pour la construction de l'environnement de simulation. Cette partie propose également une stratégie particulière d'amélioration de l'information continue quand il apparaît un besoin d'interpolation sur un faible jeu de données. Enfin, le dernier temps développe l'expérimentation sur notre terrain d'étude.

Le docking moléculaire est une tâche complexe, difficile à appréhender pour une personne seule. C'est pourquoi, nous nous proposons d'étudier la distribution cognitive des charges de travail à travers la collaboration. Une plate-forme distribuée de déformation moléculaire interactive a été mise en place afin d'étudier les avantages mais aussi les limites et les contraintes du travail collaboratif étroitement couplé. Cette première étude, basée sur trois expérimentations, a permis de valider l'intérêt d'une approche collaborative pour des tâches complexes à fort couplage. Cependant, elle a mis en évidence des conflits de coordination ainsi que des problématiques liées à la dynamique d'un groupe. Suite à cette première étude, nous avons proposés une nouvelle configuration de travail associée à des métaphores de communication haptiques afin d'améliorer la communication et les interactions entre les différents collaborateurs. Une dernière expérimentation avec des biologistes a permis de montrer l'utilité de la communication haptique pour le travail collaboratif sur des tâches complexes à fort couplage.