Cette thèse traite de la modélisation et la diffusion de grandes scènes 3D naturelles. Nous visons à fournir des techniques pour permettre à des utilisateurs de naviguer à distance dans une scène 3D naturelle, tout en assurant la cohérence botanique et l'interactivité.<br>Tout d'abord, nous fournissons une technique de compression multi-résolution, fondée sur la normalisation, l'instanciation, la décorrélation, et sur le codage entropique des informations géometriques pour des modèles de plantes. Ensuite, nous étudions la transmission efficace de ces objets 3D. L'algorithme de paquétisation proposé fonctionne pour la plupart des représentations multi-résolution d'objet 3D.<br>Nous validons les techniques de paquétisation par des expériences sur un WAN (Wide Area Network), avec et sans contrôle de congestion (Datagram Congestion Control Protocol). <br>Enfin, nous abordons les questions du streaming au niveau de la scène. Nous optimisons le traitement des requêtes du côté serveur en fournissant une structure de données adaptée et nous préparons le terrain pour nos travaux futurs sur l'évolutivité et le déploiement de systèmes distribués de streaming 3D.

Le projet SpIn définit un modèle d'interface tridimensionnelle pour le travail coopératif synchrone. Il s'agit de recréer virtuellement les conditions d'une réunion, en augmentant (par rapport au monde réel) les possibilités des utilisateurs.<br />Dans les réunions de petits groupes médiatisées, nous avons constaté les limites des interfaces 2D habituelles, et des solutions utilisant la vidéo pour établir une coopération. Nos travaux portent sur une nouvelle organisation de l'espace de travail, en trois dimensions. Il a fallu pour cela développer un système d'interaction, des couches les plus basses aux primitives d'interaction de haut niveau, afin de créer un modèle cohérent et complet, permettant d'interagir sur les documents partagés de la réunion, et avec ses interlocuteurs. Ce modèle est composé de règles de conception qui concernent aussi bien les dispositifs d'entrée que de sortie, il est basé sur des évaluations et sur une analyse des problèmes de perception de l'utilisateur face à un environnement 3D virtuel.<br />A partir de la définition de ces méthodes d'interaction de base du modèle, nous construisons des primitives d'interaction de haut niveau comme les menus 3D. Nous décrivons également nos choix en matière de communication, en tenant compte des paramètres essentiels de la coopération dans une réunion. La représentation des acteurs, sous forme de clones 3D, et des documents se fait dans le même espace, permettant de créer une cohérence visuelle forte de la scène, qui aide les utilisateurs dans la compréhension et la réalisation de leur tâche. Les clones étant entièrement paramétrables, on les anime pour informer un utilisateur sur l'activité de ses interlocuteurs.<br />Cet ensemble, basé sur la synthèse d'image temps réel et une démarche d'évaluations, forme un outil permettant d'organiser des réunions entre personnes distantes, comme des réunions de bureau d'étude, de la télévente, de l'enseignement à distance, etc.

Ce m??moire porte sur les jeux de r??le participatifs en environnement virtuel (JRPEV), un ph??nom??ne qui, dans le champ des game studies, n???a jamais ??t?? d??fini jusqu???ici. Une d??finition est donc apport??e afin d?????tablir leur sp??cificit?? au regard des environnements virtuels, des jeux vid??o, des MMOG et des jeux de r??le traditionnels (sur table et grandeur nature) tout en mettant en lumi??re les dimensions qui en font un hybride mi-jeu vid??o, mi-jeu de r??le. Pour ce faire, les JRPEV seront d??finis en tant que jeux, jeux de r??le, pratiques repr??sentatives de la culture participative (Jenkins 2006) et environnements virtuels. ?? la suite de cette d??finition, un mod??le th??orique flexible sera d??crit qui rendra compte de l???exp??rience vid??oludique des joueurs au sein des JRPEV. Pour ce faire, des alternatives aux notions pol??miques et polys??miques de ??cercle magique?? et ??d???immersion??, tr??s pr??sentes dans la litt??rature scientifique portant sur les jeux de r??le et les jeux vid??o, sont d???abord apport??es : le cadrage de l???exp??rience vid??oludique et l???allocation des ressources attentionnelles. De plus, le mod??le int??gre les styles de jeu et les postures interpr??tatives privil??gi??es par les joueurs sur les ??uvres dont les JRPEV constituent une adaptation vid??oludique ou sur les textes appartenant ?? l???architexte (Genette 1982) de ces JRPEV. En effet, ces styles de jeu et ces postures interpr??tatives contribuent ?? structurer l???exp??rience vid??oludique. Enfin, ce mod??le inclura la dynamique sociale dans laquelle est v??cue l???exp??rience vid??oludique sur les JRPEV en mobilisant le concept de ??communaut?? herm??neutique conflictuelle??. Cette entreprise conjoint les perspectives herm??neutique et sociocritique dans l?????tude de jeux per??us comme une m??diation ludique (Genvo 2011) (Henriot 1989), soit comme la rencontre d???une attitude et d???une structure ludiques. Elle repose ?? la fois sur un travail m??tath??orique et sur l???observation des jeux de r??le gor??ens, des JRPEV organis??s sur Second Life qui illustreront de mani??re concr??te les sp??cificit??s de ce ph??nom??ne vid??oludique.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

La compréhension de la dynamique oculo-vestibulaire pendant un réarrangement sensoriel dans le système nerveux central joue un rôle extrêmement important pour mieux appréhender la perception humaine, et améliore la technologie dans de nombreux domaines de l'ingénierie. Par ailleurs, le conflit sensoriel qui apparaît entre les systèmes oculaire, vestibulaire et proprioceptif pendant un réarrangement sensoriel à certains instants peut affecter grandement la performance d'un utilisateur dans un grand nombre d'applications telles que la simulation de vol/conduite, les systèmes d'affichage 3D échelle 1, les affichages de grande taille, les serious games, etc. De fait, connaître la condition dans laquelle le conflit sensoriel apparaît est d'une grande importance. Cette étude a pour objectif la compréhension de la nature du conflit sensoriel par la modélisation et des études subjectives, ainsi que les conditions dans lesquelles ce conflit apparaît dans un environnement synthétique. Les résultats sont ensuite utilisés pour concevoir de meilleures interfaces de navigation et de manipulation dans des environnements virtuels immersifs et interactifs. Plusieurs éléments, tels que la surface/taille projetée du balancement postural d'un utilisateur (mesurée par le centre de gravité) après exposition au conflit, la différence entre les composantes hautes et basses fréquences du balancement, et le temps d'exposition, seront proposés comme indicateurs de ce conflit dans des processus temps réel. Enfin, la méthode proposée sera utilisée pour évaluer plusieurs interfaces de navigation. Celles-ci sont basées sur des périphériques, la marche sur place, la reconnaissance vocale, les supports nomades, ou une fusion multi-sensorielle. Nous montrerons que les interfaces naturelles engendrent moins de conflit que celles artificielles. De plus, les trajectoires de l'utilisateur et de mauvais réglages des paramètres de navigation peuvent amener à un conflit plus élevé. En résumé, pour éviter un inconfort général de l'utilisateur, les paramètres de navigation doivent être réglés dans un certain intervalle. / Understanding oculo-vestibular dynamics during sensory rearrangement in the central nervous system plays an extremely important role in better understanding human perception, and improves the technology in many engineering fields. Besides, the sensory conflict that occurs between ocular, vestibular and proprioception during sensory rearrangement at certain occasions might adversely affect the user performance in a wide variety of domains including flight/car simulators, scale-one 3D systems, large-scale displays, serious games, and so on. Therefore, knowing the condition in which the sensory conflict happens has a great deal of importance. This study aims at understanding the nature of sensory conflict by modeling and subjective studies, and the conditions in which it takes place in a synthetic environment. The results then will be used to design better navigation and manipulation interfaces in immersive and interactive Virtual Environments. A set of novel features including the area/shape of the user's COG post-exposure postural sway, the difference between LF and HF components of the sway in a frequency space, and the time of exposure will be proposed as indicators of this conflict in real-time processes. Finally, the proposed method will be used to evaluate a set of navigation interfaces. The interfaces include device-based, walking in place, speech processing, iDevice-based, and finally sensor fusion. It will be shown that naturally inspired interfaces create less conflict comparing to artificial ones. Moreover, user trajectories and inappropriate settings of navigation parameters can lead to higher conflict. In summary, to avoid user's general discomfort, the parameters of navigation need to be set in a certain range.

La réalité virtuelle joue un rôle majeur dans le développement de nouvelles technologies de l’éducation, et permet de développer des environnements virtuels pour l’apprentissage, dans lesquels, des agents virtuels intelligents jouent le rôle de tuteur. Ces agents sont censés aider les utilisateurs humains à apprendre et appliquer des procédures ayant des objectifs d’apprentissage prédéfini dans différents domaines. Nous travaillons sur la construction d’un système temps-réel capable d’entamer une interaction naturelle avec un utilisateur dans un Environnement d’Apprentissage Virtuel (EAV). Afin d’implémenter ce modèle, nous proposons d’utiliser MASCARET (Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training) comme modèle d’Environnement Virtuel Intelligent (EVI) afin de représenter la base de connaissances des agents, et de modéliser la sémantique de l’environnement virtuel et des activités des utilisateurs. Afin de formaliser l’intention des agents, nous implémentons un module cognitif dans MASCARET inspiré par l’architecture BDI (Belief-Desire-Intention) qui nous permet de générer des intentions de haut-niveau pour les agents. Dans notre modèle, ces agents sont représentés par des Agents Conversationnels Animés (ACA), qui sont basés sur la plateforme SAIBA (Situation, Agent, Intention, Behavior, Animation). Les agents conversationnels de l’environnement ont des intentions communicatives qui sont transmises à l’utilisateur via des canaux de communication naturels, notamment les actes communicatifs et les comportements verbaux et non-verbaux. Afin d’évaluer notre modèle, nous l’implémentons dans un scénario pédagogique concret pour l’apprentissage des procédures d’analyse de sang dans un laboratoire biomédical. Nous utilisons cette application afin de réaliser une expérimentation et une étude pour valider les propositions de notre modèle. L’hypothèse de notre étude est de supposer que la présence d’un ACA dans un Environnement Virtuel (EV) améliore la performance du processus d’apprentissage (ou qu’au moins, ça ne le dégrade pas) dans le contexte de l’apprentissage d’une procédure spécifique. La performance de l’utilisateur est représentée par le temps requis pour l’exécution de la procédure, le nombre d’erreurs commises et le nombre de demande d’assistance. Nous analysons les résultats de cette évaluation, ce qui confirme partiellement l’hypothèse de l’expérience et affirme que la présence de l’ACA dans l’EV ne dégrade pas la performance de l’apprenant dans le contexte de l’apprentissage d’une procédure. / Virtual Reality plays a major role in developing new educational methodologies, and allows to develop virtual environments for learning where intelligent virtual agents play the role of tutors. These agents are expected to help human users to learn and apply domain-specific procedures with predefined learning outcomes. We work on building a real-time system able to sustain natural interaction with the user in a Virtual Learning Environment (VLE). To implement this model, we propose to use the Multi-Agent System for Collaborative, Adaptive & Realistic Environments for Training (MASCARET) as an Intelligent Virtual Environment (IVE) model that provides the knowledge base to the agents and model the semantic of the virtual environment and user’s activities. To formalize the intention of the agents, we implement a cognitive module within MASCARET inspired by BDI (Belief-Desire-Intention) architecture that permits us to generate high-level intentions for the agents. Furthermore, we integrate Embodied Conversational Agents (ECA), which are based on the SAIBA (Situation, Agent, Intention, Behavior, Animation) framework. The embodied agents of the environment have communicative intentions that are transmitted to the user through natural communication channels, namely the verbal and non-verbal communicative acts and behaviors of the ECAs. To evaluate our model, we implement it in a concrete pedagogical scenario for learning blood analysis procedures in a biomedical laboratory. We use this application to settle an experiment to validate the propositions of our model. The hypothesis of this experiment is to assume that the presence of anECA in a Virtual Environment (VE) enhances the learning performance (or at least does not degrade it) in the context of a learning procedure. The performance is represented by the time of execution, the number of committed errors and the number of requests for assistance. We analyze the results of this evaluation, which partially confirms the hypothesis of the experiment and assure that having an ECA in the VLE does not degrade the performance of the learner in the context of a learning procedure.

Les études de psychologie des industries et des organisations montrent que la compréhension partagée (CP) conditionne la performance collective. Nous mobilisons le concept de la Team Situation Awareness pour identifier les éléments qui concourent à la CP et à son évolution au cours de l'action. Une analyse en handball nous a permis d'identifier (a) 4 formes typiques d'articulation des activités individuelles, (b) 7 contenus typiques et (c) 6 processus typiques interindividuels. Nos résultats montrent que les formes de partage sont locales et ponctuelles, alternant entre trois modes de coordination en cours d'action : (1) application du plan, (2) ajustement transitoire en fin d’action, (3) adaptation en temps réel au contexte de jeu. L’analyse de la dynamique du partage met en évidence que le sentiment de performance collective est subordonné à une fluidité dans l'enchaînement des actions et au jugement de sécurité quant à l'évaluation de la situation. L'analyse en théâtre d'improvisation conforte la classification proposée dans la première étude. Notre étude a permis d'apporter des éléments sur les activités collaboratives en situation dynamique, et notamment sur la fonction de la CP qui peut être considérée comme un phénomène dynamique dont la principale fonction est de maintenir un potentiel de coordination suffisant entre les partenaires d'une équipe. À partir de nos résultats, nous proposons une modélisation qui rend compte des mécanismes de CP à deux échelles : (1) à l'échelle de l'équipe, nous proposons une modélisation qui renseigne l'alternance des modes de coordination en fonction des contraintes de l'environnement ; (2) à une échelle locale, nous proposons une modélisation qui rend compte de la régulation du partage entre les agent de l'équipe. / In the field of I/O psychology, most of studies estimate that team performance under temporal pressure is directly related to shared understanding (SU) within a team. In order to account for the dynamics of SU within a team, we have studied the evolution of contents, forms and mechanisms of the sharing process, as a function of context variability and temporal pressure. We primarily work in line with the Team Situation Awareness model, that is usually mobilized in work situations. A first study allowed us to identify the various elements of SU and its dynamics in feminine handball competitions. The analysis permitted to identify (a) four typical forms of shared understanding, (b) seven typical contents shared and (c) six typical interaction processes between teammates. Results shows that sharing forms are local and punctual, alternating between two main modes of SU : either a preestablished plan follow-up, together with possible adaptation to conclude a given action, or a real-time adaptation to the context of action. A second study deals with improvisational theatre, regulated in real time by the director through earphones. Our results show that the sharing typical forms, contents and processes that rise in this activity also correspond to the classification we made in the first field study, which strengthens the genericity of our proposal. These results invite us to think that online regulation may either enhance or hamper the SU and thus the collective performance, respectively by improving the update and interaction processes between actors, or by overloading the cognitive activity of the team members in the course of action. Based on these results, we propose to consider the SU as a process that works over two space and time scales: on the global scale, SU may envolve over long periods within a team; and on a local scale, SU is actually developed through interpersonal updating and in situ adjustment processes. In order to account for these two scales, we proposed a team coordination model together with an interindividual regulation model. Our work opens the way to the study of the correlation between local mechanisms of shared understanding and the global dynamics of a collaborative activity.

Nos travaux portent sur la scénarisation dans les environnements virtuels pour la formation. Nous nous intéressons particulièrement à la formation dans des environnements sociotechniques complexes comme par exemple la gestion des risques. Dans ces environnements, la variabilité des situations que les opérateurs peuvent rencontrer rend difficile la mise en place d'une formation exhaustive. Il est pourtant crucial d'offrir les moyens permettant l'entrainement à ces situations et les environnements virtuels peuvent apporter des solutions efficaces. En effet, ils peuvent offrir une grande liberté d'action et permettre un apprentissage de type essai-erreur. Le contrôle pédagogique de ces environnements peut alors permettre de personnaliser et d’adapter les contenus à chaque apprenant. Cependant, il est difficile pour les concepteurs d'environnements virtuels d'imaginer, de concevoir et décrire toutes les séquences d'actions et d'événements menant aux situations d'intérêt tout en autorisant une grande liberté d'action pour les apprenants. L'approche de description exhaustive se révèle trop coûteuse, voire vouée à l'échec. Pour palier au goulet d'étranglement de l'écriture et du codage des contenus, nous proposons de générer dynamiquement l'enchainement des situations d'apprentissage au sein d'une simulation. L'architecture TAILOR que nous proposons permet la scénarisation dynamique de chaque session d'apprentissage, en accord avec un modèle du parcours d'apprentissage, en utilisant des modèles à base de connaissances. Pour cela, nous avons tout d'abord proposé le langage \textsc{World-DL} permettant de produire du contenu scénaristique reconfigurable, adaptable et générique pour des environnements virtuels pour la formation. Ce langage permet à la fois de décrire le modèle du monde, les objectifs scénaristiques ainsi que de maintenir la base de connaissances liée à la simulation.Afin de ne pas s'appuyer sur une élicitation du domaine d'apprentissage, nous avons proposé un modèle de l'apprenant opérationnalisant la théorie de la Zone Proximale de Développement. Celui-ci repose sur un espace vectoriel de classes de situation auxquelles sont associées des valeurs de croyance sur la capacité de l'apprenant à gérer les situations qu'elles décrivent. La scénarisation que nous proposons est essentiellement intra-diégétique : elle s'intègre au monde simulé par l'environnement virtuel. Pour cela, nous proposons une méthode de génération dynamique et adaptative de situations d'apprentissage s'appuyant sur des modèles de l'activité et de la causalité inspirés d'analyses ergonomiques. Par ailleurs, les situations d'apprentissage générées sont articulées sous la forme d'une fiction grâce au processus de diégétisation inspiré du courant structuraliste de la sémiologie. Les travaux sur l'architecture TAILOR ont donné naissance au moteur du même nom au sein de la plateforme logicielle HUMANS. L'approche a été appliquée dans un environnement virtuel pour la formation des assembleurs en aéronautique. / This work addresses the issues of the specification of the scenario in virtual environment for training. We especially address adult lifelong training in complex domains where technical systems are difficult to apprehend and human factors are critical. Workers have to be trained to react to a wide range of situations. Virtual environment can provide this kind of training by offering them the possibility to experiment different behavior in a situation. Yet to foster learning, such environment should provide a wide range of appealing scenarios adapted to learners’ need. The design and the production of all possible scenarios and of all their adaptations is a tedious task. It requires designers to imagine and describe every possible sequence of events which leads to interesting learning situation. Such a descriptive approach conflicts with the need for a smoother production process.To tackle the authoring bottleneck, we propose the TAILOR architecture to dynamically generate sequences of learning situations in a simulation. It takes into account a learner profile and expert knowledge informed in semantic models. We used a space of classes of situations coupled with a belief model to represent the Zone of Proximal Development of a learner. Each point of the space images the ability of the learner to handle a kind of situation. As we are essentially dealing with intra-diegetic orchestration, i.e. what is happening in the world depicted by the simulation, we propose to use expert model of the domain. We distinguished three kind of knowledge: world knowledge, activity knowledge and causality knowledge. They are used at runtime to procedurally generate a learning situation which will enlarge the Zone of Proximal Development of the learner.To this end, we design the WORLD-DL language to author scenario content for virtual environment for training in a reconfigurable, adaptable and generic way through an ontological representation. This language is used both to describe scenario objectives and to maintain a knowledge-based world state. Moreover, we operationalize structuralist view of narrative to build a story upon generated learning situation through an automated diegetization process. This process relies on abstract story model describe in the ontological metamodel DIEGETIC.This work have been implemented in the TAILOR engine used in the HUMANS platform. It was used both for aeronautic assembly virtual training and for baby sitter virtual training.

Les simulateurs de conduite permettent d’étudier le comportement humain dans différentes conditions fixées expérimentalement. Un avantage majeur de la simulation est de ne pas exposer le sujet à un risque objectif et que les conditions de test sont "facilement" mises en œuvre et manipulées. Le recours à la simulation pose néanmoins la question de la généralisation et transposition des comportements observés en simulation à la situation réelle de conduite. En effet, il est nécessaire de s’assurer que le simulateur mesure précisément l’objet d’étude sans le modifier ou l’influencer. L’évaluation du degré de validité est donc cruciale dans toute étude sur simulateur qui cherche à susciter des comportements réalistes de conducteurs. Le postulat de notre travail repose donc sur l’idée que la présence est un concept clé pour évaluer la représentativité des comportements de conduite observés en simulation. Toutefois plusieurs difficultés seront à résoudre. Une des plus cruciales repose sur le fait que la présence est difficilement mesurable en temps réel puisque le fait même de chercher à la mesurer peut rompre l’état de présence plus ou moins existant. Ainsi obtenir des indicateurs comportementaux de la présence constitue un véritable enjeu pour caractériser la nature d’un phénomène qui à l’heure actuelle est davantage fantasmé à l’aide de mesures post-expérimentation que concrètement démontré par la mise en évidence de comportements spécifiques reproductibles. / Driving simulators make it possible to study human behavior in different experimentally determined conditions. A major benefit of simulation is that it does not expose the subject to an objective risk and that test conditions are "easily" implemented and manipulated. The use of simulation nevertheless raises the question of the generalization and transposition of the behaviors observed in simulation to the actual driving situation. Indeed, it is necessary to ensure that the simulator accurately measures the object of study without modifying or influencing it. Assessing the degree of validity is therefore crucial in any simulator study that seeks to create realistic driver behaviors. The postulate of our work is therefore based on the idea that presence is a key concept for assessing the representativeness of driving behaviors observed in simulation. However, several difficulties will have to be solved. One of the most crucial is the fact that presence is difficult to measure in real time because the very fact of trying to measure it can break the more or less existing presence state. Thus, to obtain behavioral indicators of presence is a real challenge to characterize the nature of a phenomenon which at present is more fantasized by post-experimental measures than concretely demonstrated by the demonstration of specific reproducible behaviors.

Les émotions jouent un rôle important dans la prise de décision quotidienne. En effet, elles influencent grandement la manière dont les individus interagissent avec leur environnement. Dans cette étude nous avons premièrement conçu un environnement virtuel de conduite automobile, puis créé des scénarios générateurs d’émotions à l’aide de la méthode Belief-Desire-Intention. Nous avons évalué l’efficacité de ces scénarios à l’aide d’un groupe de 30 personnes et d’un casque électroencéphalogramme pour mesurer leurs émotions. On observe que plus de 70% des scénarios conçus avec cette méthode ont généré l’émotion que l’on avait anticipée chez 52% à 76% des participants. La deuxième phase de cette expérience porte sur la réduction d’émotions avec un agent correcteur. Nous avons noté une efficacité de la réduction des émotions allant de 36.4% jusqu’à 70.0% des participants à travers les différents scénarios. / Emotions play an important role in daily decision-making. Indeed, they greatly influence how individuals interact with their environment. In this study, we first designed a virtual driving environment and various emotion-inducing scenarios using the Belief-Desire-Intention method. We evaluated the effectiveness of these scenarios with a group of 30 people and an EEG headset to measure the emotions. Over 70% of scenarios designed with this method induced the emotion that had been anticipated in 52% to 76% of the participants. The second phase of this experiment is the reduction of emotions with a corrective agent. We noted an efficiency in reducing emotions ranging from 36.4% to 70.0% of the participants through the different scenarios.