Thèse doctorat : Informatique : Rennes 1 : 2008. / Titre provenant de la page du titre du document électronique. Bibliogr. p. 159-165.

Les technologies liées à la réalité virtuelle sont les outils les plus avancés dans le domaine de l’interaction numérique, permettant à un utilisateur de communiquer avec une simulation créée à partir d’un matériel et d’une solution logicielle dédiés. Le degré d’immersion proposé par ces technologies et leur feedback audio et vidéo peut donner l’impression que ces environnements virtuels sont réels. Par conséquent, de multiples secteurs tels que le divertissement vidéo-ludique ou la médecine peuvent incorporer ces technologies. De plus, les installations de réalité virtuelle existantes sont nombreuses et leurs caractéristiques peuvent varier en fonction des contraintes physiques et financières des projets, ainsi qu’en fonction de l’expérience utilisateur souhaitée. Un de ces types d’installations de réalité virtuelle, le CAVE, est au cœur de cette thèse. Notre CAVE, nommé « Le SAS », utilise à heure actuelle une combinaison de technologie AR pour détecter des utilisateurs et d’un joystick pour récupérer des inputs directionnels. Notre objectif à travers cette thèse est de présenter, décrire et analyser une méthode alternative de détection de mouvements au sein du SAS, reposant sur l’utilisation d’un système de 4 Kinects connectées ensemble. Cette analyse est pertinente et justifiée étant donnée l’importance d’un système de détection d’utilisateur dans une installation de réalité virtuelle. Afin de proposer un niveau satisfaisant ‟interaction avec l’environnement virtuel, les capteurs installés sur le CAVE peuvent détecter différents types d’inputs. Dans le cadre d’un système multi-Kinect, l’interaction repose sur la détection de gestes effectués par l’utilisateur. Ces gestes sont extraits d’un squelette virtuel formé à partir des données recueillies par les Kinects. Cette thèse va aborder quatre points-clés décrits ci-dessous : V Premièrement, nous étudierons le contexte lié à notre CAVE et définirions ses caractéristiques ainsi que les contraintes que cet environnement particulier de réalité virtuelle impose à notre dispositif multi-Kinect. En second lieu, nous aborderons le sujet es algorithmes de suivi d’utilisateur au sein d’un CAVE. En effet, les dimensions du SAS amènent à utiliser plusieurs capteurs pour suivre l’utilisateur. Par conséquent, il devient nécessaire d’utiliser un algorithme capable de déterminer en temps-réel quelles Kinects produisent les données les plus précises et les plus fiables afin de correctement détecter les mouvements de l’utilisateur. Par la suite, nous proposerons un algorithme de détection de gestes. Cette étape est la suite logique de la détection d’utilisateur et consiste à interpréter les mouvements enregistrés. Bien que les Kinects soient capables d’enregistrer les mouvements et gestes de l’utilisateur, le CAVE doit être configuré afin de reconnaître certains gestes spécifiques, créant ainsi la possibilité d’interagir avec un environnement virtuel. Notre analyse se concentrera sur trois gestes spécifiques : Lever la main droite, lever la main gauche, et effectuer un petit saut. Finalement, nous fournirons des résultats d’expériences ayant pour objectif de comparer l’efficacité d’un système Multi-Kinect par rapport à l’utilisation d’un seul capteur. Nous présenterons des données indiquant une amélioration de la précision de la détection de gestes avec plusieurs Kinects. / Virtual Reality is the most modern technology that allows a user to interact with an artificial environment created by Hardware and Software, with visual and aural feedback powerful enough to create the impression of a realistic environment. As a consequence, this form of computer interaction can be used in various contexts such as entertainment, medicine or vehicle driving training. Furthermore, numerous types of VR installations exist depending on the physical and financial constraints as well as on the intended final user experience provided by the system. The subject of this thesis is user interaction in a specific type of VR installation called a CAVE. Our CAVE, named “Le SAS”, currently relies on AR technology technology to detect users, and a joystick is used to provide directional inputs. Our objective is to present, describe and analyze an alternative user-tracking method relying on a 4-Kinect set-up tasked with tracking the user‟s movements inside this CAVE. Proper usertracking is one of the main challenges provided by Virtual Reality as well as one of the core elements that define a proper and functional VR system; therefore it is important to implement an effective tracking system.In order to create true interaction with the virtual world provided by the CAVE, the sensors can detect various types of input. In the case of a multi-Kinect system, interaction with the CAVE will be based on user gestures which recognition is performed by the Kinects on a skeleton created after fusing the joint data from the various sensors.This thesis will focus on four main points, as described below. The first part will provide a context analysis of our immersive CAVE “Le SAS” and define thefeatures as well as the constraints of this specific environment in which the multi-Kinect system is installed.In the second part, the topic of tracking algorithms will be discussed. Indeed, the immersive CAVE‟s large-scale implies a tracking system composed of several sensors. The use of a network of cameras to track a user inside the CAVE is synonymous with the use of an algorithm that determines in real-time what sensors provide the most accurate tracking data and will therefore properly recognize the user‟s inputs and movements.Subsequently, we will propose a gesture detection algorithm. Once the user‟s gestures are properly tracked, such an algorithm is necessary in order to provide interaction. While the Kinects can capture the user‟s movements, the question of the detection of specific gestures by this system comes into play as the CAVE needs to be configured as to recognize specific gestures as potential inputs. The presented algorithm will focus on three specific gestures: Raising the right hand, raising the left hand and short hopping. Lastly, we will provide experimental results comparing the effectiveness of a multi-Kinect set-up with the effectiveness of a single sensor and present data showing a noticeable increase in accuracy with the 4-Kinect system.

Le terme de care est devenu, ces dernières années, de plus en plus populaire dans divers domaines comme l’éducation, la sociologie ou la politique. Historiquement, la notion du prendre soin, du care, a toujours été attachée à la fonction infirmière. Les premières mentions au concept datent des années 1970 aux USA et ont donné suite à de nombreux travaux, écrits et définitions. Cette thèse en Sciences de l’Éducation s’intéresse à la mobilisation de gestes professionnels liés au care dans l’exercice professionnel d’infirmiers libéraux en milieu rural. La question de recherche en est : en situation réelle de travail, quels gestes professionnels liés au care les infirmiers libéraux mobilisent-ils et sur quels types de savoirs professionnels s'appuient-ils ?L’ambition, à travers la recherche menée, a un double enjeu. Dans un premier temps, il s’agit d’identifier les gestes professionnels liés au care afin de les rendre visibles et de questionner leur éventuelle plus-value dans le soin. Dans un deuxième temps, il est proposé d’élaborer un outil d’analyse des gestes professionnels liés au care permettant de renseigner l’activité des infirmiers pendant les soins, et d’approcher les préoccupations des professionnels dans des situations de travail. Dans un contexte de formation, cet outil pourrait permettre l’analyse de situations de soins et d’y repérer la mobilisation des gestes professionnels liés au care. / The term care has become, in recent years, increasingly popular in various fields such as education, sociology or politics. Historically, the notion of caring, care, has always been attached to the nursing function. The first references to the concept date from the 1970s in the USA and have given rise to many works, writings and definitions. This dissertation in Education Sciences focuses on the organisation of professional gestures related to care provided by nurses in private practice in rural areas. The research question is: In real work situations, what professional gestures related to care do the private practice nurses mobilize and what types of professional knowledge are they based on?The objective, through research carried out, is a double challenge. The first step is to identify the professional gestures related to care in order to make them visible and to question their possible added value in care. Secondly, it is proposed to develop a tool for the analysis of care gestures in order to inform the activity of nurses during care and to approach the concerns of professionals in work situations. In a training context, this tool would permit the analysis of care situations and to identify the mobilization of professional gestures related to care.

Utiliser une interface visuo-tactile peut être une gêne lorsqu'il est nécessaire de rester mobile et conscient de son environnement. Cela s'avère particulièrement problématique en milieu hostile comme pour la commande d'un drone militaire de contact.Dans ces travaux nous faisons l'hypothèse que le geste est une modalité de commande moins contraignante puisqu'elle n'impose pas de visualiser ni de manipuler une interface physique.Ainsi, différents travaux nous ont permis de confirmer d'une part, les avantages pratiques, et d'autre part, la faisabilité technique de la commande d'un robot mobile par geste.Tout d'abord, l'étude théorique du geste a permis de construire un modèle d'interaction. Celui-ci consiste en l'activation de commandes automatiques par la réalisation de gestes sémaphoriques normalisés. Des messages sonores permettent de renseigner l'opérateur et un mécanisme de confirmation sécurise l'interaction.Ensuite, le dictionnaire des gestes à utiliser a été constitué. Pour cela, une méthodologie a été proposée et appliquée : des utilisateurs proposent puis élisent les gestes les plus pertinents.Notre modèle d'interaction et le vocabulaire gestuel ont ensuite été évalués. Une étude en laboratoire nous a permis de montrer que l'interaction gestuelle telle que proposée est simple à apprendre et utiliser et qu'elle permet de conserver une bonne conscience de l'environnement.Un système interactif complet a ensuite été développé. Son architecture a été déduite du modèle d'interaction et une brique de reconnaissance gestuelle a été mise en oeuvre. En marge des méthodes classiques, la brique proposée utilise un principe de description formelle des gestes avec une grammaire régulière.Finalement, ce système a été évalué lors de tests utilisateurs. L'évaluation par des participants militaires a confirmé notre hypothèse de la pertinence du geste pour une interaction visuellement et physiquement moins contraignante. / Using a visuo-tactil interface may be restrictive when mobility and situation awareness are required. This is particularly problematic in hostile environment as commanding a drone on a battlefield.In the work presented here, we hypothesize that gesture is a less restrictive modaility as it doesn't require to manipulate nor to look at a device.Thus we followed a user-centered approach to confirm practical advantages and technical feasibility of gestural interaction for drones.First, the theoretical study of gestures allowed us to design an interaction model. It consists on activating commands by executing standardized semaphoric gestures. Sound messages inform the user and a confirmation mechanism secure the interaction.Second, a gestural vocabulary has been built. To do so, a methodology has been proposed and used : end users elicited then elected the most appropriate gestures.Then, the interaction model and the selected gestures have been evaluated. A laboratory study showed that they are both easy to learn and use and helps situation awareness.An interactive system as then been developed. It's architecture has been deducted from our interaction model and a gesture recognizer as been buit. Different from usual methods, the recognizer we proposed is based on formal description of gestures using regular expressions.Finaly, we conducted a user testing of the proposed system. The evaluation by end-users confirmed our hypothesis that gestures are a modality less distractive both visualy and physicaly.

Ce travail de recherche s'intéresse à l'inclusion scolaire des élèves en situation de handicap et plus particulièrement aux élèves reconnus porteurs d'une dyslexie sévère. Ce sujet est, de nos jours, une réelle question sociale et un enjeu au sein de l'éducation nationale. En effet, depuis la loi du 11 février 2005 pour "l'égalité des droits et des chances, la participation et la citoyenneté des personnes handicapées", l'inclusion scolaire, en milieu ordinaire, est un droit pour chaque personne en situation de handicap. Cette recherche prend comme objet d'étude les pratiques enseignantes ainsi que les conceptions des enseignants lorsqu'un élève dyslexique, reconnu handicapé, par la Maison Départementale des Personnes Handicapées (MDPH), est scolarisé au sein de leur classe. A partir de l'association de divers outils de recherche (entretiens, observations, recueil de données), il s'agit de voir en quoi la scolarisation d'un élève à Besoins Éducatifs Particuliers engendre une évolution des pratiques et des conceptions des enseignants sur leurs élèves ainsi que sur leur métier. Les résultats de cette enquête permettent de penser comment la corporation éducative évolue, modestement mais de façon concrète, par l'accommodation des pratiques enseignantes face à un public de plus en plus hétérogène. / This research work deals with the school inclusion of special needs pupils and more specifically those who have been recognized as severely dyslexic. This subject is, nowadays, a real social question and an issue facing the "National Education". Since the law of February 11th, 2005 on the "Equality of rights, opportunity, partication and citizenship of handicapped persons", school inclusion in normal environments has indeed been a right for each disabled person. This research focuses on the study of teaching practices as well as teacher's perceptions when a dyslexic pupil, recognized by the "Maison Départementale des Personnes Handicapées" as disabled, is enrolled in their class (MDPH : Support centers for disabled individuals located in each department in France). In combining several resarch instruments (interviews, observations, data collection), it shows the effect of how the schooling of pupils with special educational needs, generates and develops teaching pratices and teachers' perceptions of their students and their own profession. This investigation suggests how the educational corporate body is evolving, modestly but in a tangible way, by modifying teaching practices to better an increasingly heterogeneous public.

La gestuelle entre petit à petit dans le domaine de la didactique des langues. Elle y reste certes, encore très marginale, mais on ne peut plus la reléguer totalement ; les nouvelles générations de didacticiens s’y intéressent, des travaux se font,quelques indices montrent que la gestuelle prend une bonne place dans la légitimité pédagogique. Notre étude vise donc à cerner expérimentalement ce qui est généralement traité sur la base de l’intuition ou d’observations personnelles.Cette intuition nous l’avons nous-même partagée car c’est avant tout en tant qu’enseignant de FLE au Yémen, que nous nous sommes intéressé à ce phénomène. Pour évaluer l’importance du geste, il faut une méthodologie expérimentale et puisqu’il n’en existe quasiment pas concernant le geste pédagogique, c’est en tant que chercheur que nous nous assignons la tâche d’en élaborer une dans cette thèse. Nous faisons l’hypothèse que le geste pédagogiqueest une pratique essentielle pour rendre le cours de FLE plus explicite. De ce fait, il doit être analysé de façon précise d’où l’utilité de revoir la formation des enseignants. Etant donné que notre expérience pédagogique avec les enseignantsyéménites est celle qui a le plus suscité de questionnements autour de ce thème, nous avons décidé d’observer nos collègues, enseignants yéménites, dans deux universités (Sana’a et Dhamar). Nous sommes parti de deux hypothèsesessentielles : a) le geste pédagogique est un acte de parole ; b) son interprétation exige beaucoup de connaissances d’ordre culturel. Il nous a paru nécessaire de souligner l’importance du geste pédagogique dans l’enseignement/apprentissage des langues étrangères aux apprenants yéménites adultes. / The gestural language is entering little by little the didactic area. It is still, very rare, but we can no longer totally ignore it; the new generations of didacticiens are interested by it, projects are on way, some evidence shows that the gestural takes agood place in the pedagogical legitimacy. Our study therefore aims experimentally what is generally treated on the base of intuition or personal observation. It is before all, as teachers of FFL (French as a Foreign Language) in Yemen, that we have personally experienced this intuition and have become interested in this phenomenon. To evaluate the importance of the gesture, you need an experimental methodology, it is as researcher, that we will realise the experiments to elaborate one in this thesis. We consider that the pedagogical gesture is an essential practice to make the FFE class more explicit. Therefore, it is necessary to review the training of teachers. Since our pedagogic experience with Yemeni teachers is what has given us the most questioning around this theme, we have decided to observe our colleagues; Yemeni teachers, in twouniversities (Sana’a and Dhamar). We have gone from two essential assumptions: a) the pedagogical gesture is an act of non-verbal communication. b) its understanding asks for good level of cultural knowledge. We find it necessary to underline the importance of the pedagogical gesture in teaching/learning foreign languages to adult Yemenites.

La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes. / We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.

Cette recherche s’inscrit dans la perspective de l’autoformation. Par le choix d’un contexte pluriculturel favorable, elle vise à identifier des formes d’intégration de la dimension expérientielle dans un agir enseignant. A partir d’une démarche réflexive, de l’analyse de données croisées selon la méthode d'analyse par théorisation ancrée, nous tentons ici de comprendre l’agir d’enseignants de Français langue étrangère en centre de langue à partir de nos propres expériences d’enseignant en milieu scolaire. Au niveau de la pratique, nous cherchons à comprendre comment s’agencent les multiples dimensions du métier. Nous interrogerons le rôle joué par la posture dans le déploiement des gestes professionnels. Nous mobiliserons l’approche biographique et herméneutique pour considérer le parcours professionnel et certaines des transactions réalisées par ces personnes. Seront ainsi éclairés leur mode d’entrée dans le métier et leur rapport d’appropriation avec celui-ci. Enfin, nous tenterons de formaliser ce qui pourrait être un agir enseignant expérientiel congruent. / This research fits in the framework of self-study. Through the particular choice of a multicultural context it aims to identify various integration forms within the experiential dimension of teachers' « acting ». Coordinating theory developing approach with a data analysis, it attempts to understand teachers of French as a foreign language's « acting » processes within schools of languages along with our own experiences as a teacher in primary schools. The focus is to comprehend the work practice multiple dimensions while questioning the posture adopted within professional « gestures ». To this end, a biographic and hermeneutics approach will be relied upon in order to access to the professionals career history as well as some of the teachers' transactions. This will highlight their entry into and progressive mastering of the profession. Finally, formalizing of an experiential and congruous teacher's acting will be developed.

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam. L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU. En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel à partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur. / Networked 3D virtual environments allow multiple users to interact with each other over the Internet. Users can share some sense of telepresence by remotely animating an avatar that represents them. However, avatar control may be tedious and still render user gestures poorly. This work aims at animating a user’s avatar from real time 3D motion capture by monoscopic computer vision, thus allowing virtual telepresence to anyone using a personal computer with a webcam. The approach followed consists of registering a 3D articulated upper-body model to a video sequence. This involves searching iteratively for the best match between features extracted from the 3D model and from the image. A two-step registration process matches regions and then edges. The first contribution of this thesis is a method of allocating computing iterations under real-time constrain that achieves optimal robustness and accuracy. The major issue for robust 3D tracking from monocular images is the 3D/2D ambiguities that result from the lack of depth information. Particle filtering has become a popular framework for propagating multiple hypotheses between frames. As a second contribution, this thesis enhances particle filtering for 3D/2D registration under limited computation constrains with a number of heuristics, the contribution of which is demonstrated experimentally. A parameterization of the arm pose based on their end-effector is proposed to better model uncertainty in the depth direction. Finally, evaluation is accelerated by computation on GPU. In conclusion, the proposed algorithm is demonstrated to provide robust real-time 3D body tracking from a single webcam for a large variety of gestures including partial occlusions and motion in the depth direction.

Le langage iconographique des mains est un système conventionnel utilisé par les peintres afin de doter les personnages de leurs oeuvres de fonctions discursives, affectives et symboliques particulières. La lecture des gestes figurés nous a ainsi permis de révéler des nouvelles structures narratives. Les différents signes gestuels sont étudiés ici en fonction de leurs origines, usages, connotations et stylistiques dans l’art français des XVIIe et XVIIIe siècles. Dans l’objectif de comprendre le potentiel sémantique de la main et son implication dans les oeuvres d’art, nous avons sollicité des écrits issus de champs épistémiques multiples. Lors de ce travail, nous avons souligné l’importance de la chirologie, discipline explorant les configurations signifiantes des mains et leurs possibles applications. Les gestes picturaux ne fonctionnent pas uniquement de manière isolée mais sont impliqués dans des schémas d’interaction, raccordés au genre et à la composition de l’oeuvre. L’étude du langage des mains favorise le dialogue entre l’histoire de l’art et d’autres disciplines scientifiques, engagées dans des questions de perception, de représentation et de mémoire. / The iconographic language of the hands is a conventional system used by the painters in order to provide some particular discursive, affective and symbolical functions to their characters. In our work, we show that the analysis of the figurative gestures reveals new narrative structures. The different gestural signs are studied according to their origins, usages, connotations and stylistics in the French art of the 17th and 18th centuries. With the aim of understanding the semantic potential of the hand and its implication in the works of art, we referred to multiple epistemic fields. In this study, we underline the importance of the chirology, discipline exploring the meaningful configurations of the hands and their possible applications. The pictorial gestures are not isolated but involved in interactional schemas, connected to the genre and the composition of the work of art. The study of the language of the hands favours the dialogue between the History of art and other scientific disciplines,engaged in the questions of perception, representation and memory.