La traversée d’intersection constitue une tâche typique dans laquelle plusieurs affordances coexistent, l’une traduisant les possibilités de franchir l’intersection, l’autre traduisant les possibilités d’immobiliser le véhicule afin d’éviter une collision. En nous inspirant des travaux de Gibson et Crooks (1938), nous avons formalisé les affordances Field of Safe Travel (FST) et Minimum Stopping Zone (MSZ) en termes de temps critique pour réussir le franchissement d’intersection et l’immobilisation du véhicule, respectivement. Grâce à un dispositif de réalité virtuelle et un simulateur de conduite, nous avons testé la prise en compte de ces affordances par un agent engagé dans la tâche de référence à travers trois expérimentations. Les résultats, appuyés par notre modèle de prise de décision, montrent que le conducteur intègre non seulement l’affordance FST, mais aussi l’affordance MSZ, dans sa décision de franchir l’intersection. De plus, l’utilisation conjointe de ces deux affordances rend compte des régulations de vitesses produites par un agent devant réaliser la tâche de franchissement en présence d’un véhicule préprogrammée ou soumis au contrôle d’un autre agent. Ces différents résultats montrent que les agents prennent en compte les différentes possibilités qui leur sont offertes (affordances FST et MSZ) pour faire un choix adapté et réguler leur vitesse. / Crossing an intersection is a typical task in which several affordances coexist, one offering the possibilities to safely cross the intersection (the main goal) and another offering the possibilities to stop the driving car to avoid a collision (the alternative goal). Based on Gibson and Crooks’ works (1938), we formalized the so-called Field of Safe Travel (FST) and Minimum Stopping Zone (MSZ) affordances in terms of critical time for safe crossing and for safe stopping, respectively. Using a virtual reality set-up with a driving simulator, three experiments have been designed to test the role of these two affordances on the decision-making and the regulation of action process. Our results, supported by a model of decision-making, reveal that drivers rely not only on the FST affordance, but also on the MSZ affordance, to choose to cross-or-not the intersection. Moreover, the joint use of these affordances is still observed when drivers have to control their velocity to perform the task when either a vehicle with a computed kinematic or a car driven by another agent is approaching. Put together, these results show that drivers take into account several possibilities for action offered by the environment (FST and MSZ affordances) to make a suitable choice and to control their speed when approaching an intersection.

Dans le cadre de la rééducation orthophonique des troubles de la parole associés à un mauvais positionnement de la langue, il peut être utile au patient et à l’orthophoniste de visualiser la position et les mouvements de cet articulateur naturellement très peu visible. L’imagerie échographique peut pallier ce manque, comme en témoignent de nombreuses études de cas menées depuis plusieurs années dans les pays anglo-saxons. Appuyés par de nombreux travaux sur les liens entre production et perception de la parole, ces études font l’hypothèse que ce retour articulatoire visuel faciliterait la rééducation du patient. Lors des séances orthophoniques, le patient semble, en effet, mieux appréhender les déplacements de sa langue, malgré la difficulté d’interprétation sous-jacente de l’image échographique liée au bruit inhérent à l’image et à l’absence de vision des autres articulateurs. Nous développons dans cette thèse le concept d’échographie linguale augmentée. Nous proposons deux approches afin d’améliorer l’image échographique brute, et présentons une première application clinique de ce dispositif. La première approche porte sur le suivi du contour de la langue sur des images échographiques. Nous proposons une méthode basée sur une modélisation par apprentissage supervisé des relations entre l’intensité de l’ensemble des pixels de l’image et les coordonnées du contour de langue. Une étape de réduction de la dimension des images et des contours par analyse en composantes principales est suivie d’une étape de modélisation par réseaux de neurones. Nous déclinons des implémentations mono-locuteur et multi-locuteur de cette approche dont les performances sont évaluées en fonction de la quantité de contours manuellement annotés (données d’apprentissage). Nous obtenons pour des modèles mono-locuteur une erreur de 1,29 mm avec seulement 80 images, performance meilleure que celle de la méthode de référence EdgeTrak utilisant les contours actifs. La deuxième approche vise l’animation automatique, à partir des images échographiques, d’une tête parlante articulatoire, c’est-à-dire l’avatar d’un locuteur de référence qui révèle les structures externes comme internes de l’appareil vocal (palais, pharynx, dent, etc.). Nous construisons tout d’abord un modèle d’association entre les images échographiques et les paramètres de contrôle de la langue acquis sur ce locuteur de référence. Nous adaptons ensuite ce modèle à de nouveaux locuteurs dits locuteurs source. Pour cette adaptation, nous évaluons la technique Cascaded Gaussian Mixture Regression (C-GMR), qui s’appuie sur une modélisation conjointe des données échographiques du locuteur de référence, des paramètres de contrôle de la tête parlante, et des données échographique d’adaptation du locuteur source. Nous comparons cette approche avec une régression directe par GMR entre données du locuteur source et paramètre de contrôle de la tête parlante. Nous montrons que l’approche par C-GMR réalise le meilleur compromis entre quantité de données d’adaptation d’une part, et qualité de la prédiction d’autre part. Enfin, nous évaluons la capacité de généralisation de l’approche C-GMR et montrons que l’information a priori sur le locuteur de référence exploitée par ce modèle permet de généraliser à des configurations articulatoires du locuteur source non vues pendant la phase d’adaptation. Enfin, nous présentons les premiers résultats d’une application clinique de l’échographie augmentée à une population de patients ayant subi une ablation du plancher de la bouche ou d’une partie de la langue. Nous évaluons l’usage du retour visuel en temps réel de la langue du patient et l’usage de séquences enregistrées préalablement sur un orthophoniste pour illustrer les articulations cibles, par des bilans orthophoniques classiques pratiqués entre chaque série de séances. Les premiers résultats montrent une amélioration des performances des patients, notamment sur le placement de la langue. / In the framework of speech therapy for articulatory troubles associated with tongue misplacement, providing a visual feedback might be very useful for both the therapist and the patient, as the tongue is not a naturally visible articulator. In the last years, ultrasound imaging has been successfully applied to speech therapy in English speaking countries, as reported in several case studies. The assumption that visual articulatory biofeedback may facilitate the rehabilitation of the patient is supported by studies on the links between speech production and perception. During speech therapy sessions, the patient seems to better understand his/her tongue movements, despite the poor quality of the image due to inherent noise and the lack of information about other speech articulators. We develop in this thesis the concept of augmented lingual ultrasound. We propose two approaches to improve the raw ultrasound image, and describe a first clinical application of this device.The first approach focuses on tongue tracking in ultrasound images. We propose a method based on supervised machine learning, where we model the relationship between the intensity of all the pixels of the image and the contour coordinates. The size of the images and of the contours is reduced using a principal component analysis, and a neural network models their relationship. We developed speaker-dependent and speaker-independent implementations and evaluated the performances as a function of the amount of manually annotated contours used as training data. We obtained an error of 1.29 mm for the speaker-dependent model with only 80 annotated images, which is better than the performance of the EdgeTrak reference method based on active contours.The second approach intends to automatically animate an articulatory talking head from the ultrasound images. This talking head is the avatar of a reference speaker that reveals the external and internal structures of the vocal tract (palate, pharynx, teeth, etc.). First, we build a mapping model between ultrasound images and tongue control parameters acquired on the reference speaker. We then adapt this model to new speakers referred to as source speakers. This adaptation is performed by the Cascaded Gaussian Mixture Regression (C-GMR) technique based on a joint model of the ultrasound data of the reference speaker, control parameters of the talking head, and adaptation ultrasound data of the source speaker. This approach is compared to a direct GMR regression between the source speaker data and the control parameters of the talking head. We show that C-GMR approach achieves the best compromise between amount of adaptation data and prediction quality. We also evaluate the generalization capability of the C-GMR approach and show that prior information of the reference speaker helps the model generalize to articulatory configurations of the source speaker unseen during the adaptation phase.Finally, we present preliminary results of a clinical application of augmented ultrasound imaging to a population of patients after partial glossectomy. We evaluate the use of visual feedback of the patient’s tongue in real time and the use of sequences recorded with a speech therapist to illustrate the targeted articulation. Classical speech therapy probes are led after each series of sessions. The first results show an improvement of the patients’ performance, especially for tongue placement.

La thèse porte sur un nouveau concept pour les afficheurs de réalité augmentée placés près de l’œil, notamment pour améliorer les champs de vision. Deux guides d'ondes sont empilés avec un petit espace d'air entre eux. La lumière couplée dans le premier guide d'ondes par le coupleur d’entrée se propage par réflexion interne totale jusqu'à atteindre un miroir cylindrique à l'extrémité du guide. Puis, la lumière réfléchie est couplée dans le second guide d'ondes avant d'atteindre le coupleur de sortie. Un système similaire basé sur des micro-prismes est aussi décrit. Les conceptions ont été simulées avec le logiciel Zemax. Les champs de vision horizontal et vertical obtenus sont respectivement de 30° et 60°. La Fonction de Transfert de Modulation pour tous les champs objets est supérieure à 30% pour 33 npl/mm, ce qui est suffisant pour un système visuel. De plus, un grand volume de déplacement admissible pour l’œil (Eye-box) d'environ 10×8 mm a été obtenu. / We propose a new concept to improve notably the fields-of-view (FOV) of the near to eye displays (NEDs) for augmented reality. Two waveguides are stacked with a small air gap between them. The light coupled in the first waveguide by the in-coupler propagates by total internal reflection until it reaches a cylindrical mirror at the end of the guide. Then, the reflected light is coupled in the second waveguide before to reach the out-coupler. A similar system based on micro-prisms is also described. The designs were simulated with Zemax software. The obtained horizontal and vertical FOV are respectively 30° and 60°. The Modulation Transfer Function for all object fields is greater than 30% for 33 npl/mm, which is sufficient for a visual system. In addition, a large Eye-box of approximately 10 × 8 mm was obtained.

La cécité touche 39 millions de personnes dans le monde et génère de nombreuses difficultés dans la vie quotidienne. Plus précisément, les capacités de navigation (incluant orientation et mobilité) sont fortement diminuées, ce qui amène les personnes non-voyantes à limiter, voire à cesser leurs déplacements. Pour restaurer des sensations "visuelles", et par-delà, une certaine autonomie, il est possible de stimuler directement le système visuel résiduel d'une personne non-voyante à l'aide d'un implant administrant des micro-stimulations électriques. Le dispositif complet se compose d'une micro-caméra portée sur des lunettes et reliée à un ordinateur de poche, qui lui-même est connecté à l'implant. Lors des micro-stimulations, les sujets perçoivent des tâches grises, blanches ou jaunâtres appelées phosphènes. Ainsi la qualité de la vision restaurée est directement dépendante de la résolution et de la position de l'implant. Le nombre d'électrodes étant faible pour les implants en développement (moins d'une centaine), il est nécessaire de réduire drastiquement la résolution du flux vidéo pour la faire correspondre à la faible résolution de l'implant. Actuellement, l'Argus II de la société Second Sight est l'implant dont le développement est le plus avancé et sa résolution est de 60 électrodes, ce qui permet aux patients implantés de percevoir 60 phosphènes différents. Cette vision restaurée est donc très pauvre et un travail d'optimisation du signal est nécessaire pour pouvoir utiliser l'implant de manière fonctionnelle. Les sujets implantés sont impliqués dans des protocoles cliniques fermés ne permettant pas de les inclure dans d'autres expériences. Malgré cela, il est possible d'étudier les possibilités offertes par ces implants visuels en simulant la vision prothétique dans un casque de réalité virtuelle porté par des sujets voyants. Il s'agit du domaine de la vision prothétique simulée (VPS). La navigation n'a jamais été étudiée chez les patients implantés et très rarement en VPS. Il s'avère qu'avec des implants de très faible résolution, elle pose de grandes difficultés liées à la mobilité mais également des difficultés liées à l'orientation. Les travaux entrepris dans ce doctorat se concentrent sur l'étude de la navigation en VPS. Différentes théories en psychologie nous ont permis d'identifier les éléments importants pour les sujets afin qu'ils se repèrent et se construisent une représentation mentale fiable de l'environnement lors de la navigation. À partir de ces modèles, différents rendus prothétiques utilisant la vision par ordinateur ont été conçus et testés dans une tâche de navigation réalisée dans un environnement virtuel. Les expérimentations effectuées avaient pour objectif d'optimiser la perception et la compréhension de l'espace parcouru avec un implant de faible résolution. Ces évaluations reposaient sur la performance de temps des sujets pour effectuer la tâche de navigation et sur leur représentation mentale de l'environnement. Après la tâche de navigation, il leur était demandé de dessiner la carte des environnements explorés, afin d'évaluer ces représentations. Cette double évaluation a permis d'identifier les indices importants permettant de faciliter la perception et la mémorisation de la structure des environnements dans une tâche de navigation en VPS. Pour améliorer les performances des personnes non-voyantes implantées, il apparaît notamment nécessaire de limiter la quantité d'information présentée, tout en préservant la structure de l'environnement grâce à des algorithmes de vision par ordinateur. Lorsque l'accès à des patients implantés sera plus ouvert, il deviendra nécessaire de valider ces différents résultats en les faisant naviguer en environnement virtuel puis en environnement réel. / Blindness affects thirty nine millions people in the world and generates numerous difficulties in everyday life. Specifically, navigation abilities (which include wayfinding and mobility) are heavily diminished. This leads blind people to limit and eventually to stop walking outside. Visual neuroprosthesis are developed in order to restore such "visual" perception and help them to get some autonomy back. Those implants generate electrical micro-stimulations which are focused on the retina, the optic nerve or the visual cortex. Those stimulations elicit blurry dots called "phosphenes". Phosphenes can be mainly white, grey or yellow. The whole stimulation device contains a wearable camera, a small computer and the implant which is connected to the computer. The implant resolution and position impact directly the quality of the restored visual perception. Current implants include less than a hundred electrodes so it is mandatory to reduce the resolution of the visual stream to match the implant resolution. For instance, the already commercialized Argus II implant from the company Second Sight (Seymar, California) is the leading visual implant worldwide and uses only sixty electrodes. This means that Argus II blind owners can perceive only sixty phosphenes simultaneously. Therefore this restored vision is quite poor and signal optimization is required to get to a functional implant usage. Blind people with implants are involved in restricted clinical trials and are difficult to reach. Yet, studying those implant possibilities is at our reach by simulating prosthetic vision and displaying it in a head mounted display for sighted subjects. This is the field of simulated prosthetic vision (SPV). Navigation was never studied with people with implant, and only a few studies approached this topic in SPV. In this thesis, we focused on the study of navigation in SPV. Computer vision allowed us to select which of the scene elements to display in order to help subjects to navigate and build a spatial representation of the environment. We used psychological models of navigation to conceive and evaluate SPV renderings. Subjects had to find their way and collect elements in a navigation task in SPV inspired by video games for the blind. To evaluate their performance we used a performance index based on the completion time. To evaluate their mental representation, we asked them to draw the environment layout after the task for each rendering. This double evaluation lead us to spot which elements can and should be displayed in low resolution SPV in order to navigate. Specifically those results show that to be understandable in low vision, a scene must be simple and the structure of the environment should not be hidden. When blind people with implant will become available we will be able to confirm or deny those results by evaluating their navigation in virtual and real environments.

Nous nous intéressons à l'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Le dispositif mobile est utilisé comme une lentille magique qui 'augmente' la perception de l'environnement physique avec du contenu numérique. Nous nous sommes particulièrement intéressés aux relations spatiales entre le contenu affiché à l'écran et l'environnement physique. En effet la combinaison des environnements physique et numérique repose sur ces relations spatiales, comme l'adaptation de l'augmentation numérique en fonction de la localisation de l'utilisateur. Mais ces relations spatiales définissent aussi des contraintes pour l'interaction. Par exemple l'effet des tremblements naturels de la main rend instable la vidéo affichée sur l'écran du dispositif mobile et par conséquent a un impact direct sur la précision d'interaction. La question est alors, comment peut-on relâcher ces contraintes spatiales pour améliorer l'interaction sans pour autant casser la co-localisation physique-numérique. Nous apportons trois contributions. Tout d'abord, nous avons établi un espace de conception décrivant le contenu affiché à l'écran dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Cet espace conceptuel met en exergue les relations spatiales entre les différents repères des composants le structurant. Cet espace permet d'étudier systématiquement la conception de techniques d'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Deuxièmement, nous avons conçu des techniques de pointage améliorant la précision du pointage en Réalité Augmentée sur supports mobiles. Ces techniques de pointage ont été évaluées lors d'expériences utilisateur. Enfin, dans le cadre du projet en partenariat AIST-Tuskuba, Schneider France et Schneider Japon dans lequel s'inscrit cette thèse, nous avons développé une boîte à outils pour le développement d'applications de Réalité Augmentée sur dispositifs mobiles. Cette boîte à outils a été utilisée pour développer plusieurs démonstrateurs. / We explored interaction within the context of handheld Augmented Reality (AR), where a handheld device is used as a physical magic lens to 'augment' the physical surrounding. We focused, in particular, on the role of spatial relations between the on-screen content and the physical surrounding. On the one hand, spatial relations define opportunities for mixing environments, such as the adaptation of the digital augmentation to the user's location. On the other hand, spatial relations involve specific constraints for interaction such as the impact of hand tremor on on-screen camera image stability. The question is then, how can we relax spatial constraints while maintaining the feeling of digital-physical collocation. Our contribution is three-fold. First, we propose a design space for handheld AR on-screen content with a particular focus on the spatial relations between the different identified frames of reference. This design space defines a framework for systematically studying interaction with handheld AR applications. Second, we propose and evaluate different handheld AR pointing techniques to improve pointing precision. Indeed, with handheld AR set-up, both touch-screen input and the spatial relations between the on-screen content and the physical surrounding impair the precision of pointing. Third, as part of a collaborative research project involving AIST-Tsukuba and Schneider- France and Japan, we developed a toolkit supporting the development of handheld AR applications. The toolkit has been used to develop several demonstrators.

Cette recherche interdisciplinaire se situe à l'intersection des sciences cognitives, de l'informatique et des arts. Nous y traitons de questions relatives à la perception et compréhension d'une expérience artistique dans le contexte des technologies numériques. Nous considérons l'ordinateur comme un outil puissant de création et nous nous posons la question du comment son rôle peut être fonctionnellement introduit dans les arts numériques. Une des clés de la réponse à cette question se situe dans la notion d'incorporation (embodiment). Il s'agit d'un aspect de la perception et de la cognition humaine que nous ne pouvons pas approcher de façon directe, car il s'agit d'un processus émergent qui se construit avec l'action. Dans cette thèse, nous avons fait émerger quatre critères pour qualifier puis tenter d'évaluer les processus d'incorporation en situation créative, soit de réception soit de réception et d'action. Ces critères sont : la cohérence des retours sensoriels proposée par le système technologique, par exemple la cohérence entre le son et l'image ou entre le son, le geste et l'image ; la nature de l'action telle que perçue ou effectuée ; la sensation d'immersion cognitive des participants ; le potentiel évocateur de la situation sensori-motrice proposée à la perception et/ou à l'action.Nous avons mis en œuvre une méthode qualitative pour l'analyse d'expériences multisensorielles et interactives. Des entretiens ouverts ont permis de récolter un corpus de données sous forme d'enregistrements audiovisuels et de textes transcrits de ces entretiens. Un des objectifs de ces entretiens est de favoriser l'expressivité du sujet sur la manière dont il a vécu la situation en amont, voire au-delà, d'un quelconque jugement esthétique. Cette méthode a été utilisée dans de deux types de situations. Dans la première situation, nous avons mené des entretiens avec des spectateurs ayant participé à un concert effectué dans le cadre des Journées d'Informatique Musicale à Grenoble. Pour cela, nous avons choisi sept pièces audiovisuelles d'auteurs différents, qui étaient soit des œuvres jouées sur scène, soit des œuvres enregistrées. Le deuxième cas comporte des entretiens réalisés avec des participants d'une œuvre interactive audio-visio-haptique intitulée « Geste réel sur matière simulée ». Cette installation a été conçue dans le cadre du projet Créativité Instrumentale pour étudier les transformations du processus de création induit par les technologies de la simulation interactive numérique. Elle se décline en trois scènes de simulation multisensorielle réalisées par modèle physique permettant l'interaction instrumentale. Les entretiens avaient lieu pendant et après l'expérience. L'analyse des discours recueillis, nous a permis de mettre en évidence la relation entre l'outil technologique et l'homme. Dans cette thèse, nous proposons un cadre théorique composé de quatre éléments : Cohérence, Immersion, Action et Evocation, à l'aide desquels nous avons analysé les discours de sujets confrontés à des situations multisensorielles numériques actives et ainsi cerner l'embodiment dans telles situations. L'usage de ces quatre éléments dans l'analyse des discours nous a permis de mettre en évidence une multitude de liaisons entre eux qui se déclinent selon les paramètres des scènes virtuelles. Différents mécanismes de compréhension de ces scènes se mettent en place selon la manière dont les sensorialités sont stimulées et nos analyses nous ont permis de qualifier comment le visuel, l'audio et l'haptique pris séparément ou réunis permettent d'appréhender des différentes dimensions de la scène dans sa complexité. / L'auteur n'a pas fourni de résumé en anglais

José Martínez Ruiz, Azorín, écrivain levantin, architecte de la « Génération de 98 », consacrera une partie importante de son oeuvre à la recherche d’une identité à travers la description d’un paysage. Il n’aura de cesse de décrire le même paysage, tout au long de sa vie, mis montañas1. Pourquoi ? Comment ? Est-ce seulement un projet esthétique ? Plus qu’un objet d’étude ou d’observation, n’est-il pas une ressource, une raison de vivre pour lui ? Examinant avec minutie et rigueur les pages qu’il produit, tant dans la presse qu’au coeur de ses livres, telles qu’elles apparaissent sous sa plume au fil du temps, nous tenterons d’apporter une réponse à ces questions. / José Martínez Ruiz, Azorin, a writer, levantine, an architext of the « Generation of 98 » will devote a large part of his works to the pursuit of an identity through describing a landscape. He never gave up describing the same landscape, all along his life, « mis montanas ». Why? How? Is it only an aesthetic scheme? More than a study or a pure observation subject, isn'it rather for him a recourse or the reason for his own existence? A thorough and close study of the pages he produced, both in the written press and his books, as they appear along the years (under his signature), will help us answer these questions.

Dans un contexte industriel en constante évolution, le designer industriel utilise la représentation comme un vecteur lui permettant de s’inspirer et d’opérer des choix stylistiques afin d’imaginer l’expérience induite par les concepts de produits qu’il développe. Ce travail doctoral présente l'étude comparative entre l'activité de design amont traditionnelle et l'activité de design amont immersive, permettant l'évaluation et la modélisation de l'activité de Kansei Design Virtuel. Mes travaux portent essentiellement sur l'application et l'expérimentation de théories fondamentales à travers la conception de deux outils consécutifs du processus de design:• Les Univers de Tendance sont des environnements inspirationnels spatiaux immersifs dédies à la compréhension d'une tendance stylistique et conçu pour substituer et augmenter le rôle des planches de tendances traditionnelles.• Le Dessin Tridimensionnel Immersif est un environnement générationnel permettant au designer de déposer, effacer, manipuler… un tracé dans l'espace et dédié aux premiers croquis d'idéation.Ces recherches ont pour but de développer des outils et un workflow digital immersif permettant d'une part, d'anticiper le Kansei (relation holistique designer/client-produit) afin d'optimiser les choix stylistiques stratégiques et d'autre part, de maximiser la fidélité de retranscription entre espace d'inspiration et espace de génération tout en augmentant la capacité du designer à produire des concepts esthétiques et innovants. / In an ever-changing context, the industrial design uses representation as a vector for inspiration and as a tool to operate stylistic choices which in turn enable the shaping of the experience induced by the designed product.This doctoral research presents the comparative study of traditional early design activity and immersive early design activity. This enables the evaluation and modeling of Virtual Kansei Design. My work essentially address the application and experimentation of fundamental theories through the design of two successive tools composing and innovative early design process.• The Immersive Moodboards are spatial immersive inspirational environments dedicated to the understanding of a stylistic trend, designed to substitute and enhance traditional moodboards.• The Immersive sketching is a generational environment enabling the design to position, erase, manipulate… a graphical mark in a three dimensional space planned for the creation of the first ideation sketches.This research aim to develop tools and a digital immersive workflow which first of all enables the design to anticipate Kansei (holistic relationship between the designer/user and the product) in order to optimize strategic style related choices and secondly enhances the fidelity between inspiration and generation while increasing the ability of the designer to produce innovating and aesthetic concepts.

Ces travaux de recherche proposent une nouvelle méthode d'interaction gestuelle. Nous nous intéressons en particulier à deux domaines d'application : la thérapie à domicile par la réalité virtuelle et les arts scéniques numériques. Nous partons du constat que les interfaces standardisées ne sont pas adaptées à ces cas d'usage, car elles font appel à des gestes prédéfinis et imposés. Notre approche consiste à laisser la possibilité à l'utilisateur de faire apprendre ses gestes d'interaction par le système. Cela permet de prendre en compte ses besoins et aptitudes sensorimotrices. L'utilisateur réutilise ensuite son langage gestuel appris par le système pour interagir dans l'environnement virtuel. Cette approche pose des questions de recherche centrées sur la mémorisation, la rétroaction visuelle et la fatigue. Pour aborder ces trois aspects, nous étudions d'abord le rôle de l'affordance visuelle des objets et celui de la colocalisation dans la remémoration d'un corpus de gestes. Ensuite, nous évaluons l'influence de différents types de rétroactions visuelles sur l'évolution des gestes répétés par l'utilisateur dans une série de tâches de manipulation. Nous comparons également les performances entre des gestes d'amplitude réaliste et des gestes d'amplitude faible pour effectuer la même action. Aussi, nous attachons une importance à rendre l'interface accessible en utilisant des dispositifs bas coûts et peu intrusifs. Nous explorons les moyens de pallier les contraintes techniques liées aux systèmes peu performants. Pour cela, nous avons conduit des expériences où plus de six mille gestes proposés par une quarantaine d'utilisateurs ont été étudiés. / In this thesis, we propose and evaluate new gestural interfaces for 3DUI. This work is motivated by two application cases: the first one is dedicated to people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is artistic digital performances, for which gesture freedom is part of the creative process. For those cases, a standardized approach is not possible and thus user-specific or dedicated interfaces are needed. We propose a user-defined gestural interaction that allows the user to make the system learn the gestures that he has created, in a specific phase, prior to using the system. Then, the user reuses his created gestures to interact in the virtual environment. This approach raises research questions about memorization of gestures, effects of fatigue and effects of visual feedbacks. To answer those questions, we study the memorization of user created gestures regarding the role of affordances and colocalization on gesture recall. Then, we study the role of different visual feedbacks on gesture repetitions for a set of manipulation tasks. We also compare full-collocated gestures to loose gestures with lower amplitude. Also, the approach has been designed to be affordable using low-cost devices. We explore solutions to deal with the lower data quality of such devices. The results of the user-studies are based on the analysis of six thousand gestures performed by forty subjects.

Dans un environnement virtuel, l’interaction fait partie des éléments essentiels qui permettent de procurer à l’utilisateur immersion et sentiment de présence. L’une des tâches essentielles que l’on souhaite effectuer est l’action de se déplacer. Pour adresser ce problème, on distingue deux approches. La recherche du réalisme consiste à tenter de reproduire le réel. Dans le cas du déplacement, cela consiste à donner la possibilité à l’utilisateur de marcher, ou de se servir d’un véhicule. Paradoxalement, cette solution qui semble si simple et naturelle nécessite en pratique l’utilisation de machines complexes et encombrantes, conçues pour faire ressentir à l’utilisateur qu’il se déplace, tout en maintenant sa position dans un périmètre délimité. Les métaphores ou les techniques d’interactions sont des mécanismes abstraits qui permettent de réaliser des tâches ambitieuses de manière efficace. Par exemple un rayon de sélection sortant de l’index de l’utilisateur est une technique d’interaction. C’est la transposition au domaine de la réalité virtuelle du concept d’interface graphique que l’on trouve dans les ordinateurs de bureau. On retrouve donc des problématiques d’intuitivité et d’ergonomie. Dans cette thèse, c’est cette approche qui a été retenue. Pour une plus grande intuitivité, nous proposons l’utilisation de périphériques nomades, avec une nouvelle technique d’interaction appelée Space Scrolling, utilisant un smartphone comme périphérique d’entrée et tirant parti de la gestuelle tactile familière des smartphones. Pour résoudre le problème du cyber-malaise, nous avons élaboré deux techniques, Head Lock et Avatar Follow. Dans Head Lock, on cherche à optimiser les rotations car c’est la composante de déplacement qui influe le plus sur le mal du simulateur. Dans Avatar Follow, on ajoute une couche de gestion automatique de la dynamique des déplacements afin d’empêcher les accélérations brutales. Nos différentes techniques de déplacement, ont été évaluées. Nous avons mis en évidence l’existence de catégories d’utilisateurs aux comportements et perceptions diamétralement opposés, novices et experts ou familiers, tout en leur apportant des solutions de déplacement adaptées. / In a virtual environment, interaction is one of the essential elements to provide the user immersion and feeling of presence. One of the most essential task one would like to achieve is the act of displacement. To address this problem, there are two approaches. The quest for realism involves trying to reproduce the reality. In the case of displacement, it consist in allowing the user to walk, or to use a vehicle. Paradoxically, this solution which seems so simple and natural requires in practice the use of complex and cumbersome machines, designed to make the user feel that he is moving, while keeping his position in a defined area. Interaction techniques or metaphors are abstract mechanisms to carry out ambitious task effectively. For example, pointing at and object with a selection ray which extend a finger, is an interaction technique. This is the transposition to the field of virtual reality of the concept of graphical interface that can be found in desktop computers. We thus encounter the same problems of intuitiveness and ergonomics. For better intuitiveness, we propose the use of nomad devices, with a new interaction technique called Space Scrolling, using a smartphone as the input device and taking advantage of the familiar smartphone touch gestures. In order to solve the problem of cyber-sickness, we developed two techniques, Head Lock and Avatar Follow. With Head Lock, we seek to optimize the rotations because it is the part of displacement that most affects the simulator sickness. With Avatar Follow, we add a layer of automatic management of dynamic movements to prevent brutal accelerations. Our different navigation techniques, were evaluated. We have demonstrated the existence of categories of users with diametrically opposed behaviors and perceptions, novices and experts or familiar, while providing tailored travel solutions.