Les interactions tactiles avec les écrans tactiles tels que les smartphones et les tablettes sont devenues de plus en plus omniprésentes dans notre vie quotidienne. Ces dispositifs tactiles commerciaux fournissent rarement un retour haptique convaincant aux doigts humains malgré l'utilisation du toucher comme entrée principale; le retour haptique est généralement limité à la vibration. Par conséquent, différentes technologies ont été explorées pour générer un retour haptique dynamique afin d'améliorer la saisie sur les appareils à écran tactile. Dans cette thèse, nous nous intéressons plus particulièrement à une catégorie de retour haptique qui exploite les vibrations ultrasoniques pour créer un film d'air entre le doigt d'un utilisateur et l'écran pour réduire la friction lorsqu'il est activé, ce phénomène est appelé effet squeeze film. En effet, la perception tactile de l'utilisateur joue un rôle crucial dans l'interaction avec les dispositifs haptiques. Dans cette thèse, nous explorons d'abord la limitation de la perception tactile des doigts de l'utilisateur sur les écrans tactiles haptiques ultrasoniques pour des explorations tactiles à un doigt et à plusieurs doigts au moyen d'expériences psychophysiques. Nous proposons ensuite un nouveau concept, appelé taxel, concernant la perception par l'utilisateur des éléments tactiles sur les écrans tactiles haptiques à ultrasons. En outre, nous décrivons comment optimiser les performances d'interaction de l'utilisateur dans des tâches d'interaction communes en utilisant les vibrations ultrasoniques. Enfin, nous étudions comment le signal tactile peut être combiné avec des signaux auditifs pour améliorer la perception de l'utilisateur dans les interactions musicales. / Touch interactions with tactile displays such as smart-phones and tablets, have become more and more ubiquitous in our daily life. These commercial touchscreen devices rarely provide a compelling haptic feedback to human fingers despite the use of touch as primary input; haptic feedback is typically limited to vibration. Therefore, different technologies have been explored to generate dynamic haptic feedback to enhance input on touchscreen devices. In this dissertation, we are are particularly interested in a category of haptic feedback which leverages ultrasonic vibrations to create an air-gap between a user's finger and the display to reduce friction when activated, a phenomenon called the squeeze film effect. Indeed, user's tactile perception plays a crucial role for interacting with haptic displays. In this thesis, we first explore user's fingers limitation of tactile perception on ultrasonic haptic displays for both one-finger and multi-finger touch explorations by means of psychophysical experiments. We then propose a novel concept, called taxel concerning user's perception of tactile elements on ultrasonic haptic touchscreens. Furthermore, we describe how to optimize user's interaction performances in common interaction tasks by leveraging ultrasonic lubrication. Finally, we study how tactile signal can be combined with auditory signals to enhance user's perception in musical interactions.

Les processus de conception industriels font de plus en plus appel à l'utilisation de maquettes numériques. La manipulation d'objets complexes requiert alors l'utilisation d'interfaces à retour d'effort afin de rendre l'interaction plus intuitive. D'autre part, ces processus de conception et de développement s'inscrivent de plus en plus dans une démarche de travail collaboratif.Dans ce contexte, nous proposons d'étudier une architecture distribuée en vue de manipuler des objets dans un environnement virtuel.Afin de garantir la stabilité du système, nous détaillons ensuite deux méthodes dérivées du domaine de la téléopération. La première repose sur les couplages virtuels proportionnels dérivés dans le cas de retards faibles. La seconde est basée sur les variables d'onde quelque soit le retard. Nous proposons, enfin, d'enrichir le retour d'effort en ajoutant de l'haptique événementielle que nous nous proposons d'évaluer.

Ce travail de thèse utilise le cadre de la Coopération Homme-Machine afin d'étudier l'articulation entre le traitement symbolique (interprétatif) du contexte et le traitement subsymbolique de l'intervention d'assistances à la conduite directement sur le volant. Quatre études expérimentales menées sur simulateur de conduite sont présentées.Les deux premières études s'intéressent à la capacité des conducteurs à conserver la totale maîtrise du véhicule lorsque l'assistance intervient ponctuellement sur le volant, en cas de risque imminent de sortie de voie (amorçage haptique). Les résultats montrent que seuls les temps de réaction des conducteurs sont entièrement déterminés au niveau sensori-moteur, les processus symboliques intervenant très tôt pour inhiber ou moduler la réponse motrice. Les deux dernières études s'intéressent à la Coopération Homme-Machine lorsque l'intervention de l'automate sur le volant est continue (contrôle partagé). Le degré de partage entre les deux agents et l'adaptation à l'assistance sur le moyen terme ont été étudiés. Les résultats permettent de conclure qu'il est possible d'intégrer efficacement l'intervention des automatesdans les boucles de contrôle sensori-motrices à condition que cette intégration respecte certaines précautions. Il s'agira notamment de calibrer finement le degré d'intervention ou la temporalité d'intervention dans ces boucles.

Ce document explore l'utilisation de méthodes de planification automatique dans des simulations interactives. Lors de simulations de montage et de démontage de composants industriels en environnement virtuel, l'utilisateur peut nécessiter une assistance. Cette assistance est réalisée par l'utilisation d'une solution de planification de trajectoire en temps réel. Cette solution permet la construction interactive d'une chemin par la combinaison de l'avis de l'utilisateur avec la performance de planificateurs automatiques. / This PhD thesis explores the use of motion planning methods in interactive simulations. In the context of assembling and disassembling simulations of industrial components using haptic devices, the user may require assistance to find collision free paths. This assistance can be provided using real time interactive path planning methods. Our solution allows an interactive construction of free paths by combining the opinion of the user with the performance of fast modified automatic path planners.

Ce travail de thèse utilise le cadre de la Coopération Homme-Machine afin d’étudier l’articulation entre le traitement symbolique (interprétatif) du contexte et le traitement subsymbolique de l’intervention d’assistances à la conduite directement sur le volant. Quatre études expérimentales menées sur simulateur de conduite sont présentées.Les deux premières études s’intéressent à la capacité des conducteurs à conserver la totale maîtrise du véhicule lorsque l’assistance intervient ponctuellement sur le volant, en cas de risque imminent de sortie de voie (amorçage haptique). Les résultats montrent que seuls les temps de réaction des conducteurs sont entièrement déterminés au niveau sensori-moteur, les processus symboliques intervenant très tôt pour inhiber ou moduler la réponse motrice. Les deux dernières études s’intéressent à la Coopération Homme-Machine lorsque l’intervention de l’automate sur le volant est continue (contrôle partagé). Le degré de partage entre les deux agents et l’adaptation à l’assistance sur le moyen terme ont été étudiés. Les résultats permettent de conclure qu’il est possible d’intégrer efficacement l’intervention des automatesdans les boucles de contrôle sensori-motrices à condition que cette intégration respecte certaines précautions. Il s’agira notamment de calibrer finement le degré d’intervention ou la temporalité d’intervention dans ces boucles / The work in this thesis employs the Human-Machine Cooperation framework to study the relationship between symbolic (interpretive) processing of the context and subsymbolic processing of the intervention of driving assistance devices that act directly on the steering wheel. Four experimental studies on a driving simulator are presented.The first two focus on the ability of drivers to remain in full control of the vehicle when the assistance occasionally intervenes on the steering wheel, in case of imminent risk of lane departure (haptic priming). The results show that the driver’s reaction times are fully determined at the sensorimotor level. However, symbolic processes are involved as well at a very early stage to inhibit or modulate the motor response. Two other studies focus on Human-Machine Cooperation when the intervention of the device is continuous (shared control). The optimal level of shared control and the medium-term adaptation of the driver to the automation are studied. The results show that it is possible to effectively integrate the intervention of automation into the drivers sensorimotor control loops. However, successful integration requires respecting certain constraints, such as the fine calibration of the level of automation and the timing of the intervention

Les technologies haptiques, stimulant le sens du toucher, sont utilisées depuis des années dans des applications de réalité virtuelle et de téléopération pour accroître l'immersion de l'utilisateur. Elles sont en revanche très peu employées dans les systèmes audiovisuels comme les cinémas. L'objectif de cette thèse est d'exploiter le potentiel des retours haptiques pour les contenus audiovisuels. Dans la première partie de la thèse, nous nous intéressons au rendu d'effets haptiques lors du visionnage d'une vidéo. Nous présentons tout d'abord un appareil générant des sensations de mouvements à 6 degrés de liberté. Au lieu de mettre tout le corps de l'utilisateur en mouvement, comme cela est fait avec les simulateurs de mouvements traditionnels, seulement la tête et les mains sont stimulées. Ce dispositif permet ainsi d'enrichir l'expérience audiovisuelle. Nous nous intéressons ensuite aux algorithmes de rendu d'effets haptiques dans un contexte audiovisuel. La combinaison de retours haptiques et de séquences vidéo amène de nouveaux problèmes lors du rendu haptique. Nous proposons un nouvel algorithme adapté à ce contexte. Dans la seconde partie de la thèse, nous nous concentrons sur la production d'effets haptiques. Premièrement nous présentons un nouvel outil d'édition graphique. Celui-ci propose trois méthodes d'interaction pour créer des effets de mouvement et pour les synchroniser avec une vidéo. De plus, cet outil permet de ressentir les effets créés. Ensuite nous nous penchons sur les combinaisons haptiques et audiovisuelles. Dans une nouvelle approche nommée Cinématographie Haptique, nous explorons le potentiel des effets haptiques pour créer de nouveaux effets dédiés aux réalisateurs de films. / Haptic technology, stimulating the sense of touch, is used for years in virtual reality and teleoperation applications for enhancing the user immersion. Yet it is still underused in audiovisual systems such as movie theaters. The objective of this thesis is thus to exploit the potential of haptics for audiovisual content. In the first part of this Ph.D. thesis, we address the haptic rendering in video viewing context. We first present a new device providing 6 degrees of freedom motion effects. Instead of moving the whole user's body, as it is traditionally done with motion platform, only the head and hands are stimulated. This device allows thus to enrich the audiovisual experience. Then we focus on the haptic rendering of haptic-audiovisuals. The combination of haptic effects and video sequences yields new challenges for the haptic rendering. We introduce a new haptic rendering algorithm to tackle these issues. The second part of this Ph.D. is dedicated to the production of haptic effects. We first present of novel authoring tool. Three editing methods are proposed to create motion effects and to synchronize them to a video. Besides, the tool allows to preview motion effects thanks to a force-feedback device. Then we study combinations of haptic feedback and audiovisual content. In a new approach, the Haptic Cinematography, we explore the potential of haptic effects to create new effects dedicated to movie makers.

L'objectif principal de nos travaux de thèse est de construire une batterie de tests haptiques pour enfants et adolescents, voyants et déficients visuels, permettant d'apprécier l'évolution avec l'âge des capacités haptiques en matière de scanning, discrimination, compréhension spatiale, mémoire à court terme et lecture d'images, ainsi que d'apprécier les différences liées au statut visuel des enfants et des adolescents. L'hypothèse qui sous-tend la construction de notre batterie est que les compétences en lecture d'images tactiles se développent de façon concomitante avec la progression (1) des capacités de scanning (lignes et points), (2) des capacités de discrimination haptique (texture, forme, taille), (3) des capacités de compréhension spatiale (orientation et localisation) et (4) des capacités de mémoire tactile à court terme (empan de chiffres et de formes). Le premier chapitre présente une revue de la littérature sur le fonctionnement du sens du toucher actif et des tests psychométriques qui sollicitent cette modalité perceptive. L'enjeu qui motive notre recherche est de se questionner quant à la pertinence d'utiliser la modalité haptique pour apprécier le développement des compétences perceptivo-motrices et cognitives des enfants et des adolescents voyants et déficients visuels. Nous mettons finalement en exergue que la conception d'une batterie développementale haptique 2D permettrait de combler le manque d'outils psychométriques adaptés à l'évaluation des enfants déficients visuels. Le deuxième chapitre est constitué de trois études pilotes dans le cadre desquelles il est demandé à des sujets voyants et déficients visuels d'identifier des images tactiles complètes et incomplètes. L'objectif est de tester les conditions préalables à la mise en place de notre outil. Plus précisément, il s'agit de déterminer si (1) les capacités de compréhension d'images tactiles évoluent avec l'âge, (2) ces capacités sont " comparables " entre enfants voyants et déficients visuels, (3) ces deux groupes d'enfants sont en mesure de comprendre des images tactiles incomplètes. Les résultats obtenus suggèrent que les dessins en relief constituent un matériel adapté pour apprécier les compétences haptiques 2D des enfants et des adolescents voyants et déficients visuels. Le troisième chapitre met en relief que différentes compétences haptiques impliquées dans le traitement de stimuli tactiles en 2D (i.e., capacités de scanning, de discrimination haptique, de compréhension spatiale, de mémoire tactile à court terme et de compréhension d'images tactiles) s'améliorent avec l'avancée en âge chez les sujets voyants. En outre, nous montrons que l'aptitude à discriminer des formes géométriques ainsi que la mémoire à court terme de formes jouent un rôle significatif dans la compréhension d'images tactiles. Le quatrième chapitre a pour objectif de tester l'ensemble des propriétés psychométriques de la batterie auprès de participants voyants et déficients visuels âgés de cinq à 25 ans. Nous montrons que notre outil présente des qualités métrologiques satisfaisantes en termes de sensibilité, de fidélité et de validité. De surcroît, nous n'observons pas de différences significatives inhérentes au statut visuel ainsi qu'à la présence de troubles associés dans les scores à la batterie, suggérant qu'un seul étalonnage peut être utilisé. Le cinquième chapitre présente les résultats et conclusions majeurs de la recherche, ses différents apports dans une visée à la fois fondamentale et appliquée, et ses limites. L'ensemble des résultats met en évidence que la modalité haptique représente une alternative intéressante à la vision pour évaluer les capacités perceptivo-motrices et cognitives des personnes déficientes visuelles. Des perpectives de recherche sont finalement présentées. / The main objective of our thesis work was to design a battery of haptic tests for visually impaired and sighted children and adolescents in order to assess the development of a range of haptic abilities with age, including scanning, discrimination, spatial comprehension, short-term memory and picture comprehension, and to assess differences linked to the visual status of children and adolescents. The theory behind the creation of our tests battery was that tactile picture comprehension skills develop concomittantly with the improvement of (1) scanning abilities (lines and dots), (2) haptic discrimination abilities (texture, shape and size), (3) spatial comprehension skills (orientation and location) and (4) short-term tactile memory capacity (dot span and shape span). The first chapter is a review of the literature on how the sense of active touch functions and on the psychometric tests that use this perceptual modality. The main purpose of our research is to question the relevance of using the haptic modality to assess the development of perceptual-motor and cognitive abilities amongst sighted and visually impaired children and adolescents. We finally emphasize that designing a developmental 2D haptic test battery would fill the lack of psychometric tools suitable for assessing visually impaired children. The second chapter is composed of three pilot studies in which sighted and visually impaired subjects were asked to identify complete and incomplete tactile pictures. The aim was to test the preconditions before creating our tool. More precisely, this entailed determining whether (1) tactile picture comprehension abilities develop with age, (2) these abilities can be compared between sighted and visually impaired children, (3) these two groups of children are able to understand incomplete tactile pictures. The results obtained suggest that raised-line pictures are a suitable material for assessing the 2D haptic abilities of sighted and visually impaired children. The third chapter highlights that a range of haptic abilities used to process 2D tactile stimuli (i.e., scanning, haptic discrimination, spatial comprehension, short-term memory and tactile picture comprehension abilities) improve with age for sighted subjects. In addition, we demonstrate that the ability to discriminate geometric shapes and the short-term memory of shapes play a significant role in tactile picture comprehension. The aim of the fourth chapter was to test all the psychometric properties of the battery with sighted and visually impaired individuals aged 5 to 25 years. We showed that our tool has satisfactory psychometric indices in terms of sensitivity, reliability and validity. What is more, we did not observe any significant differences that were inherent to visual status, or to the presence of associated disorders in the battery scores, suggesting that single calibration may be used. The fifth chapter summarizes the main results and conclusions of the research, its different contributions for both fundamental and applied purposes, and its limitations. Altogether our results suggest that the haptic modality is an interesting alternative to vision to assess the perceptual-motor and cogntive abilities of visually impaired people. Finally, two possible avenues for future research are presented.

Ce projet de thèse de doctorat traite du retour sensoriel du toucher dans des environnements virtuels. La partie théorique s’intéresse aux différents schémas de perception du toucher et aux modalités haptiques correspondantes. Nous nous sommes particulièrement concentrés sur la pertinence de chaque modalité pour chaque usage, à leur compatibilité avec les systèmes visuels qui ont une place très importante en réalité virtuelle, ainsi qu’aux problématiques inhérentes à chaque cas. Ces réflexions nous ont amenés à évaluer les méthodes d’haptique passive et de substitution sensorielle dans le cadre d’interactions dans des CAVEs. Les résultats mettent en lumière l’importance du choix de la modalité en parallèle avec la construction du scénario, mais aussi les difficultés à colocaliser les moteurs haptiques et visuels. Les interactions peuvent souffrir de performances insuffisantes si des précautions ne sont pas prises. Enfin, nous avons testé quelques méthodes logicielles visant à améliorer les performances des sujets lorsqu’ils interagissent. / This thesis tackles the subject of the feedbacks of interactions in virtual environments. The theoretical part addresses the different perception schemes and the corresponding haptic modalities. We especially focused on the relevance of each modality for each use-case, on the compatibility with the visual systems which take an important place in virtual reality, and on the problematics of each situation. These studies led us to evaluate passive haptics and sensory substitution for interactions in CAVEs. The results show the importance of choosing the right modality relative to the scenario design. We also evaluated how mismatched the visual and haptic workfield can be, and how the performance of interactions suffers from this fact. Ultimately, we tested a few software-based methods meant to improve the performance of the interactions of the subjects.

L’objectif de cette recherche est de découvrir comment se développe l’image du corps et la relation d’objet, et ainsi l’élaboration du moi, des personnes aveugles de naissance.La problématique : deux approches de la cécité se confrontent. Une approche pessimiste faisant de la vision l’essentiel du savoir, liant le handicap physique au handicap sensoriel ; Une vision modérée, donnant du crédit à la perception haptique. Qu’en est-il de l’image du corps et de la relation d’objet ? Partant des conceptions de Lederman, Anzieu et Tisseron, nous avons conçu l’idée du Regard-peau. L’hypothèse : Le Regard-peau, permettrait à partir du perçu multimodal - une reconnaissance de l’image du corps et de l’objet ; - et un accès à la métaphore du désir en tant que relation à l’objet et à son interdit.La méthode : Pour arriver à confirmer ou infirmer cette hypothèse nous avons eu recours, aux acquis théoriques de la psychanalyse du développement, et sur le plan méthodique, à l’entretien semi directif, enfin à la création d’une situation expérimentale observable que nous avons créée étant donné qu’aucune expérimentation visuelle n’était possible. La population étudiée comprend 20 aveugles-nés âgés de 18 à 21 ans, qui nous a permis de comprendre l’état de cécité, et 3 jeunes hommes non-voyants de naissance, qui ont fait l’objet d’une étude de cas. / AThe objective of this research is to discover how the image of the body and object relation develop, furthermore, the ego development of congenitally blind people. Problematic: two approaches of blindness have been in confrontation. A pessimistic approach making vision the essential of knowledge, linking physical disability and sensory disability; A moderate vision, giving credit to haptic perception. What then about the body image and object relation? Starting with Lederman concepts, Anzieu and Tisseron, we onceived the idea of the gaze - skin. Hypothesis: The gaze - skin would allow, from the multimodal perception a recognition of the body image and the object; - and an access to the metaphor of desire as a relation to the desired object and its prohibition. Method: To get to confirm or disprove this hypothesis we used, the theoretical knowledge of developmental psychoanalysis, and methodologically, the semi-directive interview, and finally the creation of an observable experimental situation that we created because no visual experimentation was possible. The studied population included 20 congenitally blind people aged 18 to 21 years, which has enabled us to understand the state of blindness, and three young men blind from birth, who have been the subject of a case study, and were excluded those who became blind after a period of vision.

Ce projet de recherche, intitulé Téléopération d'un robot collaboratif par outil haptique traite un des problèmes contemporains de la robotique, à savoir la coopération entre l'humain et la machine. La robotique est en pleine expansion depuis maintenant deux décennies: les robots investissent de plus en plus l'industrie, les services ou encore l'assistance à la personne et se diversifient considérablement. Ces nouvelles tendances font sortir les robots des cages dans lesquelles ils étaient placés et ouvrent grand la porte vers de nouvelles applications. Parmi elles, la coopération et les interactions avec l'humain représentent une réelle opportunité pour soulager l'homme dans des tâches complexes, fastidieuses et répétitives. En parallèle de cela, la robotique moderne s'oriente vers un développement massif du domaine humanoïde. Effectivement, plusieurs expériences sociales ont montré que l'être humain, constamment en interaction avec les systèmes qui l'entourent, a plus de facilités à contribuer à la réalisation d'une tâche avec un robot d'apparence humaine plutôt qu'avec une machine. Le travail présenté dans ce projet de recherche s'intègre dans un contexte d'interaction homme-robot (IHR) qui repose sur la robotique humanoïde. Le système qui en découle doit permettre à un utilisateur d'interagir efficacement et de façon intuitive avec la machine, tout en respectant certains critères, notamment de sécurité. Par une mise en commun des compétences respectives de l'homme et du robot humanoïde, les interactions sont améliorées. En effet, le robot peut réaliser une grande quantité d'actions avec précision et sans se fatiguer, mais n'est pas nécessairement doté d'une prise de décision adaptée à la situation, contrairement à l'homme qui est capable d'ajuster son comportement naturellement ou en fonction de son expérience. En d'autres termes, ce système cherche à intégrer le savoir-faire et la capacité de réflexion humaine avec la robustesse, l'efficacité et la précision du robot. Dans le domaine de la robotique, le terme d'interaction intègre également la notion de contrôle. La grande majorité des robots reçoit des commandes machines qui sont généralement des consignes de trajectoire, qu'ils sont capables d'interpréter. Or, plusieurs interfaces de contrôle sont envisageables, notamment celles utilisant des outils haptiques, qui permettent à un utilisateur d'avoir un ressenti et une perception tactile. Ces outils comme tous ceux qui augmentent le degré de contrôle auprès de l'utilisateur, en ajoutant un volet sensoriel, sont parfaitement adaptés pour ce genre d'applications. Dans ce projet, deux outils haptiques sont assemblés puis intégrés à une interface de contrôle haptique dans le but de commander le bras d'un robot humanoïde. Ainsi, l'homme est capable de diriger le robot tout en ajustant ses commandes en fonction des informations en provenance des différents capteurs du robot, qui lui sont retranscrites visuellement ou sensoriellement.