Cette thèse s'intéresse à la simulation interactive d'objets déformables en grands déplacements. Elle aborde ce problème sous divers angles, en proposant des améliorations à tous les niveaux, de la génération du maillage au retour haptique en passant par la résolution des équations par solveurs hiérarchiques et la gestion efficaces de contacts multiples. Ainsi, après un état de l'art présentant dans le chapitre 2 les divers modèles utilisés pour modéliser des objets déformables, nous optons pour l'utilisation d'un modèle éléments finis corotationnel. Nous introduisons ensuite dans le chapitre 3 le problème de l'intégration dans le temps de ces modèles. Nous proposons dans ce cadre le concept de mailleur hiérarchique et quelques algorithmes pour améliorer les performances des solveurs hiérarchiques. Nous montrons aussi comment utiliser les ondelettes dans un cadre hiérarchique. Le chapitre 4 présente un nouveau modèle pour gérer les contacts. Ce modèle autorise la gestion de multiples contacts interactivement et en respectant les lois de Signorini et Coulomb. Ce modèle est basé sur la bonne approximation d'un modèle corotationnel élémentaire que constitue un modèle corotationnel nodal, ce qui permet l'utilisation d'une matrice de compliance approchée partiellement pré-calculée et pouvant aisément être mise à jour. Le chapitre 5 enfin, montre comment assurer un retour haptique dans le cas de la simulation de corps déformables. Nous proposons pour cela de séparer la boucle de rendu haptique de la boucle phyique. / Chapter 2 is dedicated to a Computer Graphics community deformable models state of the art. This review of the main methods and models used to simulate deformable bodies will lead us to consider the Element Based Corotational Model as a good basis for our simulation. Chapter 3 deals with the resolution of the equations induced by the use of a specific mode!. We detail the explicit and implicit integration methods used to comput the deformable bodies evolution in time. We then describe the different solvers, direct, iterative, multigrid and adaptive, which can be used to solve the system created by these integration methods. These descriptions lead us to consider the multigrid solvers as a good alternative to usual solvers, though they have some limitations that we try to tackle with two new contributions. Considering the obvious link between multigrid solvers and hierarchical basis functions, we also try to incorporate them in multigrid solvers. After this chapter we have the necessary tools to bend a deformable object subject to forces. ln Chapter 4 we concentrate on the interaction between the object and its environment, i.e. the contact. Thus, we introduce the methods often met in the Computer Graphics. We show that the complementarity based methods ensure a realistic and natural behaviour. However, they require the computation of the compliance that is really time consuming. Thi is why we propose our Compliance Warping method that allows a significant speed-up. This improvement relies on the use of a compliance approximation. Finally, in chapter 5, we present the haptic feedback. We also see that the introduction of the human in the simulation loop imposes demanding constraints on the simulation frequency and stability. Literature provides solutions for the stability issue. Nonetheless, in the of deformable bodies simulation, the models complexity forbids to meet the frequency requirement. We try to overcome this difficult by spitting the physical and haptic loops.

La majorité des interfaces reposent essentiellement sur la vision pour transmettre des informations aux utilisateurs. Cependant certaines situations requièrent des techniques d'interactions permettant d'afficher des informations de manière non-visuelle. Nous avons donc étudié des solutions apportées par le sens du toucher. Après un aperçu sur le domaine de la conception d'interfaces, en particulier sur la notion de multimodalité, nous nous sommes intéressés à une modalité en particulier : l'haptique, qui utilise le sens du toucher. Notre contribution à ce domaine commence par la conception et l'évaluation d'icônes tactiles permettant de coder des informations à l'aide d'une matrice de picots. Elles ont été utilisées dans un système de guidage pour aider des utilisateurs à explorer des formes géométriques grâce au sens du toucher. Nous avons aussi conçu et évalué des icônes utilisant le retour de force d'un bras articulé. Ces deux systèmes d'icônes ont été utilisés dans une application d'exploration de schémas de circuits électriques. Cette application multimodale permet à plusieurs enfants déficients visuels ou voyants d'explorer des schémas de circuits électriques en collaboration. Ils disposent d'informations visuelles et haptiques pour comprendre la forme du circuits, ainsi que les composants présents. Cette application utilise une architecture logicielle multimodale, que nous avons conçue et détaillée. L'architecture en question propose des briques de base permettant de faciliter la conception et le développement d'application multimodales, et en particulier celles utilisant le retour haptique / Most of cumputer interfaces mostly rely on vision to transmit information to users. However some situations require interaction techniques allowing to display information in a non visual manner. We studied solutions using the sense of touch. After an overview of the interface design domain, in particular the notion of multimodality, we focussed on a particular modality: haptics, that uses the sense of touch. Our contribution to this domain begins with the design and the evaluation of tactile icons that allows to encode information with pin matrices. They have been used in a guidance system to help users to explore geometric shapes thanks to the sense of touch. We also designed and evaluated force feedback icons that use a robot arm. These two icon systems have been used in an electric circuits exploration application. This application allows visually impaired users and sighted users to explore electric schematics together in collaboration. They are provided visual and haptic information to understand circuits' shapes and components. This application uses a software architecture we design and detailed. This architecture provides building blocks to ease the design and development of multimodal applications, and especially applications using haptic feedback.

L'objectif principal de cette thèse est de développer une nouvelle interface pour la simulation des procédures de chirurgie mini-invasive. L'interface développée introduit les modalités visuelle, haptique et thermique pour les futures générations de simulateurs et de robots chirurgicaux. La particularité de cette recherche réside dans l'utilisation de la stimulation thermique dans une perspective d'application pour la chirurgie. Dans ce cadre, plusieurs modèles de transfert de chaleur ont été développés, implémentés et évalués pour des applications de téléprésence et de réalité virtuelle. Des sensations intéressantes ont été enregistrées, ce qui a une conséquence directe sur la capacité de distinguer entre des objets dans l'environnement et particulièrement dans le domaine médical où la sensation thermique est en corrélation avec la présence d'anomalies dans certaines maladies. Un nouveau dispositif haptique est conçu et réalisé en analysant les tâches chirurgicales en termes de dextérité, d'espace de travail, de force et de couple exigés. Nous avons tenu compte des exigences générales de conception mécaniques des interfaces haptiques à partir de ce qui a été établi dans la littérature de l'haptique. Le dispositif complet a été interfacé avec un logiciel de simulation en réalité virtuelle (SOFA). Nous avons intégré dans SOFA le module nécessaire pour la simulation thermique. L'intégration était réussie et un scénario de simulation réaliste avec le retour d'information visuel que thermique a été réalisé. Des résultats préliminaires utilisant la simulation complète sont présentés. / The main objective of this thesis focuses on the construction of a new interface for Minimally Invasive Surgery training. This interface incorporates novel broad band sensory modalities that include visual, haptic and thermal technology, into the evolution of the next generation of surgical robotic and surgical simulator. Our particular novelty in this research is in using of thermal stimulation in a MIS applied perspectives. Several thermal exchange models have been designed, implemented and evaluated for telepresence and virtual reality applications. Interesting sensations have been recorded which have a direct bearing on the ability to distinguish between objects in the surrounding environment and particularly in the medical field where temperature sensing correlates with anomalies in some know diseases. A new haptic device is designed and realized by analyzing surgical tasks in terms of required dexterity, workspace, force and torque. The mechanical design constraints have been considered with respect to the general requirements for haptic interface design from what has been well established in the haptics literature. The overall device has been interfaced with an open source VR simulator (SOFA). We added in SOFA the necessary software dealing with thermal simulation using built-in data structure and methods. The integration was successful and a realistic simulation scenario with both visual and thermal feedback was achieved. Preliminary results using the overall simulation are presented.

L’usage des systèmes tactiles est omniprésent dans le monde d'aujourd'hui, où le principal moyen d’interaction est la pression d'un doigt sur l'écran de l'appareil, par exemple un smartphone ou une tablette. La capacité de ces interfaces pour rendre différentes sensations tactiles est assez limitée actuellement, et repose principalement sur la vibration de l'ensemble du dispositif, ce qui limite ses capacités de rendu tactile. Dans le domaine de l’haptique, peu de technologies sont compatibles avec les techniques d'acquisition de position capacitives ; parmi elles, on trouve les techniques de modulation de friction: électrovibration et vibrations ultrasoniques. L’électrovibration augmente la friction entre le doigt et une surface par l'attraction électrostatique créée par la mise sous haute tension de cette surface. Les vibrations ultrasoniques permettent de réduire le frottement en fonction de l'état vibratoire de la surface explorée. Dans cette thèse, une modélisation physique des deux techniques est développée et validée expérimentalement ; les règles de conception pour les systèmes tactiles exploitant ces techniques en sont déduites. De plus, l'indépendance physique et perceptive ainsi que la compatibilité des deux techniques sont prouvées par la mise au point d'un stimulateur couplé. Enfin, le développement d'un nouveau dispositif tactile, appelé E-VITA, élaboré en accord avec les règles de conception déduites, est décrit. Sur ce dispositif, une nouvelle stratégie de contrôle prenant en compte les caractéristiques perceptives du doigt, est intégrée, permettant l’augmentation des capacités de rendu tactile de ces dispositifs à friction modulable. / The interaction with tactile systems is ubiquitous in todays world, where the primary mean of interaction is the touch of a finger on the screen of the device, i.e. smartphone or tablet. The ability of these interfaces to render different tactile sensations is quite limited, and mostly composed by the vibration of the whole device, which limits their rendering abilities. Few haptic technologies show the promising opportunity to be coupled with capacitive position acquisition techniques. Among them, there are the friction modulation techniques, also called surface haptic techniques: electrovibration and ultrasonic vibration. The former increases the friction between the finger and a high voltage supplied surface by electrostatic attraction, whereas the second reduces the friction in function of the vibrational state of the explored surface. In this thesis, for both techniques, a precise physical modelling approach is developed, and assessed by experimental results and comparison; thus, design rules for these tactile devices can be deduced to optimize the tactile rendering. Moreover, physical and perceptual independence of both techniques are proven with the development of a coupled stimulator. In the end, the development of a new tactile device, named E-ViTa, developed following the design rules outlined, is described, and a new control strategy considering the perceptual characteristics of the finger is integrated, allowing the expansion of the rendering capabilities of the surface haptic devices.

La microchirurgie de l’oreille moyenne requiert une forte dextérité en raison de la finesse et de l’extrême sensibilité des structures impliquées. L’apprentissage de cette chirurgie est délicat et est effectué en fin d’internat. Ce travail porte sur le développement d’un modèle mécanique en éléments finis des différentes structures qui composent l’oreille moyenne dans le but de concevoir un simulateur chirurgical. Les objectifs sont de fournir un outil polyvalent pour l’apprentissage et l’entraînement de la chirurgie par la chirurgie, ainsi que d’offrir la possibilité d’explorer et d’évaluer de nouvelles procédures chirurgicales liées à l’apport de nouvelles technologies telles que la robotique. Le comportement mécanique du modèle développé a été confronté avec succès aux observations réalisées sur des pièces anatomiques. Afin d’obtenir un outil de simulation qui tienne compte des différences anatomiques de chaque patient, une méthode de déformation de l’atlas mécanique basée sur l’imagerie clinique a été implémentée. Les simulations du fraisage de la platine de l’étrier ainsi que le placement d’une prothèse ossiculaire ont été réalisées à l’aide d’une interface haptique et d’une nouvelle approche du rendu. Ce travail constitue ainsi le premier simulateur virtuel de chirurgie de l’oreille moyenne. Enfin le robot télé-opéré, RobOtol, a été intégré au simulateur afin d’étudier de nouvelles procédures chirurgicales robotisées. Le travail effectué porte essentiellement sur la simulation interactive réaliste de procédures chirurgicales complexes ainsi que la formation et la robotisation de la microchirurgie otologique. / Microsurgery of the middle ear requires high dexterity due to the finesse and the extreme sensitivity of the structures involved. Learning this surgery is delicate and is performed at the end of the residency. This work focuses on the development of a mechanical finite element model of the anatomical structures that compose the middle ear in order to design a surgical simulator. The objectives are to provide a versatile tool for learning and training of the surgery by surgical practice, as well as the opportunity to explore and evaluate new surgical procedures related to new technologies such as robotics. The mechanical behavior of the developed model was successfully confronted with observations on human specimens. In order to obtain a simulation tool that takes into account the anatomical differences of each patient, a deformation approach of our mechanical atlas, based on clinical imaging, was implemented. Simulations of the stapes footplate drilling and the placement of an ossicular prosthesis were performed using a haptic interface and a novel rendering approach. This work is thus the first virtual simulator of the middle ear surgery. Finally the tele-operated robot, called RobOtol was incorporate in the simulator to explore new robot-based surgical procedures. In addition, the simulation allows to train the otologists to the use of the robot. This work concerns mainly on the interactive simulation of complex surgical procedures, as well as on the learning and the robotization of the otologic microsurgery.

Ce travail s’inscrit dans le cadre général de l’assistance à la conduite pour les personnes handicapés moteurs et propose d’aborder cette problématique de façon expérimentale sur un système réel, en mettant l’accent sur l’optimisation de la coopération humain – machine. L’objectif de cette thèse consiste plus particulièrement en l’implémentation et l’évaluation d’une interface haptique de commande de fauteuil roulant électrique destinée à des personnes handicapés moteurs. Les interfaces utilisées sont un joystick à retour d’effort sidewinder2™ et un effecteur haptique à stylet phantom omni™. L’utilisation d’un capteur télémétrique laser sur le fauteuil permet en outre de recueillir des informations sur l’environnement du fauteuil. Nous utilisons des mesures ergonomiques d’efficacité telles que le temps d’exécution des tâches, les erreurs et la charge de travail afin d’établir des critères d’évaluation de notre système. La méthodologie suivie et les aspects pratiques de cette étude sont exposés, justifiés et discutés en se basant notamment sur les travaux de recherche décrits dans la littérature portant sur l’utilisation des interfaces haptiques pour le contrôle de systèmes robotisés et/ou téléopérés. L’évaluation du système ainsi conçu vise à comparer les performances de conduite d’un fauteuil roulant commandé par un effecteur à retour d’effort par rapport à une commande classique. Les résultats obtenus sont analysés statistiquement. Une étude théorique est également proposée basée sur la modélisation du système pilote-véhicule et des conclusions sur la validité et la pertinence des modèles testés sont présentées / This work lies within the general framework of the driving assistance for people with motor disabilities and proposes to address this issue experimentally on a real system, with emphasis on the optimization of the human–machine cooperation. The objective of this thesis consists especially in the implementation and the assessment of a haptic interface for the control of a powered wheelchair for people with motor disabilities. The interfaces used for this purpose are the force feedback joystick sidewinder2™ and the haptic device phantom omni™. Moreover, the use of a laser range sensor allows gathering information about the wheelchair environment. We use ergonomic efficiency measures such as the tasks execution time, the errors and the workload in order to establish criteria for evaluating our system. The methodology and the practical aspects of this study are exposed, justified and discussed based particularly on the research work described in the literature about the use of haptic interfaces to control robotic and / or remote controlled systems. The evaluation of such a system aims to compare the driving performance of a powered wheelchair controlled by a force feedback device compared to a conventional control. The results are statistically analyzed. A theoretical study is also proposed based on the modelling of the driver-vehicle system and conclusions about the validity and relevance of the tested models are presented

Dans le domaine de la réalité virtuelle, la mise en situation écologique des utilisateurs nécessite l’utilisation d’interfaces homme-machine capables de transmettre mais aussi restituer des informations réalistes. L’objectif de cette thèse est de réaliser une interface haptique capable de reproduire des retours d’informations kinesthésiques et tactiles, c’est à dire la reproduction des sensations de toucher virtuel. Plus précisément, ce travail vise à reproduire simultanément la forme et la texture. Pour cela nous avons réalisé un dispositif basé sur une plateforme kinesthésique capable de retourner la forme et sur une dalle tactile capable de retourner la texture. Le retour de forme est essentiellement basé sur la restitution de la courbure par l’exploration d’une surface continue, qui peut s’orienter, s’élever et se translater tout en restant toujours tangente à une forme virtuelle au point de contact ; ceci afin de respecter la principale source d’information dans la perception de forme, l’orientation de la surface locale. Quant au retour de texture, pour le réaliser, nous intégrons au dispositif une plaque tactile à frottement variable et contrôlé, développée au L2EP. Une série d’évaluations psychophysiques ont été effectuées de façon à connaître les performances de ce stimulateur couplé kinesthésique et tactile. / In the field of virtual reality, the improvement of the user immersion requires the use of human-machine interfaces capable of transmitting but also rendering the realistic information. The objective of this PhD is to develop a haptic device which can reproduce the kinaesthetic and tactile feedbacks, which is the reproduction of virtual touch sensations. Precisely, this work aims to simultaneously simulate the shape and the texture. For this purpose, we have designed a kinaesthetic platform to simulate the shape and a tactile plate to simulate the texture, and then integrated them in a compact device. For the simulation of shape, we proposed to render the curvature of shape by exploring a continuous surface that can be orientated, be elevated and be translated while always remaining tangent to a virtual shape at the contact point, in order to respect the principal source of information in the perception of shape (the orientation of the local surface). For the simulation of texture, we integrated a tactile plate developed in L2EP, which provides variable and controlled friction. Finally, we integrated the platform and the tactile plate in a device coupling kinaesthetic and tactile feedbacks that allows us to simultaneously reproduce the sensations of shape and fine texture. Several evaluations have also been performed to know the performance of the device.

Dans cette thèse, nous introduisons le concept de Réalité Augmentée Haptique (RAH) en définissant une taxonomie à deux axes. Le premier dénommé Haptique Augmentée (HA) représente l'ensemble des applications qui modifient/augmentent une donnée haptique existante. Le second axe, appelé Augmentation Haptique (AH), considère les applications qui utilisent la modalité haptique pour fournir une information supplémentaire à l'utilisateur. Par la suite, nous illustrons ces concepts sous forme d'une application de télé-diagnostic, permettant l'exploration d'un objet mixte, composé de parties réelles et virtuelles, ou la comparaison entre un objet réel et un virtuel ; d'un nouvel algorithme pour l'enseignement d'un chemin par guidage haptique, tout en évitant les problèmes de passivité et de dépendance de l'apprenti ; et de l'emploi de ces deux notions dans une application de peinture virtuelle sur un quelconque objet réel (avec croisement d'augmentations visio-haptique), le tout enrichi d'un processus visuel de Réalité Diminuée.

L’usage des écrans tactiles est devenu omniprésent ces dernières années. Ces appareils prennent une place de plus en plus importante dans notre de vie de tous les jours, on les retrouve dans nos maisons, bureaux et même dans nos poches. L’abondance de ces nouvelles interfaces a soulevé l’intérêt pour les technologies permettant une stimulation tactile, et mis en perspective le manque de ce type d’interfaces dans les nouvelles générations d’appareils mobiles avec écrans tactiles. Aujourd’hui, les appareils possédant ce type d’écran se contentent de fournir un retour sensoriel sous la forme de simples vibrations, qui n’ont pas pour objectif de recréer les sensations du toucher de surfaces. La recherche de nouvelles interfaces tactiles, plus performantes, et assurant une restitution plus proche d’une sensation naturelle est donc en cours. Plusieurs solutions technologiques ont prouvé leur efficacité mais posent des problèmes d’industrialisation. Dans cette thèse, une de ces méthodes adaptées aux écrans tactiles, la lubrification ultrasonique, est présentée. Cette méthode de stimulation s’appuie sur la création d’une onde stationnaire ultrasonore au sein d’un résonateur en verre et est capable de faire varier en temps réel la sensation de frottement entre le doigt de l’utilisateur et la surface du résonateur. Grace à des mesures tribologiques, les paramètres influents tels l’amplitude vibratoire, la vitesse d’exploration du doigt, la fréquence de résonance du stimulateur sont mis en évidence. Cette analyse permet la proposition d’une première série de spécifications techniques pour la conception de dispositifs à retour tactile. L’étude est ensuite complétée par l’analyse des problèmes d’alimentation et de contrôle du système, avec en considération les questions d’intégration au sein de dispositifs portables et les problèmes d’industrialisation du processus de fabrication. Enfin, des études psychophysiques sont menées pour affiner du point de vue perceptuel le cahier des charges de conception d’un tel dispositif. / The last few years have seen the emergence of ubiquitous mobile devices and tactile interfaces. These devices take an ever-important place in our daily life, they are present in our home, office, cars and even pockets. The abundance of these novel interfaces raised the interest in touch based human-machine interactions and highlighted the problem of the lack of natural touch feedback in the existing generation of tactile displays. Today’s smartphones all possess basic haptic feedback thanks to low frequency vibrations. However, these vibrations are far from the natural touch sensation of a surface. The search for a better tactile feedback, closer to the natural human perception, is ongoing. Multiple solutions are being explored to deliver improved haptic feedback on existing mobile platforms such as smartphones or tablets. In this thesis, we investigate the tactile feedback thanks to ultrasonic lubrication, well adapted to touch screen. This technology uses the creation of a resonating standing wave in a substrate to modulate in real time the friction perceived by user moving his finger on the resonator surface; the principle is effective even on a flat glass surface. By a series of experimental friction measures, the influence of the relevant parameters such as the vibration amplitude, the exploratory speed, the resonance frequency is highlighted. This analysis is used to build advanced tactile interfaces, based on ultrasonic friction modulation. The control and the supply of the tactile interfaces are also investigated, considering the issues of integration and industrialization of the process. Finally, these new interfaces are used to explore advanced control methods, improving further the quality and reliability of the generated sensation. Psychophysical analysis is performed to fulfil the specifications of these devices on a perceptual point of view.

La téléopération est un moyen unique pour interagir aux échelles micro et nanoscopique où la perception sensorielle de l'homme a dépassé ses limites. Des applications comme la conception de micro/nanosystèmes ou l'enseignement des nanotechnologies peuvent trouver leur expression dans ce thème prometteur de recherche. Cette thèse aborde la problématique de la perception et d'une interface haptique pour les nanosciences, sous l'angle des utilisateurs potentiels. Les points clés de ce travail se déclinent en deux parties. La première décrit une analyse détaillée de la perception utilisateur à l'aide d'un ensemble d'évaluations, dans un premier temps sur des expériences ciblées tâche (où la perception des phénomènes n'est pas primordiale comparée à la résolution de la tâche), puis sur d'autres orientées compréhension des phénomènes dans une démarche pédagogique. Le cœur de ce travail d'analyse s'articule autour de la définition d'une plate-forme de simulation, et la recherche d'assistances haptiques dédiées à des stratégies complexes de manipulation et d'analogies comportementales pour la compréhension de la microscopie à force atomique. La deuxième partie aborde la conception d'une interface haptique à haute fidélité pour l'échelle nanoscopique. Une nouvelle approche d'actionnement est proposée, où deux moteurs sont couplés visqueusement afin d'obtenir une interface à large plage dynamique et à faible inertie. Les deux prototypes réalisés montrent que ce système peut approcher voire dépasser les besoins dérivés des capacités motrices et perceptuelles de la main humaine.