Ce mémoire constitue une synthèse de mes sept années d'exercice en tant que maître de conférences à l'Université d'Evry Val d'Essonne depuis septembre 2003. Il retrace mes activités de recherche avec le souci constant de maintenir un lien et une cohérence avec mon activité d'enseignement. Ce mémoire d'Habilitation à Diriger des Recherches synthétise les travaux que j'ai menés dans le domaine de la robotique. Ils traitent de trois thématiques principales en intéraction : la commande des dispositifs à rendu haptique, la simulation de conduite et dernièrement la sécurité routière. Les liens reliant l'ensemble de mes études sont mis en exergue afin de délimiter le programme de recherche qui en découle et présenter les réflexions que je souhaiterais développer dans le futur.

La Réalité Virtuelle permet de simuler et d'interagir avec des Environnements Virtuels (EV) à travers différentes modalités sensorielles. Cependant, l'interaction avec des EV basés physique et complexes, comme des environnements non rigides ou larges, présente plusieurs défis en termes d'interaction et de retours sensoriels. Dans la première partie de cette thèse, nous abordons la manipulation de milieux non rigides avec du retour haptique et multimodal. Nous présentons tout d'abord une nouvelle approche pour l'interaction haptique à 6 degrés de liberté avec des fluides. Cette approche permet la génération de retours de force lors de l'interaction avec des fluides visqueux par le biais d'objets rigides de forme arbitraire. Nous étendons ensuite cette approche pour inclure l'interaction haptique avec des objets déformables, menant donc à une interaction haptique unifiée avec les différents états de la matière. Une expérience perceptuelle nous a permis de montrer que les utilisateurs peuvent identifier de façon efficace les différents états en n'utilisant que la modalité haptique. Ensuite, nous présentons un nouveau modèle vibrotactile pour le rendu de fluides, tirant parti de connaissances dans la synthèse de son de fluides. A travers cette approche, nous rendons possible l'interaction avec des fluides tout en générant des retours multimodaux, utilisant les canaux sensoriels vibrotactile, kinesthésique, acoustique et visuel. Dans la seconde partie de cette thèse, nous abordons la navigation basée sur la marche dans des EV larges. Comme les EV sont souvent plus larges que l'espace de travail réel, nous présentons une nouvelle technique de navigation qui permet à l'utilisateur de connaître de façon immersive les limites de son espace de travail en translation. En utilisant un contrôle hybride en position/vitesse, cette technique fournit une métaphore simple et intuitive pour une navigation libre de collisions et de ruptures d'immersion. Comme certains espaces de travail présentent aussi des limites en rotation dues à des écrans manquants, comme dans le cas d'un CAVE, nous proposons ensuite trois nouvelles métaphores de navigation abordant ce problème supplémentaire. L'évaluation de ces techniques de navigation a permis de montrer qu'elles remplissent efficacement leurs objectifs tout en étant très appréciées par les utilisateurs.

Les techniques d'insertion d'aiguille font partie des interventions chirurgicales les plus courantes. L'efficacité de ces interventions dépend fortement de la précision du positionnement des aiguilles dans un emplacement cible à l'intérieur du corps du patient. L'objectif principal dans cette thèse est de développer un système robotique autonome, capable d'insérer une aiguille flexible dans une structure déformable le long d'une trajectoire prédéfinie. L’originalité de ce travail se trouve dans l’utilisation de simulations inverses par éléments finis (EF) dans la boucle de contrôle du robot pour prédire la déformation des structures. La particularité de ce travail est que pendant l’insertion, les modèles EF sont continuellement recalés (étape corrective) grâce à l’information extraite d’un système d’imagerie peropératoire. Cette étape permet de contrôler l’erreur des modèles par rapport aux structures réelles et ainsi éviter qu'ils divergent. Une seconde étape (étape de prédiction) permet, à partir de la position corrigée, d’anticiper le comportement de structures déformables, en se reposant uniquement sur les prédictions des modèles biomécaniques. Ceci permet ainsi d’anticiper la commande du robot pour compenser les déplacements des tissus avant même le déplacement de l’aiguille. Expérimentalement, nous avions utilisé notre approche pour contrôler un robot réel afin d'insérer une aiguille flexible dans une mousse déformable le long d'une trajectoire (virtuelle) prédéfinie. Nous avons proposé une formulation basée sur des contraintes permettant le calcul d'étapes prédictives dans l'espace de contraintes offrant ainsi un temps d'insertion total compatible avec les applications cliniques. Nous avons également proposé un système de réalité augmentée pour la chirurgie du foie ouverte. La méthode est basée sur un recalage initial semi-automatique et un algorithme de suivi peropératoire basé sur des marqueurs (3D) optiques. Nous avons démontré l'applicabilité de cette approche en salle d'opération lors d'une chirurgie de résection hépatique. Les résultats obtenus au cours de ce travail de thèse ont conduit à trois publications (deux IROS et un ICRA) dans les conférences internationales puis à un journal (Transactions on Robotics) en cours de révision. / Needle-based interventions are among the least invasive surgical approaches to access deep internal structures into organs' volumes without damaging surrounding tissues. Unlike traditional open surgery, needle-based approaches only affect a localized area around the needle, reducing this way the occurrence of traumas and risks of complications \cite{Cowan2011}. Many surgical procedures rely on needles in nowadays clinical routines (biopsies, local anesthesia, blood sampling, prostate brachytherapy, vertebroplasty ...). Radiofrequency ablation (RFA) is an example of percutaneous procedure that uses heat at the tip of a needle to destroy cancer cells. Such alternative treatments may open new solutions for unrespectable tumors or metastasis (concerns about the age of the patient, the extent or localization of the disease). However, contrary to what one may think, needle-based approaches can be an exceedingly complex intervention. Indeed, the effectiveness of the treatment is highly dependent on the accuracy of the needle positioning (about a few millimeters) which can be particularly challenging when needles are manipulated from outside the patient with intra-operative images (X-ray, fluoroscopy or ultrasound ...) offering poor visibility of internal structures. Human factors, organs' deformations, needle deflection and intraoperative imaging modalities limitations can be causes of needle misplacement and rise significantly the technical level necessary to master these surgical acts. The use of surgical robots has revolutionized the way surgeons approach minimally invasive surgery. Robots have the potential to overcome several limitations coming from the human factor: for instance by filtering operator tremors, scaling the motion of the user or adding new degrees of freedom at the tip of instruments. A rapidly growing number of surgical robots has been developed and applied to a large panel of surgical applications \cite{Troccaz2012}. Yet, an important difficulty for needle-based procedures lies in the fact that both soft tissues and needles tend to deform as the insertion proceeds in a way that cannot be described with geometrical approaches. Standard solutions address the problem of the deformation extracting a set of features from per-operative images (also called \textit{visual servoing)} and locally adjust the pose/motion of the robot to compensate for deformations \cite{Hutchinson1996}. [...]To overcome these limitations, we introduce a numerical method allowing performing inverse Finite Element simulations in real-time. We show that it can be used to control an articulated robot while considering deformations of structures during needle insertion. Our approach relies on a forward FE simulation of a needle insertion (involving complex non-linear phenomena such as friction, puncture and needle constraints).[...]

Les travaux de recherche présentés pour l'habilitation à diriger des recherches, visent à proposer de nouveaux outils pour simuler des interventions médicales et chirurgicales. Ces outils ont plusieurs applications dont l'amélioration de la formation des praticiens, la planification d'interventions pour la préparation et la validation d'une thérapie ou encore l'assistance au geste médical durant une intervention. Or, pour simuler ces interventions de manière réaliste voire prédictive, il faut tenir compte de la déformation des structures anatomiques et des interactions mécaniques entre les outils et les organes. En même temps, la simulation doit être interactive et calculée en temps-réel pour garder le geste du praticien dans la boucle de la simulation. Le défi majeur de notre travail est donc de garantir un calcul précis au niveau de la simulation tout en gardant un temps de calcul très court, qui soit compatible avec le temps-réel. D'abord, nous proposons une formulation optimisée de la méthode par éléments finis (FEM) et de nouveaux outils numériques (pré-conditionneurs, couplage entre modèles...) dédiés à au calcul FEM temps-réel. Cette approche est utilisée pour calculer la biomécanique des déformations des tissus anatomiques et les instruments flexibles. Nous abordons ensuite un autre point clé de ces simulations que sont les conditions aux limites. Les interactions mécaniques entre organes et/ou entre les outils chirurgicaux et les tissus sont souvent complexes à modéliser. Or, une mauvaise prise en compte de ces interactions peut aboutir à des erreurs importantes. Notre approche suit les bases de la mécanique non-régulière pour gérer, notamment, le contact et le frottement entre solides. Nous étendons l'approche à d'autres modèles d'interaction (comme l'insertion d'aiguille par exemple). Dans ce contexte, nous mettons l'accent sur le calcul de la compliance des structures en temps-réel. Par ailleurs, pour certaines interventions où le retour visuel n'est pas parfait, le praticien se guide aussi avec le sens du toucher. Il est donc important de reproduire au moins partiellement cette sensation - dite haptique - avec des interfaces à retour d'effort, pilotée à partir des données de la simulation. Dans ce domaine, nous proposons une approche centrée sur le rendu haptique des interactions mécaniques entre outil chirurgical et tissus humain. Cette approche se base notamment sur une désynchronisation du calcul de la boucle de simulation et de la boucle de retour d'effort qui demande un rafraichissement à haute fréquence (1kHz). Finalement, nous présentons ces résultats de recherche sur des exemples concrets d'application et nous présentons les défis à venir pour permettre à la simulation de devenir un outil utilisé par les praticiens à l'avenir. Le manuscrit est en anglais.