La question du rôle de l'expérience et de l'imagerie visuelle dans la perception et l'identification haptique d'images aux traits en relief par des individus aveugles et voyants constitue la question de recherche de cette thèse. La thèse présente quatre études expérimentales qui portent sur la perception d'images tactiles non figuratives (des patterns de lignes simples) et figuratives (visages expressifs, objets communs). Les résultats montrent que 1-Des individus aveugles peuvent reconnaitre des patterns simples avec un niveau de performance comparable à celui des individus voyants. 2- La stratégie que les personnes aveugles utilisent pour répondre à cette tâche dépend de leur proportion de temps de vie sans expérience visuelle. 3-Il n'y a pas plus de différence de performance entre individus aveugles de naissance et voyants avec des images figuratives. 4-Des individus forts en imagerie visuospatiale sont plus performants que des faibles imageurs pour identifier des images tactiles d'objets communs. En conclusion, la perception haptique des images tactiles, figuratives ou non, s'avère globalement possible sans le recours de l'expérience visuelle ou de l'imagerie visuelle. Le type d'imagerie mentale impliqué dans la compréhension des images tactiles dépend des individus (statut visuel, expérience visuelle, aptitude en imagerie visuospatiale). Des perspectives sur le contrôle de la complexité des images et l'analyse des mouvements d'exploration par une technologie innovante sont proposées.

Pour apprendre à lire dans un système d'écriture alphabétique, les enfants doivent comprendre que les lettres (graphèmes) de l'écrit représentent les sons (phonèmes) de l'oral. Comprendre et apprendre ces nouvelles associations ainsi qu'automatiser leur utilisation nécessite plusieurs années d'enseignement spécifique. Des études ont montré que des méthodes précoces de préparation aux apprentissages qui renforcent les liens entre les compétences perceptives et motrices sollicitées lors de l'apprentissage conjoint de la lecture et de l'écriture seraient particulièrement efficaces. L'objectif principal de ce travail a été de comprendre la manière dont une exploration manuelle haptique de lettres cursives favorisait le décodage de pseudo-mots et la fluidité des tracés chez des enfants de grande section de maternelle. Nous avons donc comparé des entraînements multisensoriels, impliquant la modalité haptique et visuelle dans le travail d'exploration des lettres, à des entraînements unimodaux visuel ou haptique. Ce travail a été réalisé à travers deux axes : d'une part, chez des enfants de grande section de maternelle confrontés aux graphèmes et phonèmes, et d'autre part, chez des adultes confrontés à un nouvel apprentissage de formes abstraites et stimuli auditifs totalement inédits. Les résultats révèlent que l'activité motrice autour des lettres et des formes abstraites ne permet pas, malgré des mouvements d'exploration intimement liés à leur configuration spatiale, de favoriser leur mémorisation. Toutefois, nous mettons en évidence de manière robuste un meilleur apprentissage des associations entre les formes et les sons après une exploration visuelle et haptique des formes. De surcroît, cette amélioration ne serait pas uniquement due à la séquentialité de l'exploration induite par la modalité haptique, mais bien à la motricité elle-même. La modalité haptique pourrait donc servir de " ciment " entre les stimuli visuels et auditifs. Enfin, familiariser les enfants au geste d'écriture de lettres cursives, via une exploration haptique guidée (par un bras robot à retour de force), permet d'améliorer la fluidité de l'écriture. Présenter un patron de lettre à la fois statique et dynamique permettrait aux enfants d'assimiler certaines règles motrices de production (ordre de production, cinématique) et d'acquérir une représentation motrice plus complète de la lettre. L'ensemble des résultats suggère une influence significative de l'exploration haptique de lettres dans l'apprentissage de la lecture et de l'écriture et encourage donc sa prise en compte dans des entraînements visant à préparer ces apprentissages.

Ce mémoire constitue une synthèse de mes sept années d'exercice en tant que maître de conférences à l'Université d'Evry Val d'Essonne depuis septembre 2003. Il retrace mes activités de recherche avec le souci constant de maintenir un lien et une cohérence avec mon activité d'enseignement. Ce mémoire d'Habilitation à Diriger des Recherches synthétise les travaux que j'ai menés dans le domaine de la robotique. Ils traitent de trois thématiques principales en intéraction : la commande des dispositifs à rendu haptique, la simulation de conduite et dernièrement la sécurité routière. Les liens reliant l'ensemble de mes études sont mis en exergue afin de délimiter le programme de recherche qui en découle et présenter les réflexions que je souhaiterais développer dans le futur.

Par l'exploitation de nos capacités visuelles, la visualisation scienti que entend proposer aux ingénieurs et aux chercheurs un outil visant à les assister dans l'acquisition de connaissance à partir de phénomènes complexes. Ce travail de thèse s'inscrit dans cette lignée, à ceci près qu'il s'intéresse plutôt à l'utilisation des technologies de la Réalité Virtuelle dans le but d'amener un utilisateur expert au coeur du processus d'exploration et d'analyse des données, ce que nous appelons Exploration de données scienti fiques. Dans le but d'arriver à des processus d'exploration efficaces, notre recherche s'est portée sur la mise en place de techniques d'interactions intuitives, susceptibles d'exploiter au mieux les capacités sensorimotrices de l'être humain. Pour atteindre cet objectif, deux conditions nous paraissent être essentielles. D'une part, il faut que les informations transmises via différents canaux sensorimoteurs aient une certaine cohérence à être délivrées ensemble : il est primordial que l'exploitation d'un canal pour véhiculer une information ne soit pas en concurrence avec ce qui est fait sur un autre canal. D'autre part, il est souhaitable que le potentiel de chaque canal soit utilisé au meilleur de sa capacité. Dans ce contexte, ce travail a débuté par une analyse de l'utilisation de l'haptique dans l'Exploration de données scientifi ques. Pour ce type d'usage, il a été identifié quatre tâches fondamentales (Sélectionner, Localiser, Relier et Arranger) pour lesquelles l'haptique semble présenter un réel avantage par rapport aux autres canaux sensoriels. Pour chacune de ces tâches, nous avons montré, au travers d'une large étude bibliographique, comment l'interaction haptique pouvait être exploitée afi n d'off rir des méthodes d'exploration efficaces. Sur la base de cette analyse organisée autour de ces quatre catégories, nous avons ensuite mis en évidence les problématiques liées aux tâches identifiées. Ainsi, nous avons souligné, d'une part que l'haptique pouvait faciliter la sélection de données scienti fiques dans des contextes où celles-ci sont massives, et d'autre part nous avons montré le besoin de mettre en place de nouvelles méthodes de suivi de structures d'intérêts (iso-surfaces, lignes de courant etc.). Notre problématique ayant ainsi été posée, nous avons d'une part étudié l'utilisation de retour multimodaux non visuels pour la recherche et la sélection de cibles dans un environnent virtuel 3d. Les situations impliquant une ou plusieurs cibles furent analysées, et plusieurs paradigmes d'interaction ont été proposés. Dans cet ordre d'idées, nous sommes arrivés à défi nir et valider un principe directeur pour l'usage de retours haptico-sonores pour la recherche et la sélection d'une cible donn ée située dans une scène 3d pouvant en contenir plusieurs autres. Nous avons en eff et montré que, pour une telle tâche, il était préférable d'exploiter la spatialisation sonore a n de localiser la cible désirée dans l'espace, tandis que le retour haptique permettait une sélection précise de la cible. D'autre part, nous nous sommes attaqués aux problèmes liés au rendu haptique d'ensembles de données pouvant présenter de fortes variations. A cet eff et, suite à un rappel de l'apport de l'haptique pour le rendu de surfaces dans le domaine médical, nous avons analysé certains besoins pouvant être comblés par l'ajout de ce canal sensorimoteur dans l'analyse d'iso-surfaces issues de simulation de Mécanique des Fluides Numérique (MFN). Par la suite nous avons proposé et évalué, par l'intermédiaire d'expériences de perception et de mesures de performance, de nouvelles méthodes de rendu haptique d'iso-surfaces dont l'une des originalités est de pouvoir se passer d'une représentation polygonale intermédiaire. En fin, nous avons appliquécette nouvelle approche d'exploration de données scientifi ques à l'analyse des résultats d'une simulation d'un écoulement dans une cavité ouverte. Ainsi, nous avons proposé deux méthodes d'analyse multi-sensorielle, dédiées à l'exploration d'un ensemble de données issu d'une simulation de MFN, en exploitant les approches génériques développées précédemment. La première méthode concerne une analyse interactive de la géométrie de l'écoulement, alors que la seconde se rapporte à une analyse multi-sensorielle de la topologie de l'écoulement. Les premières évaluations menées ont indiqué que les méthodes proposées tendaient à favoriser une meilleure compréhension du phénomène analysé et qu'elles pouvaient diminuer la charge cognitive habituellement requise par une telle tâche. A titre de conclusion, soulignons que cette thèse de doctorat ouvre la voie à un certain nombre de perspectives de recherches. A court terme, il s'agit de compléter les travaux relatifs à l'analyse de l'aspect dynamique de la simulation d'un écoulement dans une cavité ouverte. Ces travaux consisteront à proposer et valider différentes interactions multimodales visant à examiner les échanges/recirculations pouvant exister entre/dans les parties de la dite cavité. Mais au-delà des travaux relatifs à la MFN, l'expérience acquise à travers ces travaux pluridisciplinaires (informatique, mécanique des fluides, ergonomie cognitive) me permettra à moyen terme d'élargir mes travaux de recherche à l'exploration de données médicales, météorologiques, ou géologiques.

Les travaux présentés dans cette thèse traitent de l'utilisation de la Réalité Virtuelle (RV) et plus particulièrement du retour d'effort pour améliorer l'interaction dans les applications de Conception Assistée par Ordinateur (CAO). Dans ce document, nous décrivons le rôle actuel du Product Lifecycle Management (PLM) dans l'industrie, et plus spécifiquement la place tenue par l'outil CAO. Celui-ci offre de nombreuses fonctionnalités pour l'édition d'une maquette en trois dimensions, mais, actuellement, ne bénéficie pas pleinement des méthodes d'interactions les plus récentes. Notre positionnement de recherche concerne l'utilisation des dispositifs de visualisation ainsi que les nouvelles méthodes d'interaction offertes par la RV, pour rendre l'édition de forme plus intuitive. Toutefois, de nombreuses applications industrielles du PLM, telles que l'assemblage ou l'ergonomie, utilisent déjà des solutions de RV pour augmenter l'interaction avec le produit. Afin de bien appréhender les solutions haptiques que nous proposons, un rappel des principaux concepts de la CAO est effectué, en particulier relatif à ses modèles de données (B-Rep, graphe d'historique, persistent naming). On décrit également les informations perceptibles autour de trois principales catégories : référents, informations géométriques et guides, puis les retours tactiles et d'efforts envisagés pour traduire les différents types d'informations que l'on peut rencontrer. Le travail du concepteur s'articulant autour de deux catégories de tâches : la sélection et la modification de la maquette CAO, nous avons structuré nos travaux de recherche en haptique autour de ces deux grandes classes. De fait, nous abordons ensuite les problématiques de sélection dans une maquette 3d, sélection assistée par des retours haptiques adaptés, et ce en particulier pour permettre une perception fine des composants topologiques. Dans un second temps, nous présentons deux tâches représentatives des activités de modification en CAO : l'édition de courbes et surfaces et l'extrusion. Ces deux fonctionnalités permettent de montrer l'apport de l'haptique pour la manipulation de paramètres sur deux types d'édition CAO très différents. Nous nous intéressons à l'impact de différents facteurs comme le contexte de réalisation de la tâche, la manipulation simultanée des paramètres, la cohabitation de multiples retours haptiques, ou la prise en main, par les tilisateurs, des solutions haptiques. L'analyse des expérimentations relatées dans cette thèse montre des résultats mitigés sur l'apport de l'haptique. Si ce canal sensorimoteur est généralement plebiscité, il convient néanmoins de faire attention au paramétrage des retours d'effort et à la mise en relation des différentes méthodes haptiques, au risque de gener le travail de l'utilisateur du système CAO. Au demeurant, une fois cet écueil évité, les perspectives de l'intégration de l'interaction haptique pour l'aide 'a l'édition CAO semblent prometteuses. Nous concluons cette recherche en esquissant la méthodologie d'intégration RV-CAO qu'il conviendrait de suivre pour mener à bien une évaluation complète de nos solutions avec des utilisateurs CAO experts.

Dans le domaine des nanosciences, la manipulation directe des objets par l'opérateur est impossible, à cause notamment de leur taille, des champs de forces complexes et non intuitifs, ainsi que de la très grande sensibilité des systèmes aux conditions environnementales. La téléopération avec retour d'effort apparaît donc comme une solution prometteuse pour les nanosciences alliant intuitivité de manipulation et flexibilité. Pour obtenir des dispositifs complets, permettant la conception, la fabrication, et l'analyse de systèmes aux propriétés inédites, deux outils principaux sont nécessaires : les systèmes de manipulation robotisés, et les simulateurs. Les problématiques de la téléopération pour ces deux outils sont similaires, et comportent notamment des problèmes importants de transparence du fait des champs de forces complexes qui doivent être retournés aux utilisateurs, et de stabilité du fait de la réduction d'échelle. Dans l'état actuel des développements, que ce soit pour la téléopération d'objets réels ou virtuels, il n'existe pas de systèmes complets, utilisables pour réaliser des manipulations complexes. Les applications se limitent le plus souvent à de simples démonstrations de faisabilité. Pour obtenir des systèmes avec une large gamme d'applications, plusieurs points doivent être abordés : - la maîtrise de l'influence de la réduction d'échelle sur les schémas de commande, et l'adéquation entre les performances des couplages et les applications recherchées, notamment en termes de transparence et de stabilité, - la définition de stratégies adaptées aux contraintes technologiques des systèmes de manipulation, - l'utilisation de solutions adaptées pour s'affranchir du compromis fort entre stabilité, facilité de manipulation et qualité du ressenti haptique dû à la différence d'échelle. Les premières téléopérations complexes à l'échelle nanoscopique ont pu être menées en prenant en compte les points précédents. Des opérations de ressenti des interactions nanoscopiques ont été réalisées, et des billes de quelques micromètres ont été manipulées, par roulement ou par saisie-dépose. Cette dernière manipulation est la première téléopération 3D complexe avec retour d'effort sur des objets microscopiques. Pour la simulation, un système de téléopération moléculaire avec un large champ d'application, comprenant notamment la modification globale de systèmes moléculaires, la recherche d'états caractéristiques ou encore la déformation de molécules, a été développé. Ce travail n'est que le premier pas vers l'utilisation de la téléopération à l'échelle nanoscopique pour des manipulations complexes, mais il montre la faisabilité et l'intérêt de cette approche pour les nanosciences.

Une interface haptique est développée pour fournir le retour d'effort d'interaction dans un environnement virtuel à échelle humaine. L'interface est composée d'une plate-forme à câbles et d'un exosquelette de préhension. La plate-forme comprend 8 câbles qui sont actionnés par 8 blocs d'actionnement. Chaque bloc contient un moteur électrique, un encodeur rotatif et un capteur de force. Le moteur tire sur le câble, pendant que le capteur de force mesure la tension du câble et l'encodeur détermine sa longueur. Les blocs d'actionnement sont d'une conception novatrice qui augmente la force maximale et la précision de l'interface. L'exosquelette est connecté et actionné par les câbles et permet aux 5 doigts d'une main de l'utilisateur d'accomplir le geste de préhension. L'interface fournit au total 7 degrés d'action pour l'utilisateur en interaction avec les objets virtuels : 3 degrés de translation, 3 degrés de rotation et 1 degré de préhension. L'interface à retour d'effort a été modélisée pour déterminer précisément la distribution des tensions dans les câbles en fonctions des forces et des couples désirés. Les blocs d'actionnement peuvent se déplacer sur un cadre cubique autour de l'environnement virtuel. Une configuration optimale est alors trouvée pour les positions des blocs afin de maximiser l'espace de travail de l'interface. Une méthode de commande hybride basée sur les tensions des câbles, mesurées par les capteurs, est également proposée. Cette méthode mène à résoudre les problèmes classiques des interfaces à câbles. L'application considérée pour cette interface est l'interaction haptique avec l'espace intérieur simulé d'une automobile. Une scène virtuelle correspondante à cette application a été développée et l'interface a été testée dans différents cas de retour d'effort. Les résultats des tests démontrent la performance de l'interface pour fournir des efforts appropriés avec une transparence de mouvement pour l'utilisateur.

Le domaine médical voit apparaître depuis peu des simulateurs pédagogiques, à l'instar de ce qui existe depuis quelques années dans d'autres domaines (aviation, auto-école). En effet, la formation actuelle des chirurgiens se fait à la fois sur des cadavres (ce qui entraîne des difficultés grandissantes et des coûts élevés) et par compagnonnage (avec des chirurgiens expérimentés). Une forte demande est exprimée pour des simulateurs chirurgicaux pédagogiques, surtout dans le domaine de la chirurgie mini-invasive, avec une prise en compte des gestes et des sensations tactiles. Ce travail de thèse, réalisé au Centre de Robotique (CAOR) de l'Ecole des Mines de Paris, couvre deux problématiques importantes pour la réalisation d'un simulateur chirurgical pédagogique : la modélisation temps réel des tissus mous et la réalisation d'un système haptique dédié à la chirurgie virtuelle. Nous nous intéressons à la modélisation temps réel des organes déformables, nous mettons en oeuvre une méthode physique, qui offre la possibilité de paramétrer le modèle à partir de mesures expérimentales, et de construire une solution générique applicable à une grande variété de matériaux. Il s'agit d'une approche issue de la Mécanique des Milieux Continus ; c'est une synthèse entre deux présentations répandues : les massesressorts et les masses tenseurs. Elle se base sur le modèle des matériaux de Saint Venant Kirchhoff qui correspondent à une classe de matériaux hyperélastiques. Une fois modélisé, l'organe virtuel doit interagir avec l'environnement, il s'agit de la détection des collisions (avec les outils) ou auto-collisions (l'organe se plie sur lui-même) ainsi que la gestion de ces collisions. Nous traitons aussi la découpe que peut subir un organe pendant l'opération. Nous présenterons aussi nos travaux de conception et de réalisation du système de retour d'effort dédié à la chirurgie, le « trocart actif ». Notre système présente un avantage majeur sur l'existant, il peut être utilisé pour une grande variété d'opérations chirurgicales endoscopiques. Il s'agit de l'instrumentation du trocart, outil indispensable pour la chirurgie mini-invasive afin d'assurer au maximum que les outils de chirurgie ne heurtent pas la peau à l'endroit de l'incision. Nous l'appelons « trocart actif ». Nous avons optimisé la conception de ce trocart afin de permettre l'utilisation de plusieurs trocarts actifs dans la même opération de chirurgie virtuelle et évidemment afin d'assurer le bon fonctionnement d'un système haptique pour garantir un bon rendement tactile. Avec ce système nous n'imposons pas le choix de l'outil chirurgical au jeune chirurgien. Celui-ci aura le choix de l'outil chirurgical au cours de l'opération.

La simulation d'assemblage CAO en environnement virtuel donne une nouvelle dimension au développement rapide et à moindre coût d'un produit, en permettant de travailler collaborativement autour de la maquette numérique. L'interaction entre l'utilisateur et la simulation suppose que les modèles mécaniques utilisés soient conformes à la réalité, dans la mesure où les résultats de la simulation doivent être proches du comportement des objets matériels réels. Dans cette thèse, nous nous sommes intéressé au traitement des interactions entre objets 3D, dans le cadre spécifique des assemblages haptiques. L'objectif de la thèse est d'étudier les différents modes de dynamique applicables dans les simulations d'assemblage CAO. Ce domaine de recherche comporte plusieurs verrous technologiques et scientifiques concernant le couplage des interfaces haptiques avec des moteurs de simulation dynamique. La contrainte de temps interactif, très restrictive, impose à toutes méthodes dynamiques de détecter des collisions et calculer des efforts de contact de manière très rapide et avec des critères forts de stabilité mécanique. Dans ce contexte, nous proposons d'appliquer les technologies de l'interaction haptique, pour la réalisation d'assemblages mécaniques issus de la CAO. Parmi les nombreux facteurs qui influencent le degré de réalisme d'une simulation interactive d'assemblage, nous nous concentrons sur le réalisme des comportements physiques des objets 3D simulés ainsi que sur les performances de l'utilisateur dans la réalisation de tâches d'assemblage. Dans le cadre précis des simulations haptiques, nous proposons de traiter simultanément ces deux facteurs. Au sein d'une même simulation d'assemblage, l'utilisateur doit pouvoir percevoir des comportements dynamiques réalistes lors d'interactions élémentaires avec l'environnement virtuel, ainsi que pouvoir réaliser des tâches d'A/D de manière efficace. Dans les simulations d'assemblage, nous avons identifié deux phases de manipulation où le traitement dynamique des contacts peut être réalisé~: soit de manière contrainte pour aider les utilisateurs à positionner des objets dans l'espace, soit de manière non contrainte pour obtenir un rendu haptique réaliste des interactions. L'approche proposée consiste donc à séparer les interactions liées à l'exploration des scènes haptique, des interactions liées aux assemblages. Au sein d'une même simulation d'assemblage, nous proposons d'utiliser des modèles de traitement dynamique non contraint pour les phases exploratoires et l'utilisation de modèles de dynamique contrainte pour réaliser les assemblage haptiquement. Dans une première contribution, nous proposons de baser la simulation haptique sur une modélisation rigoureuse de la mécanique~: pour rendre compte de comportements réalistes des objets, nous utilisons les méthodes de dynamique non régulière, et particulièrement des approches de non smooth contact dynamics (NSCD). Dans une deuxième contribution, nous proposons d'identifier les différentes étapes qui composent l'assemblage interactif, pour assister l'utilisateur dans la réalisation de tâches de montage et de démontage. Cette assistance consiste en un guidage virtuel des objets, qui contraint géométriquement et cinématiquement les mouvements des objets à assembler. Nous présentons une nouvelle méthode de guidage, baptisée guidage virtuel contraint, qui applique des contraintes cinématiques aux objets, en fonction des tâches à réaliser. La transition entre le mode exploratoire, géré par dynamique non contrainte et le mode assemblage, géré par dynamique contrainte, est assuré par un guidage géométrique inspiré des virtual fixtures, qui constitue une troisième contribution.

Ce projet s’inscrit dans l’effort développé par l’Agence Spatiale Européenne (ESA)pour robotiser les activités extravéhiculaires à bord de la Station Spatiale Internationale et lors des futures missions d’exploration planétaire. Un aspect important de ces projets concerne le retour de force et la capacité, pour la personne qui commande les mouvements du robot, à ressentir les efforts qui lui sont appliqués. Le but est d’améliorer la qualité et l’immersion de la téléopération. L’objectif de cette thèse est la conception d’une interface haptique de type exosquelette pour le bras, pour ces missions de téléopération à retour de force. Ce système doit permettre une commande intuitive du robot téléopéré tout en reproduisant le plus fidèlement possible les efforts. Les chapitres 2 et 3 présentent les études réalisées sur un banc de test à 1 degré de liberté, destinées à comprendre le contrôle haptique ainsi qu’à évaluer différentes technologies d’actionnements et de capteurs. Les principales méthodes de contrôle sont décrites théoriquement et comparées en pratique sur le banc de test. Les chapitres 4 et 5 décrivent le développement de l’exosquelette SAM destiné aux futures applications de téléopération spatiale. La conception cinématique, le choix des actionneurs et des capteurs sont décrits. Différentes méthodes de contrôle sont également comparées avec des expériences de réalité virtuelle (sans robot esclave) et de téléopération. Pour finir, le chapitre 6 présente le projet EXOSTATION, un démonstrateur de téléopération haptique spatiale, dans lequel SAM est utilisé comme interface maître.