La chirurgie mini-invasive limite les incisions et le traumatisme pour le patient. Elle bénéficie de l'assistance robotisée qui améliore précision et confort du geste opératoire. Cependant des difficultés subsistent. Ainsi dans les opérations de pontage des artères coronaires, la localisation et l'identification des artères cibles de l'intervention posent problème. Nous proposons alors de guider le chirurgien en superposant le modèle des artères du patient dans les images endoscopiques intra-opératoires. L'une des contributions de cette thèse consiste à définir une approche basée sur l'analyse de l'intervention et du geste chirurgical: tout d'abord nous nous intéressons à la modélisation statique des artères coronaires à partir de moyens standards d'imagerie. Nous initialisons ensuite le recalage dans les images endoscopiques en calibrant l'endoscope stéréoscopique robotisé et en recalant l'enveloppe externe du patient au bloc opératoire. Nous affinons enfin ce résultat pour tenir compte du déplacement intra-opératoire du coeur et des erreurs successives. Un mécanisme multi-modèles robuste original, basé sur la traduction des indications données par le chirurgien en mesures, permet d'aboutir à la précision nécessaire au guidage. Cet outil novateur de chirurgie assistée par ordinateur est intégré au sein d'une architecture commune expérimentée avec le robot Da Vinci au cours de nombreux tests in-vivo.

Il est important, pour la développement rapide et à moindre coût d'un produit, de considérer différentes contraintes liées à la conception, l'assemblage/ désassemblage (A/D), l'usinage, l'ergonomie, etc. L'utilisation des outils comme les systèmes de réalité virtuelle (RV) donne une nouvelle dimension en terme de développement efficace du produit. Cette thèse propose d'appliquer les technologies de RV à l'étude/ optimisation des systèmes mécaniques complexes et, en particulier, à la simulation d'A/D de composants flexibles. Afin de tenir compte d'un comportement complexe de ces pièces, une telle simulation est basée sur leur modélisation mécanique. Le modèle non-linéaire de poutres flexibles est utilisé, adapté à des spécificités de la RV, étudié et intégré dans un démonstrateur de simulation. Une telle modélisation permet de générer des informations réalistes (efforts, déformations, trajectoires d'A/D,...) et de les utiliser dans l'étude/ évaluation adéquate et rapide des opérations d'A/D en se basant sur la méthodologie proposée. Cette méthodologie tient compte des spécificités dues à la simulation mécanique temps réel, à la caractérisation des propriétés du matériau, aux interfaces de RV, aux problèmes des modèles CAO. Ainsi, les problèmes de stabilité numérique et de recherche rapide de solutions adéquates, la validation expérimentale, les contraintes d'interfaçage en RV, la caractérisation d'A/D à travers des expérimentations physiques et numériques, etc. sont considérés dans ce mémoire. De nombreux tests et exemples montrent l'intérêt de la démarche proposée vis-à-vis des besoins industriels.

Cette thèse s'inscrit dans le domaine de l'Interaction Homme-Machine (IHM). Nous explorons trois thèmes de recherche : les IHM sur Supports Mobiles, les Collecticiels et les Systèmes Mixtes. Dans ce cadre, nous visons à définir, concevoir (conception ergonomique et logicielle) et comprendre l'usage des systèmes mixtes collaboratifs sur supports mobiles (SMCSM). Les contributions de cette thèse couvrent le cycle de vie des interfaces. Tout d'abord, pour la phase d'analyse des besoins, nous élaborons une définition et une caractérisation des SMCSM. Nous montrons ainsi que de tels systèmes ne sont pas qu'une simple juxtaposition des trois thèmes. Nous identifions alors un nouveau découpage espace-temps et la dynamique des liens entre les mondes physique et numérique. Ensuite, pour la phase de conception ergonomique, nous développons une démarche de conception basée sur les scénarios en collaboration avec des psychologues-ergonomes. Nous définissons une notation de conception afin de représenter les scénarios projetés, qui décrivent l'utilisation de la future interface. Puis, pour la phase de conception logicielle, nous décrivons un modèle d'architecture pour les SMCSM. Nous adaptons le modèle PAC-Amodeus aux les collecticiels en explicitant les traitements informatiques des données contextuelles (localisation, orientation, etc.). De plus, nous développons trois techniques d'interaction générales sur une plate-forme matérielle dédiée aux SMCSM. Enfin, nous réalisons deux SMCSM : MAGIC, un système dédié à la fouille archéologique et TROC, un jeu d'échange. Nous rapportons les résultats de deux séries d'expériences menées avec le système TROC.

En radiologie interventionnelle, le praticien se sert actuellement de plusieurs acquisitions scanner (coupes 2D) pour pouvoir atteindre sa cible au cours d'une ponction percutanée dans la zone abdominale. Notre objectif est de concevoir un système de guidage minimisant ces acquisitions et donc le temps de l'intervention. Pour cela, nous proposons un système de réalité augmentée superposant des reconstructions 3D pré-opératoires des structures abdominales du patient dans des images vidéo externes de son corps. En plus d'être précis, rapide et fiable, cet outil devra pouvoir être introduit aisément en salle d'opération.<br />Dans notre cas, le patient est intubé et sa ventilation contrôlée, nous pouvons donc négliger les effets de la respiration : un recalage rigide 3D/2D de marqueurs radio-opaques collés sur la peau est suffisant pour atteindre la précision requise. Les hypothèses statistiques des critères classiques n'étant pas adéquates pour notre application, nous avons dérivé un nouveau critère généralisant les approches standard. Une évaluation rigoureuse des performances démontre la supériorité de notre méthode en terme de précision et de robustesse.<br />Pour atteindre le temps réel en salle d'opération, nous avons ensuite développé un ensemble d'algorithmes d'extraction et de mise en correspondance des marqueurs radio-opaques dont nous avons validé la robustesse sur de nombreuses images réelles. La précision du système dépendant de nombreux paramètres (nombre de marqueurs radio-opaques, position des caméras...), elle ne peut pas être établie préalablement de manière définitive. Afin de fournir un système fiable, nous proposons donc une technique de propagation des covariances qui permet d'estimer dynamiquement l'erreur de repositionnement des modèles reconstruits. Une phase de validation méticuleuse, sur des données synthétiques et réelles, démontre que notre prédiction est fiable dans les conditions de notre application.<br />Après cette validation de chacun des modules, nous montrons la faisabilité et l'intérêt de notre système complet en menant une évaluation sur un mannequin : quatre chirurgiens ont réussi à atteindre des cibles en des temps dix fois inférieurs à ceux usuellement nécessaires pour ce type d'intervention et avec une précision supérieure. Finalement, plusieurs expériences cliniques sur des patients démontrent que notre système est utilisable en salle d'opération et suggèrent son utilisation en routine dans un futur proche.

Cette thèse traite de l'usage de la vision par ordinateur pour des situations d'interaction fortement couplée (IFC) entre l'Homme et la machine. Une interaction est fortement couplée sur un intervalle de temps donné lorsque les systèmes humain et artificiel sont engagés de manière continue dans l'accomplissement d'actions physiques mutuellement observables et dépendantes sur cet intervalle. Le déplacement d'un objet graphique avec la souris relève de l'IFC. Nous modélisons l'IFC sous la forme d'un système en boucle fermée constitué de deux sous-systèmes de type stimulus-réponse. Ce modèle permet d'identifier des requis applicables à la conception, à la réalisation ou à l'évaluation de dispositifs utilisables en IFC. En particulier, nous recommandons une latence inférieure à 50 ms., une résolution adaptée à la tâche utilisateur et la satisfaction de la stabilité statique. Nous considérons ensuite l'usage de la vision par ordinateur dans ce contexte. Une revue des deux approches dominantes du domaine, vision orientée modèle et vision par apparence, nous permet de justifier notre choix de la seconde dont les techniques, de plus faible complexité de calcul, sont susceptibles de satisfaire le requis de latence. Nous présentons ensuite les techniques de vision par ordinateur que nous avons réalisées en adoptant une approche résolument dirigée par la tâche utilisateur. Les deux derniers chapitres détaillent nos expérimentations à la fois techniques et ergonomiques avec la mise en ¦uvre de deux prototypes : le tableau magique et la fenêtre perceptuelle. Le premier utilise un suivi du doigt en vision par ordinateur pour la désignation d'inscriptions sur un tableau blanc physique amplifié de services électroniques. La fenêtre perceptuelle, quant à elle, utilise un suivi du visage comme nouveau flux d'entrée spatiale dans une interface graphique usuelle. Ce flux est utilisé pour la navigation dans une fenêtre.

Les deux principaux problèmes à résoudre pour concevoir un simulateur dynamique interactif sont la détection de collisions entre les objets virtuels, et le calcul de leur mouvement contraint. La plupart des méthodes de détection de collisions sont discrètes : elles détectent seulement des interpénétrations entre les objets virtuels à des instants discrets successifs. Afin de détecter efficacement des collisions entre objets polyédriques rigides en continu, c'est-à-dire de calculer l'instant de premier contact entre eux et éviter les problèmes inhérents aux méthodes discrètes, nous proposons d'utiliser un mouvement intermédiaire arbitraire pour remplacer le mouvement réel de l'objet et obtenir des équations de détection de collisions faciles à résoudre. Nous présentons deux approches, fondées sur l'exploitation de mouvements intermédiaires arbitraires, qui permettent de détecter des collisions en continu entre objets polyédriques complexes en temps réel. Nous proposons ensuite d'ajouter des informations géométriques aux volumes englobants afin d'exploiter le mouvement de recul relatif des objets et accélérer significativement la détection de collisions lorsque les objets sont proches les uns des autres. La plupart des méthodes classiques de calcul de mouvement contraint sont formulées dans l'espace des contacts. Grâce au principe des moindres contraintes de Gauss, il est possible d'obtenir une formulation équivalente des problèmes dynamiques sans friction dans l'espace des mouvements. Nous montrons que cette formulation est plus avantageuse sur le plan algorithmique. Ceci nous incite à proposer un modèle de friction dans l'espace des mouvements. Les algorithmes proposés ont été implantés et rassemblés dans une librairie C++, CONTACT Toolkit. Nous présentons plusieurs applications de cette librairie, notamment à des cas industriels fournis par Renault et Airbus-EADS, ainsi que son utilisation dans la simulation avec retour d'efforts.

En chirurgie laparoscopique, les chirurgiens doivent prendre des décisions appropriées en se basant sur une image qui leur offre un point de vue unique du site opératoire. Cette tâche est difficile à réaliser compte tenu du champ de vue limité de l'endoscope et du fait que l'endoscope rigide doit passer par un point d'insertion unique. Ces contraintes obligent les chirurgiens à réaliser des mouvements d'aller-retour avec l'endoscope, alternant entre des vues détaillées et des vues globales de la scène, qui leur permettent de se repérer plus facilement. Dans le but d'observer les parties cachées d'un organe, les chirurgiens aimeraient bien pouvoir changer le point de vue, sans avoir à insérer l'endoscope dans un nouveau point d'insertion. Pour répondre à cette problématique, nous proposons au chirurgien de visualiser une image virtuelle de la cavité abdominale, synthétisée selon un point de vue quelconque. Notre approche est basée sur l'insertion d'un commando de caméras miniatures au sein de la cavité abdominale. Ces caméras sont fixées à la paroi abdominale, aux trocarts ou aux outils chirurgicaux, de sorte qu'au moins l'une d'entre elles soit en mesure de percevoir une information pertinente pour le chirurgien. Les caméras sont regroupées en paires stéréoscopiques pour reconstruire des modèles 3D du site opératoire. Ces modèles fournissent un cadre de référence qui permet la fusion de toutes les images perçues par les caméras, restituée sous forme d'une image stable synthétisée selon tout point de vue. L'image virtuelle est rendue selon le point de vue désiré par le chirurgien, ce qui lui permet d'explorer la cavité abdominale sans intervenir sur les caméras réelles.

La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en oeuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l?une des plus importantes. En effet, l?estimation de la position et de l?orientation (appelée pose) du point de vue (de la caméra ou de l?utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l?estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d?approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l?environnement extérieur, nous utilisons deux autres types de capteurs afin d?assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d?un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées.

Ces travaux de thèse se situent au croisement de plusieurs domaines que sont la Réalité Augmentée, la Réalité Virtuelle, les systèmes d'information géographique, le génie logiciel, le traitement d'image et les sciences humaines et sociales. Le premier axe de ce mémoire concerne les apports relatifs à l'amélioration des connaissances du domaine de la réalité augmentée par une approche centrée utilisateur. Nous proposons, basés sur nos définitions et sur les travaux en réalité virtuelle, notre modèle d'interaction et d'immersion en réalité augmentée nommé 3i2RA. L'axe suivant permet de préciser la problématique liée à l'utilisation d'un système d'aide à la navigation par un état de l'art spécifique aux systèmes d'information géographique. Nous présentons dans ce chapitre les systèmes d'information géographique particulièrement destinés à l'aide à la navigation. Le troisième axe présente nos apports méthodologiques concernant la conception d'un outil d'aide à la navigation. L'objectif est de proposer une démarche permettant d'interfacer la modélisation des activités des navigateurs et une méthode agile de développement d'un logiciel. Enfin, le dernier axe présente nos apports technologiques mis en œuvre afin de réaliser les fonctionnalités demandées.

Actuellement, la plupart des simulateurs électromagnétiques se basent sur une résolution des équations aux dérivées partielles. Ces simulateurs ont jusqu'à présent bénéficié d'une augmentation de la puissance informatique compensant les exigences de calcul nécessitées par la croissance de la complexité et de la dimension des objets à modéliser. Cependant la taille des problèmes cruciaux augmente beaucoup plus rapidement que la puissance informatique. Malgré les apports faits pour simplifier les calculs électromagnétiques, la difficulté à tenir compte de tels problèmes complexes nécessite un saut méthodologique important. La méthode dite " énactive ", proposée dans ces travaux, constitue une approche atypique pour la modélisation dynamique d'un environnement naturel et sa simulation en un système de réalité virtuelle. Issue de la modélisation des systèmes multi-agents, elle propose une méthode spécifique pour la modélisation de tels systèmes complexes où de nombreux phénomènes interagissent de nombreuses façons, à des échelles de temps et d'espace pouvant être très différentes. Nous cherchons à suivre l'évolution d'une onde électromagnétique et ses interactions éventuelles avec des objets d'un environnement in virtuo, i.e. à travers un laboratoire virtuel (virtuoscope). Dans ce contexte, cette thèse s'inscrit dans un cadre interdisciplinaire qui allie les outils et les techniques de la réalité virtuelle à la modélisation de phénomènes électromagnétiques. En outre, les phénomènes sont modélisés en tant qu'entités autonomes en interaction. Notre modèle doit donc reposer sur une définition rigoureuse des entités, à savoir les ondes et les milieux, et des interactions qui peuvent avoir lieu afin de reconstituer correctement l'ensemble des phénomènes électromagnétiques " réels " au sein d'un environnement virtuel. Aussi, nous n'avons pas de moyens nous permettant de vérifier ni de valider autrement que par l'expérimentation notre modèle. En ce sens, nous faisons l'enjeu et le pari de parvenir à construire un tel système énactique électromagnétique. Pour cela, nous avons mis au point un ensemble de scénarios d'environnements électromagnétiques, suite au développement de deux modèles de propagation, l'un unidimensionnel et l'autre bidimensionnel. Les résultats seront comparés à des méthodes plus classiques appropriées voire à la théorie lorsque c'est possible.