Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

L'objet de cette thèse est de présenter une réflexion destinée à concevoir un ensemble d'outils dont la finalité est de favoriser l'émergence d'une culture de gestion des risques au sein de PME-PMI. Les hypothèses retenues pour mener à bien cette démarche sont de favoriser les échanges sur les pratiques de prévention entre les acteurs tant privés qu'institutionnels et d'élaborer des outils de prévention et de gestion impliquant les principaux acteurs de la PME-PMI. La démarche suivie dans cette thèse a consisté à identifier les fonctionnalités d'un système de gestion des risques selon la spécificité des PME-PMI puis de l'aborder à l'aide de la notion d'organisation virtuelle. Ce concept permet d'identifier les interactions entre les acteurs des PME-PMI et les instruments de la gestion des risques. La mise en œuvre d'une organisation virtuelle repose sur le développement d'un système d'intermédiation électronique, ce système fournit les mécanismes nécessaires à l'échange d'information entre les éléments constituant l'organisation virtuelle. Dans l'optique d'identifier les caractéristiques de ce système, une analyse a été menée à l'aide de concepts de la pensée complexe. Pour aborder la conceptualisation du système d'intermédiation électronique et d'un logiciel d'analyse des risques indispensables au déploiement de l'organisation virtuelle, le choix a été fait de recourir aux modèles et aux technologies des Systèmes Multi-Agents. Ainsi, un modèle d'agent d'intermédiation et un système multi-agents d'analyse des risques ont été réalisés. A partir de ces composantes et d'un ensemble de logiciels développés dans le cadre de cette thèse, un prototype d'organisation virtuelle de gestion des risques proposant des mécanismes de communication, de diagnostic, de supervision et de gestion des risques dédiée aux PME-PMI est détaillé.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D.

Les environnements virtuels sont des espaces immersifs et intuitifs mais la conception des interfaces d'édition et de navigation y est complexe en raison de la diversité des dispositifs d'interaction et des tâches à réaliser. Les tables tactiles offrent des interactions intuitives mais proposent seulement un nombre limité de degrés de liberté. Dans le but de mieux couvrir les besoins d'interaction dans les environnements 3D, nous proposons la conception des TEAMViz (Tabletop Environment Augmented with Mural Visualization soit en français environnement tabletop augmenté par une visualisation murale). Les TEAMViz combinent des interactions réalisées au moyen d'une vue 2D d'un environnement virtuel présentée sur une table tactile et des interactions au moyen d'une vue 3D en perspective de ce même environnement projetée sur un écran vertical. La contribution principale de notre recherche est la réalisation d'une méthode de conception pour la combinaison d'interactions effectuées avec plusieurs dispositifs d'entrée sur des vues multiples présentées sur des surfaces d'affichage distinctes pour des tâches d'édition et de navigation dans un environnement virtuel. Cette méthode de conception prend en compte les relations entre les degrés de liberté des dispositifs d'entrée dans le monde réel, les tâches à réaliser et les relations entre les vues. Elle permet de combiner des interactions réalisées avec des dispositifs dont le couplage fort entre l'entrée et la sortie est requis comme dans le cas des surfaces tactiles.

Ce texte est une étape de mon travail de recherche. Intrigué depuis longtemps par la notion d''autonomie, j''ai tenté, avec mes étudiants, de l''aborder dans le cadre de différentes applications de simulations interactives. Ces travaux, résumés dans la première partie de ce livre, illustrent les limites de l''approche "classique" et computationaliste de l''intelligence artificielle pour développer des comportements autonomes en environnements ouverts. La deuxième partie de l''ouvrage cherche dans d''autres courants des sciences cognitives, en particulier ceux se rapprochant de la biologie et de l'énaction - qui développent la notion d''autonomie forte - les pistes permettant de dépasser ces limites.

Par l'exploitation de nos capacités visuelles, la visualisation scienti que entend proposer aux ingénieurs et aux chercheurs un outil visant à les assister dans l'acquisition de connaissance à partir de phénomènes complexes. Ce travail de thèse s'inscrit dans cette lignée, à ceci près qu'il s'intéresse plutôt à l'utilisation des technologies de la Réalité Virtuelle dans le but d'amener un utilisateur expert au coeur du processus d'exploration et d'analyse des données, ce que nous appelons Exploration de données scienti fiques. Dans le but d'arriver à des processus d'exploration efficaces, notre recherche s'est portée sur la mise en place de techniques d'interactions intuitives, susceptibles d'exploiter au mieux les capacités sensorimotrices de l'être humain. Pour atteindre cet objectif, deux conditions nous paraissent être essentielles. D'une part, il faut que les informations transmises via différents canaux sensorimoteurs aient une certaine cohérence à être délivrées ensemble : il est primordial que l'exploitation d'un canal pour véhiculer une information ne soit pas en concurrence avec ce qui est fait sur un autre canal. D'autre part, il est souhaitable que le potentiel de chaque canal soit utilisé au meilleur de sa capacité. Dans ce contexte, ce travail a débuté par une analyse de l'utilisation de l'haptique dans l'Exploration de données scientifi ques. Pour ce type d'usage, il a été identifié quatre tâches fondamentales (Sélectionner, Localiser, Relier et Arranger) pour lesquelles l'haptique semble présenter un réel avantage par rapport aux autres canaux sensoriels. Pour chacune de ces tâches, nous avons montré, au travers d'une large étude bibliographique, comment l'interaction haptique pouvait être exploitée afi n d'off rir des méthodes d'exploration efficaces. Sur la base de cette analyse organisée autour de ces quatre catégories, nous avons ensuite mis en évidence les problématiques liées aux tâches identifiées. Ainsi, nous avons souligné, d'une part que l'haptique pouvait faciliter la sélection de données scienti fiques dans des contextes où celles-ci sont massives, et d'autre part nous avons montré le besoin de mettre en place de nouvelles méthodes de suivi de structures d'intérêts (iso-surfaces, lignes de courant etc.). Notre problématique ayant ainsi été posée, nous avons d'une part étudié l'utilisation de retour multimodaux non visuels pour la recherche et la sélection de cibles dans un environnent virtuel 3d. Les situations impliquant une ou plusieurs cibles furent analysées, et plusieurs paradigmes d'interaction ont été proposés. Dans cet ordre d'idées, nous sommes arrivés à défi nir et valider un principe directeur pour l'usage de retours haptico-sonores pour la recherche et la sélection d'une cible donn ée située dans une scène 3d pouvant en contenir plusieurs autres. Nous avons en eff et montré que, pour une telle tâche, il était préférable d'exploiter la spatialisation sonore a n de localiser la cible désirée dans l'espace, tandis que le retour haptique permettait une sélection précise de la cible. D'autre part, nous nous sommes attaqués aux problèmes liés au rendu haptique d'ensembles de données pouvant présenter de fortes variations. A cet eff et, suite à un rappel de l'apport de l'haptique pour le rendu de surfaces dans le domaine médical, nous avons analysé certains besoins pouvant être comblés par l'ajout de ce canal sensorimoteur dans l'analyse d'iso-surfaces issues de simulation de Mécanique des Fluides Numérique (MFN). Par la suite nous avons proposé et évalué, par l'intermédiaire d'expériences de perception et de mesures de performance, de nouvelles méthodes de rendu haptique d'iso-surfaces dont l'une des originalités est de pouvoir se passer d'une représentation polygonale intermédiaire. En fin, nous avons appliquécette nouvelle approche d'exploration de données scientifi ques à l'analyse des résultats d'une simulation d'un écoulement dans une cavité ouverte. Ainsi, nous avons proposé deux méthodes d'analyse multi-sensorielle, dédiées à l'exploration d'un ensemble de données issu d'une simulation de MFN, en exploitant les approches génériques développées précédemment. La première méthode concerne une analyse interactive de la géométrie de l'écoulement, alors que la seconde se rapporte à une analyse multi-sensorielle de la topologie de l'écoulement. Les premières évaluations menées ont indiqué que les méthodes proposées tendaient à favoriser une meilleure compréhension du phénomène analysé et qu'elles pouvaient diminuer la charge cognitive habituellement requise par une telle tâche. A titre de conclusion, soulignons que cette thèse de doctorat ouvre la voie à un certain nombre de perspectives de recherches. A court terme, il s'agit de compléter les travaux relatifs à l'analyse de l'aspect dynamique de la simulation d'un écoulement dans une cavité ouverte. Ces travaux consisteront à proposer et valider différentes interactions multimodales visant à examiner les échanges/recirculations pouvant exister entre/dans les parties de la dite cavité. Mais au-delà des travaux relatifs à la MFN, l'expérience acquise à travers ces travaux pluridisciplinaires (informatique, mécanique des fluides, ergonomie cognitive) me permettra à moyen terme d'élargir mes travaux de recherche à l'exploration de données médicales, météorologiques, ou géologiques.

Les travaux présentés dans cette thèse traitent de l'utilisation de la Réalité Virtuelle (RV) et plus particulièrement du retour d'effort pour améliorer l'interaction dans les applications de Conception Assistée par Ordinateur (CAO). Dans ce document, nous décrivons le rôle actuel du Product Lifecycle Management (PLM) dans l'industrie, et plus spécifiquement la place tenue par l'outil CAO. Celui-ci offre de nombreuses fonctionnalités pour l'édition d'une maquette en trois dimensions, mais, actuellement, ne bénéficie pas pleinement des méthodes d'interactions les plus récentes. Notre positionnement de recherche concerne l'utilisation des dispositifs de visualisation ainsi que les nouvelles méthodes d'interaction offertes par la RV, pour rendre l'édition de forme plus intuitive. Toutefois, de nombreuses applications industrielles du PLM, telles que l'assemblage ou l'ergonomie, utilisent déjà des solutions de RV pour augmenter l'interaction avec le produit. Afin de bien appréhender les solutions haptiques que nous proposons, un rappel des principaux concepts de la CAO est effectué, en particulier relatif à ses modèles de données (B-Rep, graphe d'historique, persistent naming). On décrit également les informations perceptibles autour de trois principales catégories : référents, informations géométriques et guides, puis les retours tactiles et d'efforts envisagés pour traduire les différents types d'informations que l'on peut rencontrer. Le travail du concepteur s'articulant autour de deux catégories de tâches : la sélection et la modification de la maquette CAO, nous avons structuré nos travaux de recherche en haptique autour de ces deux grandes classes. De fait, nous abordons ensuite les problématiques de sélection dans une maquette 3d, sélection assistée par des retours haptiques adaptés, et ce en particulier pour permettre une perception fine des composants topologiques. Dans un second temps, nous présentons deux tâches représentatives des activités de modification en CAO : l'édition de courbes et surfaces et l'extrusion. Ces deux fonctionnalités permettent de montrer l'apport de l'haptique pour la manipulation de paramètres sur deux types d'édition CAO très différents. Nous nous intéressons à l'impact de différents facteurs comme le contexte de réalisation de la tâche, la manipulation simultanée des paramètres, la cohabitation de multiples retours haptiques, ou la prise en main, par les tilisateurs, des solutions haptiques. L'analyse des expérimentations relatées dans cette thèse montre des résultats mitigés sur l'apport de l'haptique. Si ce canal sensorimoteur est généralement plebiscité, il convient néanmoins de faire attention au paramétrage des retours d'effort et à la mise en relation des différentes méthodes haptiques, au risque de gener le travail de l'utilisateur du système CAO. Au demeurant, une fois cet écueil évité, les perspectives de l'intégration de l'interaction haptique pour l'aide 'a l'édition CAO semblent prometteuses. Nous concluons cette recherche en esquissant la méthodologie d'intégration RV-CAO qu'il conviendrait de suivre pour mener à bien une évaluation complète de nos solutions avec des utilisateurs CAO experts.

Le monde médical dispose de plus en plus de sources d'images différentes, non seulement pour réaliser un diagnostic mais aussi pour évaluer l'efficacité d'un traitement et pour être guidé dans les interventions chirurgicales. Parallèlement, le développement des techniques opératoires s'oriente vers la chirurgie non " à ciel ouvert ", notamment la coelioscopie, qui permet de diminuer les risques liés à l'intervention ainsi que le temps d'hospitalisation du patient. En revanche, elle rend moins intuitive la réalisation de l'acte chirurgical, notamment du fait de la vision réduite à l'utilisation d'une ou plusieurs caméras dans la région d'intérêt. Durant ma thèse, j'ai conçu et mis en oeuvre des nouvelles méthodes informatiques de traitement 3D d'images radiologiques ainsi que de nouvelles utilisations médicales de ces images. Les contributions présentées concernent la visualisation et le traitement des données, la segmentation de structures 3D, la fusion mono et multimodale et l'aide à la réalisation d'interventions. Les applications présentées concernent notamment la planification et la réalisation d'interventions sous coelioscopie et de ponctions mais aussi l'imagerie industrielle. L'utilisation conjointe de différentes modalités d'images permet d'améliorer la visualisation, la manipulation et la compréhension de scènes tridimensionnelles, conduisant à une plus grande compréhension des observations et à une meilleure prise de décision.

Une interface haptique est développée pour fournir le retour d'effort d'interaction dans un environnement virtuel à échelle humaine. L'interface est composée d'une plate-forme à câbles et d'un exosquelette de préhension. La plate-forme comprend 8 câbles qui sont actionnés par 8 blocs d'actionnement. Chaque bloc contient un moteur électrique, un encodeur rotatif et un capteur de force. Le moteur tire sur le câble, pendant que le capteur de force mesure la tension du câble et l'encodeur détermine sa longueur. Les blocs d'actionnement sont d'une conception novatrice qui augmente la force maximale et la précision de l'interface. L'exosquelette est connecté et actionné par les câbles et permet aux 5 doigts d'une main de l'utilisateur d'accomplir le geste de préhension. L'interface fournit au total 7 degrés d'action pour l'utilisateur en interaction avec les objets virtuels : 3 degrés de translation, 3 degrés de rotation et 1 degré de préhension. L'interface à retour d'effort a été modélisée pour déterminer précisément la distribution des tensions dans les câbles en fonctions des forces et des couples désirés. Les blocs d'actionnement peuvent se déplacer sur un cadre cubique autour de l'environnement virtuel. Une configuration optimale est alors trouvée pour les positions des blocs afin de maximiser l'espace de travail de l'interface. Une méthode de commande hybride basée sur les tensions des câbles, mesurées par les capteurs, est également proposée. Cette méthode mène à résoudre les problèmes classiques des interfaces à câbles. L'application considérée pour cette interface est l'interaction haptique avec l'espace intérieur simulé d'une automobile. Une scène virtuelle correspondante à cette application a été développée et l'interface a été testée dans différents cas de retour d'effort. Les résultats des tests démontrent la performance de l'interface pour fournir des efforts appropriés avec une transparence de mouvement pour l'utilisateur.

La capture en relief d'une scène réelle peut être réalisée grâce à un couple de caméras vidéo (banc stéréoscopique). La capture de ces images vidéo stéréoscopiques et leur restitution sur des systèmes de projection en relief sont à l'interface entre les domaines de la réalité virtuelle, de la vision par ordinateur, et du cinéma en relief. Placé au sein de cette très vaste thématique, ce travail concerne la projection en relief, sur des systèmes de Réalité Virtuelle, d'images issues d'une capture par un banc stéréoscopique fixe. De très nombreuses contraintes (limitations des configurations de capture et des conditions de restitution notamment) ont restreint l'utilisation de cette technologie. Dans ce mémoire de thèse, nous détaillons les améliorations que nous avons apportées à certaines étapes de la chaîne de transmission stéréoscopique, afin de maîtriser la restitution de vidéos stéréoscopiques. Pour atteindre cet objectif, nous avons réalisé une modélisation mathématique détaillée des caméras, et des différentes configurations de capture et de restitution que nous utilisons. Disposer d'images stéréoscopiques les moins déformées possibles était un point de départ indispensable à la suite de notre travail. Dans ce but, nous avons développé un algorithme de rectification d'images vidéo stéréoscopiques. Afin d'assurer une rectification temps réel, nous avons implémenté cet algorithme sur processeur de carte graphique (GPU ou Graphics Processing Unit), en mettant en place une technique à base de table de référence. La distance interoculaire de l'utilisateur est un paramètre important pour assurer une bonne restitution des images sur les systèmes de Réalité Virtuelle. Pourtant par commodité, la valeur moyenne de cet écart est souvent prise comme référence, alors que d'importantes différences existent d'un utilisateur à l'autre. Afin d'améliorer la restitution en fixant plus précisément ce paramètre critique, nous avons développé une méthode de calibration de la distance interoculaire de l'utilisateur. Enfin, alors que les spectateurs des salles de cinéma en relief sont assis dans une zone bien définie devant l'écran, le déplacement des utilisateurs devant le système de projection d'images stéréoscopiques est une caractéristique des systèmes de Réalité Virtuelle. Pour palier aux problèmes que l'on rencontre lors de la projection d'images issues d'un banc stéréoscopique fixe pour un utilisateur en mouvement, nous proposons une méthode pour maitriser la restitution de la profondeur perçue par cet utilisateur, en nous basant sur une segmentation en profondeur de la scène.