Les travaux présentés dans cette thèse concernent la reconstruction tridimensionnelle de l'environnement d'un robot mobile, à partir d'informations de vision omnidirectionnelle, pour la préparation d'interventions. Nous nous intéressons dans un premier temps à la conception d'une architecture matérielle adaptée aux problématiques de la reconstruction 3D et de la navigation autonome. Le calibrage d'un système de vision est une étape indispensable dès lors que celui-ci est destiné à effectuer des mesures sur son environnement. Cette phase consiste à modéliser le système pour établir la relation mathématique liant les points 3D et leurs projections dans les images. Après une discussion sur le choix du modèle, nous présentons une méthodologie pour estimer les paramètres du modèle retenu. La structure stéréoscopique du capteur que nous avons développé rend possible la reconstruction tridimensionnelle de l'environnement sans déplacement. Nous proposons donc des algorithmes permettant la reconstruction dense de l'environnement, ainsi que des algorithmes de détection de primitives dans les images omnidirectionnelles. Lorsque le capteur est en mouvement, nous exploitons ses déplacements pour enrichir le modèle 3D. Notre principale contribution porte sur le développement d'un algorithme d'ajustement de faisceaux pour les capteurs stéréoscopiques omnidirectionnels qui permet d'obtenir une estimation des déplacements en ne nécessitant que des données visuelles.

Ce travail de thèse s'inscrit dans le domaine de la vision pour la robotique. Plus précisément, nous nous sommes intéressés à l'exploitation du champ de vu des caméras panoramiques dans le cadre de l'asservissement visuel. En effet, l'asservissement visuel consiste à intégrer des informations issues d'une ou de plusieurs caméras, dans la boucle de commande des systèmes robotiques. Les approches classiques d'asservissement visuel sont basées sur la régulation à zéro du signal d'erreur entre les mesures visuelles courantes et désirées. Lorsque la configuration souhaitée est très éloignée de la configuration initiale, les informations visuelles peuvent sortir du champ de vu de la caméra. L'utilisation d'une caméra panoramique permet naturellement de réduire les sorties de champ de vu. Nous proposons, à cette fin, des outils adéquats pour la modélisation géométrique et cinématique des informations extraites de l'image panoramique. Nous présentons dans un premier temps les méthodologies pour obtenir une transformation homographique à partir des images panoramiques d'un ensemble d'informations visuelles de type point et droite. Nous montrons également qu'il est possible d'utiliser les droites polaires associées aux droites projetées (des coniques) pour procéder à une simple estimation du point principal et de là à une reconstruction projective. Ensuite, nous présentons des schémas de commande qui utilisent des informations visuelles de natures 2D (asservissement visuel 2D) et mixte (asservissement visuel hybride). Les nouvelles approches hybrides que nous proposons permettent de découpler complètement les vitesses de translation de celles de rotation. Les schémas de commande proposés (2D et hybrides) ont été validés en simulation et sur un robot cartésien à 6 degrés de liberté. Nous présentons aussi une approche de commande de robot mobile non holonome pour le suivi de droite à partir des mesures extraites des images panoramiques.

La recherche de modèles d'intérêt contenus dans des s'séquences de vues multiples d'une scène reste l'un des principaux problèmes de la vision par ordinateur actuellement. En dépit des grands progrès observés au cours des 40 dernières années, la vision par ordinateur ne parvient pas encore à répondre adéquatement quant à la manière d'inférer et de détecter des modèles d'intérêt dans des scènes pour lesquelles un ou plusieurs objet(s) sont vus depuis différents points de vue. Afin de surmonter ce problème, cette thèse propose de nouveaux algorithmes et prototypes capables de caractériser, d'inférer et de détecter des modèles d'intérêt en séquences avec des vues multiples de manière non calibrée, c'est-'a-dire sans connaissance à priori de la position du/des objet(s) par rapport ła (aux) caméra(s). Le travail réalisé s'articule autour de trois axes, divis'es en six articles qui constituent le corps de la thèse. (1) L'analyse de correspondances point par point à travers de marqueurs explicites et implicites sur les objets. (2) L'estimation de correspondances point par point 'a travers de multiples relations géométriques indépendantes du/des objet(s) qui composent la scène. (3) La prédiction du flux dynamique du déplacement généré par le mouvement de la caméra autour de l'objet. L'objectif principal de cette thèse est d'appuyer la prise de décision 'a travers d'une analyse dynamique et/ou géométrique du mouvement du/des objet(s) ou de la (des) caméra(s) pendant que ceux-ci se déplacent. Grâce à cette analyse, il est possible d'accroitre l'information sur la scène et l'(les) objet(s) 'a travers d'un processus inférentiel spécifique pour chaque cas. Il ressort des thématiques exposées qu'il est possible, par exemple, d'assister le processus d'inspection réalisé par un opérateur humain, de déterminer la qualité d'un produit de manière autonome, ou d'exécuter une action spécifique dans un acteur robotique. Bien que ces thématiques présentent des approches différentes, celles-ci ont le même ensemble de pas en ce qui concerne: (1) la détermination de la relation de correspondance de points ou de régions sur plusieurs images, (2) la détermination de la relation géométrique et/ou dynamique existante entre les correspondances estimées précédemment, (3) l'inférence de nouvelles relations sur les points dont la correspondance est inconnue en vue de caractériser le mouvement. Les variations les plus fortes correspondent 'a la manière dont la correspondance est estimée; au calcul de la dynamique et la géométrie entre les points correspondants; et enfin 'a la manière dont nous inférons une action particulière suite 'a un mouvement spécifique. Parmi les principaux résultats, on trouve le développement d'une méthodologie d'inspection non calibrée 'a vues multiples appliquée 'a l'analyse de la qualité des jantes de véhicules, le développement d'un prototype fonctionnel appliqué à l'inspection des cols de bouteilles de vin, une méthodologie de correspondance point par point géométrique capable de résoudre le problème de correspondance en deux et trois vues pour tout point d'intérêt, et enfin la reconnaissance de l'intention humaine pour les tâches de 'grasping' 'a travers de l'analyse du mouvement des yeux et de la main. 'A l'avenir, il restera encore 'a analyser les correspondances dynamiques 'a travers de caractéristiques invariantes, employer des méthodes d'analyse géométriques en séquences d'images radiologiques, et utiliser des modèles de détection d'intentions pour évaluer la qualité des objets.

Cette thèse développe une approche basée sur la géométrie projective pour analyser et traiter des séquences d'images obtenues avec une caméra mobile. Les dérivations et démonstrations sont faites sans supposer qu'une information a priori est disponible sur les images, que ce soit sur le mouvement de la caméra ou sur leurs paramètres intrinsèques, comme la distance focale ou les points principaux. Il peut<br />même s'agir de caméras différentes. La seule hypothèse est que la scène est rigide.

Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

Le sujet de cette thèse porte sur la création des données utilisées en informatique graphique pour synthétiser des images. On ne demande pas à l'utilisateur de modéliser l'objet souhaité mais plutôt d'en fournir une ou plusieurs photographies. Ces images sont automatiquement analysées pour en extraire l'information recherchée. On attend de cette approche des données plus fidèles à l'original et un temps de création plus court pour l'utilisateur.<br /><br />Nos travaux sont centrés sur trois cas d'études qui mènent à des applications utiles. Tout d'abord, nous reconstruisons la surface d'un objet matte à partir d'une séquence d'images dont le point de vue se déplace. Nous capturons ensuite l'apparence d'un visage à partir d'une seule image et montrons comment les données récupérées sont utilisées pour synthétiser ce visage sous un nouvel éclairage. Nous terminons avec la capture de la géométrie d'une chevelure à partir de plusieurs images prises avec une caméra fixe et une lumière qui se déplace.<br /><br />Nous introduisons plusieurs contributions théoriques et techniques qui améliorent aussi bien la précision que la robustesse de la capture. Des résultats illustrent ces améliorations.

Cette thèse concerne la reconstruction tridimensionnelle d'objets à partir d'images prises par des caméras. Le schéma classique s'appuie sur un calibrage hors ligne des caméras. Ce calibrage n'est pas toujours possible et des applications dynamiques requièrent en général fréquemment une mise à jour du calibrage au vol. Il est donc clairement souhaitable de pouvoir s'affranchir du besoin d'un calibrage hors ligne. Dans cette thèse, nous nous concentrons d'une part sur des méthodes de reconstruction non calibrée et d'autre part sur le concept de calibrage en ligne ou auto-calibrage. Nous tâchons d'obtenir des mesures tridimensionnelles même avec des images prises par des caméras non calibrées. Les informations obtenues ne sont pas de nature métrique, mais elles sont néanmoins exploitables pour des tâches de reconnaissance d'objets ou d'asservissement de robots. Nous avons développé plusieurs méthodes pratiques pour la reconstruction tridimensionnelle non calibrée. L'auto-calibrage ou calibrage en ligne consiste à calibrer une caméra uniquement à partir d'images d'objets inconnus. Les images prises au cours d'une application peuvent donc être utilisées simultanément pour l'application elle-même et pour le calibrage de la caméra. Notre contribution majeure dans ce domaine est une étude des conditions de dégénérescence qui s'avèrent apparaître fréquemment en pratique. Plus précisément, nous identifions tous les types de mouvements de caméra qui prohibent l'auto-calibrage.

Cette thèse se place dans le domaine de la reconnaissance de gestes dans le cadre d'interactions homme-machine. L'objectif est la conception de systèmes de reconnaissance et de compréhension adaptés au canal gestuel et son intégration dans de nouvelles interactions entre un utilisateur et un système informatique. Une revue de la communication gestuelle et de l'interaction homme-machine nous permet de nous interroger sur leurs applications pour une nouvelle interaction naturelle et la définition d'un geste du point de vue d'un concepteur d'interaction gestuelle. Nous définissons un geste par une trajectoire, c'est-à-dire une courbe paramètrée par le temps dans un espace de caractéristiques. Ces caractéristiques sont la position spatiale de la main et sa configuration. Nous proposons de décomposer la reconnaissance en trois étapes : analyse, reconnaissance et interprétation. L'étape d'analyse calcule les caractéristiques de la main dans chaque image de la séquence, créant ainsi la trajectoire du geste. Son analyse spatio-temporelle lors de l'étape de reconnaissance permet de la classifier parmi l'ensemble des gestes connus, spécifiques à l'application. Enfin, l'étape d'interprétation effectue la correspondance entre le geste reconnu et l'action à réaliser. Cette étape est dépendante de l'application visée. Dans cette thèse, nous nous intéressons aux gestes réalisés dans le cadre d'un environnement intelligent. Nous considérons ainsi des gestes de manipulations d'objets en réalité augmentée et des gestes de dessins. Nous présentons enfin une application de reconnaissance d'activités humaines se basant sur le mouvement d'un individu dans cet environnement.

La synthèse d'images a pour but de calculer des vues aussi réalistes que possible d'une scène tridimensionnelle définie par un modèle géométrique. Cette modélisation est effectuée manuellement, et pour synthétiser de façon réaliste une scène complexe, telle qu'un paysage, cette étape fastidieuse peut demander plusieurs hommes-mois. Nous proposons d'automatiser cette tâche. En effet, quelques photographies du paysage suffisent à modéliser entièrement ses informations géométriques et photométriques : structure 3D, couleurs et textures. Aussi, en appliquant des techniques d'analyse d'images et de vision par ordinateur, nous pouvons générer automatiquement une représentation tridimensionnelle de la scène, et la visualiser sous d'autres points de vue. Les algorithmes appropriés sont évalués et spécialement adaptés à notre problème. Des tests quantitatifs détaillés sont menés sur des données synthétiques et réelles, et la qualité finale des images produites est évaluée numériquement.

Nous présentons dans ce document l'ensemble de nos travaux concernant l'appariement, la modélisation et l'indexation des images. Cet ensemble de techniques concourt au développement d'un système de reconnaissance automatique d'images. Dans un premier temps, nous présentons diverses méthodes d'appariement d'images adaptées spécifiquement aux images structurées, texturées en niveaux de gris ou en couleur. Nous montrons comment faire coopérer ces méthodes dans le cas d'images difficiles. La deuxième partie est consacrée à la modélisation d'images et de concepts visuels, modélisation qui repose sur une technique de regroupement hiérarchique. La taille des groupes formés est calculée par une méthode basée sur l'entropie. L'indexation des images occupe la fin du mémoire. Deux cas sont étudiés : celui du stockage des données en mémoire vive, cas pour lequel nous fournissons des résultats de complexité, et celui du stockage en mémoire auxiliaire, qui reste encore largement à explorer. Le tout est largement illustré de cas concrets et ouvre de nombreuses pistes de travail.