La recherche de modèles d'intérêt contenus dans des s'séquences de vues multiples d'une scène reste l'un des principaux problèmes de la vision par ordinateur actuellement. En dépit des grands progrès observés au cours des 40 dernières années, la vision par ordinateur ne parvient pas encore à répondre adéquatement quant à la manière d'inférer et de détecter des modèles d'intérêt dans des scènes pour lesquelles un ou plusieurs objet(s) sont vus depuis différents points de vue. Afin de surmonter ce problème, cette thèse propose de nouveaux algorithmes et prototypes capables de caractériser, d'inférer et de détecter des modèles d'intérêt en séquences avec des vues multiples de manière non calibrée, c'est-'a-dire sans connaissance à priori de la position du/des objet(s) par rapport ła (aux) caméra(s). Le travail réalisé s'articule autour de trois axes, divis'es en six articles qui constituent le corps de la thèse. (1) L'analyse de correspondances point par point à travers de marqueurs explicites et implicites sur les objets. (2) L'estimation de correspondances point par point 'a travers de multiples relations géométriques indépendantes du/des objet(s) qui composent la scène. (3) La prédiction du flux dynamique du déplacement généré par le mouvement de la caméra autour de l'objet. L'objectif principal de cette thèse est d'appuyer la prise de décision 'a travers d'une analyse dynamique et/ou géométrique du mouvement du/des objet(s) ou de la (des) caméra(s) pendant que ceux-ci se déplacent. Grâce à cette analyse, il est possible d'accroitre l'information sur la scène et l'(les) objet(s) 'a travers d'un processus inférentiel spécifique pour chaque cas. Il ressort des thématiques exposées qu'il est possible, par exemple, d'assister le processus d'inspection réalisé par un opérateur humain, de déterminer la qualité d'un produit de manière autonome, ou d'exécuter une action spécifique dans un acteur robotique. Bien que ces thématiques présentent des approches différentes, celles-ci ont le même ensemble de pas en ce qui concerne: (1) la détermination de la relation de correspondance de points ou de régions sur plusieurs images, (2) la détermination de la relation géométrique et/ou dynamique existante entre les correspondances estimées précédemment, (3) l'inférence de nouvelles relations sur les points dont la correspondance est inconnue en vue de caractériser le mouvement. Les variations les plus fortes correspondent 'a la manière dont la correspondance est estimée; au calcul de la dynamique et la géométrie entre les points correspondants; et enfin 'a la manière dont nous inférons une action particulière suite 'a un mouvement spécifique. Parmi les principaux résultats, on trouve le développement d'une méthodologie d'inspection non calibrée 'a vues multiples appliquée 'a l'analyse de la qualité des jantes de véhicules, le développement d'un prototype fonctionnel appliqué à l'inspection des cols de bouteilles de vin, une méthodologie de correspondance point par point géométrique capable de résoudre le problème de correspondance en deux et trois vues pour tout point d'intérêt, et enfin la reconnaissance de l'intention humaine pour les tâches de 'grasping' 'a travers de l'analyse du mouvement des yeux et de la main. 'A l'avenir, il restera encore 'a analyser les correspondances dynamiques 'a travers de caractéristiques invariantes, employer des méthodes d'analyse géométriques en séquences d'images radiologiques, et utiliser des modèles de détection d'intentions pour évaluer la qualité des objets.

Cette thèse développe une approche basée sur la géométrie projective pour analyser et traiter des séquences d'images obtenues avec une caméra mobile. Les dérivations et démonstrations sont faites sans supposer qu'une information a priori est disponible sur les images, que ce soit sur le mouvement de la caméra ou sur leurs paramètres intrinsèques, comme la distance focale ou les points principaux. Il peut<br />même s'agir de caméras différentes. La seule hypothèse est que la scène est rigide.

Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

Le sujet de cette thèse porte sur la création des données utilisées en informatique graphique pour synthétiser des images. On ne demande pas à l'utilisateur de modéliser l'objet souhaité mais plutôt d'en fournir une ou plusieurs photographies. Ces images sont automatiquement analysées pour en extraire l'information recherchée. On attend de cette approche des données plus fidèles à l'original et un temps de création plus court pour l'utilisateur.<br /><br />Nos travaux sont centrés sur trois cas d'études qui mènent à des applications utiles. Tout d'abord, nous reconstruisons la surface d'un objet matte à partir d'une séquence d'images dont le point de vue se déplace. Nous capturons ensuite l'apparence d'un visage à partir d'une seule image et montrons comment les données récupérées sont utilisées pour synthétiser ce visage sous un nouvel éclairage. Nous terminons avec la capture de la géométrie d'une chevelure à partir de plusieurs images prises avec une caméra fixe et une lumière qui se déplace.<br /><br />Nous introduisons plusieurs contributions théoriques et techniques qui améliorent aussi bien la précision que la robustesse de la capture. Des résultats illustrent ces améliorations.

Cette thèse concerne la reconstruction tridimensionnelle d'objets à partir d'images prises par des caméras. Le schéma classique s'appuie sur un calibrage hors ligne des caméras. Ce calibrage n'est pas toujours possible et des applications dynamiques requièrent en général fréquemment une mise à jour du calibrage au vol. Il est donc clairement souhaitable de pouvoir s'affranchir du besoin d'un calibrage hors ligne. Dans cette thèse, nous nous concentrons d'une part sur des méthodes de reconstruction non calibrée et d'autre part sur le concept de calibrage en ligne ou auto-calibrage. Nous tâchons d'obtenir des mesures tridimensionnelles même avec des images prises par des caméras non calibrées. Les informations obtenues ne sont pas de nature métrique, mais elles sont néanmoins exploitables pour des tâches de reconnaissance d'objets ou d'asservissement de robots. Nous avons développé plusieurs méthodes pratiques pour la reconstruction tridimensionnelle non calibrée. L'auto-calibrage ou calibrage en ligne consiste à calibrer une caméra uniquement à partir d'images d'objets inconnus. Les images prises au cours d'une application peuvent donc être utilisées simultanément pour l'application elle-même et pour le calibrage de la caméra. Notre contribution majeure dans ce domaine est une étude des conditions de dégénérescence qui s'avèrent apparaître fréquemment en pratique. Plus précisément, nous identifions tous les types de mouvements de caméra qui prohibent l'auto-calibrage.

Cette thèse se place dans le domaine de la reconnaissance de gestes dans le cadre d'interactions homme-machine. L'objectif est la conception de systèmes de reconnaissance et de compréhension adaptés au canal gestuel et son intégration dans de nouvelles interactions entre un utilisateur et un système informatique. Une revue de la communication gestuelle et de l'interaction homme-machine nous permet de nous interroger sur leurs applications pour une nouvelle interaction naturelle et la définition d'un geste du point de vue d'un concepteur d'interaction gestuelle. Nous définissons un geste par une trajectoire, c'est-à-dire une courbe paramètrée par le temps dans un espace de caractéristiques. Ces caractéristiques sont la position spatiale de la main et sa configuration. Nous proposons de décomposer la reconnaissance en trois étapes : analyse, reconnaissance et interprétation. L'étape d'analyse calcule les caractéristiques de la main dans chaque image de la séquence, créant ainsi la trajectoire du geste. Son analyse spatio-temporelle lors de l'étape de reconnaissance permet de la classifier parmi l'ensemble des gestes connus, spécifiques à l'application. Enfin, l'étape d'interprétation effectue la correspondance entre le geste reconnu et l'action à réaliser. Cette étape est dépendante de l'application visée. Dans cette thèse, nous nous intéressons aux gestes réalisés dans le cadre d'un environnement intelligent. Nous considérons ainsi des gestes de manipulations d'objets en réalité augmentée et des gestes de dessins. Nous présentons enfin une application de reconnaissance d'activités humaines se basant sur le mouvement d'un individu dans cet environnement.

La synthèse d'images a pour but de calculer des vues aussi réalistes que possible d'une scène tridimensionnelle définie par un modèle géométrique. Cette modélisation est effectuée manuellement, et pour synthétiser de façon réaliste une scène complexe, telle qu'un paysage, cette étape fastidieuse peut demander plusieurs hommes-mois. Nous proposons d'automatiser cette tâche. En effet, quelques photographies du paysage suffisent à modéliser entièrement ses informations géométriques et photométriques : structure 3D, couleurs et textures. Aussi, en appliquant des techniques d'analyse d'images et de vision par ordinateur, nous pouvons générer automatiquement une représentation tridimensionnelle de la scène, et la visualiser sous d'autres points de vue. Les algorithmes appropriés sont évalués et spécialement adaptés à notre problème. Des tests quantitatifs détaillés sont menés sur des données synthétiques et réelles, et la qualité finale des images produites est évaluée numériquement.

Nous présentons dans ce document l'ensemble de nos travaux concernant l'appariement, la modélisation et l'indexation des images. Cet ensemble de techniques concourt au développement d'un système de reconnaissance automatique d'images. Dans un premier temps, nous présentons diverses méthodes d'appariement d'images adaptées spécifiquement aux images structurées, texturées en niveaux de gris ou en couleur. Nous montrons comment faire coopérer ces méthodes dans le cas d'images difficiles. La deuxième partie est consacrée à la modélisation d'images et de concepts visuels, modélisation qui repose sur une technique de regroupement hiérarchique. La taille des groupes formés est calculée par une méthode basée sur l'entropie. L'indexation des images occupe la fin du mémoire. Deux cas sont étudiés : celui du stockage des données en mémoire vive, cas pour lequel nous fournissons des résultats de complexité, et celui du stockage en mémoire auxiliaire, qui reste encore largement à explorer. Le tout est largement illustré de cas concrets et ouvre de nombreuses pistes de travail.

La problématique générale de cette thèse est la comparaison d'images, que nous traitons via différentes applications. Nous proposons un système complet, robuste et automatique de reconnaissance d'objets multiples, dont la mise en œuvre repose principalement sur deux approches méthodologiques : la théorie de la décision « a contrario » et la théorie du transport optimal de Monge-Kantorovich. Dans ce cadre, une mesure de dissimilarité est définie pour la comparaison de descripteurs locaux de type SIFT en fonction du coût de transport optimal entre histogrammes circulaires (Circular Earth Mover's Distance). Un critère de mise en correspondance ces descripteurs s'appuyant sur la théorie de la décision a contrario est par la suite introduit. Ce critère permet de s'affranchir du réglage du seuil de détection et de la restriction usuelle au plus proche voisin. Nous proposons un algorithme de type RANSAC (RANdom SAmple Consensus) pour le groupement multiple de correspondances de descripteurs locaux. L'approche proposée permet la sélection du modèle géométrique de la transformation rigide due au changement de point de vue et au mouvement de l'objet détecté entre les différentes images. Dans le cadre du transport optimal, nous étudions par ailleurs l'intérêt de l'EMD (Earth Mover's Distance) pour la comparaison globale d'images (indexation d'images). Nous proposons enfin une méthode de régularisation de la carte de transport s'inspirant des approches par filtrage non-local, en vue d'une application au changement de contraste et au transfert de couleurs entre images.

Ce travail de thèse étudie l'apport à la vision bas-niveau des architectures de calcul massivement parallèles. Nous reprenons l'évolution récente de l'architecture des ordinateurs, en mettant en avant les solutions massivement parallèles qui se sont imposées récemment, les GPU. L'exploitation des potentialités de ces architectures impose une modification des méthodes de programmation. Nous montrons qu'il est possible d'utiliser un nombre restreint de schémas ("patterns") de calcul pour résoudre un grand nombre de problématiques de vision bas niveau. Nous présentons ensuite un nouveau modèle pour estimer la complexité de ces solutions. La suite du travail consiste à appliquer ces modèles de programmation à des problématiques de vision bas-niveau. Nous abordons d'abord le calcul du flot optique, qui est le champ de déplacement d'une image à une autre, et dont l'estimation est une brique de base de très nombreuses applications en traitement vidéo. Nous présentons un code sur GPU, nommé FOLKI qui permet d'atteindre une très bonne qualité de résultats sur séquences réelles pour un temps de calcul bien plus faible que les solutions concurrentes actuelles. Une application importante de ces travaux concerne la vélocimétrie par imagerie de particules dans le domaine de la mécanique des fluides expérimentale. La seconde problématique abordée est la super-résolution (SR). Nous proposons d'abord un algorithme très rapide de SR utilisant le flot optique FOLKI pour recaler les images. Ensuite différentes solutions à coût de calcul croissant sont développées, qui permettent une amélioration de précision et de robustesse. Nous présentons des résultats très originaux de SR sur des séquences affectées de mouvement complexes, comme des séquences de piétons ou des séquences aériennes de véhicules en mouvement. Enfin le dernier chapitre aborde rapidement des extensions en cours de nos travaux à des contextes de mesure 3D, dans des domaines comme la physique expérimentale ou la robotique.