Automatic verification of personal identity using facial images is the central topic of the thesis. This problem can be stated as follows. Given two face images, it must be determined automatically whether they are images of the same person or of different persons. Due to many factors such as variability of facial appearance, sensitivity to noise, template aging, etc., the problem is difficult. We can overcome some of these difficulties by combining different information sources for the classification/recognition task. In this thesis we propose strategies on how to combine the different information sources, i.e. fusion strategies, in order to improve the verification accuracy. We have designed and thoroughly optimised a number of face verification algorithms. Their individual properties such as how their accuracy depends on algorithm parameters, image size, or sensitivity to mis-registrations have been studied. We have also studied how to combine the outputs of the different algorithms in order to reduce the verification error rates. Another decision fusion aspect considered in this thesis is the fusion of confidences obtained sequentially on several video frames of the same person's face. Finally multimodal fusion has been studied. In this case, the speech and face of the same subject are recorded and processed by different algorithms which output separate opinions. These two opinions are then conciliated at the fusion stage. It is shown that in all cases, information fusion allows a considerable performance improvement if the fusion stage is carefully designed.

Ce document traite de plusieurs aspects de la vision stéréoscopique par ordinateur. Cette méthode consiste à partir d'une ou de plusieurs paires d'images à " reconstruire " une scène observée en trois dimensions, c'est-à-dire à produire une description des objets et surfaces observés ainsi que leur position dans l'espace. Le premier problème abordé est celui du calibrage, dont l'objet est de calculer les paramètres des caméras (focale, centre optique, etc.) ainsi que leur position, soit à partir d'images d'objets de géométrie et de position connue, soit de manière automatique (on parle alors d'auto-calibrage). Des résultats nouveaux sont présentés sur l'auto-calibrage de la distorsion optique et sur l'auto-calibrage d'une paire de caméras rigidement liées à partir de plusieurs paires d'images. Ensuite sont présentées différentes méthodes permettant de rectifier les images de manière à simplifier la mise en correspondance, puis d'effectuer cette mise en correspondance par une technique de corrélation. Outre des améliorations des résultats classiques, de nouvelles méthodes permettant d'obtenir une plus grande précision sont discutées. La dernière phase, dite de reconstruction, permet d'obtenir une description des surfaces observée allant jusqu'aux propriétés différentielles d'ordre un et deux (plan tangent et courbures à la surface), à partir des résultats de stéréoscopie par corrélation. Ce document se termine par quelques applications réalisées au cours de ces recherches telles qu'un système d'aide chirurgicale pré-opératoire ou une caméra stéréo bon marché.

Ces travaux portent sur l'étude et l'élaboration de méthodes d'asservissement visuel utilisant les images échographiques. L'asservissement visuel consiste à commander les mouvements d'un système dynamique, généralement un robot, à partir d'informations visuelles extraites de l'image fournie par un capteur embarqué ou observant le système. Dans ce contexte, très peu de travaux avaient été menés sur l'utilisation de l'image fournie par un capteur échographique et les méthodes existantes permettaient uniquement de contrôler les mouvements dans le plan de coupe du capteur. En effet, il est important de noter qu'une sonde échographique 2D a la particularité de fournir une information complète dans son plan d'observation mais de ne fournir aucune information en dehors de ce plan. A la différence, une caméra fournit une projection de la scène 3D vers une image 2D. De ce fait, les méthodes d'asservissement visuel basées sur la modélisation de l'interaction entre une caméra et son environnement ne peuvent être appliquées directement à la modalité échographique. Il faut également noter qu'une problématique importante est l'extraction en temps réel des informations visuelles, nécessaires à la commande d'un système robotique, à partir des images échographiques qui sont par nature très fortement bruitées. Nous avons par conséquent apporté des solutions génériques pour permettre le contrôle complet des déplacements d'une sonde embarquée sur un robot à 6 degrés de liberté en utilisant directement les images échographiques. Deux démarches principales ont été menées pour atteindre cet objectif. La première a porté sur le choix et la modélisation exacte des informations visuelles géométriques qu'il est possible d'extraire en temps réel à partir des images échographiques 2D et qui sont pertinentes pour la réalisation d'une tâche de positionnement d'une sonde robotisée. Nous avons plus particulièrement considéré des informations géométriques de type points, contours et moments de la section d'un organe d'intérêt. Des modèles simplifiés ou estimés en ligne de la forme des objets observés ont été considérés pour déterminer la variation des informations géométriques introduite par les mouvements effectués en dehors du plan de coupe de la sonde. Cette modélisation a permis de déterminer la loi de commande à appliquer au robot porteur de sonde pour atteindre automatiquement la coupe échographique présentant l'information visuelle désirée. La seconde démarche a porté sur l'exploitation de l'information dense de l'image échographique en vue de s'affranchir de l'étape de segmentation. Dans une première approche, l'information de corrélation de la texture de type " speckle " présente dans l'image échographique a été considérée pour réaliser la poursuite de tissus en mouvement par la sonde échographique. Une approche alternative a également été proposée où les informations visuelles choisies en entrée de la commande du système correspondent directement à la valeur d'intensité d'un ensemble de pixels de l'image. La variation de ces informations en fonction du mouvement de la sonde a été modélisée afin de mettre en œuvre des asservissements visuels capables de réaliser des tâches de positionnement ou de suivi de coupes anatomiques. Cette méthode a en outre été étendue pour différents types de capteurs ultrasonores (2D, 3D, bi-plans). Les applications qui découlent de ces travaux se situent principalement dans le domaine de l'assistance à l'examen échographique. Elles concernent d'une part le positionnement automatique de la sonde sur une section anatomique désirée. D'autre part, les applications traitées portent également sur la stabilisation active de l'image échographique. A cette fin, différentes approches ont été mises en œuvre pour compenser le mouvement de tissus mous en synchronisant les déplacements de la sonde par asservissement visuel échographique.

Après une introduction visant à mieux définir le domaine émergent du grand public qu'est la réalité augmentée, nous décrivons nos contributions en réalité augmentée pour une meilleure perception, cognition et interaction avec notre environnement. La perception est vue sous l'angle de la perception active, celle du mouvement et de l'anticipation. La pédagogie active, mais aussi la pédagogie inductive et déductive, sont utilisées pour améliorer nos facultés de raisonnement. Une meilleure interaction avec notre environnement est d'une part envisagée sous l'angle des systèmes supervisés à travers internet qui favorisent le travail collaboratif, et d'autre part grâce à la réalité augmentée mobile en faisant appel à des guides virtuels humains.

Mes travaux de recherche concernent essentiellement la vision par ordinateur, ou vision artificielle. Basiquement, je me suis efforcé d'imaginer des dispositifs, d'étudier des algorithmes, d'intégrer des méthodes et techniques connues dans des méthodologies nouvelles, de développer çà et là des aspects théoriques originaux. Je me suis beaucoup intéressé à des systèmes de vision alternatifs comme les systèmes en lumière structurée ou catadioptriques. Ces systèmes permettent d'étudier les techniques usuelles de vision par ordinateur sous un éclairage différent, ils nous obligent à ajuster le problème aux caractéristiques qui leur sont propres ; ils permettent, en quelque sorte, d'appréhender la vision par ordinateur "de biais". J'ai participé, de manière plus marginale, à des travaux sur la chirurgie virtuelle et la reconstruction d'objets transparents qui, chacun à leur manière, sont venus compléter le cadre de ce que sont mes activités de recherche. Ce qui les ont animées tient en une phrase : comment passer d'une image à sa représentation tridimensionnelle ? - et en corollaire : quelles sont les informa- tions dont j'ai besoin pour y parvenir ? comment adapter le capteur, le principe ou la méthode à l'application et comment adapter les traitements au capteur ? Ceci m'a conduit à étudier, en amont, le traitement des images et à m'aventurer parfois dans des domaines qui vont au-delà de mon champ de compétence, comme celui de l'imagerie polarimétrique ou de la physique.

Les systèmes multi-capteurs exploitent les complémentarités des différentes sources sensorielles. Par example, le capteur visuo-inertiel permet d'estimer la pose à haute fréquence et avec une grande précision. Les méthodes de vision mesurent la pose à basse fréquence mais limitent la dérive causée par l'intégration des données inertielles. Les centrales inertielles mesurent des incréments du déplacement à haute fréquence, ce que permet d'initialiser la vision et de compenser la perte momentanée de celle-ci. Cette thèse analyse deux aspects du problème. Premièrement, nous étudions les méthodes visuelles directes pour l'estimation de pose, et proposons une nouvelle technique basée sur la corrélation entre des images et la pondération des régions et des pixels, avec une optimisation inspirée de la méthode de Newton. Notre technique estime la pose même en présence des changements d'illumination extrêmes. Deuxièmement, nous étudions la fusion des données a partir de la théorie de la commande. Nos résultats principaux concernent le développement d'observateurs pour l'estimation de pose, biais IMU et l'autocalibrage. Nous analysons la dynamique de rotation d'un point de vue nonlinéaire, et fournissons des observateurs stables dans le groupe des matrices de rotation. Par ailleurs, nous analysons la dynamique de translation en tant que système linéaire variant dans le temps, et proposons des conditions d'observabilité uniforme. Les analyses d'observabilité nous permettent de démontrer la stabilité uniforme des observateurs proposés. La méthode visuelle et les observateurs sont testés et comparés aux méthodes classiques avec des simulations et de vraies données visuo-inertielles.

In this thesis we address the problem of digitizing the motion of three-dimensional shapes that move and deform in time. These shapes are observed from several points of view with cameras that record the scene's evolution as videos. Using available reconstruction methods, these videos can be converted into a sequence of three-dimensional snapshots that capture the appearance and shape of the objects in the scene. The focus of this thesis is to complement appearance and shape with information on the motion and deformation of objects. In other words, we want to measure the trajectory of every point on the observed surfaces. This is a challenging problem because the captured videos are only sequences of images, and the reconstructed shapes are built independently from each other. While the human brain excels at recreating the illusion of motion from these snapshots, using them to automatically measure motion is still largely an open problem. The majority of prior works on the subject has focused on tracking the performance of one human actor, and used the strong prior knowledge on the articulated nature of human motion to handle the ambiguity and noise inherent to visual data. In contrast, the presented developments consist of generic methods that allow to digitize scenes involving several humans and deformable objects of arbitrary nature. To perform surface tracking as generically as possible, we formulate the problem as the geometric registration of surfaces and deform a reference mesh to fit a sequence of independently reconstructed meshes. We introduce a set of algorithms and numerical tools that integrate into a pipeline whose output is an animated mesh. Our first contribution consists of a generic mesh deformation model and numerical optimization framework that divides the tracked surface into a collection of patches, organizes these patches in a deformation graph and emulates elastic behavior with respect to the reference pose. As a second contribution, we present a probabilistic formulation of deformable surface registration that embeds the inference in an Expectation-Maximization framework that explicitly accounts for the noise and in the acquisition. As a third contribution, we look at how prior knowledge can be used when tracking articulated objects, and compare different deformation model with skeletal-based tracking. The studies reported by this thesis are supported by extensive experiments on various 4D datasets. They show that in spite of weaker assumption on the nature of the tracked objects, the presented ideas allow to process complex scenes involving several arbitrary objects, while robustly handling missing data and relatively large reconstruction artifacts.

Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

The objective of this work is to make a step towards an artificial system with human-like visual intelligence capabilities. We consider the following three visual recognition problems. First, we show how to identify the same object or scene instance in a large database of images despite significant changes in appearance due to viewpoint, illumination but also aging, seasonal changes, or depiction style. Second, we consider recognition of object classes such as "chairs" or "windows" (as opposed to a specific instance of a chair or a window). We investigate how to name object classes present in the image, identify their locations as well as predict their approximate 3D model and fine-grained style ("Is this a bar stool or a folding chair?"; "Is this a bay window or a French window?"). In particular, we investigate different levels of supervision for this task starting from just observing images without any supervision to having millions of labelled images or a set of full 3D models. Finally, we consider recognition of people and their actions in unconstrained videos such as TV or feature length films. In detail, we investigate how to identify individual people in the video using their faces ("Who is this?") as well as recognize what they do ("Is this person walking or sitting?").

L'utilisation d'organismes génétiques modèles a permis l'investigation à grande échelle de mécanismes cellulaires et moléculaires pour la biologie. La larve de poisson zèbre (Danio rerio) est un organisme vertébré modèle simple qui présente plusieurs avantages pour identifier les bases moléculaires et pharmacologiques du développement et du comportement à travers des cribles génétiques et chimiques respectivement. Plusieurs paradigmes expérimentaux reposent sur une caractérisation précise du phénotype comportemental associé avec un génotype ou l'application d'une drogue. Ce processus de phénotypage bénéficierait d'une compréhension globale des manœuvres possibles afin de caractériser précisément le comportement globale de larves observé au cours d'une expérience. L'analyse sur plusieurs minutes de la locomotion spontanée des larves de poisson zèbre en groupe fournit un cadre idéal pour atteindre ces objectifs.Si l'analyse manuelle du comportement animal est possible pour l'observation de manœuvres isolées et stéréotypées, elle n'est pas compatible avec une approche à grande échelle. A partir de cinq jours, la larve de poisson zèbre se meut sous forme de bouffées natatoires qui arrivent à haute fréquence et sont séparées par quelques secondes. La difficulté d'observation à haute fréquence et d'analyse de la locomotion en bouffée rend une analyse manuelle simple à partir de séquences vidéos du comportement impossible. Le développement récent de caméras rapides avec acquisition en mode continu, couplé aux avancées en informatique et en intelligence artificielle rend possible une analyse automatique du comportement. Les systèmes commerciaux actuels permettent des enregistrements sur des longues durées mais sans capturer la complexité et la diversité des mouvements réalisés. Nous avons donc créé ZebraZoom, notre système d'analyse haut débit permettant de suivre, de quantifier et de catégoriser le comportement spontané de chaque larve de poisson zèbre au sein d'un groupe.Nous avons monté un dispositif expérimental qui consiste à placer sept larves de poisson zèbre âgées d'entre cinq et sept jours dans huit boîtes de pétri. Les boîtes de pétri sont disposées sur une table lumineuse et une caméra rapide positionnée au-dessus enregistre le comportement spontané à 337 Hz pendant quatre minutes. Une fois la vidéo acquise, ZebraZoom localise automatiquement chacune des huit boîtes de pétri, puis suit tête et queue de chacun des animaux sur l'ensemble de la vidéo, grâce à des procédures de vision par ordinateur. ZebraZoom identifie automatiquement chaque bouffée natatoire. Le phénotypage du comportement a été réalisé grâce à deux méthodes complémentaires : l'extraction de paramètres globaux caractérisant la dynamique des mouvements et la catégorisation automatique des mouvements en différents manœuvres stéréotypées. Nous avons utilisé l'analyse des paramètres globaux afin de caractériser l'effet de drogues agissant sur les récepteurs de neurotransmetteurs et l'analyse d'un mutant aveugle. La catégorisation automatique des mouvements est réalisée grâce a des procédures d'apprentissage automatique (" Machine Learning "). Nous avons illustré l'utilité de cette catégorisation pour étudier les interactions entre larves à ces stades précoces. En conclusion, notre programme ZebraZoom permet de réaliser un phénotypage automatique et complet, et cette approche pourra être appliquée dans d'autres systèmes et contextes expérimentaux.