Après une introduction visant à mieux définir le domaine émergent du grand public qu'est la réalité augmentée, nous décrivons nos contributions en réalité augmentée pour une meilleure perception, cognition et interaction avec notre environnement. La perception est vue sous l'angle de la perception active, celle du mouvement et de l'anticipation. La pédagogie active, mais aussi la pédagogie inductive et déductive, sont utilisées pour améliorer nos facultés de raisonnement. Une meilleure interaction avec notre environnement est d'une part envisagée sous l'angle des systèmes supervisés à travers internet qui favorisent le travail collaboratif, et d'autre part grâce à la réalité augmentée mobile en faisant appel à des guides virtuels humains.

Mes travaux de recherche concernent essentiellement la vision par ordinateur, ou vision artificielle. Basiquement, je me suis efforcé d'imaginer des dispositifs, d'étudier des algorithmes, d'intégrer des méthodes et techniques connues dans des méthodologies nouvelles, de développer çà et là des aspects théoriques originaux. Je me suis beaucoup intéressé à des systèmes de vision alternatifs comme les systèmes en lumière structurée ou catadioptriques. Ces systèmes permettent d'étudier les techniques usuelles de vision par ordinateur sous un éclairage différent, ils nous obligent à ajuster le problème aux caractéristiques qui leur sont propres ; ils permettent, en quelque sorte, d'appréhender la vision par ordinateur "de biais". J'ai participé, de manière plus marginale, à des travaux sur la chirurgie virtuelle et la reconstruction d'objets transparents qui, chacun à leur manière, sont venus compléter le cadre de ce que sont mes activités de recherche. Ce qui les ont animées tient en une phrase : comment passer d'une image à sa représentation tridimensionnelle ? - et en corollaire : quelles sont les informa- tions dont j'ai besoin pour y parvenir ? comment adapter le capteur, le principe ou la méthode à l'application et comment adapter les traitements au capteur ? Ceci m'a conduit à étudier, en amont, le traitement des images et à m'aventurer parfois dans des domaines qui vont au-delà de mon champ de compétence, comme celui de l'imagerie polarimétrique ou de la physique.

Les systèmes multi-capteurs exploitent les complémentarités des différentes sources sensorielles. Par example, le capteur visuo-inertiel permet d'estimer la pose à haute fréquence et avec une grande précision. Les méthodes de vision mesurent la pose à basse fréquence mais limitent la dérive causée par l'intégration des données inertielles. Les centrales inertielles mesurent des incréments du déplacement à haute fréquence, ce que permet d'initialiser la vision et de compenser la perte momentanée de celle-ci. Cette thèse analyse deux aspects du problème. Premièrement, nous étudions les méthodes visuelles directes pour l'estimation de pose, et proposons une nouvelle technique basée sur la corrélation entre des images et la pondération des régions et des pixels, avec une optimisation inspirée de la méthode de Newton. Notre technique estime la pose même en présence des changements d'illumination extrêmes. Deuxièmement, nous étudions la fusion des données a partir de la théorie de la commande. Nos résultats principaux concernent le développement d'observateurs pour l'estimation de pose, biais IMU et l'autocalibrage. Nous analysons la dynamique de rotation d'un point de vue nonlinéaire, et fournissons des observateurs stables dans le groupe des matrices de rotation. Par ailleurs, nous analysons la dynamique de translation en tant que système linéaire variant dans le temps, et proposons des conditions d'observabilité uniforme. Les analyses d'observabilité nous permettent de démontrer la stabilité uniforme des observateurs proposés. La méthode visuelle et les observateurs sont testés et comparés aux méthodes classiques avec des simulations et de vraies données visuo-inertielles.

In this thesis we address the problem of digitizing the motion of three-dimensional shapes that move and deform in time. These shapes are observed from several points of view with cameras that record the scene's evolution as videos. Using available reconstruction methods, these videos can be converted into a sequence of three-dimensional snapshots that capture the appearance and shape of the objects in the scene. The focus of this thesis is to complement appearance and shape with information on the motion and deformation of objects. In other words, we want to measure the trajectory of every point on the observed surfaces. This is a challenging problem because the captured videos are only sequences of images, and the reconstructed shapes are built independently from each other. While the human brain excels at recreating the illusion of motion from these snapshots, using them to automatically measure motion is still largely an open problem. The majority of prior works on the subject has focused on tracking the performance of one human actor, and used the strong prior knowledge on the articulated nature of human motion to handle the ambiguity and noise inherent to visual data. In contrast, the presented developments consist of generic methods that allow to digitize scenes involving several humans and deformable objects of arbitrary nature. To perform surface tracking as generically as possible, we formulate the problem as the geometric registration of surfaces and deform a reference mesh to fit a sequence of independently reconstructed meshes. We introduce a set of algorithms and numerical tools that integrate into a pipeline whose output is an animated mesh. Our first contribution consists of a generic mesh deformation model and numerical optimization framework that divides the tracked surface into a collection of patches, organizes these patches in a deformation graph and emulates elastic behavior with respect to the reference pose. As a second contribution, we present a probabilistic formulation of deformable surface registration that embeds the inference in an Expectation-Maximization framework that explicitly accounts for the noise and in the acquisition. As a third contribution, we look at how prior knowledge can be used when tracking articulated objects, and compare different deformation model with skeletal-based tracking. The studies reported by this thesis are supported by extensive experiments on various 4D datasets. They show that in spite of weaker assumption on the nature of the tracked objects, the presented ideas allow to process complex scenes involving several arbitrary objects, while robustly handling missing data and relatively large reconstruction artifacts.

Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

The objective of this work is to make a step towards an artificial system with human-like visual intelligence capabilities. We consider the following three visual recognition problems. First, we show how to identify the same object or scene instance in a large database of images despite significant changes in appearance due to viewpoint, illumination but also aging, seasonal changes, or depiction style. Second, we consider recognition of object classes such as "chairs" or "windows" (as opposed to a specific instance of a chair or a window). We investigate how to name object classes present in the image, identify their locations as well as predict their approximate 3D model and fine-grained style ("Is this a bar stool or a folding chair?"; "Is this a bay window or a French window?"). In particular, we investigate different levels of supervision for this task starting from just observing images without any supervision to having millions of labelled images or a set of full 3D models. Finally, we consider recognition of people and their actions in unconstrained videos such as TV or feature length films. In detail, we investigate how to identify individual people in the video using their faces ("Who is this?") as well as recognize what they do ("Is this person walking or sitting?").

L'utilisation d'organismes génétiques modèles a permis l'investigation à grande échelle de mécanismes cellulaires et moléculaires pour la biologie. La larve de poisson zèbre (Danio rerio) est un organisme vertébré modèle simple qui présente plusieurs avantages pour identifier les bases moléculaires et pharmacologiques du développement et du comportement à travers des cribles génétiques et chimiques respectivement. Plusieurs paradigmes expérimentaux reposent sur une caractérisation précise du phénotype comportemental associé avec un génotype ou l'application d'une drogue. Ce processus de phénotypage bénéficierait d'une compréhension globale des manœuvres possibles afin de caractériser précisément le comportement globale de larves observé au cours d'une expérience. L'analyse sur plusieurs minutes de la locomotion spontanée des larves de poisson zèbre en groupe fournit un cadre idéal pour atteindre ces objectifs.Si l'analyse manuelle du comportement animal est possible pour l'observation de manœuvres isolées et stéréotypées, elle n'est pas compatible avec une approche à grande échelle. A partir de cinq jours, la larve de poisson zèbre se meut sous forme de bouffées natatoires qui arrivent à haute fréquence et sont séparées par quelques secondes. La difficulté d'observation à haute fréquence et d'analyse de la locomotion en bouffée rend une analyse manuelle simple à partir de séquences vidéos du comportement impossible. Le développement récent de caméras rapides avec acquisition en mode continu, couplé aux avancées en informatique et en intelligence artificielle rend possible une analyse automatique du comportement. Les systèmes commerciaux actuels permettent des enregistrements sur des longues durées mais sans capturer la complexité et la diversité des mouvements réalisés. Nous avons donc créé ZebraZoom, notre système d'analyse haut débit permettant de suivre, de quantifier et de catégoriser le comportement spontané de chaque larve de poisson zèbre au sein d'un groupe.Nous avons monté un dispositif expérimental qui consiste à placer sept larves de poisson zèbre âgées d'entre cinq et sept jours dans huit boîtes de pétri. Les boîtes de pétri sont disposées sur une table lumineuse et une caméra rapide positionnée au-dessus enregistre le comportement spontané à 337 Hz pendant quatre minutes. Une fois la vidéo acquise, ZebraZoom localise automatiquement chacune des huit boîtes de pétri, puis suit tête et queue de chacun des animaux sur l'ensemble de la vidéo, grâce à des procédures de vision par ordinateur. ZebraZoom identifie automatiquement chaque bouffée natatoire. Le phénotypage du comportement a été réalisé grâce à deux méthodes complémentaires : l'extraction de paramètres globaux caractérisant la dynamique des mouvements et la catégorisation automatique des mouvements en différents manœuvres stéréotypées. Nous avons utilisé l'analyse des paramètres globaux afin de caractériser l'effet de drogues agissant sur les récepteurs de neurotransmetteurs et l'analyse d'un mutant aveugle. La catégorisation automatique des mouvements est réalisée grâce a des procédures d'apprentissage automatique (" Machine Learning "). Nous avons illustré l'utilité de cette catégorisation pour étudier les interactions entre larves à ces stades précoces. En conclusion, notre programme ZebraZoom permet de réaliser un phénotypage automatique et complet, et cette approche pourra être appliquée dans d'autres systèmes et contextes expérimentaux.

Dans cette thèse, nous proposons des modèles et des méthodes dédiés à des taches de compréhension de l'image. En particulier, nous nous penchons sur des approches de type noyau de Fisher pour la classification d'images et la localisation d'objets. Nos études se répartissent en trois chapitres. En premier lieu, nous proposons de nouveaux descripteurs d'images construits sur des modèles non-iid de l'image. Notre point de départ est l'observation que les régions locales d'une image sont souvent supposées indépendentes et identiquement distribuées (iid) dans les modèles de type sacs-de-mots (SdM). Nous introduisons des modèles non-iid en traitant les paramètres du SdM comme des variables latentes, ce qui rend interdépendantes toutes les régions locales. En utilisant le noyau de Fisher, nous encodons une image par le gradient de sa log-vraisemblance par rapport aux hyper-paramètres du modèle. Notre représentation implique naturellement une invariance à certaines transformations, ce qui explique pourquoi de telles approches ont été courronnées de succès. En utilisant l'inférence variationnelle, nous étendons le modèle de base pour inclure un mélange de gaussiennes sur les descripteurs locaux, et un modèle latent de sujets pour capturer la structure co-occurente des mots visuels. Dans un second temps, nous présentons un système de détection d'objet reposant sur la représentation haute-dimension d'images par le vecteur de Fisher. Pour des raisons de complexité en temps et en espace, nous utilisons une méthode récente à base de segmentation pour engendrer des hypothèses de détection indépendantes des classes, ainsi que des techniques de compression. Notre principale contribution est une méthode pour produire des masques de segmentation potentiels, afin de supprimer le bruit du descripteur dû à l'arrière plan. Nous montrons que repondérer les descripteurs locaux de l'image en fonction de ces masques améliore significativement la performance en détection. Troisièmement, nous proposons une approche semi-supervisée pour la localisation d'objets. L'entrainement supervisé usuel de détecteurs d'objets nécessite l'annotation de boites englobantes des instances de ces objets. Ce processus coûteux est évité en apprentissage semi-supervisé, lequel ne nécessite que des étiquettes binaires indiquant la présence ou l'absence des objets. Nous suivons une approche d'apprentissage à instance multiple en alterne itérativement entre entrainer un détecteur et inférer les positions des objets. Notre contribution principale est une procédure multi-état d'apprentissage à instance multiple, qui évite à l'apprentissage de se focaliser prématurément sur des positions d'objets erronnées. Nous montrons que cette procédure est particulièrement importante lorsque des représentations haute-dimensions comme le vecteur de Fisher sont utilisées. Pour finir, nous présentons dans l'appendice de cette thèse notre travail sur l'identification de personnes dans des vidéos télévision non-contrôlées. Nous montrons qu'une distance adaptée au casting peut être apprise sans étiqueter d'exemple d'apprentissage, mais en utilisant des paires de visages au sein d'un même chemin et sur plusieurs chemins se chevauchant temporellement. Nous montrons que la métrique apprise améliore l'identification de chemins de visages, la reconnaissance et les performances en regroupement.

L'utilisation de modèles tridimensionnels dans les applications multimédia, prend de l'ampleur de jour en jour. Le développement des outils de modélisation, des scanners 3D, des cartes graphiques accélérées, du Web3D, etc. ouvre l'accès à des données tridimensionnelles de grande qualité. Les besoins, sans cesse croissants, concernant ce type de données, changent rapidement. S'il devient de plus en plus facile de créer de nouveaux modèles 3D, qu'en est-il du traitement et de l'analyse de ces modèles après leur création ? De nos jours, le concepteur d'objets 3D ne pose plus la question : " Comment créer un nouvel objet 3D ? ", mais plus vrai- semblablement " Comment retrouver un modèle 3D similaire à ceux en ma possession pour le réutiliser ? " et " Comment retrouver la structure d'un modèle 3D maillé sans connaissance a priori sur celui-ci ? " Cette habilitation a pour but d'apporter des éléments de réponse à ces deux questions. En réponse à la première question, nous avons développé un nouveau système bayésien pour retrouver des modèles 3D à partir d'une requête constituée d'une ou plusieurs vues 2D, ou d'un modèle 3D entier. Ce système a été testé dans un contexte applicatif industriel ainsi qu'avec un benchmark international. Chaque expérience a mis en évidence les excellents résultats de notre approche. La seconde question a été abordée sous l'angle de l'analyse topologique des maillages 3D grâce aux graphes de Reeb. Ce travail théorique a été appliqué à différents domaines comme la déformation automatique, l'indexation et la segmentation de maillages 3D. L'approche a toujours montré des résultats remarquables dans ces domaines. Finalement, la segmentation de maillages 3D, qui est une étape de pré-traitement fréquente avant d'autres analyses du maillage, a attiré notre attention. Nous avons proposé une métrique fiable et robuste pour la comparaison de segmentations et l'évaluation des performances des méthodes de segmentation de maillages 3D, ainsi qu'une approche de la segmentation par apprentissage qui surpasse les méthodes existantes. Pour terminer, de nouvelles pistes de recherche sur les maillages 3D sont ouvertes.

Les travaux présentés dans ce manuscrit proposent une architecture de processeur à chemin de données reconfigurable (PCDR) dédiée aux traitements d'images bas niveau. Afin de répondre aux exigences de ce domaine de traitements, le processeur, baptisé SeeProc et basé sur une architecture RISC, intègre dans son chemin de données des unités de calcul spécifiquement dédiées au traitement de données pixeliques sous forme matricielle. Ces unités peuvent être configurées en nombre et en fonctionnalité en fonction de l'application visée. La topologie d'interconnexion du chemin de données est assurée dynamiquement via un dispositif de type crossbar. De plus, pour rendre la programmation de SeeProc accessible à des utilisateurs n'ayant pas de notions d'électronique numérique, un langage assembleur dédié et une méthodologie d'optimisation ont été développés.