Dans ce document, je décris mes activités professionnelles, pour la période allant de 1998 à 2005. <br />La plus grande partie de ce document (parties II à VI) <br />est rédigée en anglais. Elle contient la description des résultats<br />scientifiques que j'ai obtenus durant cette période. Un résumé en français en est donné dans la première<br />partie du manuscrit. Il est précédé d'une description de mes activités d'animation <br />de la recherche (organisations de colloques, participations à des comités de programme, <br />responsabilités scientifiques, participations à des<br />projets, communications invitées, etc.) <br />et des tâches administratives et d'enseignement dont j'ai eu la charge.<br />Ce document est accompagné par une sélection des articles les plus<br />représentatifs de mes activités de recherche pour la période concernée.

Cette thèse concerne principalement les algorithmes permettant l'extraction précise d'informations contenues dans les images. De nombreux algorithmes de vision par ordinateur s'appuyant sur le modèle sténopé pour caractériser la prise d'images, une méthode corrigeant les distorsions de l'image par rapport à ce modèle est proposée dans le premier chapitre. Cette méthode a la particularité de n'utiliser aucun modèle de distorsion. L'extraction précise de points dans les images est également réalisée. Dans un premier temps, la localisation de points dont une modélisation du signal existe est réalisée. Deux types de points sont étudiés : les coins de l'image, et le centre de cibles circulaires. Une méthode de mise en correspondance précise de points entre deux images termine ce chapitre. Les précisions atteintes sont de l'ordre de 1/10ème de pixel pour les coins, et de 1/20ème de pixel pour les cibles et les mises en correspondance. Toutes les valeurs de précisions fournies ont été validées par différents tests réalisés sur des images réelles. Le dernier chapitre étudie la reconstruction tridimensionnelle de points de la scène observée. Pour différentes méthodes de reconstruction (triangulation ou décomposition des matrices perspectives suivant la matrice fondamentale), la précision de la reconstruction obtenue est analysée en fonction de la précision de l'extraction des indices de la scène. Enfin, les points reconstruits sont reliés par une surface triangulaire.

L'utilisation de collections d'images pour les applications de vision par ordina- teur devient de plus en plus commune des nos jours. L'objectif principal de cette theÌse est d'exploiter et d'extraire des informations importantes d'images de sceÌnes d'exteìrieur aÌ partir de ce type de collections : l'illumination preìsente au moment de la prise, les proprieìteìs de reìflectance des mateìriaux composant les objets dans la sceìne et les proprieìteìs radiomeìtriques des appareils photo utiliseìs. Pour atteindre notre objectif, cette theÌse et composeì de deux parties principales. Dans un pre- mier temps nous allons reìaliser une analyse de diffeìrentes repreìsentations du ciel et une com- paraison des images baseìe sur l'apparence de celui-ci. Une grande partie de l'information visuelle perçue dans les images d'exteìrieures est due aÌ l'illumination en provenance du ciel. Ce facteur est repreìsenteì par les rayons du soleil reìfleìchis et reìfracteìs dans l'atmospheÌre en creìant une illumination globale de l'environnement. En même temps cet environnement deìtermine la façon de percevoir les objets du monde reìel. Eìtant donneì l'importance du ciel comme source d'illumination, nous formulons un processus geìneìrique en trois temps, segmentation, modeìlisation et comparaison des pixels du ciel, pour trouver des images similaires en se basant sur leurs apparences. Diffeìrentes meìthodes sont adopteìes dans les phases de modeìlisation et de comparaison. La performance des algorithmes est valideìe en trouvant des images similaires dans de grandes collections de photos. La deuxieÌme partie de cette theÌse consiste aÌ exploiter l'information geìomeìtrique addition- nelle pour en deìduire les caracteìristiques photomeìtriques de la sceÌne. A partir d'une structure 3D reìcupeìreìe en utilisant des meìthodes disponibles, nous analysons le processus de forma- tion de l'image aÌ partir de modeÌles simples, puis nous estimons les parameÌtres qui les reìgis- sent. Les collections de photos sont geìneìralement captureìes par diffeìrents appareils photos, d'ouÌ l'importance d'insister sur leur calibrage radiomeÌtrique. Notre formulation estime cet eìtalonnage pour tous les appareils photos en même temps, en utilisant une connaissance a priori sur l'espace des fonctions de reìponse des cameìras possibles. Nous proposons ensuite, un cadre d'estimation conjoint pour calculer une repreìsentation de l'illumination globale dans chaque image, l'albedo de la surface qui compose la structure 3D et le calibrage ra- diomeìtrique pour tous les appareils photos.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

L'analyse temps réel de la masse de données générée par les mécanismes de gestion de la vision dans les applications interactives est un problème toujours ouvert, promettant des avancées importantes dans des domaines aussi variés que la robotique, l'apprentissage à distance ou les nouvelles formes d'interactions avec l'utilisateur, sans clavier ni souris. Dans le cadre général de la vision, les algorithmes d'analyse de scène doivent trouver un compromis entre d'une part la qualité des résultats recherchés et d'autre part la quantité de ressources allouable aux différents tâches. Classiquement, ce choix est effectué à la conception du système (sous la forme de paramètres et d'algorithmes prédéfinis), mais cette solution limite le champ d'application de celui-ci. Une solution plus flexible consiste à utiliser un système de vision adaptatif qui pourra modifier sa stratégie d'analyse en fonction des informations disponibles concernant son contexte d'exécution. En conséquence, ce système doit posséder un mécanisme permettant de guider rapidement et efficacement l'exploration de la scène afin d'obtenir ces informations. Chez l'homme, les mécanismes de l'évolution ont mis en place le système d'attention visuelle. Ce système sélectionne les informations importantes afin de réduire la charge cognitive et les ambiguïtés d'interprétation de la scène. Nous proposons, dans cette thèse, un système d'attention visuelle, dont nous définissons l'architecture et les principes de fonctionnement. Ce dernier devra permettre l'interaction avec un système de vision afin qu'il adapte ses traitements en fonction de l'intérêt de chacun des éléments de la scène, i.e. ce que nous appelons saillance. A la croisée des chemins entre les modèles centralisés et hiérarchiques (ex : [Koch1985], puis [Itti1998]), et les modèles distribués et compétitifs (ex : [Desimone1995], puis [Deco2004, Rolls2006]), nous proposons un modèle hiérarchique, compétitif et non centralisé. Cette approche originale permet de générer un point de focalisation attentionnel à chaque pas de temps sans utiliser de carte de saillance ni de mécanisme explicite d'inhibition de retour. Ce nouveau modèle computationnel d'attention visuelle temps réel est basé sur un système d'équations proies / prédateurs, qui est bien adapté pour l'arbitrage entre un comportement attentionnel non déterministe et des propriétés de stabilité, reproductibilité, et réactivité. L'analyse des expérimentations menées est positive : malgré le comportement non-déterministe des équations proies / prédateurs, ce système possède des propriétés intéressantes de stabilité, reproductibilité, et réactivité, tout en permettant une exploration rapide et efficace de la scène. Ces propriétés ouvrent la possibilité d'aborder différents types d'applications allant de l'évaluation de la complexité d'images et de vidéos à la détection et au suivi d'objets. Enfin, bien qu'il soit destiné à la vision par ordinateur, nous comparons notre modèle au système attentionnel humain et montrons que celui-ci présente un comportement aussi plausible (voire plus en fonction du comportement défini) que les modèles classiques existants.

Pour qu'un système robotisé puisse accomplir de façon autonome des fonctions en apparence simples, telles que se localiser ou se positionner par rapport à son environnement, il doit avant tout percevoir cet environnement. La perception vi- suelle obtenue à l'aide d'une caméra constitue à cet égard une source d'information particulièrement riche, largement utilisée en robotique. Le travail présenté dans cette thèse concerne l'usage d'informations visuelles dans le contexte de la commande de mini-drones. En particulier deux types de tâches ont été considérées : une tâche de poursuite, dans laquelle un objet - une voiture - se déplace dans un environnement inconnu et l'on souhaite qu'un drone puisse suivre son mouvement, et une tâche de positionnement ou de navigation pour un drone évoluant dans un environnement structuré - intérieur de bâtiment - dans lequel le signal GPS n'est pas disponible. Dans les deux cas, nous avons proposé des approches complètes, depuis l'extrac- tion robuste d'informations visuelles jusqu'à la commande d'un drone à partir de ces informations. Des expériences mises en ÷uvre sur un mini-drone quadrirotor montrent la validité des approches proposées. Mots-clefs : Vision par ordinateur, asservissement visuel, commande de drone

Cette thèse porte sur la détection de classes d'objets et l'estimation de leur poses à partir d'une seule image en utilisant des étapes d'apprentissage, de détection et d'estimation adaptées aux données synthétiques. Nous proposons de créer des représentations en 3D de classes d'objets permettant de gérer simultanément des points de vue différents et la variabilité intra-classe. Deux méthodes différentes sont proposées : La première utilise des données d'entraînement purement synthétiques alors que la seconde approche est basée sur un modèle de parties combinant des images d'entraînement réelles avec des données géométriques synthétiques. Pour l'entraînement de la méthode purement synthétique, nous proposons une procédure non-supervisée de filtrage de descripteurs locaux afin de rendre les descripteurs discriminatifs pour leur pose et leur classe d'objet. Dans le cadre du modèle de parties, l'apparence d'une classe d'objets est apprise de manière discriminative à partir d'une base de données annotée et la géométrie en 3D est apprise de manière générative à partir d'une base de modèles CAO. Pendant la détection, nous introduisons d'abord une méthode de vote en 3D qui renforce la cohérence géométrique en se servant d'une estimation robuste de la pose. Ensuite, nous décrivons une deuxième méthode d'estimation de pose qui permet d'évaluer la probabilité de constellations de parties détectées en 2D en utilisant une géométrie 3D entière. Les estimations approximatives sont ensuite améliorées en se servant d'un alignement de modèles 3D CAO avec des images en 2D ce qui permet de résoudre des ambiguïtés et de gérer des occultations.

Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.

Je présenterai mes activités de recherche en vision par ordinateur effectuées au sein des équipes MOVI et LEAR du laboratoire GRAVIR depuis l'année 2000, sur l'estimation de la pose et du mouvement articulaire humain à partir d'images monoculaires, et sur d'autres sujets liés au traitement d'image, à la vision géométrique et à l'apprentissage statistique. Les travaux sur le mouvement humain se divisent en trois parties : l'approche par modélisation 3-D explicite, où notre contribution porte sur l'optimisation non-convexe de la pose ; l'approche 2-D où nous contribuons un détecteur de personnes et un modèle dynamique du mouvement ; et une approche 3-D par apprentissage, sans modèle explicite.

Cette thèse concerne la reconstruction de modèles 3D de scènes à partir d'images prises par des caméras. Il est courant de reconstruire à partir de sous-ensembles d'images puis de fusionner les modèles partiels ainsi obtenus par une phase d'alignement 3D. Les algorithmes de reconstruction et d'alignement s'appuient sur des correspondances de points ou de droites entre les images. La localisation de ces points ou droites dans les images est affectée par un bruit de mesure, influençant la qualité des modèles 3D reconstruits. Cette thèse est centrée sur l'obtention de résultats optimaux et sur les problèmes de représentation qui en découlent. La première partie de cette thèse aborde le problème de la reconstruction de modèles 3D. Les cas des caméras calibrées et non calibrées sont traités. Nous développons des méthodes de reconstruction de points, de droites et de caméras. L'incorporation de contraintes géométriques de coplanarité permet la reconstruction conjointe de plans. Nos contributions principales sont le développement et la comparaison de méthodes permettant la reconstruction 3D optimale de points, droites, plans et caméras. La deuxième partie de cette thèse aborde le problème de l'alignement de modèles 3D, qui consiste à estimer la transformation géométrique liant deux modèles 3D. Les méthodes existantes sont basées sur des correspondances de points. Nous étudions le cas des correspondances de droites. Les cas des caméras calibrées et non calibrées sont traités. Nos contributions majeures dans ce domaine sont, d'un point de vue théorique, une étude des transformations géométriques de droites 3D. Plus précisément, nous étendons la représentation matricielle standard, adaptée aux points, en une représentation adaptée aux droites. D'un point de vue pratique, nous développons et comparons plusieurs méthodes d'alignement linéaires et non-linéaires. Nous proposons finalement des méthodes de reconstruction de modèles 3D lorsque la scène observée n'est pas rigide. Par ailleurs, nous développons un méthode de détection automatique de surfaces planes dans une modèle 3D.