Cette thèse résulte d'une collaboration CIFRE avec Thalès Optronique, société qui conçoit et développe des systèmes de désignation aéroportés pour des armements guidés laser. Le mode opératoire utilisé par ces systèmes requiert de la part du pilote une charge de travail importante. L'objectif de cette thèse est d'alléger cette charge, en rendant les systèmes de suivi actuels plus robustes face à des effets de perspective.<br /><br />Le thème principal de cette thèse est donc le suivi d'objets à partir d'images aériennes. Nous souhaitons utiliser la faisabilité d'une extraction d'information 3D à partir de séquences vidéo afin d'améliorer les algorithmes de suivi de matériels aéroportés existants. Pour cela, nous nous plaçons dans un cadre bayésien et formulons le suivi de manière probabiliste, au moyen d'un filtre particulaire. Nous avons mis en place trois algorithmes:<br /><br />Le premier est basé sur des histogrammes de couleurs, que l'on combine à un filtrage particulaire;<br />c'est un suivi purement 2D dans le sens où aucune information 3D réelle de la scène est utilisée.<br /><br />Le second est basé sur des modèles géométriques (qui peuvent être 2D ou 3D), que l'on combine à un filtrage particulaire. Nous ajoutons une étape supplémentaire au filtrage particulaire classique, nous permettant de changer de modèle lorsque l'algorithme le juge nécessaire.<br /><br />Enfin, le dernier algorithme combine les deux précédents; l'intégration d'histogrammes de couleurs et d'informations de contours dans un filtre particulaire permet non seulement de rendre le suivi d'objets plus robuste, mais aussi de prendre en compte de l'information 3D réelle de la scène observée.<br /><br />Un protocole d'évaluation a été mis en place pour évaluer les performances de ces algorithmes. Des résultats illustrent les performances de ces algorithmes.

Classiquement la réalité augmentée consiste en l'annotation d'objets fixes pour un utilisateur en mouvement au sein d'un environnement réel. Le travail présenté dans cette thèse porte sur l'utilisation de la réalité augmentée dans le but de décrire des objets dynamiques dont le comportement n'est que peu prévisible. Nous nous intéressons tout particulièrement aux problèmes posés par la nature dynamique de l'environnement en ce qui concerne: 1°/ la description du réel (adapter les explications fournies par le guide virtuel à l'évolution de l'environnement) ; 2°/ la perception du réel (percevoir l'environnement à expliquer en temps réel à l'aide de caméras).<br>La description du réel consiste en la génération d'un exposé par le guide virtuel. Cette génération repose sur deux points: des connaissances a priori sous la forme d'explications et un comportement décrit par un automate hiérarchique. Nous considérons la visite guidée comme l'évolution conjointe du comportement du guide virtuel et des explications qu'il fournit aux visiteurs. Une explication permet de décrire l'enchaînement d'éléments de discours sur un sujet donné à l'aide d'un graphe. Chacun de ces éléments décrit une unité de discours indivisible décrivant l'utilisation des différentes modalités (parole, gestes, expression, ...) sous la forme d'un script. L'exécution d'un graphe d'explication est effectuée par le comportement qui intègre la notion d'interruption. Lorsqu'un processus d'explication est interrompu, il est suspendu et le sujet courant de la visite guidée est réévalué. Cette réévaluation repose sur l'utilisation d'un ensemble d'experts votant pour les différentes explications disponibles selon un point de vue particulier. Ce vote se base sur le contexte courant de la visite guidée (historique, temps écoulé/restant, ...) et l'état de l'environnement réel. <br>La perception consiste en la construction et la mise à jour d'une représentation de l'environnement. Ceci est effectué en temps réel par la coopération de différentes routines de perception. La complexité de l'environnement observé (quantité d'informations et variations des conditions d'éclairage) empêchent une analyse complète du flux vidéo. Nous proposons de surmonter ce problème par l'utilisation de stratégies de prise d'information adaptées. Ces stratégies de perception sont mises en oeuvre par certaines routines au travers du choix et du paramétrage des traitements qu'elles effectuent. Nous présentons un ensemble minimal de routines nécessaires à la construction d'une représentation de l'environnement exploitable dans le cadre de la description de cet environnement. Ce système repose sur la mise en oeuvre de trois stratégies de perception: la vigilance qui coordonne des traitements de détection dans le temps et dans l'espace; le suivi qui se charge de mettre à jour les propriétés spatiales des entités existantes dans la représentation; la reconnaissance dont le rôle est d'identifier ces entités. L'efficacité des stratégies de perception suppose une interaction entre la prise de décision (génération de l'exposé) et la perception (construction d'une représentation de l'environnement) de notre acteur virtuel autonome. Nous proposons de mettre en oeuvre cette interaction au travers de la représentation de l'environnement et des requêtes effectuées par le processus de prise de décision sur cette représentation.<br>Nous avons mené des expérimentations afin mettre en évidence le fonctionnement des différents aspects de notre proposition et de la valider des conditions contrôlées. Ces travaux sont appliqués à un cas concret d'environnement réel dynamique complexe au sein du projet ANR SIRENE. Cette application met en évidence les questions liées à notre problématique et montre la pertinence de notre approche dans le cadre de la présentation d'un aquarium marin d'Océanopolis.

La reconnaissance d'objets est l'un des domaines d'étude les plus actifs de la vision par ordinateur. Il faut distinguer la reconnaissance de catégories d'objets génériques (une voiture en général, un piéton en général) et la reconnaissance d'instances d'objets particuliers (la voiture de M. Dupont, M. Dupont lui-même). Cette thèse aborde les deux sujets. Nous utilisons pour cela des représentations d'objets par parties, ce qui signifie que l'image à analyser n'est pas considérée dans son ensemble de manière rigide, mais plutôt comme un ensemble de régions locales, ce qui apporte une grande robustesse à la reconnaissance. Nous nous intéressons spécifiquement à la reconnaissance d'objets décrits par sacs-demots. Cela signifie que les relations géométriques entre les régions locales décrivant une image sont ignorées. Nous étudions en particulier l'influence des différentes composantes de la classification d'images par sac-de-mots, et nous montrons que le facteur le plus influent est la quantité de régions locales sélectionnées, et pour cette raison nous proposons une sélection aléatoire et en grande quantité de régions locales dans les images à décrire. Dans le contexte de la thèse CIFRE effectuée en partenariat avec l'INRIA et Bertin Technologies, nous analysons la performance des méthodes sac-de-mots pour la reconnaissance des véhicules militaires en imagerie infra-rouge. Nous montrons que les paramètres algorithmiques se comportent comme en imagerie visible. Nous effectuons aussi une étude des paramètres opérationnels, telle que la distance cible-caméra, et montrons que les paramètres sensibles sont les occultations et la présence de fond texturé quand les cibles sont détourées avec une faible précision. Nous étudions aussi le compromis entre performance et temps de calcul, et proposons une méthode de sélection de primitives adaptées aux classifieurs hiérarchiquesmulti-classes, qui fournissent un meilleur compromis performance / temps de calcul que la selection de primitives pour classifieurs plats. Les trois études précédentes traitent de la reconnaissance de catégories d'objets. Nous nous intéressons aussi à la reconnaissance d'instances d'objets, et proposons une mesure de similarité destinée à des instances d'objets jamais vus lors d'une phase d'apprentissage. Cette mesure est basée sur la quantification par des arbres extrêmement aléatoires de paires de régions locales correspondantes sélectionnées dans les deux images à comparer. Toutes ces études sont validées par des expérimentations importantes sur des bases de données publiques, et nous obtenons à chaque fois des résultats aussi bons, sinon meilleurs, que ceux de l'état de l'art.

Dans ce document, je décris mes activités professionnelles, pour la période allant de 1998 à 2005. <br />La plus grande partie de ce document (parties II à VI) <br />est rédigée en anglais. Elle contient la description des résultats<br />scientifiques que j'ai obtenus durant cette période. Un résumé en français en est donné dans la première<br />partie du manuscrit. Il est précédé d'une description de mes activités d'animation <br />de la recherche (organisations de colloques, participations à des comités de programme, <br />responsabilités scientifiques, participations à des<br />projets, communications invitées, etc.) <br />et des tâches administratives et d'enseignement dont j'ai eu la charge.<br />Ce document est accompagné par une sélection des articles les plus<br />représentatifs de mes activités de recherche pour la période concernée.

Cette thèse concerne principalement les algorithmes permettant l'extraction précise d'informations contenues dans les images. De nombreux algorithmes de vision par ordinateur s'appuyant sur le modèle sténopé pour caractériser la prise d'images, une méthode corrigeant les distorsions de l'image par rapport à ce modèle est proposée dans le premier chapitre. Cette méthode a la particularité de n'utiliser aucun modèle de distorsion. L'extraction précise de points dans les images est également réalisée. Dans un premier temps, la localisation de points dont une modélisation du signal existe est réalisée. Deux types de points sont étudiés : les coins de l'image, et le centre de cibles circulaires. Une méthode de mise en correspondance précise de points entre deux images termine ce chapitre. Les précisions atteintes sont de l'ordre de 1/10ème de pixel pour les coins, et de 1/20ème de pixel pour les cibles et les mises en correspondance. Toutes les valeurs de précisions fournies ont été validées par différents tests réalisés sur des images réelles. Le dernier chapitre étudie la reconstruction tridimensionnelle de points de la scène observée. Pour différentes méthodes de reconstruction (triangulation ou décomposition des matrices perspectives suivant la matrice fondamentale), la précision de la reconstruction obtenue est analysée en fonction de la précision de l'extraction des indices de la scène. Enfin, les points reconstruits sont reliés par une surface triangulaire.

L'utilisation de collections d'images pour les applications de vision par ordina- teur devient de plus en plus commune des nos jours. L'objectif principal de cette theÌse est d'exploiter et d'extraire des informations importantes d'images de sceÌnes d'exteìrieur aÌ partir de ce type de collections : l'illumination preìsente au moment de la prise, les proprieìteìs de reìflectance des mateìriaux composant les objets dans la sceìne et les proprieìteìs radiomeìtriques des appareils photo utiliseìs. Pour atteindre notre objectif, cette theÌse et composeì de deux parties principales. Dans un pre- mier temps nous allons reìaliser une analyse de diffeìrentes repreìsentations du ciel et une com- paraison des images baseìe sur l'apparence de celui-ci. Une grande partie de l'information visuelle perçue dans les images d'exteìrieures est due aÌ l'illumination en provenance du ciel. Ce facteur est repreìsenteì par les rayons du soleil reìfleìchis et reìfracteìs dans l'atmospheÌre en creìant une illumination globale de l'environnement. En même temps cet environnement deìtermine la façon de percevoir les objets du monde reìel. Eìtant donneì l'importance du ciel comme source d'illumination, nous formulons un processus geìneìrique en trois temps, segmentation, modeìlisation et comparaison des pixels du ciel, pour trouver des images similaires en se basant sur leurs apparences. Diffeìrentes meìthodes sont adopteìes dans les phases de modeìlisation et de comparaison. La performance des algorithmes est valideìe en trouvant des images similaires dans de grandes collections de photos. La deuxieÌme partie de cette theÌse consiste aÌ exploiter l'information geìomeìtrique addition- nelle pour en deìduire les caracteìristiques photomeìtriques de la sceÌne. A partir d'une structure 3D reìcupeìreìe en utilisant des meìthodes disponibles, nous analysons le processus de forma- tion de l'image aÌ partir de modeÌles simples, puis nous estimons les parameÌtres qui les reìgis- sent. Les collections de photos sont geìneìralement captureìes par diffeìrents appareils photos, d'ouÌ l'importance d'insister sur leur calibrage radiomeÌtrique. Notre formulation estime cet eìtalonnage pour tous les appareils photos en même temps, en utilisant une connaissance a priori sur l'espace des fonctions de reìponse des cameìras possibles. Nous proposons ensuite, un cadre d'estimation conjoint pour calculer une repreìsentation de l'illumination globale dans chaque image, l'albedo de la surface qui compose la structure 3D et le calibrage ra- diomeìtrique pour tous les appareils photos.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

L'analyse temps réel de la masse de données générée par les mécanismes de gestion de la vision dans les applications interactives est un problème toujours ouvert, promettant des avancées importantes dans des domaines aussi variés que la robotique, l'apprentissage à distance ou les nouvelles formes d'interactions avec l'utilisateur, sans clavier ni souris. Dans le cadre général de la vision, les algorithmes d'analyse de scène doivent trouver un compromis entre d'une part la qualité des résultats recherchés et d'autre part la quantité de ressources allouable aux différents tâches. Classiquement, ce choix est effectué à la conception du système (sous la forme de paramètres et d'algorithmes prédéfinis), mais cette solution limite le champ d'application de celui-ci. Une solution plus flexible consiste à utiliser un système de vision adaptatif qui pourra modifier sa stratégie d'analyse en fonction des informations disponibles concernant son contexte d'exécution. En conséquence, ce système doit posséder un mécanisme permettant de guider rapidement et efficacement l'exploration de la scène afin d'obtenir ces informations. Chez l'homme, les mécanismes de l'évolution ont mis en place le système d'attention visuelle. Ce système sélectionne les informations importantes afin de réduire la charge cognitive et les ambiguïtés d'interprétation de la scène. Nous proposons, dans cette thèse, un système d'attention visuelle, dont nous définissons l'architecture et les principes de fonctionnement. Ce dernier devra permettre l'interaction avec un système de vision afin qu'il adapte ses traitements en fonction de l'intérêt de chacun des éléments de la scène, i.e. ce que nous appelons saillance. A la croisée des chemins entre les modèles centralisés et hiérarchiques (ex : [Koch1985], puis [Itti1998]), et les modèles distribués et compétitifs (ex : [Desimone1995], puis [Deco2004, Rolls2006]), nous proposons un modèle hiérarchique, compétitif et non centralisé. Cette approche originale permet de générer un point de focalisation attentionnel à chaque pas de temps sans utiliser de carte de saillance ni de mécanisme explicite d'inhibition de retour. Ce nouveau modèle computationnel d'attention visuelle temps réel est basé sur un système d'équations proies / prédateurs, qui est bien adapté pour l'arbitrage entre un comportement attentionnel non déterministe et des propriétés de stabilité, reproductibilité, et réactivité. L'analyse des expérimentations menées est positive : malgré le comportement non-déterministe des équations proies / prédateurs, ce système possède des propriétés intéressantes de stabilité, reproductibilité, et réactivité, tout en permettant une exploration rapide et efficace de la scène. Ces propriétés ouvrent la possibilité d'aborder différents types d'applications allant de l'évaluation de la complexité d'images et de vidéos à la détection et au suivi d'objets. Enfin, bien qu'il soit destiné à la vision par ordinateur, nous comparons notre modèle au système attentionnel humain et montrons que celui-ci présente un comportement aussi plausible (voire plus en fonction du comportement défini) que les modèles classiques existants.

Pour qu'un système robotisé puisse accomplir de façon autonome des fonctions en apparence simples, telles que se localiser ou se positionner par rapport à son environnement, il doit avant tout percevoir cet environnement. La perception vi- suelle obtenue à l'aide d'une caméra constitue à cet égard une source d'information particulièrement riche, largement utilisée en robotique. Le travail présenté dans cette thèse concerne l'usage d'informations visuelles dans le contexte de la commande de mini-drones. En particulier deux types de tâches ont été considérées : une tâche de poursuite, dans laquelle un objet - une voiture - se déplace dans un environnement inconnu et l'on souhaite qu'un drone puisse suivre son mouvement, et une tâche de positionnement ou de navigation pour un drone évoluant dans un environnement structuré - intérieur de bâtiment - dans lequel le signal GPS n'est pas disponible. Dans les deux cas, nous avons proposé des approches complètes, depuis l'extrac- tion robuste d'informations visuelles jusqu'à la commande d'un drone à partir de ces informations. Des expériences mises en ÷uvre sur un mini-drone quadrirotor montrent la validité des approches proposées. Mots-clefs : Vision par ordinateur, asservissement visuel, commande de drone

Cette thèse porte sur la détection de classes d'objets et l'estimation de leur poses à partir d'une seule image en utilisant des étapes d'apprentissage, de détection et d'estimation adaptées aux données synthétiques. Nous proposons de créer des représentations en 3D de classes d'objets permettant de gérer simultanément des points de vue différents et la variabilité intra-classe. Deux méthodes différentes sont proposées : La première utilise des données d'entraînement purement synthétiques alors que la seconde approche est basée sur un modèle de parties combinant des images d'entraînement réelles avec des données géométriques synthétiques. Pour l'entraînement de la méthode purement synthétique, nous proposons une procédure non-supervisée de filtrage de descripteurs locaux afin de rendre les descripteurs discriminatifs pour leur pose et leur classe d'objet. Dans le cadre du modèle de parties, l'apparence d'une classe d'objets est apprise de manière discriminative à partir d'une base de données annotée et la géométrie en 3D est apprise de manière générative à partir d'une base de modèles CAO. Pendant la détection, nous introduisons d'abord une méthode de vote en 3D qui renforce la cohérence géométrique en se servant d'une estimation robuste de la pose. Ensuite, nous décrivons une deuxième méthode d'estimation de pose qui permet d'évaluer la probabilité de constellations de parties détectées en 2D en utilisant une géométrie 3D entière. Les estimations approximatives sont ensuite améliorées en se servant d'un alignement de modèles 3D CAO avec des images en 2D ce qui permet de résoudre des ambiguïtés et de gérer des occultations.