La vision stéréoscopique apparaît dans de nombreuses applications comme le moyen le plus évident pour obtenir des informations tridimensionnelles à partir d'images. Les approches employées reposent généralement sur des modèles euclidiens et nécessitent un étalonnage fort des systèmes stéréoscopiques utilisés, ce qui implique que les paramètres internes des caméras ainsi que la position relative entre les caméras doivent être connues. Or un étalonnage fort et précis nécessite généralement une intervention humaine. Cependant une aide extérieure n'est pas toujours possible et l'utilisation de systèmes faiblement étalonnés (systèmes dont seule la géométrie épipolaire est connue) apparaît alors comme une alternative. Un étalonnage faible est très facile à obtenir mais la difficulté est qu'alors les informations tridimensionnelles obtenues sont projectives et non plus euclidiennes. Ce document s'inscrit dans une approche basée sur un étalonnage faible et s'intéresse à l'étude d'un système stéréoscopique faiblement étalonné évoluant dans un environnement a priori inconnu. Il montre comment, en pratique, on peut tirer partie du mouvement d'un système stéréoscopique pour remonter à la structure métrique de la scène (par auto-étalonnage) et détecter des objets en mouvement. L'espace projectif est utilisé ici pour représenter l'information visuelle issue du système. En particulier, on étudie les transformations projectives 3D -appelées également homographies 3D- qui relient les reconstructions projectives d'une scène rigide. On s'intéresse au problème d'estimation de ces homographies 3D et on montre comment celles-ci entrent en jeu dans des applications telles que l'auto-étalonnage ou la segmentation du mouvement

<p>Cette thèse s'intéresse à la reconnaissance des actions humaines dans des données vidéo réalistes, tels que les films. À cette fin, nous développons des algorithmes d'extraction de caractéristiques visuelles pour la classification et la localisation d'actions.</p> <p>Dans une première partie, nous étudions des approches basées sur les sacs-de-mots pour la classification d'action. Dans le cas de vidéo réalistes, certains travaux récents qui utilisent le modèle sac-de-mots pour la représentation d'actions ont montré des résultats prometteurs. Par conséquent, nous effectuons une comparaison approfondie des méthodes existantes pour la détection et la description des caractéristiques locales. Ensuite, nous proposons deux nouvelles approches pour la descriptions des caractéristiques locales en vidéo. La première méthode étend le concept d'histogrammes sur les orientations de gradient dans le domaine spatio-temporel. La seconde méthode est basée sur des trajectoires de points d'intérêt détectés spatialement. Les deux descripteurs sont évalués avec une représentation par sac-de-mots et montrent une amélioration par rapport à l'état de l'art pour la classification d'actions.</p> <p>Dans une seconde partie, nous examinons comment la détection de personnes peut contribuer à la reconnaissance d'actions. Tout d'abord, nous développons une approche qui combine la détection de personnes avec une représentation sac-de-mots. La performance est évaluée pour la classification d'actions à plusieurs niveaux d'échelle spatiale. Ensuite, nous explorons la localisation spatio-temporelle des actions humaines dans les films. Nous étendons une approche de suivi de personnes pour des vidéos réalistes. En outre, nous développons une représentation d'actions qui est adaptée aux détections de personnes. Nos expériences suggèrent que la détection de personnes améliore significativement la localisation d'actions. De plus, notre système montre une grande amélioration par rapport à l'état de l'art actuel.</p>

Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.

Au cours des dernières années, l'intérêt pour des algorithmes de reconnaissance fondés sur l'apparence à considérablement augmenté. Ces algorithmes utilisent directement des informations d'images. A partir des images d'objets ces approches construisent des "modèles fondés sur l'apparence", car chaque image représentée correspond à une apparence particulière d'un objet. La fiabilité, la vitesse et le taux de reconnaissance élevé de ces techniques en constituent les intérêts majeurs. Le succès de ces méthodes est considérable pour la reconnaissance de visages, dans le contexte de l'interface homme-machine et pour l'accès à des bases d'images par leurs contenus. Cette thèse propose une technique ou les objets sont représentés par des statistiques sur des opérateurs locaux et robustes. On veut montrer qu'une telle représentation fondée sur l'apparence est fiable et extrêmement discriminante pour la reconnaissance d'objets. La motivation initiale de cette étude était la reconnaissance rapide d'objets par la méthode des histogrammes de couleurs. Cette méthode utilise les statistiques de couleurs comme modèle d'objets. La première partie de la thèse généralise cette approche en modélisant des objets par les statistiques de leurs caractéristiques locales. La technique généralisée - que l'on appelle "histogrammes multidimensionnels de champs" réceptifs - permet de discriminer un grand nombre d'objets. Les faiblesses de cette approche sont liées aux "défis des modèles fondés sur l'apparence". Ces défis concernent la reconnaissance en présence d'occultation partielle, la reconnaissance d'objets 3D à partir des images 2D et la classification d'objets comme généralisation en dehors de la base d'objets. La deuxième partie de la thèse examine chacun de ces défis et propose une extension appropriée de notre technique. L'intérêt principal de cette thèse est le développement d'un modèle de représentation d'objets qui utilise les statistiques de vecteurs de champs réceptifs. Plusieurs algorithmes de l'identification et aussi de la classification d'objets sont proposés. En particulier, un algorithme probabiliste est defini : il ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant le modèle de représentation proposé. dans un état de l'art on décrit brièvement des techniques qui ont étés sources d'inspiration : des techniques de histogrammes de couleurs, des algorithmes de reconnaissance fondée sur des descripteurs locaux et des approches de la représentation et reconnaissance statistique d'objet. Afin de généraliser la technique de la comparaison d'histogrammes de couleurs, des descripteurs locaux sont discutés. Différentes techniques de comparaison d'histogrammes sont proposées et leur robustesse par rapport au bruit et au changement de l'intensité d'éclairage est analysée. Dans des expérimentations de l'identification d'une centaine d'objets les différents degrés de liberté de la reconnaissance d'objets sont considérés : changements d'échelle et de la rotation d'image, variations du point de vue et occultation partielle. Un algorithme probabiliste est proposé, qui ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant seulement une petite partie visible d'objet. Enfin une extension de cet algorithme fondée sur une table de hachage dynamique est proposée pour la reconnaissance de plusieurs objets dans les scènes complexes. Deux algorithmes actifs de reconnaissance d'objets sont proposés. Un algorithme calcule des régions d'intérêt pour le contrôle de fixation d'une caméra en 2D. Le deuxième algorithme propose la planification de points de vue pour la reconnaissance des objets 3D à partir des apparence d'objets en 2D. Un dernier chapître propose le concept des classes visuelles définis par des similarites d'objets comme cadre général pour la classification d'objets. Une technique selon le maximum de vraisemblance est proposé pour la reconnaissance des classes visuelles et appliquée pour obtenir des images visuellement similaire d'une base d'images.

L'utilisation de droites en asservissement visuel pose, contrairement au cas des points, un problème de représentation. Nous y avons répondu en nous basant sur les coordonnées de Plücker d'une droite, ce qui nous a permis d'introduire la notion d'alignement en coordonnées de Plücker binormées. Grâce à ces dernières, nous avons défini deux lois de commande voisines qui réalisent le nouvel alignement ; sont explicites et partiellement découplées entre rotation et translation ; mélangent informations 2D et 3D ; et enfin, ne nécessitent pas d'estimation de profondeur. Nous avons exhibé des résultats de convergence de ces lois et caractérisé leurs singularités. Nous avons ensuite appliqué ces lois au positionnement d'une caméra face à un trièdre orthogonal. Cette configuration ne permet pas d'observer la profondeur. Pour compenser ce manque, nous avons adjoint un pointeur laser non étalonné à la caméra. En reformulant le problème d'étalonnage pince-caméra par un système purement linéaire, nous avons produit une analyse algébrique du système et une classification des mouvements d'étalonnage. Les procédures classiques sont contraignantes puisqu'elles nécessitent l'observation d'une mire et/ou l'interruption de la tâche effectuée par le robot. Afin de lever ces contraintes, nous avons adapté notre méthode linéaire pour proposer une méthode d'auto-étalonnage, qui se passe de mire, et une méthode d'étalonnage en ligne, qui n'interrompt pas la tâche.

Cette thèse se place dans le domaine de la modélisation et de la reconnaissance d'objets par leur apparence. Chaque objet est modélisé par une collection d'images et la reconnaissance est obtenue par l'appariement d'une nouvelle image avec une image modèle. Les images sont modélisées par des mesures sur des caractéristiques locales. Plusieurs bases de descripteurs locaux sont évaluées théoriquement et expérimentalement et la base des dérivées de Gaussiennes est sélectionnée pour ses propriétés de discriminabilité avec une description très concise et son paramétrage en orientation et en échelle. Une invariance à l'orientation de la caméra par rapport à l'objet est obtenue par un calage des dérivées sur la direction du gradient et une invariance à l'échelle est obtenue par une technique novatrice qui consiste à sélectionner en chaque point une échelle caractéristique pour décrire son voisinage. Cette échelle caractéristique correspond au maximum en échelle d'un opérateur Laplacien. Ces invariances sont validées par des expérimentations systématiques. Dans notre système, une image est décomposée en une grille de fenêtres recouvrantes puis représentée par une grille de descripteurs locaux calculés sur ces fenêtres. Cette représentation très redondante nous a permis de définir deux stratégies de reconnaissance robustes~: l'une fondée sur un vote et l'autre fondée sur une stratégie par prédiction--vérification qui consiste à découper la reconnaissance en une phase de génération d'hypothèses d'appariement pour une fenêtre suivi d'une phase de vérification de ces hypothèses sur les fenêtres voisines en incluant des contraintes de cohérence spatiale à cette vérification.

Le travail de cette thèse s'inscrit dans le cadre de la modélisation et de la reconnaissance d'objets par leur apparence et par des descripteurs locaux. Nous partons, dans une première partie de cette thèse, d'images d'où sont extraits des contours puis des segments approchant ces derniers. À partir de ces segments, nous calculons des descripteurs locaux, appelés quasi-invariants, qui ont la particularité d'être très stables par rapport à des changements modérés de point de vue. En stockant ces quasi-invariants dans une structure adaptée, et en modélisant un objet 3D par un ensemble limité de vues 2D, nous montrons qu'il est possible de reconnaître des objets sous tout angle de vue. La reconnaissance est obtenue en deux étapes. D'abord les quasi-invariants locaux entre image et modèles sont mis en correspondance en utilisant une méthode d'indexation. Ensuite, une vérification globale exprimant une cohérence géométrique permet de filtrer des appariements erronés et de sélectionner le modèle le plus semblable à l'image. Constatant des faiblesses dans l'extraction et dans le pouvoir discriminant des descripteurs initiaux, nous étendons ensuite notre approche pour fournir une méthode d'intégration avec toute une classe de méthodes locales existantes. Les résultats expérimentaux fournis par cette extension forment une validation complète de notre travail. Dans un deuxième temps, nous analysons le problème de la complexité algorithmique soulevé par le genre d'approches utilisées. En effet, nous montrons formellement que certaines méthodes d'indexation sont très mal adaptées à la reconnaissance par descripteurs locaux dès lors que ces descripteurs évoluent dans un espace de dimension élevée. La complexité est telle, que, dans certains cas, elle peut dépasser celle d'une comparaison séquentielle de tous les modèles et leurs descripteurs. Nous montrons quels sont ces cas, et ce qui peut être fait pour les éviter.

Automatic verification of personal identity using facial images is the central topic of the thesis. This problem can be stated as follows. Given two face images, it must be determined automatically whether they are images of the same person or of different persons. Due to many factors such as variability of facial appearance, sensitivity to noise, template aging, etc., the problem is difficult. We can overcome some of these difficulties by combining different information sources for the classification/recognition task. In this thesis we propose strategies on how to combine the different information sources, i.e. fusion strategies, in order to improve the verification accuracy. We have designed and thoroughly optimised a number of face verification algorithms. Their individual properties such as how their accuracy depends on algorithm parameters, image size, or sensitivity to mis-registrations have been studied. We have also studied how to combine the outputs of the different algorithms in order to reduce the verification error rates. Another decision fusion aspect considered in this thesis is the fusion of confidences obtained sequentially on several video frames of the same person's face. Finally multimodal fusion has been studied. In this case, the speech and face of the same subject are recorded and processed by different algorithms which output separate opinions. These two opinions are then conciliated at the fusion stage. It is shown that in all cases, information fusion allows a considerable performance improvement if the fusion stage is carefully designed.

Ce document traite de plusieurs aspects de la vision stéréoscopique par ordinateur. Cette méthode consiste à partir d'une ou de plusieurs paires d'images à " reconstruire " une scène observée en trois dimensions, c'est-à-dire à produire une description des objets et surfaces observés ainsi que leur position dans l'espace. Le premier problème abordé est celui du calibrage, dont l'objet est de calculer les paramètres des caméras (focale, centre optique, etc.) ainsi que leur position, soit à partir d'images d'objets de géométrie et de position connue, soit de manière automatique (on parle alors d'auto-calibrage). Des résultats nouveaux sont présentés sur l'auto-calibrage de la distorsion optique et sur l'auto-calibrage d'une paire de caméras rigidement liées à partir de plusieurs paires d'images. Ensuite sont présentées différentes méthodes permettant de rectifier les images de manière à simplifier la mise en correspondance, puis d'effectuer cette mise en correspondance par une technique de corrélation. Outre des améliorations des résultats classiques, de nouvelles méthodes permettant d'obtenir une plus grande précision sont discutées. La dernière phase, dite de reconstruction, permet d'obtenir une description des surfaces observée allant jusqu'aux propriétés différentielles d'ordre un et deux (plan tangent et courbures à la surface), à partir des résultats de stéréoscopie par corrélation. Ce document se termine par quelques applications réalisées au cours de ces recherches telles qu'un système d'aide chirurgicale pré-opératoire ou une caméra stéréo bon marché.

Ces travaux portent sur l'étude et l'élaboration de méthodes d'asservissement visuel utilisant les images échographiques. L'asservissement visuel consiste à commander les mouvements d'un système dynamique, généralement un robot, à partir d'informations visuelles extraites de l'image fournie par un capteur embarqué ou observant le système. Dans ce contexte, très peu de travaux avaient été menés sur l'utilisation de l'image fournie par un capteur échographique et les méthodes existantes permettaient uniquement de contrôler les mouvements dans le plan de coupe du capteur. En effet, il est important de noter qu'une sonde échographique 2D a la particularité de fournir une information complète dans son plan d'observation mais de ne fournir aucune information en dehors de ce plan. A la différence, une caméra fournit une projection de la scène 3D vers une image 2D. De ce fait, les méthodes d'asservissement visuel basées sur la modélisation de l'interaction entre une caméra et son environnement ne peuvent être appliquées directement à la modalité échographique. Il faut également noter qu'une problématique importante est l'extraction en temps réel des informations visuelles, nécessaires à la commande d'un système robotique, à partir des images échographiques qui sont par nature très fortement bruitées. Nous avons par conséquent apporté des solutions génériques pour permettre le contrôle complet des déplacements d'une sonde embarquée sur un robot à 6 degrés de liberté en utilisant directement les images échographiques. Deux démarches principales ont été menées pour atteindre cet objectif. La première a porté sur le choix et la modélisation exacte des informations visuelles géométriques qu'il est possible d'extraire en temps réel à partir des images échographiques 2D et qui sont pertinentes pour la réalisation d'une tâche de positionnement d'une sonde robotisée. Nous avons plus particulièrement considéré des informations géométriques de type points, contours et moments de la section d'un organe d'intérêt. Des modèles simplifiés ou estimés en ligne de la forme des objets observés ont été considérés pour déterminer la variation des informations géométriques introduite par les mouvements effectués en dehors du plan de coupe de la sonde. Cette modélisation a permis de déterminer la loi de commande à appliquer au robot porteur de sonde pour atteindre automatiquement la coupe échographique présentant l'information visuelle désirée. La seconde démarche a porté sur l'exploitation de l'information dense de l'image échographique en vue de s'affranchir de l'étape de segmentation. Dans une première approche, l'information de corrélation de la texture de type " speckle " présente dans l'image échographique a été considérée pour réaliser la poursuite de tissus en mouvement par la sonde échographique. Une approche alternative a également été proposée où les informations visuelles choisies en entrée de la commande du système correspondent directement à la valeur d'intensité d'un ensemble de pixels de l'image. La variation de ces informations en fonction du mouvement de la sonde a été modélisée afin de mettre en œuvre des asservissements visuels capables de réaliser des tâches de positionnement ou de suivi de coupes anatomiques. Cette méthode a en outre été étendue pour différents types de capteurs ultrasonores (2D, 3D, bi-plans). Les applications qui découlent de ces travaux se situent principalement dans le domaine de l'assistance à l'examen échographique. Elles concernent d'une part le positionnement automatique de la sonde sur une section anatomique désirée. D'autre part, les applications traitées portent également sur la stabilisation active de l'image échographique. A cette fin, différentes approches ont été mises en œuvre pour compenser le mouvement de tissus mous en synchronisant les déplacements de la sonde par asservissement visuel échographique.