Cette thèse concerne principalement l'intégration des fonctionnalités d'un système de vision avec celles d'un système robotique. Cette intégration apporte beaucoup d'avantages pour l'interaction d'un robot avec son environnement. Dans un premier temps, nous nous intéressons aux aspects de modélisation. Deux sujets liés à cette modélisation ont été traités : <br /> i) le calibrage caméra/pince et <br /> ii) la localisation caméra/objet. <br /> Pour le premier, nous proposons une méthode de calibrage non linéaire qui s'avère robuste en présence des erreurs de mesure ; pour le second, nous proposons une méthode linéaire très rapide et bien adaptée aux applications temps-réel puisqu'elle est basée sur des approximations successives par une projection para-perspective.<br /> Dans un deuxième temps, nous nous intéressons au contrôle visuel de robots. Nous adaptons la méthode "commande référencée capteur" à une caméra indépendante du robot asservi. De plus, dans le cas d'un positionnement relatif, nous montrons que le calcul de la position de référence ne dépend pas de l'estimation explicite des paramètres intrinsèques et extrinsèques de la caméra. Pour une tâche donnée, le problème de la commande peut alors se traduire sous la forme d'une régulation d'une erreur dans l'image. Nous montrons que la localisation temps-réel caméra/robot améliore le comportement dynamique de l'asservissement. Cette méthode de contrôle a été expérimentée dans la réalisation de tâches de saisie avec un robot manipulateur à six degrés de liberté. Toutes les méthodes proposées sont validées avec des mesures réelles et simulées.

Ce mémoire d'habilitation à diriger les recherches porte sur la perception et la compréhension conjointe de l'espace et du milieu par un robot cognitif autonome. Dans ce contexte, la démarche consiste ici à intégrer des percepts multiples et incertains à tous les niveaux de la perception à partir de capteurs visuels embarqués. Ces travaux se structurent en deux thèmes. Le premier thème se focalise sur la perception de l'espace pour la navigation autonome en milieu intérieur. Nos travaux antérieurs ont mis l'accent sur une méthodologie complète de détection, reconnaissance et localisation sur amers visuels validée par des expérimentations réelles sur le robot Diligent. Ces amers sont capturés automatiquement par le robot dans les différentes représentations métriques et topologiques de son environnement de travail. La navigation consiste alors à exploiter ces modèles pour se localiser métriquement ou qualitativement, sur la base de données visuelles, éventuellement télémétriques. À terme, ces représentations seront enrichies par des informations sémantiques capturées en interaction avec l'homme. Cet apprentissage supervisé, la perspective d'un robot sociable, nous ont amené à démarrer le second thème sur la perception par le robot de l'homme pour leur interaction. Nos travaux ont porté sur la détection, le suivi, la reconnaissance de l'homme par vision monoculaire couleur. Parmi ces fonctions, la problématique du suivi est centrale puisque la plupart des tâches robotiques coordonnées avec l'homme nécessite de caractériser la relation d'une plate-forme mobile aux agents humains a priori mobiles. Nous avons ainsi prototypé puis intégré plusieurs fonctions de suivi 2D ou 3D de tout ou partie des membres corporels de l'homme par le choix conjoint de stratégies de fusion de données visuelles et de filtrage particulaire répondant aux modalit és d'interaction envisagées pour le robot "guide" Rackham et le robot compagnon Jido. Les prospectives énoncées visent à l'interactio n de percepts relative à la perception simultanée par le robot de l'espace et/ou de l'homme. La problé- matique de l'intelligence ambiante, par l'ajout de robots anthropomorphes type humanoïde dans ces environnements humains, devrait infléchir ces travaux tout en recoupant certaines investigations passées ou actuelles.

La chirurgie mini-invasive limite les incisions et le traumatisme pour le patient. Elle bénéficie de l'assistance robotisée qui améliore précision et confort du geste opératoire. Cependant des difficultés subsistent. Ainsi dans les opérations de pontage des artères coronaires, la localisation et l'identification des artères cibles de l'intervention posent problème. Nous proposons alors de guider le chirurgien en superposant le modèle des artères du patient dans les images endoscopiques intra-opératoires. L'une des contributions de cette thèse consiste à définir une approche basée sur l'analyse de l'intervention et du geste chirurgical: tout d'abord nous nous intéressons à la modélisation statique des artères coronaires à partir de moyens standards d'imagerie. Nous initialisons ensuite le recalage dans les images endoscopiques en calibrant l'endoscope stéréoscopique robotisé et en recalant l'enveloppe externe du patient au bloc opératoire. Nous affinons enfin ce résultat pour tenir compte du déplacement intra-opératoire du coeur et des erreurs successives. Un mécanisme multi-modèles robuste original, basé sur la traduction des indications données par le chirurgien en mesures, permet d'aboutir à la précision nécessaire au guidage. Cet outil novateur de chirurgie assistée par ordinateur est intégré au sein d'une architecture commune expérimentée avec le robot Da Vinci au cours de nombreux tests in-vivo.

Le cadre général de ce travail est l'étude de la représentation et la reconstruction de surfaces tridimensionnelles d'objets non polyédriques, lorsqu'ils sont observes avec des systèmes de vision passifs. Cette thèse est plus spécialement consacrée a la reconstruction de surfaces tridimensionnelles en utilisant des surfaces b-splines, a partir de l'observation du mouvement des contours occultant, dans une séquence d'images calibrées. Nous présentons plusieurs résultats auxquels nous avons abouti : premièrement, nous introduisons un algorithme pyramidal de suivi de contours courbes et la correction des anomalies de contours dans une sequence d'images. Deuxièmement, une methode originale de reconstruction de surfaces b-splines tridimensionnelles est développée a partir d'une séquence d'images calibrées. Finalement, nous proposons une approche de raccordement de différentes surfaces b-splines reconstruites en utilisant le maillage triangulaire et l'interpolation de surfaces. Des résultats sur des données synthétiques et des données réelles sont présentés. Les applications potentielles de ce travail sont très nombreuses dans le cadre des problèmes de modélisation d'objets non polyédriques dans une séquence d'images calibrées

.

L'objectif de cette thèse a été de concevoir un environnement de développement pour la resolution de problèmes, s'inspirant des langages a objets et de l'intelligence artificielle distribuée. Un environnement de programmation multi-agents a été conçu dans ce cadre. Cet environnement (maps) est fonde sur la distinction de deux classes d'agents, dédiées a la modélisation et a l'exploitation des connaissances figuratives (agent ks ou knowledge server) et des connaissances opératoires (agent kp ou knowledge processor). Ces classes peuvent alors etre spécialisées a l'aide d'un langage de programmation dedie. Une première version de cet environnement nous a permis de valider ces concepts de base, par la conception d'applications, en vision par ordinateur (système kiss), en diagnostic biomédical (système kids), en compréhension de la parole et en acquisition des connaissances. Le système kiss, décrit dans cette thèse, a été conçu pour manipuler les connaissances introduites par les phases d'analyse de bas niveau, de niveau intermédiaire et de haut niveau, dans une approche de type coopération région/contour. Dans notre approche multi-agents, ces connaissances sont distribuées au sein d'agents ks et kp, formant un réseau. Plusieurs améliorations ont été envisagées pour pallier un certain nombre de faiblesses de cet environnement et le rapprocher des plates-formes de conception en intelligence artificielle distribuée. Des améliorations fonctionnelles concernent l'introduction d'un mode d'exécution parallèle. Ces améliorations ont conduit a la définition d'un nouvel environnement. Des améliorations structurelles, encore a l'étude, concernent la définition d'agents hétérogènes et une structuration en couche des agents

.

Cette thèse traite de la Vision par Ordinateur - VO - et de sa relation avec l'Intelligence Artificielle - IA. Elle est composée de trois parties. La partie I "La Vision par Ordinateur - présentation et réflexions" donne, après une définition des deux domaines, un aperçu des approches théoriques et des réalisations existantes en VO utilisant des concepts de l'IA. Nous développons ensuite notre approche qui intégre 1e concept de structures de contrôle au sens de l'IA dans un système algorithmique incrémental (à base de coroutines). Cette approche, et quelques applications du système CAIMAN qui en résulte, sont détaillées dans les parties II et III_ La partie II "De la construction d'indices visuels" analyse des problèmes algorithmiques importants pour la vision "de bas niveau", notamment celui de l'extraction de segments de droites- La partie III "Sur la reconnaissance d'objets" étudie le problème de l'interprétation d'indices visuels en termes de modèles symboliques, et analyse plusieurs méthodes d'IA <br />permettant d'en maîtriser la combinatoire, en particulier la stratégie de prédiction - vérification

Cette thèse se situe dans le cadre de la vision par ordinateur et concerne plus précisément l'étape de mise en correspondance de pixels en stéréovision binoculaire. Cette étape consiste à retrouver les pixels homologues dans deux images d'une même scène, prises de deux points de vue différents. Une des manières de réaliser la mise en correspondance est de faire appel à des mesures de corrélation. Les algorithmes utilisés se heurtent alors aux difficultés suivantes : les changements de luminosité, les bruits, les raccourcissements, les zones peu texturées et les occultations. Les travaux qui ont été réalisés sont une étude sur les méthodes à base de corrélation, en prenant en compte le problème des occultations et l'utilisation d'images couleur.<br /><br />Dans un premier chapitre, nous établissons un état de l'art des méthodes de mise en correspondance de pixels. Nous donnons un modèle générique des méthodes s'appuyant sur la définition d'éléments constituants. Nous distinguons alors quatre catégories de méthodes : les méthodes locales, les méthodes globales, les méthodes mixtes et les méthodes à multiples passages. <br /><br />Le second chapitre aborde le problème de l'évaluation des méthodes de mise en correspondance de pixels. Après avoir donné un état de l'art des protocoles existants, nous proposons un protocole d'évaluation et de comparaison qui prend en compte des images avec vérité terrain et qui distingue différentes zones d'occultations. <br /><br />Dans le troisième chapitre, nous proposons une taxonomie des mesures de corrélation regroupées en cinq familles : les mesures de corrélation croisée, les mesures utilisant des outils de statistiques classiques, les mesures utilisant les dérivées des images, les mesures s'appuyant sur des outils des statistiques non paramétriques et les mesures exploitant des outils des statistiques robustes. Parmi cette dernière famille, nous proposons dix-sept mesures. Les résultats obtenus avec notre protocole montrent que ces mesures obtiennent les meilleurs résultats dans les zones d'occultations. <br /><br />Le quatrième chapitre concerne la généralisation à la couleur des méthodes de mise en correspondance à base de corrélation. Après avoir présenté les systèmes de représentation de la couleur que nous testons, nous abordons la généralisation des méthodes à base de corrélation en passant par l'adaptation des mesures de corrélation à la couleur. Nous proposons trois méthodes différentes : fusion des résultats sur chaque composante, utilisation d'une analyse en composante principale et utilisation d'une mesure de corrélation couleur. Les résultats obtenus avec notre protocole mettent en évidence la meilleure méthode qui consiste à fusionner les scores de corrélation. <br /><br />Dans le dernier chapitre, pour prendre en compte les occultations, nous proposons des méthodes hybrides qui s'appuient sur l'utilisation de deux mesures de corrélation : une mesure classique dans les zones sans occultation et une mesure robuste dans les zones d'occultations. Nous distinguons quatre types de méthodes à base de détection de contours, de corrélation pondérée, de post-détection des occultations et de fusion de cartes de disparités. Les résultats obtenus avec notre protocole montrent que la méthode la plus performante consiste à fusionner deux cartes de disparités.

Cette thèse traite de l'usage de la vision par ordinateur pour des situations d'interaction fortement couplée (IFC) entre l'Homme et la machine. Une interaction est fortement couplée sur un intervalle de temps donné lorsque les systèmes humain et artificiel sont engagés de manière continue dans l'accomplissement d'actions physiques mutuellement observables et dépendantes sur cet intervalle. Le déplacement d'un objet graphique avec la souris relève de l'IFC. Nous modélisons l'IFC sous la forme d'un système en boucle fermée constitué de deux sous-systèmes de type stimulus-réponse. Ce modèle permet d'identifier des requis applicables à la conception, à la réalisation ou à l'évaluation de dispositifs utilisables en IFC. En particulier, nous recommandons une latence inférieure à 50 ms., une résolution adaptée à la tâche utilisateur et la satisfaction de la stabilité statique. Nous considérons ensuite l'usage de la vision par ordinateur dans ce contexte. Une revue des deux approches dominantes du domaine, vision orientée modèle et vision par apparence, nous permet de justifier notre choix de la seconde dont les techniques, de plus faible complexité de calcul, sont susceptibles de satisfaire le requis de latence. Nous présentons ensuite les techniques de vision par ordinateur que nous avons réalisées en adoptant une approche résolument dirigée par la tâche utilisateur. Les deux derniers chapitres détaillent nos expérimentations à la fois techniques et ergonomiques avec la mise en ¦uvre de deux prototypes : le tableau magique et la fenêtre perceptuelle. Le premier utilise un suivi du doigt en vision par ordinateur pour la désignation d'inscriptions sur un tableau blanc physique amplifié de services électroniques. La fenêtre perceptuelle, quant à elle, utilise un suivi du visage comme nouveau flux d'entrée spatiale dans une interface graphique usuelle. Ce flux est utilisé pour la navigation dans une fenêtre.