La grande majorité des systèmes perceptifs proposés en robotique héritent d'une conception passive de la perception dans laquelle la génération d'une commande motrice est l'étape ultime d'une succession de traitements purement passifs. Dans le cadre de la localisation de sources sonores, qui est une tâche fondamentale du système auditif, cette approche passive offre de bons résultats lorsque les conditions environnementales sont bien connues et facilement modélisables. Cependant des difficultés apparaissent lorsque l'environnement se complexifie, a fortiori s'il est inconnu ou changeant. Ces difficultés constituent un enjeu important dans le domaine de l'audition artificielle. Cette thèse considère une approche radicalement différente de l'approche passive, inspirée de la psychologie de la perception et de la théorie des contingences sensorimotrices. Cette approche place l'action au coeur du processus de perception, qui est alors vu comme une interaction qu'un agent biologique ou robotique entretient avec son environnement. Alors que l'approche passive nécessite des connaissances sur l'environnement, implicement intégrées dans les traitements par le roboticien, l'approche sensorimotrice suggère au contraire que ces connaissances sont acquises par l'agent de manière autonome, à travers son expérience sensorimotrice. Ainsi cette thèse applique la théorie des contingences sensorimotrices à la localisation de sources sonores pour la robotique autonome. Sur la base d'un modèle bioinspiré du système auditif adapté au contexte robotique, cette thèse propose une redéfinition du problème de la localisation en termes sensorimoteurs. Un modèle de localisation sensorimotrice est alors proposé. Celui-ci se base sur des capacités de perception active bas-niveau pour construire une représentation de l'espace auditif qui est ensuite utilisée pour une localisation passive. En exploitant les capacités d'action du robot, ce modèle permet de s'affranchir des dépendances à l'environnement qui mettent en difficulté l'approche passive, en proposant ainsi un degré d'autonomie supérieur à celui des modèles actuels / The vast majority of perceptual systems proposed in robotics inherit apassive conception of perception, in which the generation of a motor command is the final stage of successive passive processes. In the field of sound sources localization, which is a fundamental task of the auditory system, this passive approach provides good results when the environment is well known and easily modeled. However, difficulties arise when the environment becomes more complex, unknown or changing. These difficulties are a major issue in the field of machine hearing. This thesis considers a radically different approach inspired by the psychology of perception and theory of sensorimotor contingencies. This approach places action at the heart of the process of perception, which is seen as an interaction of a biological or robotic agent with it's environment. While passive approach requires environmental knowledge, implicitly integrated into models by the robotisist, the sensorimotor approach suggests that this knowledge is acquired by the agent by itself, through its sensorimotor experience. Thus, this thesis applies the theory of sensorimotor contingencies to sound sources localization for autonomous robots. Based on a model of the auditory system adapted to robotics, this thesis proposes a redefinition of the localization problem in sensorimotor terms. A sensorimotor model of localization is then proposed. It is based on active and low-level perception skills which are used to learn a representation of the auditory space. This representation is then used for a passive localization of new sound sources. By exploiting the active capabilities of the robot, this model eliminates the environment dependencies that put difficulty in the passive approach, thus offering a degree of autonomy higher than current models

Classiquement la réalité augmentée consiste en l'annotation d'objets fixes pour un utilisateur en mouvement au sein d'un environnement réel. Le travail présenté dans cette thèse porte sur l'utilisation de la réalité augmentée dans le but de décrire des objets dynamiques dont le comportement n'est que peu prévisible. Nous nous intéressons tout particulièrement aux problèmes posés par la nature dynamique de l'environnement en ce qui concerne: 1°/ la description du réel (adapter les explications fournies par le guide virtuel à l'évolution de l'environnement) ; 2°/ la perception du réel (percevoir l'environnement à expliquer en temps réel à l'aide de caméras).<br>La description du réel consiste en la génération d'un exposé par le guide virtuel. Cette génération repose sur deux points: des connaissances a priori sous la forme d'explications et un comportement décrit par un automate hiérarchique. Nous considérons la visite guidée comme l'évolution conjointe du comportement du guide virtuel et des explications qu'il fournit aux visiteurs. Une explication permet de décrire l'enchaînement d'éléments de discours sur un sujet donné à l'aide d'un graphe. Chacun de ces éléments décrit une unité de discours indivisible décrivant l'utilisation des différentes modalités (parole, gestes, expression, ...) sous la forme d'un script. L'exécution d'un graphe d'explication est effectuée par le comportement qui intègre la notion d'interruption. Lorsqu'un processus d'explication est interrompu, il est suspendu et le sujet courant de la visite guidée est réévalué. Cette réévaluation repose sur l'utilisation d'un ensemble d'experts votant pour les différentes explications disponibles selon un point de vue particulier. Ce vote se base sur le contexte courant de la visite guidée (historique, temps écoulé/restant, ...) et l'état de l'environnement réel. <br>La perception consiste en la construction et la mise à jour d'une représentation de l'environnement. Ceci est effectué en temps réel par la coopération de différentes routines de perception. La complexité de l'environnement observé (quantité d'informations et variations des conditions d'éclairage) empêchent une analyse complète du flux vidéo. Nous proposons de surmonter ce problème par l'utilisation de stratégies de prise d'information adaptées. Ces stratégies de perception sont mises en oeuvre par certaines routines au travers du choix et du paramétrage des traitements qu'elles effectuent. Nous présentons un ensemble minimal de routines nécessaires à la construction d'une représentation de l'environnement exploitable dans le cadre de la description de cet environnement. Ce système repose sur la mise en oeuvre de trois stratégies de perception: la vigilance qui coordonne des traitements de détection dans le temps et dans l'espace; le suivi qui se charge de mettre à jour les propriétés spatiales des entités existantes dans la représentation; la reconnaissance dont le rôle est d'identifier ces entités. L'efficacité des stratégies de perception suppose une interaction entre la prise de décision (génération de l'exposé) et la perception (construction d'une représentation de l'environnement) de notre acteur virtuel autonome. Nous proposons de mettre en oeuvre cette interaction au travers de la représentation de l'environnement et des requêtes effectuées par le processus de prise de décision sur cette représentation.<br>Nous avons mené des expérimentations afin mettre en évidence le fonctionnement des différents aspects de notre proposition et de la valider des conditions contrôlées. Ces travaux sont appliqués à un cas concret d'environnement réel dynamique complexe au sein du projet ANR SIRENE. Cette application met en évidence les questions liées à notre problématique et montre la pertinence de notre approche dans le cadre de la présentation d'un aquarium marin d'Océanopolis.

La grande majorité des systèmes perceptifs proposés en robotique héritent d'une conception passive de la perception dans laquelle la génération d'une commande motrice est l'étape ultime d'une succession de traitements purement passifs. Dans le cadre de la localisation de sources sonores, qui est une tâche fondamentale du système auditif, cette approche passive offre de bons résultats lorsque les conditions environnementales sont bien connues et facilement modélisables. Cependant des difficultés apparaissent lorsque l'environnement se complexifie, a fortiori s'il est inconnu ou changeant. Ces difficultés constituent un enjeu important dans le domaine de l'audition artificielle. Cette thèse considère une approche radicalement différente de l'approche passive, inspirée de la psychologie de la perception et de la théorie des contingences sensorimotrices. Cette approche place l'action au coeur du processus de perception, qui est alors vu comme une interaction qu'un agent biologique ou robotique entretient avec son environnement. Alors que l'approche passive nécessite des connaissances sur l'environnement, implicement intégrées dans les traitements par le roboticien, l'approche sensorimotrice suggère au contraire que ces connaissances sont acquises par l'agent de manière autonome, à travers son expérience sensorimotrice. Ainsi cette thèse applique la théorie des contingences sensorimotrices à la localisation de sources sonores pour la robotique autonome. Sur la base d'un modèle bioinspiré du système auditif adapté au contexte robotique, cette thèse propose une redéfinition du problème de la localisation en termes sensorimoteurs. Un modèle de localisation sensorimotrice est alors proposé. Celui-ci se base sur des capacités de perception active bas-niveau pour construire une représentation de l'espace auditif qui est ensuite utilisée pour une localisation passive. En exploitant les capacités d'action du robot, ce modèle permet de s'affranchir des dépendances à l'environnement qui mettent en difficulté l'approche passive, en proposant ainsi un degré d'autonomie supérieur à celui des modèles actuels

L'exécution d'une expérience scientifique est un processus qui nécessite une phase de préparation minutieuse et approfondie. Le but de cette phase est de s'assurer que l'expérience donne effectivement le plus de renseignements possibles sur le processus que l'on est en train d'observer, de manière à minimiser l'effort (en termes, par exemple, du nombre d'essais ou de la durée de chaque expérience) nécessaire pour parvenir à une conclusion digne de confiance. De manière similaire, la perception est un processus actif dans lequel l'agent percevant (que ce soit un humain, un animal ou un robot) fait de son mieux pour maximiser la quantité d'informations acquises sur l'environnement en utilisant ses capacités de détection et ses ressources limitées. Dans de nombreuses applications robotisées, l'état d'un robot peut être partiellement récupéré par ses capteurs embarqués. Des schémas d'estimation peuvent être exploités pour récupérer en ligne les «informations manquantes» et les fournir à des planificateurs/contrôleurs de mouvement, à la place des états réels non mesurables. Cependant, l'estimation doit souvent faire face aux relations non linéaires entre l'environnement et les mesures des capteurs qui font que la convergence et la précision de l'estimation sont fortement affectées par la trajectoire suivie par le robot/capteur. Par exemple, les techniques de commande basées sur la vision, telles que l'Asservissement Visuel Basé-Image (IBVS), exigent normalement une certaine connaissance de la structure 3-D de la scène qui ne peut pas être extraite directement à partir d'une seule image acquise par la caméra. On peut exploiter un processus d'estimation (“Structure from Motion - SfM”) pour reconstruire ces informations manquantes. Toutefois, les performances d'un estimateur SfM sont grandement affectées par la trajectoire suivie par la caméra pendant l'estimation, créant ainsi un fort couplage entre mouvement de la caméra (nécessaire pour, par exemple, réaliser une tâche visuelle) et performance/précision de l'estimation 3-D. À cet égard, une contribution de cette thèse est le développement d'une stratégie d'optimisation en ligne de trajectoire qui permet de maximiser le taux de convergence d'un estimateur SfM affectant (activement) le mouvement de la caméra. L'optimisation est basée sur des conditions classiques de persistance d'excitation utilisée en commande adaptative pour caractériser le conditionnement d'un problème d'estimation. Cette mesure est aussi fortement liée à la matrice d'information de Fisher employée dans le cadre d'estimation probabiliste à des fins similaires. Nous montrons aussi comment cette technique peut être couplé avec l'exécution simultanée d'une tâche d'asservissement visuel en utilisant des techniques de résolution et de maximisation de la redondance. Tous les résultats théoriques présentés dans cette thèse sont validés par une vaste campagne expérimentale en utilisant un robot manipulateur équipé d'une caméra embarquée. / As every scientist and engineer knows, running an experiment requires a careful and thorough planning phase. The goal of such a phase is to ensure that the experiment will give the scientist as much information as possible about the process that she/he is observing so as to minimize the experimental effort (in terms of, e.g., number of trials, duration of each experiment and so on) needed to reach a trustworthy conclusion. Similarly, perception is an active process in which the perceiving agent (be it a human, an animal or a robot) tries its best to maximize the amount of information acquired about the environment using its limited sensor capabilities and resources. In many sensor-based robot applications, the state of a robot can only be partially retrieved from his on-board sensors. State estimation schemes can be exploited for recovering online the “missing information” then fed to any planner/motion controller in place of the actual unmeasurable states. When considering non-trivial cases, however, state estimation must often cope with the nonlinear sensor mappings from the observed environment to the sensor space that make the estimation convergence and accuracy strongly affected by the particular trajectory followed by the robot/sensor. For instance, when relying on vision-based control techniques, such as Image-Based Visual Servoing (IBVS), some knowledge about the 3-D structure of the scene is needed for a correct execution of the task. However, this 3-D information cannot, in general, be extracted from a single camera image without additional assumptions on the scene. One can exploit a Structure from Motion (SfM) estimation process for reconstructing this missing 3-D information. However performance of any SfM estimator is known to be highly affected by the trajectory followed by the camera during the estimation process, thus creating a tight coupling between camera motion (needed to, e.g., realize a visual task) and performance/accuracy of the estimated 3-D structure. In this context, a main contribution of this thesis is the development of an online trajectory optimization strategy that allows maximization of the converge rate of a SfM estimator by (actively) affecting the camera motion. The optimization is based on the classical persistence of excitation condition used in the adaptive control literature to characterize the well-posedness of an estimation problem. This metric, however, is also strongly related to the Fisher information matrix employed in probabilistic estimation frameworks for similar purposes. We also show how this technique can be coupled with the concurrent execution of a IBVS task using appropriate redundancy resolution and maximization techniques. All of the theoretical results presented in this thesis are validated by an extensive experimental campaign run using a real robotic manipulator equipped with a camera in-hand.

\noindent(\large\bf Mots clés spécifiques)~: (\em objet actif, phénomène, milieu-prévision, milieu-expérimentation, aisthesis, praxis, poiesis, prédiction, action, adaptation, entité énactive, modélisation énactive, hypothèse énactive.)<br />\vspace(5mm)<br /><br />\centerline(\LARGE\bf Résumé)<br />\vspace(5mm)<br /><br />Cette thèse s'inscrit dans le cadre de la modélisation des phénomènes naturels<br />pour une instrumentation en un système de réalité virtuelle. Elle fournit les<br />prémices d'une méthodologie de modélisation des systèmes complexes en vue de leur simulation, dite modélisation énactive.<br />La thèse que nous défendons porte sur trois idées principales :<br />\begin(enumerate)<br />\item la modélisation traduit une praxis humaine.<br />\item les phénomènes sont modélisés en tant qu'entités autonomes.<br />\item les interactions entre les entités passent par un milieu qui est créé et fa\c conné par les entités elles-mêmes.<br />\end(enumerate)<br /><br />Premièrement, la modélisation est une activité humaine qui traduit implicitement et doit traduire explicitement une cause finale à la modélisation. Les phénomènes modélisés sont les affordances d'un utilisateur du modèle.<br /><br />Deuxièmement, l'autonomisation des modèles, consistant à donner au modèle du phénomène naturel<br />des capacités de perception, d'action et d'adaptation, est une solution pragmatique efficace<br />pour la modélisation d'un système complexe où de nombreux modèles doivent interagir de multiples fa\c cons.<br /><br />Troisièmement, en déléguant aux modèles la fabrication du milieu dont ils ont besoin pour déterminer leurs interactions,<br />nous pouvons simuler dans un même environnement virtuel des modèles liés à des échelles phénoménologiques<br />très différentes les unes des autres, sans passer par un maillage apriori de l'espace-temps,<br />tout en respectant, par exemple, les lois de conservations en physique.<br /><br />Ces hypothèses conceptuelles sont traduites en un modèle formel pragmatique, dans lequel nous formalisons<br />des notions d'objet actifs, d'entité autonome et d'organisation énactive. La formalisation fournit une méthode de modélisation<br />des phénomènes naturels et d'instrumentation de ces modèles permettant au concepteur de simuler en réalité virtuelle<br />le système multi-modèles à tout moment de la création.<br /><br />Nous appliquons ces idées pour réaliser une animation interactive de la surface de la mer.<br />Le système de réalité virtuelle générant les états de mer doit pouvoir<br />être utilisable par des marins et être crédible aux yeux des océanographes.<br />Le modèle obtenu se nomme IPAS (Interactive Phenomenological Animation of the Sea)<br />et permet l'animation d'un plan d'eau de plusieurs kilomètres carrés.<br />IPAS intègre, d'une part les notions marines<br />de groupe de vagues, de déferlement, de vent synoptique de vent local, de courant et de bathymétrie,<br />d'autre part les notions physiques de conservation de l'action, de stress du vent, de réfraction des vagues de gravités<br />lors des interactions vagues/déferlements/vents/courants/bathymétrie.<br />Les simulations ont lieu en temps réel et ne néces\-sitent aucun pré-calcul.<br /><br />Cette thèse sur la manière de simuler des phénomènes naturels, ouvre de nombreuses perspectives à venir.<br />On pourra, par exemple,<br />\begin(enumerate)<br />\item utiliser le modèle de mer IPAS pour la réalisation d'un environnement virtuel dédié à la sécurité civile (maritime) ou à la pratique de la compétition en voile,<br />\item consolider la validité océanographique d'IPAS et enrichir le modèle en réalisant des expériences virtuelles d'évolution d'états de mer et les comparer avec des résultats théoriques ou expérimentaux,<br />\item prouver son équivalence formelle avec les méthodes numériques classiques de résolution des systèmes d'équations différentielles,<br /> lorsque les entités sont des interactions entre des volumes élémentaires<br /> devant respecter les mêmes lois physiques que celles ayant permis d'établir les équations.<br />\item utiliser la méthode de modélisation pour d'autres phénomènes que la surface de la mer (hydrologie, météorologie, sismologie, biochimie, biologie, pédagogie, sociologie, économie)<br />\end(enumerate)