Cette thèse s'intéresse au rôle de l'interface dans l'interaction humain-robot pour l'apprentissage. Elle étudie comment une interface bien conçue peut aider les utili- sateurs non-experts à guider l'apprentissage social d'un robot, notamment en faci- litant les situations d'attention partagée. Nous étudierons comment l'interface peut rendre l'interaction plus robuste, plus intuitive, mais aussi peut pousser les humains à fournir les bons exemples d'apprentissage qui amélioreront les performances de l'ensemble du système. Nous examinerons cette question dans le cadre de la robo- tique personnelle où l'apprentissage social peut jouer un rôle clé dans la découverte et l'adaptation d'un robot à son environnement immédiat. Nous avons choisi d'étudier le rôle de l'interface sur une instance particulière d'apprentissage social : l'appren- tissage conjoint d'objets visuels et de mots nouveaux par un robot en interaction avec un humain non-expert. Ce défi représente en effet un levier important du dé- veloppement de la robotique personnelle, l'acquisition du langage chez les robots et la communication entre un humain et un robot. Nous avons particulièrement étudié les défis d'interaction tels que le pointage et l'attention partagée. Nous présenterons au chapitre 1 une description de notre contexte applicatif : la robotique personnelle. Nous décrirons ensuite au chapitre 2 les problématiques liées au développement de robots sociaux et aux interactions avec l'homme. Enfin, au cha- pitre 3 nous présenterons la question de l'interface dans l'acquisition des premiers mots du langage chez les robots. La démarche centrée utilisateur suivie tout au long du travail de cette thèse sera décrite au chapitre 4. Dans les chapitres suivants, nous présenterons les différentes contributions de cette thèse. Au chapitre 5, nous mon- trerons comment des interfaces basées sur des objets médiateurs peuvent permettre de guider un robot dans un environnement du quotidien encombré. Au chapitre 6, nous présenterons un système complet basé sur des interfaces humain-robot, des algorithmes de perception visuelle et des mécanismes d'apprentissage, afin d'étudier l'impact des interfaces sur la qualité des exemples d'apprentissage d'objets visuels collectés. Une évaluation à grande échelle de ces interfaces, conçue sous forme de jeu robotique afin de reproduire des conditions réalistes d'utilisation hors-laboratoire, sera décrite au chapitre 7. Au chapitre 8, nous présenterons une extension de ce système permettant la collecte semi-automatique d'exemples d'apprentissage d'ob- jets visuels. Nous étudierons ensuite la question de l'acquisition conjointe de mots vocaux nouveaux associés aux objets visuels dans le chapitre 9. Nous montrerons comment l'interface peut permettre d'améliorer les performances du système de re- connaissance vocale, et de faire directement catégoriser les exemples d'apprentissage à l'utilisateur à travers des interactions simples et transparentes. Enfin, les limites et extensions possibles de ces contributions seront présentées au chapitre 10.

Un grand défi pour les personnages virtuels est de pouvoir interagir avec des opérateurs humains en effectuant des tâches dans des environnements virtuels physiquement réalistes. Cette thèse s'intéresse particulièrement à l'interaction avec des opérateurs faiblement immergés, c'est-à-dire avec des opérateurs disposant du minimum d'équipement nécessaire à l'interaction, par exemple, une simple capture de mouvement des mains. Cela implique de doter le personnage virtuel de la capacité d'ajuster ses postures de manière autonome, d'accomplir les tâches requises par l'opérateur en temps réel en tâchant de suivre au mieux ses mouvements, tout en gérant de manière autonome les multiples contraintes dues aux interactions avec l'environnement virtuel. Cette thèse présente un système de contrôle hybride original qui permet de réaliser un personnage virtuel interactif avec certains niveaux de l'autonomie. Une approche d'optimisation de posture est proposée, permettant au personnage virtuel de chercher des postures optimales et robustes. Un cadre de contrôle multi-objectif est développé, pouvant gérer plusieurs objectifs de tâches et de multiples contacts. Il permet au personnage d'effectuer les tâches de suivi de mouvement et les tâches de manipulation d'objets dans un environnement virtuel physiquement réaliste, tout en interagissant avec un opérateur en temps réel. Une méthode de type "wrench-bound" est développée. Il s'agit d'une nouvelle approche de contrôle hiérarchisé comportant différents niveaux de priorité, permettant d'imposer des contraintes d'inégalité sur la tâche de haute priorité, tout en assurant la passivité du système pour garantir la stabilité des opérations.

L'un des challenges des roboticiens consiste à gérer un grand nombre de variabilités. Ces dernières concernent les concepts liés au matériel et aux logiciels du domaine de la robotique. Par conséquent, le développement des applications de robotique est une tâche complexe. Non seulement, elle requiert la maîtrise des détails de bas niveau du matériel et du logiciel mais aussi le changement du matériel utilisé dans une application entraînerait la réécriture du code de celle-ci. L'utilisation de l'ingénierie dirigée par les modèles dans ce contexte est une voie prometteuse pour (1) gérer les problèmes de dépendance de bas niveau des applications des détails de bas niveau à travers des modèles stables et (2) faciliter le développement des applications à travers une génération automatique de code vers des plateformes cibles. Les langages de modélisation spécifiques aux domaines mettent en oeuvre les techniques de l'ingénierie dirigée par les modèles afin de représenter les concepts du domaine et permettre aux experts de celui-ci de manipuler des concepts qu'ils ont l'habitude d'utiliser. Cependant, ces concepts ne sont pas suffisants pour représenter tous les aspects d'une application car ils très généraux. Il faudrait alors s'appuyer sur une démarche pour extraire des abstractions à partir de cas d'utilisations concrets et ainsi définir des abstractions ayant une sémantique opérationnelle. Le travail de cette thèse s'articule autour de deux axes principaux. Le premier axe concerne la contribution à la conception d'un langage de modélisation spécifique au domaine de la robotique mobile (RobotML). Nous extrayons à partir d'une ontologie du domaine les concepts que les roboticiens ont l'habitude d'utiliser pour la définition de leurs applications. Ces concepts sont ensuite représentés à travers une interface graphique permettant la représentation de modèles afin d'assurer une facilité d'utilisation pour les utilisateurs de RobotML. On offre ainsi la possibilité aux roboticiens de représenter leurs scénarios dans des modèles stables et indépendants des plateformes cibles à travers des concepts qu'ils ont l'habitude de manipuler. Une génération de code automatique à partir de ces modèles est ensuite possible vers une ou plusieurs plateformes cibles. Cette contribution est validée par la mise en oeuvre d'un scénario aérien dans un environnement inconnu proposé par l'ONERA. Le deuxième axe de cette thèse tente de définir une approche pour rendre les algorithmes résistants aux changements des détails de ba niveau. Notre approche prend en entrée la description d'une tâche de robotique et qui produit : un ensemble d'abstractions non algorithmiques représentant des requêtes sur l'environnment y compris le robot ou des actions de haut niveau , un ensemble d'abstractions algorithmiques encapsulant un ensemble d'instructions permettant de réaliser une sous-tâche de la tâche étudiée , algorithme générique configurable défini en fonction de ces abstractions. Ainsi, l'impact du changement du matériel et des stratégies définies dans les sous-tâches n'est pas très important. Il suffit d'adapter l'implantation de ces abstractions sans avoir à modifier l'algorithme générique. Cette approche est validée sur six variantes d'une famille d'algorithmes de navigation appelée Bug.

L'objectif de cette thèse est d'étudier la prise en compte de phase de déséquilibre dans la commande pour la marche d'un robot bipède. Cette thèse est donc dédiée à l'analyse de stabilité pour des marches cycliques avec sous-actionnement. Un robot planaire à contact ponctuel avec le sol est étudié. Les outils d'analyse de stabilité de type méthode de Poincaré, Dynamique de Zéro et Dynamiques de zéro hybrides sont abordées. Deux lois de commande basées sur des mouvements articulaires de référence (fréquents en robotique) sont proposées et comparées avec une loi de commande de suivi de trajectoire articulaire (l'évolution temporelle étant libre). Ensuite le cas d'un robot bipède évoluant en 3D avec pieds est abordé. Nous avons fait le choix d'asservir explicitement la position du ZMP (Zero Moment Point). En conséquence, deux variables à asservir étant alors définies, le système est traité comme un système sous-actionné. Les approches développées précédemment sont alors reprises pour obtenir une marche stable. Un asservissement de l'orientation du pied en transfert est nécessaire pour assurer une bonne pose du pied. Par ailleurs, une loi de commande de direction est proposée afin de contrôler la direction de marche du robot pour passer par une porte et atteindre une destination avec une courbure douce. Enfin, la commande proposée est étendue à un robot bipède avec des bras et une marche incluant une phase de rotation autour de l'axe métatarsien en fin de phase de simple appui. On montre que la commande proposée s'étend naturellement à cette phase de déséquilibre grâce à l'asservissement du ZMP qu'elle contient, cette approche est validée par les résultats de simulation.

Dans le cadre de missions réalisées conjointement par un agent artificiel (robot, drone) et un agent humain, nous présentons un contrôleur de la dynamique de l'autorité, fondé sur un graphe de dépendances entre ressources génériques contrôlables par les deux agents, dont l'objectif est d'adapter le comportement de l'agent artificiel ou de l'agent humain en cas de conflit d'autorité sur ces ressources. Nous définissons l'autorité relative de deux agents par rapport au contrôle d'une ressource, ainsi que la notion de conflit d'autorité sur une ressource. La détection d'un conflit déclenche une révision du plan de l'agent artificiel, fondée sur l'état courant des ressources et des relations d'autorité. Le contrôleur de la dynamique de l'autorité est mis en œuvre par l'outil MNMS (Multiple (Petri) Nets Management System), développé au cours de la thèse, qui permet la manipulation des ressources génériques, dépendances entre ressources et relations d'autorité, ainsi que l'intégration au sein d'une architecture robotique.

Actuellement, il y a une demande croissante pour le déploiement de robots mobile dans des lieux publics. Pour alimenter cette demande, plusieurs chercheurs ont déployé des systèmes robotiques de prototypes dans des lieux publics comme les hôpitaux, les supermarchés, les musées, et les environnements de bureau. Une principale préoccupation qui ne doit pas être négligé, comme des robots sortent de leur milieu industriel isolé et commencent à interagir avec les humains dans un espace de travail partagé, est une interaction sécuritaire. Pour un robot mobile à avoir un comportement interactif sécuritaire et acceptable - il a besoin de connaître la présence, la localisation et les mouvements de population à mieux comprendre et anticiper leurs intentions et leurs actions. Cette thèse vise à apporter une contribution dans ce sens en mettant l'accent sur les modalités de perception pour détecter et suivre les personnes à proximité d'un robot mobile. Comme une première contribution, cette thèse présente un système automatisé de détection des personnes visuel optimisé qui prend explicitement la demande de calcul prévue sur le robot en considération. Différentes expériences comparatives sont menées pour mettre clairement en évidence les améliorations de ce détecteur apporte à la table, y compris ses effets sur la réactivité du robot lors de missions en ligne. Dans un deuxiè contribution, la thèse propose et valide un cadre de coopération pour fusionner des informations depuis des caméras ambiant affixé au mur et de capteurs montés sur le robot mobile afin de mieux suivre les personnes dans le voisinage. La même structure est également validée par des données de fusion à partir des différents capteurs sur le robot mobile au cours de l'absence de perception externe. Enfin, nous démontrons les améliorations apportées par les modalités perceptives développés en les déployant sur notre plate-forme robotique et illustrant la capacité du robot à percevoir les gens dans les lieux publics supposés et respecter leur espace personnel pendant la navigation.

Cette thèse traite de la détection et du suivi d'objets mobiles dans un environnement dynamique, en utilisant une caméra embarquée sur un robot mobile. Ce sujet représente encore un défi important car on exploite uniquement la vision mono-caméra pour le résoudre. Nous devons détecter les objets mobiles dans la scène par une analyse de leurs déplacements apparents dans les images, en excluant le mouvement propre de la caméra. Dans une première étape, nous proposons une analyse spatio-temporelle de la séquence d'images, sur la base du flot optique épars. La méthode de clustering a contrario permet le groupement des points dynamiques, sans information a priori sur le nombre de groupes à former et sans réglage de paramètres. La réussite de cette méthode réside dans une accumulation suffisante des données pour bien caractériser la position et la vitesse des points. Nous appelons temps de pistage, le temps nécessaire pour acquérir les images analysées pour bien caractériser les points. Nous avons développé une carte probabiliste afin de trouver les zones dans l'image qui ont les probabilités la plus grandes de contenir un objet mobile. Cette carte permet la sélection active de nouveaux points près des régions détectées précédemment en permettant d'élargir la taille de ces régions. Dans la deuxième étape nous mettons en oeuvre une approche itérative pour exécuter détection, clustering et suivi sur des séquences d'images acquises depuis une caméra fixe en intérieur et en extérieur. Un objet est représenté par un contour actif qui est mis à jour de sorte que le modèle initial reste à l'intérieur du contour. Finalement nous présentons des résultats expérimentaux sur des images acquises depuis une caméra embarquée sur un robot mobile se déplaçant dans un environnement extérieur avec des objets mobiles rigides et nonrigides. Nous montrons que la méthode est utilisable pour détecter des obstacles pendant la navigation dans un environnement inconnu a priori, d'abord pour des faibles vitesses, puis pour des vitesses plus réalistes après compensation du mouvement propre du robot dans les images.

This habilitation thesis is first devoted to applications related to image representation and coding. If the image and video coding community has been traditionally focused on coding standardization processes, advanced services and functionalities have been designed in particular to match content delivery system requirements. In this sense, the complete transmission chain of encoded images has now to be considered. To characterize the ability of any communication network to insure end-to-end quality, the notion of Quality of Service (QoS) has been introduced. First defined by the ITU-T as the set of technologies aiming at the degree of satisfaction of a user of the service, QoS is rather now restricted to solutions designed for monitoring and improving network performance parameters. However, end users are usually not bothered by pure technical performances but are more concerned about their ability to experience the desired content. In fact, QoS addresses network quality issues and provides indicators such as jittering, bandwidth, loss rate... An emerging research area is then focused on the notion of Quality of Experience (QoE, also abbreviated as QoX), that describes the quality perceived by end users. Within this context, QoE faces the challenge of predicting the behaviour of any end users. When considering encoded images, many technical solutions can considerably enhance the end user experience, both in terms of services and functionalities, as well as in terms of final image quality. Ensuring the effective transport of data, maintaining security while obtaining the desired end quality remain key issues for video coding and streaming. First parts of my work are then to be seen within this joint QoS/QoE context. From efficient coding frameworks, additional generic functionalities and services such as scalability, advanced entropy coders, content protection, error resilience, image quality enhancement have been proposed. Related to advanced QoE services, such as Region of Interest definition of object tracking and recognition, we further closely studied pseudo-semantic representation. First designed toward coding purposes, these representations aim at exploiting textural spatial redundancies at region level. Indeed, research, for the past 30 years, provided numerous decorrelation tools that reduce the amount of redundancies across both spatial and temporal dimensions in image sequences. To this day, the classical video compression paradigm locally splits the images into blocks of pixels, and processes the temporal axis on a frame by frame basis, without any obvious continuity. Despite very high compression performances such as AVC and forthcoming HEVC standards , one may still advocate the use of alternative approaches. Disruptive solutions have also been proposed, and offer notably the ability to continuously process the temporal axis. However, they often rely on complex tools (\emph{e.g.} Wavelets, control grids) whose use is rather delicate in practice. We then investigate the viability of alternative representations that embed features of both classical and disruptive approaches. The objective is to exhibit the temporal persistence of the textural information, through a time-continuous description. At last, from this pseudo-semantic level of representation, texture tracking system up to object tracking can be designed. From this technical solution, 3D object tracking is a logical outcome, in particular when considering vision robotic issues.

Les progrès récents dans la définition de mécanismes décisionnels ont permis de déléguer de plus en plus de responsabilités aux systèmes informatiques. Par exemple, des robots de service travaillent aujourd'hui en interaction avec l'humain et réalisent des tâches de plus en plus complexes. Ce transfert de responsabilité pose alors de manière critique le problème de la sécurité pour l'homme, l'environnement du système, ou le système lui-même. La surveillance en ligne par un moniteur de sécurité indépendant vise à assurer un comportement sûr malgré la présence de fautes et d'incertitudes. Un tel moniteur doit détecter des situations potentiellement dangereuses afin d'enclencher des actions de mise en état sûr et d'éviter les défaillances catastrophiques. Cette thèse traite de l'identification de conditions de déclenchement de sécurité permettant de lancer des actions de mise en état sûr. Un processus systématique permettant d'identifier de telles conditions est défini, en partant d'une analyse de risque HazOp/UML du système fonctionnel. Par ailleurs, une méthode est proposée pour identifier les états du système où des actions de sécurité peuvent être enclenchées simultanément, afin d'être revues et corrigées, en cas de besoin, par un expert du système. L'approche proposée est appliquée à un robot déambulateur.

Cette thèse s'inscrit dans le contexte de la vidéosurveillance "intelligente", et s'intéresse à la supervision de réseaux de caméras à champs disjoints, contrainte classique lorsque l'on souhaite limiter l'instrumentation du bâtiment. Il s'agit là de l'un des cas d'application du problème de la ré-identification de personnes. À ce titre, la thèse propose une approche se démarquant de l'état de l'art qui traite classiquement le problème sous l'aspect description, via la mise en correspondance de signatures image à image. Nous l'abordons ici sous l'aspect filtrage : comment intégrer la ré-identification de personne dans un processus de suivi multi-pistes, de manière à maintenir des identités de pistes cohérentes, malgré des discontinuités dans l'observation. Nous considérons ainsi une approche suivi et mises en correspondance, au niveau caméra et utilisons ce module pour ensuite raisonner au niveau du réseau. Nous décrivons dans un premier temps les approches classiques de ré-identification, abordées sous l'aspect description. Nous proposons ensuite un formalisme de filtrage particulaire à états continus et discret pour estimer conjointement position et identité de la cible au cours du temps, dans chacune des caméras. Un second étage de traitement permet d'intégrer la topologie du réseau et les temps d'apparition pour optimiser la ré-identification au sein du réseau. Nous démontrons la faisabilité de l'approche en grande partie sur des données issues de réseaux de caméras déployés au sein du laboratoire, étant donné le manque de données publiques concernant ce domaine. Nous prévoyons de mettre en accès public ces banques de données.