Nos travaux portent sur la supervision d'un robot autonome en environnement humain et plus particulièrement sur la prise en compte de l'interaction homme-robot au niveau décisionnel. Dans ce cadre, l'homme et le robot constituent un système dans lequel ils partagent un espace commun et échangent des informations à travers différentes modalités. L'interaction peut intervenir soit sur une requête explicite de l'homme, soit parce que le robot l'a estimée utile et en a pris l'initiative. Dans les deux cas le robot doit agir afin de satisfaire un but en prenant en compte de manière explicite la présence et les préferences de son partenaire humain. Pour cela, nous avons conçu et développé un système de supervision nommé Shary qui permet de gérer des tâches individuelles (où seul le robot est impliqué) et des tâches jointes (où le robot et un autre agent sont impliqués). Ce système se compose d'une mécanique d'exécution de tâches gérant d'une part la communication nécessaire au sein d'une tâche et d'autre part l'affinement de la tâche en sous-tâches. Pour cela chaque tâche est définie par un plan de communication et un plan de réalisation auxquels sont associés des moniteurs de suivi. Nous avons développé ce système sur le robot Rackham dans le cadre d'une tâche de "Guide de musée". Nous avons également utilisé ce système dans le cadre d'une tâche du type : "apporter quelque chose à quelqu'un" sur le robot Jido pour montrer la généricité du système.

No description available.

Dans ce travail de thèse, nous examinons les principaux facteurs affectant la transparence d'un schéma de téléopération dans le contexte de la robotique médicale.Afin de déterminer ces facteurs, une analyse approfondie de l'état de l'art a été réalisée ce qui a permis de proposer une nouvelle classification de schémas de téléopération avec retour haptique.Le rôle de ces principaux facteurs a été analysé.Ces facteurs sont liés à l'architecture de commande appliquée, aux perturbations provoquées par les mouvements physiologiques des tissus manipulés ainsi qu'à la précision du modèle d'interaction robot-tissue.Les performances du schéma de téléopération à architecture 3-canaux ont été analysées en simulation pour choisir une architecture de commande dédiée aux applications médicales.Ensuite, l'influence des mouvements physiologiques de l'environnement manipulé sur la transparence du système a été analysée et un nouveau modèle d'interaction avec des tissus mous a été proposé.Un schéma de commande de téléopération basé modèle d'interaction a été proposé en se basant sur une analyse de passivité du port d'interaction robot-environnement.Enfin, l'importance de la précision du modèle d'interaction (robot-tissue) sur la transparence du schéma de téléopération avec retour d'effort basé-modèle a été analysée.Cette analyse a été validée en théorie et expérimentalement en implémentant le modèle Hunt-Crossly dans une commande utilisant un AOB pour réaliser une téléopération avec retour haptique.En conclusion de ce travail, les résultats de cette thèse ont été discutés et les perspectives futures ont également été proposées. / This thesis investigates the major factors affecting teleoperation transparency in medical context.A wide state of art survey is carried out and a new point of view to classify haptic teleoperation literature is proposed in order to extract the decisive factors providing a transparent teleoperation.Furthermore, the roles of three aspects have been analysed.First, The role of the applied control architecture.To this aim, the performances of 3-channel teleoperation are analysed and guidelines to select a suitable control architecture for medical applications are proposed.The validation of these guidelines is illustrated through simulations.Second, the effects of motion disturbance in the manipulated environment on telepresence are analysed.Consequently, a new model of such moving environment is proposed and the applicability of the proposed model is shown through interaction port passivity investigation.Third analysed factor is the role of the interaction model accuracy on the transparency of interaction control based haptic teleoperation.This analysis is performed theoretically and experimentally by the design and implementation of Hunt-Crossly in AOB interaction control haptic teleoperation.The results are discussed and the future perspectives are proposed.

Le travail présenté s'intéresse à la problématique générale de la mise en oeuvre de mains robotiques à haut niveau de dextérité. Dans ce contexte, nous nous intéressons à la synthèse de prise d'objets en prenant en compte les contraintes propres à la tâche de manipulation visée. La manière dont l'objet est saisi a une importance capitale sur le bon déroulement d'une tâche.Le développement d'algorithmes capables de générer automatiquement des prises optimales implique avant tout la nécessité de définir la notion de prise optimale au regard de la tâche cible. Pour répondre à ce problème, la communauté scientifique propose dans la littérature de nombreux critères de qualité et continue à en développer de nouveaux. Dans cette thèse, nous présentons une extension des travaux proposés avec une étude approfondie de ces critères dans le cadre de la manipulation dextre. Ces critères sont évalués avec une main robotique entièrement actionnée à quatre doigts et seize articulations.Nous quantifions l'efficacité de ces critères dans le cadre de la réalisation de tâches de manipulation fine avec trois types d'objets spécifiques. Deux groupes de critères sont étudiés : d'une part des critères s'appuyant uniquement sur la position des points de contact, et, d'autre part, des critères prenant en compte la cinématique du préhenseur. Cette étude nous a permis de sélectionner un ensemble de critères pertinents pour résoudre le problème de synthèse de prise que nous avons mis en oeuvre dans un processus basé sur une approche évolutionnaire. Cette approche a été validée dans l'environnement de simulation OpenRAVE, puis expérimentalement avec la nouvelle main RoBioSS. / The work presented in this thesis concerns object grasping with dexterous robotic hands. In this work, we are going to focus on the grasp synthesis problem by taking into account the in-hand manipulation task. The initial grasp has a capital role for the successful completion of a given task.In order to develop algorithms which are able to generate automatically correct grasps for a manipulation task, we need to define suitable grasp quality metrics to assess the validity of a grasp. Throughout the years, a large variety of quality measures have been proposed in the literature and researchers keep on developing new ones. However those quality measures are generally developed for simple grippers and for grasping tasks. In this thesis, we will extend the study of selected interesting grasp quality measures for in-hand manipulation tasks. These quality measures will be evaluated on a four finger robotic hand with sixteen fully actuated degrees of freedom.We will assess the chosen quality measures for in-hand manipulation tasks with three different carefully selected type of objects. The quality metrics are classified in two groups, first one focuses exclusively on the location of contact points and the second one considers the kinematics of the robotic hand. The review of these quality measures led us to select the ones meaningful for solving the grasp synthesis problem for in-hand manipulation. The grasping pipeline implemented to generate the correct grasps is based on an evolutionary approach using a mix of the selected quality measures. The proposed approach was tested in the OpenRAVE robotic simulator and also validated experimentally with the new RoBioSS hand.

Les missions robotiques sont généralement exprimées à travers des buts à atteindre (objectifs) tout en respectant des conditions impératives (contraintes). Ces entrées opérationnelles pouvant être inconnues à l'avance, l'utilisation des méthodes de commandes réactives est courante. Cependant, ces approches se limitent généralement à la résolution du problème de commande, celui-ci étant considéré comme résoluble. Le simple cas d'une articulation soumise simultanément à des contraintes de limites d'accélération et de position montre que les incompatibilités sont fréquentes. Dans ce cadre, une méthodologie est proposée pour analyser et garantir la sécurité au niveau de la commande, et des études de cas sont exposées. S'en dégagent deux résultats principaux: 1/ l'expression intuitive des contraintes de position nécessite une modification pour rester compatible avec les contraintes d'accélérations; 2/ les accélérations opérationnelles dépendant de la configuration, la compatibilité entre évitement d'obstacle et limites d'accélérations articulaires ne peut être établie simplement et le recours à des comportements alternatifs sûrs est nécessaire. Ces résultats sont illustrés à travers des expériences sur un manipulateur à 6 DDL. La résolubilité du problème étant assurée, la qualité de sa résolution obéit à plusieurs critères : sécurité, optimalité, efficacité, etc. La sécurité étant un prérequis, deux compromis sont proposés. Premièrement la Constraints Compliant Control (CCC), basée sur un principe d'évitement passif, donne des résultats performants et robustes. Ensuite, l'utilisation d'une configuration virtuelle déplacée offre un compromis entre efficacité et optimalité.

Un système robotique agit par le mouvement dans un monde physique. La capacité de planification de mouvement est une composante essentielle de son autonomie. C'est le thème des travaux présentés dans ce mémoire. Ils s'articulent selon quatre axes.Le premier concerne l'algorithmique géométrique du mouvement. La ligne forte qui se retrouve dans nos travaux est de privilégier des méthodes effectives de planification. En effet, la plupart des problèmes réels résistent aux approches algorithmiques exactes; nous présentons des approches de nature différente, qui en satisfaisant une forme plus faible de complétude (e.g. complétude probabiliste) sont capables de mieux répondre aux besoins des applications en termes d'efficacité et de robustesse algorithmique. Nous considérons ensuite des problèmes plus riches que la seule planification de mouvement, et plus directement liés à la notion de tâches en robotique. La seconde partie porte sur la planification de tâches de manipulation d'objets. La formulation géométrique que nous présentons permet d'étendre le concept d'espace des configurations à la planification automatique de ces tâches. D'autre part, les mouvements d'un robot s'effectuant dans un monde réel, la robustesse algorithmique doit être étendue à la robustesse de la boucle planification/contrôle des mouvements vis à vis des incertitudes dans les modèles manipulés par le raisonnement ou des imprécisions liées à l'exécution. C'est le thème de la troisième partie qui présente une approche combinant planification avec incertitude et modes réactifs: les algorithmes de planification utilisent la connaissance a priori sur la tâche pour produire des primitives référencées capteurs adaptées à la robotique mobile. Enfin, la dernière partie porte sur la planification de mouvements pour des robots mobiles évoluant dans des environnements naturels non structurés. Les techniques prése ntées permettent de traiter des systèmes de locomotion complexes et des terrains fortement accidentés.

Les robots ont amélioré les industries, en particulier les systèmes d'assemblage basé sur des conveyors et ils ont le potentiel pour apporter plus de bénéfices: transports; exploration de zones dangereuses, mer profonde et même d'autres planètes; santé et dans la vie courante.Une barrière majeure pour leur évasion des environnements industriels avec des enceintes vers des environnements partagés avec les humains, c'est leur capacité réduite dans les tâches d’interaction physique, inclue la manipulation d'objets.Tandis que la dextérité de la manipulation n'est pas affectée par la cécité dans les humains, elle décroit énormément pour les robots: ils sont limités à des environnements statiques, mais le monde réel est très changeant. Dans cette thèse, nous proposons une approche différente qui considère le contrôle du contact pendant les interaction physiques entre un robot et l'environnement.Néanmoins, les approches actuelles pour l'interaction physique sont pauvres par rapport au numéro de tâches qu'elles peuvent exécuter. Pour permettre aux robots d'exécuter plus de tâches, nous dérivons des caractéristiques tactiles représentant les déformations de la surface molle d'un capteur tactile et nous incorporons ces caractéristiques dans le contrôleur d'un robot à travers des matrices de mapping tactile basées sur les informations tactiles et sur les tâches à développer.Dans notre première contribution, nous montrons comment les algorithmes de traitement d'images peuvent être utilisés pour découvrir la structure tridimensionnelle subjacente du repère de contact entre un objet et une matrice de capteurs de pression avec une surface molle attachée à l’effecteur d'un bras robotique qui interagit avec cet objet. Ces algorithmes obtiennent comme sorties les soi-disant caractéristiques tactiles. Dans notre deuxième contribution, nous avons conçu un contrôleur qui combine ces caractéristiques tactiles avec un contrôleur position-couple du bras robotique.Il permet à l'effecteur du bras déplacer le repère du contact d'une manière désirée à travers la régulation d'une erreur dans ces caractéristiques. Finalement, dans notre dernière contribution,avec l'addition d'une couche de description des tâches, nous avons étendu ce contrôleur pour adresser quatre problèmes communs dans la robotique: exploration, manipulation, reconnaissance et co-manipulation d'objets.Tout au long de cette thèse, nous avons mis l'accent sur le développement d'algorithmes qui marchent pas simplement avec des robots simulés mais aussi avec de robots réels. De cette manière, toutes ces contributions ont été évaluées avec des expériences faites avec au moins un robot réel. En général, ce travail a comme objectif de fournir à la communauté robotique un cadre unifié qui permet aux bras robotique d'être plus dextres et autonomes. Des travaux préliminaires ont été proposés pour étendre ce cadre au développement de tâches qui impliquent un contrôle multi-contact avec des mains robotiques multi-doigts. / Robots have improved industry processes, most recognizably in conveyor-belt assemblysystems, and have the potential to bring even more benefits to our society in transportation,exploration of dangerous zones, deep sea or even other planets, health care and inour everyday life. A major barrier to their escape from fenced industrial areas to environmentsco-shared with humans is their poor skills in physical interaction tasks, includingmanipulation of objects. While the dexterity in manipulation is not affected by the blindnessin humans, it dramatically decreases in robots. With no visual perception, robotoperations are limited to static environments, whereas the real world is a highly variantenvironment.In this thesis, we propose a different approach that considers controlling contact betweena robot and the environment during physical interactions. However, current physicalinteraction control approaches are poor in terms of the range of tasks that can beperformed. To allow robots to perform more tasks, we derive tactile features representingdeformations of the mechanically compliant sensing surface of a tactile sensor andincorporate these features to a robot controller via touch-dependent and task-dependenttactile feature mapping matrices.As a first contribution, we show how image processing algorithms can be used todiscover the underlying three dimensional structure of a contact frame between an objectand an array of pressure sensing elements with a mechanically compliant surfaceattached onto a robot arm’s end-effector interacting with this object. These algorithmsobtain as outputs the so-called tactile features. As a second contribution, we design a tactileservoing controller that combines these tactile features with a position/torque controllerof the robot arm. It allows the end-effector of the arm to steer the contact frame ina desired manner by regulating errors in these features. Finally, as a last contribution, weextend this controller by adding a task description layer to address four common issuesin robotics: exploration, manipulation, recognition, and co-manipulation of objects.Throughout this thesis, we make emphasis on developing algorithms that work notonly with simulated robots but also with real ones. Thus, all these contributions havebeen evaluated in experiments conducted with at least one real robot. In general, thiswork aims to provide the robotics community with a unified framework to that will allowrobot arms to be more dexterous and autonomous. Preliminary works are proposedfor extending this framework to perform tasks that involve multicontact control withmultifingered robot hands.

Dans les entrepôts logistiques, les moyens robotiques sont de plus en plus fréquemment utilisés pour réduire les temps non productifs, déplacer des charges lourdes, limiter les risques d'erreurs pendant les opérations de préparation de commandes (picking, de/palettisation,...), faire des inventaires (drones,...) et améliorer les conditions de travail des opérateurs humains. Bien que l'homme reste incontournable pour les tâches de préparation de commande à cause de son adresse et de son aptitude à s'adapter à des tâches toujours différentes, l'augmentation de la productivité est souvent synonyme d'augmentation de la pénibilité au travail (troubles musculo-squelettiques,...). Les travaux de recherche présentés dans cette thèse sont une contribution à la robotisation des opérations de dé/palettisation pour des colis de taille variable qui exigent une grande polyvalence du système de préhension. La solution innovante que nous proposons consiste à utiliser un torse humanoïde équipé de deux bras manipulateurs munis de préhenseurs adaptés à la saisie d'objets de taille et de masse différentes. La principale contribution porte sur la conception d'une loi de commande hybride Force/Position-Position avec commutations, estimation du glissement de l'objet, prise en compte de la compliance et correction de la force de serrage pendant la manipulation. Cette solution suppose d'assurer la collaboration entre les deux bras manipulateurs et de s'adapter à l'environnement matériel et humain (cobotique). / In logistics warehouses, automation in the sense of robotization is frequently being employed to cut down production times by efficiently managing the processes of picking heavy loads, place, pack and palletize, while reducing the risks and errors to improve the working conditions of human operators along the way. The flexibility of human is fundamental for order preparation owing to adaptive skills for task variation, but at the same time increasing productivity is complemented with fatigue (musculoskeletal disorders). In this context the research presented in this thesis is a contribution in the robotization of palletization operations requiring exceptional versatility of manipulation and gripping. We have proposed an innovative solution of utilizing a humanoid torso equipped with two manipulator arms with adaptive grippers to grasp and hold the objects of variable size and mass. The main contribution of research is the development of a hybrid Force / Position-Position control law with commutation and estimation of the object surface slip, while taking into account the compliance and correction of the clamping force during handling. The execution of the control involves the collaboration of the two arms for coordinated manipulation and adaptation to the material and the human environment (cobotics).

Les moyens numériques ont transformé les pratiques en architecture notamment en facilitant la continuité des flux d’information entre la conception et la fabrication. À travers ce mémoire, nous explorons les contributions possibles de ces moyens dans un contexte de pénurie d’artisans et de perte de savoir-faire artisanaux en architecture. Nous nous sommes appuyés sur les modèles de la tectonique informée pour la conception à base des matériaux, documentés par R. Oxman (2014), qui regroupent un ensemble d’approches et d’outils numériques, afin d’étudier, dans un premier temps, les apports et limites de ces derniers à partir de plusieurs cas expérimentaux; c’est-à-dire expérimental. Ainsi, nous avons pu identifier certains savoir-faire artisanaux dont le déclin est possiblement compensable par les moyens numériques. Dans un deuxième temps, nous avons décelé les contributions des moyens numériques dans un projet à partir de l’analyse des exemples de la construction de la Sagrada Familia et la restauration du parlement canadien à Ottawa. Les principaux résultats de notre recherche sont : • Nous avons distingué que la modélisation paramétrique est plus adaptée au processus de conception tandis que la modélisation à base de relevés est plus appropriée pour la production des répliques. • Les outils numériques de fabrication permettent d’employer plusieurs types de matériaux. Elles assurent une rapidité et une précision dans la réalisation des artéfacts. Cependant, l’intervention des artisans demeure incontournable dans la majorité des cas. Les moyens numériques ont un grand potentiel pour compenser la perte des savoir-faire artisanaux et pour développer de nouveaux processus créatifs. Toutefois, à ce jour, ils se limitent au rôle d’assistants et devraient être perfectionnés. / Digital tools have transformed the architectural practices due to the information flow continuity between design and manufacturing. Through this these, we explore their possible contributions in the context of artisans’ shortage and craft skills’ losses in architecture. We relied on informed tectonic models of materials based design, documented by R. Oxman (2014), which combines a variety of digital approaches and tools to study their contributions and limits based on multiple case studies. Thus, we identified some craft skills whose decline is possibly compensated by digital tools. Then, we analyzed the digital tools’ contributions in a project based on the Sagrada Familia and Canadian parliament examples. The main results of our research are: • Digital in architecture is based on digital models. The parametric approach is more suited to design process while models based on lasergrammetry and photogrammetry surveys are more appropriate for replica production. • Digital manufacturing tools allow the use of several materials types. Similarly, they provide speed and accuracy. However, the artisans’ participation remains unavoidable in most cases. Digital media have great potential to overcome the craft skills’ loss and even exploit them in new creative processes. However, to date, they are limited to the role of assistants and should be perfected.

Les systèmes de dialogues sont à même de révolutionner l'interaction entre l'homme et la machine. Pour autant, les efforts pour concevoir des agents conversationnels se sont souvent révélés infructueux, et ceux, malgré les dernières avancées en apprentissage profond et par renforcement. Les systèmes de dialogue palissent de devoir opérer sur de nombreux domaines d'application mais pour lesquels aucune mesure d'évaluation claire n'a été définie. Aussi, cette thèse s'attache à étudier les dialogues débouchant sur un objectif clair (goal-oriented dialogue) permettant de guider l'entrainement, et ceci, dans des environnements multimodaux. Plusieurs raisons expliquent ce choix : (i) cela contraint le périmètre de la conversation, (ii) cela introduit une méthode d'évaluation claire, (iii) enfin, l'aspect multimodal enrichie la représentation linguistique en reliant l'apprentissage du langage avec des expériences sensorielles. En particulier, nous avons développé GuessWhat?! (Qu-est-ce donc?!), un jeu imagé coopératif où deux joueurs tentent de retrouver un objet en posant une série de questions. Afin d’apprendre aux agents de répondre aux questions sur les images, nous avons développés une méthode dites de normalisation conditionnée des données (Conditional Batch Nornalization). Ainsi, cette méthode permet d'adapter simplement mais efficacement des noyaux de convolutions visuels en fonction de la question en cours. Enfin, nous avons étudié les tâches de navigation guidée par dialogue, et introduit la tâche Talk the Walk (Raconte-moi le Chemin) à cet effet. Dans ce jeu, deux agents, un touriste et un guide, s'accordent afin d'aider le touriste à traverser une reconstruction virtuelle des rues de New-York et atteindre une position prédéfinie. / While dialogue systems have the potential to fundamentally change human-machine interaction, developing general chatbots with deep learning and reinforce-ment learning techniques has proven difficult. One challenging aspect is that these systems are expected to operate in broad application domains for which there is not a clear measure of evaluation. This thesis investigates goal-oriented dialogue tasks in multi-modal environments because it (i) constrains the scope of the conversa-tion, (ii) comes with a better-defined objective, and (iii) enables enriching language representations by grounding them to perceptual experiences. More specifically, we develop GuessWhat, an image-based guessing game in which two agents cooper-ate to locate an unknown object through asking a sequence of questions. For the subtask of visual question answering, we propose Conditional Batch Normalization layers as a simple but effective conditioning method that adapts the convolutional activations to the specific question at hand. Finally, we investigate the difficulty of dialogue-based navigation by introducing Talk The Walk, a new task where two agents (a “tourist” and a “guide”) collaborate to have the tourist navigate to target locations in the virtual streets of New York City.