Les robots sont tout près d'arriver chez nous. Mais avant cela, ils doivent acquérir la capacité d'interagir physiquement avec les humains, de manière sûre et efficace. De telles capacités sont indispensables pour qu'il puissent vivre parmi nous, et nous assister dans diverses tâches quotidiennes, comme porter une meuble. Dans cette thèse, nous avons pour but de doter le robot humanoïde bipède HRP-2 de la capacité à effectuer des actions haptiques en commun avec l'homme. Dans un premier temps, nous étudions comment des dyades humains collaborent pour transporter un objet encombrant. De cette étude, nous extrayons un modèle global de primitives de mouvement que nous utilisons pour implémenter un comportement proactif sur le robot HRP-2, afin qu'il puisse effectuer la même tâche avec un humain. Puis nous évaluons les performances de ce schéma de contrôle proactif au cours de tests utilisateurs. Finalement, nous exposons diverses pistes d'évolution de notre travail: la stabilisation d'un humanoïde à travers l'interaction physique, la généralisation du modèle de primitives de mouvements à d'autres tâches collaboratives et l'inclusion de la vision dans des tâches collaboratives haptiques. / Robots are very close to arrive in our homes. But before doing so, they must master physical interaction with humans, in a safe and efficient way. Such capacities are essential for them to live among us, and assit us in various everyday tasks, such as carrying a piece of furniture. In this thesis, we focus on endowing the biped humanoid robot HRP-2 with the capacity to perform haptic joint actions with humans. First, we study how human dyads collaborate to transport a cumbersome object. From this study, we define a global motion primitives' model that we use to implement a proactive behavior on the HRP-2 robot, so that it can perform the same task with a human. Then, we assess the performances of our proactive control scheme by perfoming user studies. Finally, we expose several potential extensions to our work: self-stabilization of a humanoid through physical interaction, generalization of the motion primitives' model to other collaboratives tasks and the addition of visionto haptic joint actions.

La robotique collaborative a pour vocation d'assister physiquement l'opérateur dans ses tâches quotidiennes. Les deux partenaires qui composent un tel système possèdent des atouts complémentaires : physique pour le robot versus cognitif pour l'opérateur. Cette combinaison offre ainsi de nouvelles perspectives d'applications, notamment pour la réalisation de tâches non automatisables. Dans cette thèse, nous nous intéressons à une application particulière qui est l'assistance à la manipulation de pièces de grande taille lorsque la tâche à réaliser et l'environnement sont inconnus du robot. La manutention de telles pièces est une activité quotidienne dans de nombreux domaines et dont les caractéristiques en font une problématique à la fois complexe et critique. Nous proposons une stratégie d'assistance pour répondre à la problématique de contrôle simultané des points de saisie du robot et de l'opérateur liée à la manipulation de pièces de grandes dimensions, lorsque la tâche n'est pas connue du robot. Les rôles du robot et de l'opérateur dans la réalisation de la tâche sont distribués en fonction de leurs compétences relatives. Alors que l'opérateur décide du plan d'action et applique la force motrice qui permet de déplacer la pièce, le robot détecte l'intention de mouvement de l'opérateur et bloque les degrés de liberté qui ne correspondent pas au mouvement désiré. De cette façon, l'opérateur n'a pas à contrôler simultanément tous les degrés de liberté de la pièce. Les problématiques scientifiques relatives à l'interaction physique homme-robot abordées dans cette thèse se décomposent en trois grandes parties : la commande pour l'assistance, l'analyse du canal haptique et l'apprentissage lors de l'interaction. La stratégie développée s'appuie sur un formalisme unifié entre la spécification des assistances, la commande du robot et la détection d'intention. Il s'agit d'une approche modulaire qui peut être utilisée quelle que soit la commande bas niveau imposée dans le contrôleur du robot. Nous avons mis en avant son intérêt au travers de tâches différentes réalisées sur deux plateformes robotiques : un bras manipulateur et un robot humanoïde bipède. / Collaborative robotics aims at physically assisting humans in their daily tasks.The system comprises two partners with complementary strengths : physical for the robot versus cognitive for the operator. This combination provides new scenarios of application such as the accomplishment of difficult-to-automate tasks. In this thesis, we are interested in assisting the human operator to manipulate bulky parts while the robot has no prior knowledge of the environment and the task. Handling such parts is a daily activity in manyareas which is a complex and critical issue. We propose a new strategy of assistances to tackle the problem of simultaneously controlling both the grasping point of the operator and that of the robot. The task responsibilities for the robot and the operator are allocated according to their relative strengths. While the operator decides the plan and applies the driving force, the robot detects the operator's intention of motion and constrains the degrees of freedom that are useless to perform the intended motion. This way, the operator does not have to control all the degrees of freedom simultaneously. The scientific issues we deal with are split into three main parts : assistive control, haptic channel analysis and learning during the interaction.The strategy is based on a unified framework of the assistances specification, robot control and intention detection. This is a modular approach that can be applied with any low-level robot control architecture. We highlight its interest through manifold tasks completed with two robotics platforms : an industrial arm manipulator and a biped humanoid robot.

abstract: Object manipulation is a common sensorimotor task that humans perform to interact with the physical world. The first aim of this dissertation was to characterize and identify the role of feedback and feedforward mechanisms for force control in object manipulation by introducing a new feature based on force trajectories to quantify the interaction between feedback- and feedforward control. This feature was applied on two grasp contexts: grasping the object at either (1) predetermined or (2) self-selected grasp locations (“constrained” and “unconstrained”, respectively), where unconstrained grasping is thought to involve feedback-driven force corrections to a greater extent than constrained grasping. This proposition was confirmed by force feature analysis. The second aim of this dissertation was to quantify whether force control mechanisms differ between dominant and non-dominant hands. The force feature analysis demonstrated that manipulation by the dominant hand relies on feedforward control more than the non-dominant hand. The third aim was to quantify coordination mechanisms underlying physical interaction by dyads in object manipulation. The results revealed that only individuals with worse solo performance benefit from interpersonal coordination through physical couplings, whereas the better individuals do not. This work showed that naturally emerging leader-follower roles, whereby the leader in dyadic manipulation exhibits significant greater force changes than the follower. Furthermore, brain activity measured through electroencephalography (EEG) could discriminate leader and follower roles as indicated power modulation in the alpha frequency band over centro-parietal areas. Lastly, this dissertation suggested that the relation between force and motion (arm impedance) could be an important means for communicating intended movement direction between biological agents. / Dissertation/Thesis / Doctoral Dissertation Biomedical Engineering 2017

By investigating the existing prototyping tools and emerging technological paradigms, this thesis contributes a new flow-based visual programming software called Glue which makes prototyping physical interactions and connected experiences easier for designers without a strong technical background. With overwhelming new technologies and interconnected disciplines, more designers learn technical know-how and build technical prototypes to better explore and evaluate concepts. However, most existing prototyping tools are still engineering-oriented and their ways of introducing programming and electronics can be intimidating for non-specialists. The aim of this thesis project has been to rethink prototyping tools and to bridge the gap between design tools and the new physical and digital hybrid design context. As a result, Glue is proposed and developed to offer an alternative way to create a program by manipulating logics graphically. With visible flows and real-time feedback, designers can learn, understand and create program intuitively. The smartphone integration allows beginners to set up flexible architectures and mimic connected experience easily. Glue also provides powerful ways to explore invisible behaviours across time and possibilities.

This study explores the design space of motocross within Human-Computer Interaction with focus on warning riders of danger while practicing unsupervised. Using autobiographical design, the aim was to investigate mechanisms and modalities suitable for motocross where the environment, tracks, physical and mental load on the riders were some of the challenges faced. With basis in research within other sports and a domain expert focus group, a prototype was developed and iterated over a period of three months using the author and recruited participants as riders. The process was documented using a diary. The study concluded that using the helmet as mounting point was effective due to not being intrusive for the riders and no track alterations were needed to implement the system for real use. Visual feedback using light mounted under the visor showed to be unreliable due to sun interference, while sound created by vibrations on the top of the helmet shown to be suitable for warning motocross riders. Using visual and auditory modalities together, the light was concluded to be efficient as an information display when attention was brought to the rider by the vibration sound. / Denna studie utforskar designrymden (eng. design space) för motocross inom människa-datorinteraktion med fokus på att varna motocrossförare om faror när träning sker utan tillsyn. Genom att använda en självbiografisk metod var syftet att utforska mekanismer och modaliteter för motocross där den extrema miljön, banorna och den fysiska och mentala påfrestningen på förarna är några av utmaningarna. Med grund i relaterad forskning inom andra sporter och en expertfokusgrupp, utvecklades och utvärderades en prototyp över tre månader där författaren tillsammans med rekryterade deltagare var testförare. Processen dokumenterades med en testdagbok. Att placera prototypen på hjälmens ovansida visades vara effektivt då förare inte uppfattade prototypen som störande och banorna behövde inte förändras för att implementera systemet. Visuella varningar med ljus under hjälmens skärm visades vara opålitligt på grund av solens påverkan, medan ljud skapade genom vibrationer på hjälmens ovansida visades vara effektivt för att varna motocrossförare. Genom att använda den visuella och auditiva modaliteten tillsammans kunde ljus användas som information, då förarens uppmärksamhet påkallades genom vibrationsljudet.

This study was conducted in the Indian state Kerala, among 15 physical education (PE) teachers. The aim of this study was to investigate intergenerational touch in the daily work of Indian PE teachers, and more precisely whether or not the teachers thought intergenerational touch was an issue and what their views on this subject were. The data was generated through semi-structured interviews with teachers from Keralan primary, secondary and upper-secondary schools. Collected data was analysed by using Michel Foucault’s theoretical concepts of discourse, power/knowledge, bio-power, governmentality, normalisation and panopticism. The study identifies a number of different discourses, in which physical interaction emerged as a dilemma for Indian PE teachers. Two of the most distinct ones were, what we refer to as, the “no touch”- and “risk”-discourses. Based on the findings of this study we conclude that the gender of the PE teacher plays a crucial role in whether a teacher choose to physically interact with their students or not. Societal norms have a great influence on PE teachers’ actions concerning intergenerational touch, which in this context cohere around no touch.

Forests cover 30% of the Earth’s surface area, but most of the tree canopy reaches up to tens of meters above the ground, making it challenging to explore, and thus our knowledge of it is very limited. To help scientists further grasp the biological information in the tree canopy and sample the tree branches, we need a control algorithm that can land drones on branches with different flexibility. Because the flexibility of branches is unpredictable before landing, conventional model-based control methods are not up to the task. For this reason, we developed a reinforcement learning-based landing strategy. By controlling the UAV, interacting with different flexible branches in the simulation to collect data, and then applying the PPO and SAC algorithms for training, we obtained a control strategy that can land the UAV on arbitrarily flexible branches. Finally, the control algorithm is verified in the simulation. / Skogarna täcker 30% av jordens yta, men det mesta av trädkronorna når upp till tiotals meter över marken, vilket gör det svårt att utforska dem, och därför är vår kunskap om dem mycket begränsad. För att hjälpa forskarna att ytterligare förstå den biologiska informationen i trädkronorna och ta prover från trädgrenarna behöver vi en kontrollalgoritm som kan landa drönare på grenar med olika flexibilitet. Eftersom grenarnas flexibilitet är oförutsägbar före landning klarar konventionella modellbaserade styrmetoder inte uppgiften. Därför har vi utvecklat en förstärkningsinlärningsbaserad landningsstrategi. Genom att styra drönaren, interagera med olika flexibla grenar i simuleringen för att samla in data och sedan tillämpa PPO- och SAC-algoritmerna för träning fick vi en kontrollstrategi som kan landa drönaren på godtyckligt flexibla grenar. Slutligen verifieras kontrollalgoritmen i simuleringen.

Les robots ont amélioré les industries, en particulier les systèmes d'assemblage basé sur des conveyors et ils ont le potentiel pour apporter plus de bénéfices: transports; exploration de zones dangereuses, mer profonde et même d'autres planètes; santé et dans la vie courante.Une barrière majeure pour leur évasion des environnements industriels avec des enceintes vers des environnements partagés avec les humains, c'est leur capacité réduite dans les tâches d’interaction physique, inclue la manipulation d'objets.Tandis que la dextérité de la manipulation n'est pas affectée par la cécité dans les humains, elle décroit énormément pour les robots: ils sont limités à des environnements statiques, mais le monde réel est très changeant. Dans cette thèse, nous proposons une approche différente qui considère le contrôle du contact pendant les interaction physiques entre un robot et l'environnement.Néanmoins, les approches actuelles pour l'interaction physique sont pauvres par rapport au numéro de tâches qu'elles peuvent exécuter. Pour permettre aux robots d'exécuter plus de tâches, nous dérivons des caractéristiques tactiles représentant les déformations de la surface molle d'un capteur tactile et nous incorporons ces caractéristiques dans le contrôleur d'un robot à travers des matrices de mapping tactile basées sur les informations tactiles et sur les tâches à développer.Dans notre première contribution, nous montrons comment les algorithmes de traitement d'images peuvent être utilisés pour découvrir la structure tridimensionnelle subjacente du repère de contact entre un objet et une matrice de capteurs de pression avec une surface molle attachée à l’effecteur d'un bras robotique qui interagit avec cet objet. Ces algorithmes obtiennent comme sorties les soi-disant caractéristiques tactiles. Dans notre deuxième contribution, nous avons conçu un contrôleur qui combine ces caractéristiques tactiles avec un contrôleur position-couple du bras robotique.Il permet à l'effecteur du bras déplacer le repère du contact d'une manière désirée à travers la régulation d'une erreur dans ces caractéristiques. Finalement, dans notre dernière contribution,avec l'addition d'une couche de description des tâches, nous avons étendu ce contrôleur pour adresser quatre problèmes communs dans la robotique: exploration, manipulation, reconnaissance et co-manipulation d'objets.Tout au long de cette thèse, nous avons mis l'accent sur le développement d'algorithmes qui marchent pas simplement avec des robots simulés mais aussi avec de robots réels. De cette manière, toutes ces contributions ont été évaluées avec des expériences faites avec au moins un robot réel. En général, ce travail a comme objectif de fournir à la communauté robotique un cadre unifié qui permet aux bras robotique d'être plus dextres et autonomes. Des travaux préliminaires ont été proposés pour étendre ce cadre au développement de tâches qui impliquent un contrôle multi-contact avec des mains robotiques multi-doigts. / Robots have improved industry processes, most recognizably in conveyor-belt assemblysystems, and have the potential to bring even more benefits to our society in transportation,exploration of dangerous zones, deep sea or even other planets, health care and inour everyday life. A major barrier to their escape from fenced industrial areas to environmentsco-shared with humans is their poor skills in physical interaction tasks, includingmanipulation of objects. While the dexterity in manipulation is not affected by the blindnessin humans, it dramatically decreases in robots. With no visual perception, robotoperations are limited to static environments, whereas the real world is a highly variantenvironment.In this thesis, we propose a different approach that considers controlling contact betweena robot and the environment during physical interactions. However, current physicalinteraction control approaches are poor in terms of the range of tasks that can beperformed. To allow robots to perform more tasks, we derive tactile features representingdeformations of the mechanically compliant sensing surface of a tactile sensor andincorporate these features to a robot controller via touch-dependent and task-dependenttactile feature mapping matrices.As a first contribution, we show how image processing algorithms can be used todiscover the underlying three dimensional structure of a contact frame between an objectand an array of pressure sensing elements with a mechanically compliant surfaceattached onto a robot arm’s end-effector interacting with this object. These algorithmsobtain as outputs the so-called tactile features. As a second contribution, we design a tactileservoing controller that combines these tactile features with a position/torque controllerof the robot arm. It allows the end-effector of the arm to steer the contact frame ina desired manner by regulating errors in these features. Finally, as a last contribution, weextend this controller by adding a task description layer to address four common issuesin robotics: exploration, manipulation, recognition, and co-manipulation of objects.Throughout this thesis, we make emphasis on developing algorithms that work notonly with simulated robots but also with real ones. Thus, all these contributions havebeen evaluated in experiments conducted with at least one real robot. In general, thiswork aims to provide the robotics community with a unified framework to that will allowrobot arms to be more dexterous and autonomous. Preliminary works are proposedfor extending this framework to perform tasks that involve multicontact control withmultifingered robot hands.

Les robots intégrés aux chaînes de production sont généralement isolés des ouvriers et ne prévoient pas d'interaction physique avec les humains. Dans le futur, le robot humanoïde deviendra un partenaire pour vivre ou travailler avec les êtres humains. Cette coexistence prévoit l'interaction physique et sociale entre le robot et l'être humain. En robotique humanoïde les futurs progrès dépendront donc des connaissances dans les mécanismes cognitifs présents dans les interactions interpersonnelles afin que les robots interagissent avec les humains physiquement et socialement. Un bon exemple d'interaction interpersonnelle est l'acte de la poignée de la main qui possède un rôle social très important. La particularité de cette interaction est aussi qu'elle est basée sur un couplage physique et social qui induit une synchronisation des mouvements et des efforts. L'intérêt d'étudier la poignée de main pour les robots consiste donc à élargir leurs propriétés comportementales pour qu'ils interagissent avec les humains de manière plus habituelle.Cette thèse présente dans un premier chapitre un état de l'art sur les travaux dans les domaines des sciences humaines, de la médecine et de la robotique humanoïde qui sont liés au phénomène de la poignée de main. Le second chapitre, est consacré à la nature physique du phénomène de poignée de main chez l'être humain par des mesures quantitatives des mouvements. Pour cela un système de mesures a été construit à l'Université Nationale Technique de Donetsk (Ukraine). Il est composé d'un gant instrumenté par un réseau de capteurs portés qui permet l'enregistrement des vitesses et accélérations du poignet et les forces aux points de contact des paumes, lors de l'interaction. Des campagnes de mesures ont permis de montrer la présence d'un phénomène de synchronie mutuelle précédé d'une phase de contact physique qui initie cette synchronie. En tenant compte de cette nature rythmique, un contrôleur à base de neurones rythmiques de Rowat-Selverston, intégrant un mécanisme d'apprentissage de la fréquence d'interaction, est proposé et etudié dans le troisième chapitre pour commander un bras robotique. Le chapitre quatre est consacré aux expériences d'interaction physique homme/robot. Des expériences avec un bras robotique Katana montrent qu'il est possible d'apprendre à synchroniser la rythmicité du robot avec celle imposée par une per-sonne lors d'une poignée de main grâce à ce modèle de contrôleur bio-inspiré. Une conclusion générale dresse le bilan des travaux menés et propose des perspectives. / Automated production lines integrate robots which are isolated from workers, so there is no physical interaction between a human and robot. In the near future, a humanoid robot will become a part of the human environment as a companion to help or work with humans. The aspects of coexistence always presuppose physical and social interaction between a robot and a human. In humanoid robotics, further progress depends on knowledge of cognitive mechanisms of interpersonal interaction as robots physically and socially interact with humans. An illustrative example of interpersonal interaction is an act of a handshake that plays a substantial social role. The particularity of this form of interpersonal interaction is that it is based on physical and social couplings which lead to synchronization of motion and efforts. Studying a handshake for robots is interesting as it can expand their behavioral properties for interaction with a human being in more natural way. The first chapter of this thesis presents the state of the art in the fields of social sciences, medicine and humanoid robotics that study the phenomenon of a handshake. The second chapter is dedicated to the physical nature of the phenomenon between humans via quantitative measurements. A new wearable system to measure a handshake was built in Donetsk National Technical University (Ukraine). It consists of a set of several sensors attached to the glove for recording angular velocities and gravitational acceleration of the hand and forces in certain points of hand contact during interaction. The measurement campaigns have shown that there is a phenomenon of mutual synchrony that is preceded by the phase of physical contact which initiates this synchrony. Considering the rhythmic nature of this phenomenon, the controller based on the models of rhythmic neuron of Rowat-Selverston, with learning the frequency during interaction was proposed and studied in the third chapter. Chapter four deals with the experiences of physical human-robot interaction. The experimentations with robot arm Katana show that it is possible for a robot to learn to synchronize its rhythm with rhythms imposed by a human during handshake with the proposed model of a bio-inspired controller. A general conclusion and perspectives summarize and finish this work.

This work is focused on physical interactions of negatively charged polymers with small ionogenic fluorescent molecules. Trying to verify the presence of these interactions using fluorescence correlation spectroscopy (FCS) and provides a comprehensive view of the problem. The aim of this work is to observe the effect of concentration on the diffusion properties. P/D ratio, where P represents number of polymer binding sites and D number of dye binding sites, was chosen for this issue. Hyaluronate, sodium chondroitin sulfate and sodium polystyrene sulfonace were used as polymers and Acridine Orange, and Rhodamine 6G were chosen as fluorescent probes. The reason why this experiment uses these probes, was the assumption, that the positive charge occuring on the fluorescent probe will lead to the electrostatic interaction with the negatively charged polymer. As a result, the bond between acridine orange and polyelectrolyte was not clearly demonstrated, but the interaction with Rhodamine 6G have been proved.