À l'aube de la quatrième révolution industrielle, la comanipulation robotique est une technologie clé tant elle allie la dextérité de l'opérateur humain à la puissance de la machine. Ce partage de tache entre humain et la machine, en sus dans un environnement incertain et inconnu à l'avance, apporte un lot de difficultés intrinsèques à la nature de cette interaction. Cette problématique a été intensivement étudiée durant les vingt dernières années, par diverses équipes de recherches, le plus souvent sur des dispositifs à un seul degré de liberté et avec des hypothèses fortes sur la nature du contrôleur. Dans la présente thèse, nous traitons la problématique de la comanipulation robotique à travers la commande Hoo structurée, cadre de travail particulièrement adapté aux systèmes multivariables et pouvant être étendu à une certaine classe de systèmes non linéaires – les robots manipulateurs en font partie – à travers une modélisation linéaire à paramètres variants (LPV). Les exigences de performance et de stabilité propres aux systèmes de comanipulation sont exprimées en termes de contraintes Hoo et de conditions de secteurs à respecter. Les objectifs de commande ainsi formalisés, sont résolus par optimisation non lisse afin de tirer profit des structures particulières des contrôleurs de robots de comanipulation. La validation de la méthodologie est réalisée par des simulations intensives et des expérimentations sur des dispositifs réels. / At the dawn of the fourth industrial revolution, robotic comanipulation is a key technology as it combines the dexterity of the human operator with the power of the machine. This task sharing between human and machine, in an uncertain and previously unknown environment, brings a lot of intrinsic difficulties to the nature of this interaction. This problem has been intensively studied over the last two decades by various research teams, mostly on devices with a single degree of freedom and with strong hypotheses about the controller structure. In this thesis, we deal with the problem of robotic comanipulation through the scope of the structured Hoo control, a framework particularly adapted to multivariable systems and which can be extended to a certain class of non-linear systems – manipulating robots are part of it – through linear parameter varying (LPV) models. The performance and stability requirements specific to comanipulation systems are expressed in terms of Hoo constraints and sector bounds. The control objectives thus formalised are solved by non-smooth optimization in order to take advantage of the particular structures of the comanipulation robot controllers. The validity of the methodology is carried out by intensive simulations and experiments on real devices.

La robotique collaborative a pour vocation d'assister physiquement l'opérateur dans ses tâches quotidiennes. Les deux partenaires qui composent un tel système possèdent des atouts complémentaires : physique pour le robot versus cognitif pour l'opérateur. Cette combinaison offre ainsi de nouvelles perspectives d'applications, notamment pour la réalisation de tâches non automatisables. Dans cette thèse, nous nous intéressons à une application particulière qui est l'assistance à la manipulation de pièces de grande taille lorsque la tâche à réaliser et l'environnement sont inconnus du robot. La manutention de telles pièces est une activité quotidienne dans de nombreux domaines et dont les caractéristiques en font une problématique à la fois complexe et critique. Nous proposons une stratégie d'assistance pour répondre à la problématique de contrôle simultané des points de saisie du robot et de l'opérateur liée à la manipulation de pièces de grandes dimensions, lorsque la tâche n'est pas connue du robot. Les rôles du robot et de l'opérateur dans la réalisation de la tâche sont distribués en fonction de leurs compétences relatives. Alors que l'opérateur décide du plan d'action et applique la force motrice qui permet de déplacer la pièce, le robot détecte l'intention de mouvement de l'opérateur et bloque les degrés de liberté qui ne correspondent pas au mouvement désiré. De cette façon, l'opérateur n'a pas à contrôler simultanément tous les degrés de liberté de la pièce. Les problématiques scientifiques relatives à l'interaction physique homme-robot abordées dans cette thèse se décomposent en trois grandes parties : la commande pour l'assistance, l'analyse du canal haptique et l'apprentissage lors de l'interaction. La stratégie développée s'appuie sur un formalisme unifié entre la spécification des assistances, la commande du robot et la détection d'intention. Il s'agit d'une approche modulaire qui peut être utilisée quelle que soit la commande bas niveau imposée dans le contrôleur du robot. Nous avons mis en avant son intérêt au travers de tâches différentes réalisées sur deux plateformes robotiques : un bras manipulateur et un robot humanoïde bipède. / Collaborative robotics aims at physically assisting humans in their daily tasks.The system comprises two partners with complementary strengths : physical for the robot versus cognitive for the operator. This combination provides new scenarios of application such as the accomplishment of difficult-to-automate tasks. In this thesis, we are interested in assisting the human operator to manipulate bulky parts while the robot has no prior knowledge of the environment and the task. Handling such parts is a daily activity in manyareas which is a complex and critical issue. We propose a new strategy of assistances to tackle the problem of simultaneously controlling both the grasping point of the operator and that of the robot. The task responsibilities for the robot and the operator are allocated according to their relative strengths. While the operator decides the plan and applies the driving force, the robot detects the operator's intention of motion and constrains the degrees of freedom that are useless to perform the intended motion. This way, the operator does not have to control all the degrees of freedom simultaneously. The scientific issues we deal with are split into three main parts : assistive control, haptic channel analysis and learning during the interaction.The strategy is based on a unified framework of the assistances specification, robot control and intention detection. This is a modular approach that can be applied with any low-level robot control architecture. We highlight its interest through manifold tasks completed with two robotics platforms : an industrial arm manipulator and a biped humanoid robot.

Les robots sont très largement utilisés dans l’industrie ; une de leurs limites actuelles est celle de la complexité́ des tâches que l'on souhaite les voir accomplir. Celles-là ne peuvent être réalisées sans un haut pouvoir d’adaptation, autrement dit aujourd’hui sans la performance et la plasticité́ de la cognition humaine. La cobotique est récemment apparue comme « le domaine » de la collaboration homme-robot. Elle s’affirme comme perspective pour aider l’homme, l’augmenter, dans la réalisation de tâches complexes pour l’Industrie du Futur.Pour délimiter notre objet d’étude, nous avons ainsi introduit le concept de « système cobotique ». Ce système comprend l’homme et le robot, qui interagissent et peuvent avoir différents rôles, pour réaliser une tâche commune. La conception des systèmes cobotiques doit évidemment prendre en compte les technologies émergentes, mais elle doit surtout intégrer l’homme, grâce à l’analyse de l’activité, à la formalisation des connaissances, et aux simulations participatives. Pour cela, à l’initiative de Safran Group, cette thèse d’ingénierie cognitique a été réalisée en binôme avec un roboticien également doctorant et membre du groupe industriel : David Bitonneau.Ensemble, nous avons proposé une approche interdisciplinaire de conception, appelée l’« ingénierie des systèmes cobotiques ». Cette approche méthodologique, validée à la fois par nos encadrants académiques et industriels, a été expérimentée afin de satisfaire un besoin industriel de la société Ariane Group : le nettoyage des cuves. Nous avons conduit ce projet, de l’analyse du besoin jusqu’à la réalisation d’un prototype qui a été évalué par les opérateurs. L’industrialisation du système est en cours de préparation au moment de la rédaction de cette thèse, avec des perspectives de déploiements sur plusieurs sites.Nous prévoyons que les systèmes cobotiques tels que nous les avons définis, conçus et étudiés, seront une des clés de la compétitivité de l’Industrie du Futur. Elle pourra s’appuyer sur leur flexibilité et leur connectivité à l’écosystème technologique des ateliers 4.0, tout en maintenant la place centrale de l’homme et en considérant celui-là comme acteur premier dans le système. / Nowadays, robots are increasingly used in industrial processes. However, there is an upper bound on the tasks' complexity that industrial robots can execute. Some of these hard tasks can only be completed with a high adaptation capacity: the plasticity of human cognition. Research in Human Robot Collaboration targets the Industry 4.0 where robots will help and augment humans to achieve increasingly complex tasks.In this research, we introduce the concept of “cobotic system”. Such a system considers humans and robots - with possibly different roles - as interacting elements sharing a common purpose of solving a task. Clearly, creation of cobotic systems has to take into account emerging technologies, but it also has to include humans through activity analysis, knowledge formalization, and participative simulations. To do so, under the leadership of Safran Group, this cognitive engineering thesis has been completed as a team with the roboticist David Bitonneau.Together, we proposed the “cobotic system engineering”: a cross-disciplinary approach of cobotic system design. This methodological approach was motivated by an industrial need from Airbus Group: the difficulty of tank cleaning. We tackled this project from needs analysis to the creation of a prototype evaluated by actual operators. Additionally, the industrialization of our work is in progress.We argue that thanks to their flexibility, their connectivity to modern workshops' technological ecosystem and their ability to take humans into account, cobotic systems will be one of the key parts composing the Industry 4.0.

La cobotique est un domaine émergeant qui offre de nouvelles perspectives pour améliorer la performance des entreprises et la santé des hommes au travail, en alliant l'expertise et les capacités cognitives des opérateurs aux atouts des robots. Dans cette thèse la cobotique est positionnée comme le domaine de la collaboration homme-robot. Nous définissons les systèmes cobotiques comme des systèmes au sein desquels l'homme et le robot interagissent pour réaliser une tâche commune.Cette thèse d'ingénierie robotique a été réalisée en binôme avec Théo Moulières-Seban, doctorant en cognitique. Ces deux thèses Cifre ont été menées avec Safran et ArianeGroup qui ont reconnu la cobotique comme stratégique pour le développement de leur compétitivité. Pour étudier et développer les systèmes cobotiques, nous avons proposé conjointement une approche méthodologique interdisciplinaire appliquée à l'industrie et validée par nos encadrants académiques. Cette approche offre une place centrale à l'intégration des futurs utilisateurs dans la conception, à travers l'analyse de leur activité de travail et la réalisation de simulations participatives. Nous avons déployé cette démarche pour répondre à différents besoins industriels concrets chez ArianeGroup.Dans cette thèse, nous détaillons la conception d'un système cobotique pour améliorer la santé et la sécurité des opérateurs sur le poste de nettoyage des cuves de propergol. Les opérations réalisées sur ce poste sont difficiles physiquement et présentent un risque pyrotechnique. Conjointement avec l'équipe projet ArianeGroup, nous avons proposé un système cobotique de type téléopération pour conserver l'expertise des opérateurs tout en les plaçant en sécurité pendant la réalisation des opérations pyrotechniques. Cette solution est en cours d'industrialisation dans la perspective de la production du propergol des fusées Ariane.L'application de notre démarche d'ingénierie des systèmes cobotiques sur une variété de postes de travail et de besoins industriels nous a permis de l'enrichir avec des outils opérationnels pour guider la conception. Nous prévoyons que la cobotique soit une des clés pour replacer l'homme au cœur des moyens de production dans le cadre de l'Usine du futur. Réciproquement, l'intégration des opérateurs dans les projets de conception sera déterminante pour assurer la performance et l'acceptation des futurs systèmes cobotiques. / Human Robot Collaboration provides new perspectives to improve companies' performance and operators' working conditions, by bringing together workers expertise and adaptation capacity with robots' power and precision. In this research, we introduce the concept of "cobotic system", in which humans and robots -- with possibly different roles -- interact, sharing a common purpose of solving a task.This robotic engineering PhD thesis has been completed as a team with the cognitive engineer Théo Moulières-Seban. Both PhD thesis were conducted under the leadership of Safran and ArianeGroup, which have recognized Human Robot Collaboration has strategic for their industrial performance. Together, we proposed the "cobotic system engineering": a cross-disciplinary approach for cobotic system design. This approach was applied to several industrial needs within ArianeGroup.In this thesis, we detail the design of a cobotic system to improve operators' health and safety on the "tank cleaning" workstation. We have proposed a teleoperation cobotic system to keep operators' expertise while placing them in a safe place to conduct operations. This solution is now under an industrialization phase for the production of Ariane launch vehicles.We argue that thanks to their flexibility, their connectivity to modern workshops' technological ecosystem and their ability to take humans into account, cobotic systems will be one of the key parts composing the Industry 4.0.

La microrobotique est un domaine de recherche en croissance rapide et les microsystèmes sont très demandés par un large éventail de notre vie. Aujourd’hui, des solutions d'automatisation massive sont déjà disponibles pour la production en série des microsystèmes, tandis que la production de petites quantités s'appuie principalement sur des processus manuels en l'absence de système de micro-manipulation flexible. Un processus manuel impose des contraintes à la productivité et la précision, ce qui accroît les difficultés pour les petites et moyennes entreprises à conquérir leur place sur le marché international. Dans ce contexte, la société pionnière pour la microrobotique Percipio Robotics a proposé une plate-forme cobotique Chronogrip, qui vise à gérer la micro-manipulation flexible. Toutefois, la solution n'est pas encore complète et il y a trois principaux défis à résoudre :• la dynamique de l'actionneur piézo-électrique stick-slip n'est pas entièrement comprise, ce qui retarde le développement des stratégies de suivi de trajectoire;• les interfaces haptiques ont peu de bande passante en raison des propriétés mécaniques, par conséquent il n'y a aucune option disponible qui soit capable de reproduire des informations haptiques de haute dynamique depuis le micromonde;• pour la micro-manipulation à la pince dans l'horlogerie, aucune interface haptique existante n'est en mesure d'assurer un fonctionnement intuitif et efficace.L’objectif de la thèse consiste à répondre à ces trois défis. La première partie de la thèse est consacrée à l'élaboration d'un modèle dynamique non linéaire de l'actionneur piézo-électrique stick-slip. Le résultat montre qu'il est le premier modèle dynamique qui puisse décrire la dynamique de l'actionneur dans des domaines temporels et fréquentiels, pour les fonctionnements en sous-pas et en grand déplacement, et à la fois pour les directions vers l'avant et l’arrière. La deuxième partie de la thèse est consacrée à développer une méthode pour étendre la bande passante d’une interface haptique en double étage en utilisant la technique de signal crossover. Le résultat montre que la bande passante est uniformément étendue à 1 kHz, ce qui rend possible la reproduction des phénomènes de haute dynamique depuis le micromonde. La troisième partie de la thèse vise à concevoir une interface haptique intuitive dédiée aux opérations d’horlogerie à la pince. Le design est également compatible avec l'utilisation conventionnelle d’une pince. Il est prévu d'intégrer tous les résultats de ces trois sujets de recherches dans la plate-forme de cobotique Chronogrip afin d’améliorer la productivité et l'efficacité de la micro-manipulation. / Microrobotics is a fast growing field of research and microsystems are in high demand from across a wide spectrum of our life. Nowadays, mass automation solutions are already available for large batch production of microsystems, while small batch production mainly relies on handmade processes due to the lack of flexible micro-manipulation system. Handmade processes have limited productivity and accuracy, which makes it more and more difficult for small and medium-sized enterprises to conquer their place on the international market. Under such circumstances, pioneer microrobotics company Percipio Robotics has proposed a desktop cobotic platform, Chronogrip, which aims to handle flexible micro-manipulation. However, the solution is not yet complete and there are three main challenges to resolve:• the dynamics of the piezoelectric stick-slip actuator is not fully understood, which delays the development of trajectory tracking strategies;• existing haptic interfaces have limited bandwidth due to their mechanical properties, consequently there is no available option that is able to render high dynamic haptic information from the microworld;• for tweezers-based micro-manipulation in watchmaking process, no existing haptic interface is able to provide intuitive and effective operation.The objective of thesis is to address these three issues. The first part of the thesis is dedicated to the development of nonlinear dynamic model of the piezoelectric stick-slip actuator. The result shows that it is the first dynamic model which can describe the actuator dynamics in time and frequency domain, for stepping and scanning mode, and for both forward and backward motion. The second part of the thesis is devoted to develop a method to extend the bandwidth of dual-stage haptic interface by using the signal crossover technique. The result shows that the bandwidth is uniformly extended to 1 kHz, which makes it possible to reproduce high dynamic phenomena from the microworld. The third part of the thesis aims to design an intuitive haptic interface for tweezers-based watchmaking operations. The design is also compatible with conventional tweezers-based usage. It is expected to integrate all of the three research results into the cobotic platform Chronogrip to enhance the productivity and effectiveness of micro-manipulation.

Cette thèse se situe à l’intersection de l’apprentissage automatique et de la robotique humanoïde, dans le domaine de la robotique collaborative. Elle se focalise sur les interactions non verbales humain-robot, en particulier sur l’interaction gestuelle. La prédiction de l’intention, la compréhension et la reproduction de gestes sont les questions centrales de cette thèse. Dans un premier temps, le robot apprend des gestes par démonstration : un utilisateur prend le bras du robot et lui fait réaliser les gestes à apprendre plusieurs fois. Le robot doit alors reproduire ces différents mouvements tout en les généralisant pour les adapter au contexte. Pour cela, à l’aide de ses capteurs proprioceptifs, il interprète les signaux perçus pour comprendre le mouvement guidé par l’utilisateur, afin de pouvoir en générer des similaires. Dans un second temps, le robot apprend à reconnaître l’intention de l’humain avec lequel il interagit, à partir des gestes que ce dernier initie. Le robot produit ensuite des gestes adaptés à la situation et correspondant aux attentes de l’utilisateur. Cela nécessite que le robot comprenne la gestuelle de l’utilisateur. Pour cela, différentes modalités perceptives ont été explorées. À l’aide de capteurs proprioceptifs, le robot ressent les gestes de l’utilisateur au travers de son propre corps : il s’agit alors d’interaction physique humain-robot. À l’aide de capteurs visuels, le robot interprète le mouvement de la tête de l’utilisateur. Enfin, à l’aide de capteurs externes, le robot reconnaît et prédit le mouvement corps entier de l’utilisateur. Dans ce dernier cas, l’utilisateur porte lui-même des capteurs (vêtement X-Sens) qui transmettent sa posture au robot. De plus, le couplage de ces modalités a été étudié. D’un point de vue méthodologique, nous nous sommes focalisés sur les questions d’apprentissage et de reconnaissance de gestes. Une première approche permet de modéliser statistiquement des primitives de mouvements representant les gestes : les ProMPs. La seconde, ajoute à la première du Deep Learning, par l’utilisation d’auto-encodeurs, afin de modéliser des gestes corps entier contenant beaucoup d’informations, tout en permettant une prédiction en temps réel mou. Différents enjeux ont notamment été pris en compte, concernant la prédiction des durées des trajectoires, la réduction de la charge cognitive et motrice imposée à l’utilisateur, le besoin de rapidité (temps réel mou) et de précision dans les prédictions / This thesis lies at the intersection between machine learning and humanoid robotics, under the theme of human-robot interaction and within the cobotics (collaborative robotics) field. It focuses on prediction for non-verbal human-robot interactions, with an emphasis on gestural interaction. The prediction of the intention, understanding, and reproduction of gestures are therefore central topics of this thesis. First, the robots learn gestures by demonstration: a user grabs its arm and makes it perform the gestures to be learned several times. The robot must then be able to reproduce these different movements while generalizing them to adapt them to the situation. To do so, using its proprioceptive sensors, it interprets the perceived signals to understand the user's movement in order to generate similar ones later on. Second, the robot learns to recognize the intention of the human partner based on the gestures that the human initiates. The robot can then perform gestures adapted to the situation and corresponding to the user’s expectations. This requires the robot to understand the user’s gestures. To this end, different perceptual modalities have been explored. Using proprioceptive sensors, the robot feels the user’s gestures through its own body: it is then a question of physical human-robot interaction. Using visual sensors, the robot interprets the movement of the user’s head. Finally, using external sensors, the robot recognizes and predicts the user’s whole body movement. In that case, the user wears sensors (in our case, a wearable motion tracking suit by XSens) that transmit his posture to the robot. In addition, the coupling of these modalities was studied. From a methodological point of view, the learning and the recognition of time series (gestures) have been central to this thesis. In that aspect, two approaches have been developed. The first is based on the statistical modeling of movement primitives (corresponding to gestures) : ProMPs. The second adds Deep Learning to the first one, by using auto-encoders in order to model whole-body gestures containing a lot of information while allowing a prediction in soft real time. Various issues were taken into account during this thesis regarding the creation and development of our methods. These issues revolve around: the prediction of trajectory durations, the reduction of the cognitive and motor load imposed on the user, the need for speed (soft real-time) and accuracy in predictions

Le sujet de recherche est dans la continuité des travaux réalisés au cours de mon M2R sur la programmation par démonstration appliqué à la cobotique en milieu industriel. Ce sujet est à la croisée de plusieurs domaines (interaction Humain-Robot, planification automatique, apprentissage artificiel). Il s'agit maintenant d'aller au delà de ces premiers résultats obtenus au cours de mon M2R et de trouver un cadre générique pour la programmation de « cobots » (robots collaboratifs) en milieu industriel. L'approche cobotique consiste à ce qu'un opérateur humain, en tant qu'expert métier directement impliqué dans la réalisation des tâches en ligne, apprenne au robot à effectuer de nouvelles tâches et à utiliser le robot comme assistant « agile ». Dans ce contexte la thèse propose un mode d'apprentissage de type « end-user programming », c'est-à-dire simple et ne nécessitant pas d'être expert en robotique pour programmer le robot industriel Baxter. / The increasing presence of robots in industries has not gone unnoticed.Cobots (collaborative robots) are revolutionising industries by allowing robots to work in close collaboration with humans.Large industrial players have incorporated them into their production lines, but smaller companies hesitate due to high initial costs and the lack of programming expertise.In this thesis we introduce a framework that combines two disciplines, Programming by Demonstration and Automated Planning, to allow users without programming knowledge to program a robot.The user constructs the robot's knowledge base by teaching it new actions by demonstration, and associates their semantic meaning to enable the robot to reason about them.The robot adopts a goal-oriented behaviour by using automated planning techniques, where users teach action models expressed in a symbolic planning language.In this thesis we present preliminary work on user experiments using a Baxter Research Robot to evaluate our approach.We conducted qualitative user experiments to evaluate the user's understanding of the symbolic planning language and the usability of the framework's programming process.We showed that users with little to no programming experience can adopt the symbolic planning language, and use the framework.We further present our work on a Programming by Demonstration system used for organisation tasks.The system includes a goal inference model to accelerate the programming process by predicting the user's intended product configuration.