Cette thèse se concentre sur les interactions émotionnelles en robotique autonome. Le robot doit pouvoir agir et réagir dans un environnement naturel et faire face à des perturbations imprédictibles. Il est donc nécessaire que le robot puisse acquérir une autonomie comportementale à savoir la capacité d'apprentissage et d'adaptation en ligne. En particulier, nous nous proposons d'étudier quels mécanismes introduire pour que le robot ait la capacité de se constituer une perception des objets de son environnement qui puisse être partagée par celle d'un partenaire humain. Le problème sera de faire apprendre à notre robot à préférer certains objets et à éviter d'autres objets. La solution peut être trouvée en psychologie dans ce que l'on appelle "référencement social" ("social referencing") qui consiste à attribuer une valeur à un objet grâce à l'interaction avec un partenaire humain. Dans ce contexte, notre problème est de trouver comment un robot peut apprendre de manière autonome à reconnaître les expressions faciales d'un partenaire humain pour ensuite les utiliser pour donner une valence aux objets et permettre leur discrimination.Nous nous intéresserons à comprendre comment des interactions émotionnelles avec un partenaire peuvent amorcer des comportements de complexité croissante tel que le référencement social. Notre idée est que le référencement social aussi bien que la reconnaissance d'expressions faciales peut émerger d'une architecture sensori-motrice. Sans connaissance de ce que l'autre est, le robot devrait réussir à apprendre des tâches "sociales" de plus en plus complexes. Nous soutenons l'idée que le référencement social peut être amorcé par une simple cascade d'architectures sensori-motrices qui à la base ne sont pas dédiées aux interactions sociales.Cette thèse traite de plusieurs sujets qui ont comme dénominateur commun l'interaction sociale. Nous proposons tout d'abord une architecture capable d'apprendre à reconnaître de manière autonome des expressions faciales primaires grâce à un jeu d'imitation entre une tête expressive et un expérimentateur.Les interactions avec le dispositif robotique commençeraient par l'apprentissage de 5 expressions faciales prototypiques. Nous proposons ensuite une architecture capable de reproduire des mimiques faciales ainsi que leurs différents niveaux d'intensité. La tête expressive pourra reproduire des expressions secondaires par exemple une joie mêlée de colère. Nous verrons également que la discrimination de visages peut émerger de cette interaction émotionnelle à l'aide d'une rythmicité implicite qui se crée entre l'homme et le robot. Enfin, nous proposerons un modèle sensori-moteur ayant la capacité de réaliser un référencement social. Trois situations ont pu être testées: 1) un bras robotique capable d'attraper et de fuir des objets selon les interactions émotionnelles venant du partenaire humain. 2) un robot mobile capable de rejoindre ou d'éviter certaines zones de son environnement. 3) une tête expressive capable d'orienter son regard dans la même direction que l'humain tout en attribuant des valeurs émotionnelles aux objets via l'interaction expressive de l'expérimentateur.Nous montrons ainsi qu'une séquence développementale peut émerger d'une interaction émotionnelle de très bas niveau et que le référencement social peut s'expliquer d'abord à un niveau sensori-moteur sans nécessiter de faire appel à un modèle de théorie de l'esprit. / My thesis focuses on the emotional interaction in autonomous robotics. The robot must be able to act and react in a natural environment and cope with unpredictable pertubations. It is necessary that the robot can acquire a behavioral autonomy, that is to say the ability to learn and adapt on line. In particular, we propose to study what are the mechanisms to introduce so that the robot has the ability to perceive objects in the environment and in addition they can be shared by an experimenter. The problem is to teach the robot to prefer certain objects and avoid other objects. The solution can be found in psychology in the social referencing. This ability allows to associate a value to an object through emotional interaction with a human partner. In this context, our problem is how a robot can autonomously learn to recognize facial expressions of a human partner and then use them to give a emotional valence to objects and allow their discrimination. We focus on understanding how emotional interaction with a partner can bootstrap behavior of increasing complexity such as social referencing. Our idea is that social referencing as well as the recognition of facial expressions can emerge from a sensorimotor architecture. We support the idea that social referencing may be initiated by a simple cascade of sensorimotor architectures which are not dedicated to social interactions. My thesis underlines several topics that have a common denominator: social interaction. We first propose an architecture which is able to learn to recognize facial expressions through an imitation game between an expressive head and an experimenter. The robotic head would begin by learning five prototypical facial expressions. Then, we propose an architecture which can reproduce facial expressions and their different levels of intensity. The robotic head can reproduce expressive more advanced for instance joy mixed with anger. We also show that the face detection can emerge from this emotional interaction thanks to an implicit rhythm that is created between human partner and robot. Finally, we propose a model sensorimotor having the ability to achieve social referencing. Three situations have been tested: 1) a robotic arm is able to catch and avoid objects as emotional interaction from the human partner. 2) a mobile robot is able to reach or avoid certain areas of its environment. 3) an expressive head can orient its gaze in the same direction as humans and addition to associate emotional values to objects according tothe facial expressions of experimenter. We show that a developmental sequence can merge from emotional interaction and that social referencing can be explained a sensorimotor level without needing to use a model theory mind.

Contrairement aux robots conventionnels, les robots continuums ne possèdent ni de liaisons discrètes, ni de corps rigides. Leur courbure est continue, similaire à celle des trompes ou des tentacules animales. Le développement de ce type de robots pour les applications médicales soulève plusieurs problèmes : optimisation de la conception, modélisation cinématique, choix des capteurs et commande en temps réel. Les techniques actuelles pour la modélisation des robots continuums ne tiennent pas compte les incertitudes inhérentes au système. La prise en compte de ces incertitudes est d'une importance cruciale pour la certification de tels robots utilisés pour les gestes chirurgicaux. Dans cette thèse, nous considérons un micro robot continuum à 3 actionneurs. Ce robot a été développé au laboratoire LISSI pour le traitement des anévrismes de l'aorte abdominale par chirurgie mini-invasive. Dans ce type de chirurgie, il est important de disposer d'un modèle cinématique garanti du robot continuum prenant en compte différents types d'incertitudes. Pour traiter ce problème, nous utilisons les techniques d'analyse par intervalles. Ces techniques permettent de résoudre des problèmes d'optimisation globale sous contraintes tout en prenant en compte des incertitudes aussi bien aléatoires que systématiques. La contribution de cette thèse porte sur la proposition d'un modèle cinématique d'un robot continuum prenant en compte des incertitudes liées à différents facteurs comme les erreurs d'arrondis, les erreurs paramétriques et les erreurs dues aux hypothèses de modélisation. Tout d'abord, nous développons les modèles géométriques direct et inverse du robot continuum sous forme de solutions de formes fermées. Ces solutions sont utilisées pour caractériser les différentes propriétés du robot comme la manipulabilité. Pour calculer la cinématique inverse garantie et optimale, nous appliquons une version améliorée de l'algorithme par séparation et évaluation (Branch and Bound). En considérant l'orientation du robot, la cinématique inverse est ramenée à la formulation et à la résolution par intervalles d'un problème d'optimisation sous contraintes. Les approches proposées sont validées par des simulations. Les résultats de cette thèse constituent un cadre général pour la modélisation garantie de la classe des robots continuums dont la forme est décrite par des actionneurs en flexion continue / Unlike conventional robots, continuum robots do not contain any rigid link or any rotational joint but present a continuous bending in the structure through smooth motion. Development of this class of robot for their medical application presents a common set of problems : optimization of design, kinematic modeling, sensing choice, and their control in real time. Existing techniques for the modeling of continuum robots do not take system uncertainties into account. A proper handling of these uncertainties becomes of crucial importance for the certification of such robots used as medical devices. For our research, we consider a continuum robot that has been developed for the treatment of aortic aneurysm by Minimal Invasive Surgery (MIS), in LISSI Lab. In the context of MIS, it is very important to develop a guaranteed kinematic model of robot taking into account the different types of un-certainties. To handle this problem, we use the techniques of interval analysis. These techniques are capable of performing the global optimization and solving CSPs while taking into account the different uncertainties ; no matter, whether these uncertainties are random or systematic. Contribution of this thesis is proposal of a continuum robot's kinematic model that can take system uncertainties due to different factors such as rounding errors, parametric errors, and errors due to modeling assumptions. Initially, we develop the forward and inverse kinematics of the continuum robot in closed-form formulas. These derived formulas are used for the characterization of different properties of the robot such as manipulability. To find optimized guaranteed kinematics, we retained and applied an enhanced version of branch and bound algorithm. The inverse kinematics was formulated and resolved as a constrained optimization problem for robot's orientation. The proposed approaches are validated through simulations. The results of this thesis give rise to a general framework that is valid to handle the system uncertainties for the entire class of continuum robot that are shaped by continuously bending actuators

Dans cette thèse nous nous intéressons à deux types d'approches pour la planification de pas pour robots humanoïdes : d'une part les approches discrètes où le robot n'a qu'un nombre fini de pas possibles, et d'autre part les approches où le robot se base sur des zones de faisabilité continues. Nous étudions ces problèmes à la fois du point de vue théorique et pratique. En particulier nous décrivons deux méthodes originales, cohérentes et efficaces pour la planification de pas, l'une dans le cas discret (chapitre 5) et l'autre dans le cas continu (chapitre 6). Nous validons ces méthodes en simulation ainsi qu'avec plusieurs expériences sur le robot HRP-2. / In this thesis we investigate two types of approaches for footstep planning for humanoid robots: on one hand the discrete approaches where the robot has only a finite set of possible steps, and on the other hand the approaches where the robot uses continuous feasibility regions. We study these problems both on a theoretical and practical level. In particular, we describe two original, coherent and efficient methods for footstep planning, one in the discrete case (chapter 5), and one in the continuous case (chapter 6). We validate these methods in simulation and with several experiments on the robot HRP-2.

Les robots légers utilisés pour la télé-échographie robotisée permettent, à l'expert médical, d'orienter à distance une sonde ultrasonore 2D. L'analyse en temps réel de l'image ultrasonore du patient, reçue via un lien de communication, permet à l'expert de définir un diagnostic. Les validations cliniques du concept de télé-échographie robotisée montrent qu'il est ainsi possible de pallier le manque d'experts en ultrasonographie sur des sites médicalement isolés. Le robot porte-sonde est positionné et maintenu sur le corps du patient par un assistant à partir des informations communiquées par le spécialiste via visioconférence. Cependant, la faible masse du robot, le fait qu'il soit maintenu par un assistant sur le corps du patient et les mouvements physiologiques du patient provoquent des perturbations dans la position de la sonde et engendrent ainsi des pertes des sections d'intérêt des organes étudiés. Les travaux de cette thèse ont consisté à développer une approche par asservissement visuel basé sur les moments d'image ultrasonore 2D. Le calcul des moments 2D étant basé sur les points du contour de la section d'intérêt, un algorithme de traitement d'images efficace est nécessaire pour détecter et suivre le contour d'intérêt en mouvement. Pour cela, une méthode de contour actif paramétrique basée sur les descripteurs de Fourier est présentée. Les lois de commandes correspondant à trois tâches autonomes autorisant la recherche et le maintien de visibilité d'un organe lors de l'acte médical télé-opéré sont implémentées et validées sur la plateforme robotique du projet ANR Prosit. / The light weight robots used for robotized tele-echography allow the medical expert to remotely operate a 2D-ultrasound probe. The real-time analysis of the patient's ultrasound images, received via a standard communication link, provides the expert with relevant information to define a diagnosis. The clinical validations of the robotized tele-echography concept show that it is possible to overcome the lack of sonographers in medically isolated sites. The robot probe-holder is usually positioned and held on the patient's body by a paramedical staff based on information provided by the specialist via videoconferencing. However, the small mass of the robot, the fact that it is held by an assistant on the patient's body and the patient's physiological movements cause disturbances in the position of the probe ; this thus can generate a loss of the region of interest of the organ being under investigation during the teleoperated medical act. This thesis work focuses on the development of a visual servoing approach based on 2D ultrasound image moments. 2D moments calculation is based on the contour points of the image section of interest, therefore an image-processing algorithm is needed to effectively detect and follow the contour of interest in motion. For this reason, a parametric active contour method based on Fourier descriptors is presented. The control laws, corresponding to three independent autonomous tasks to search and maintain the visibility of an organ within a given ultrasound plane during the tele-operated medical act are implemented and validated on robotic platform project ANR Prosit.

Cette thèse décrit une partie du travail effectué dans le cadre du projet européen Symbrion 1 . Ce projet vise à la réalisation de tâches complexes nécessitant la coopération de multiples robots dans un cadre de robotique en essaim (au moins 100 robots opérant ensemble). De multiples problèmes sont étudiés par le projet dont : l’auto-assemblage de robots en structures complexes et l’auto-organisation d’un grand nombre de robots afin de réaliser une tâche commune. Le principal sujet porte sur les mécanismes d’auto-adaptation pour la robotique modulaire et en essaim, avec un intérêt pour des capacités de forte coordination et de coopération à l’échelle de l’essaim.Les difficultés rencontrées dans la réalisation de ce projet sont dues à l’utilisation de robots dans des environnements ouverts restant inconnus jusqu’à la phase de déploiement. Puisque les conditions d’opérations ne peuvent être prédites à l’avance, des algorithmes d’apprentissage en ligne doivent être utilisés pour élaborer les comportements utilisés. Lorsqu’un grand nombre de robots sont utilisés, plusieurs considérations doivent être prise en compte : capacité de communication réduite, faible mémoire, faible capacité de calcul. Par conséquent les algorithmes d’apprentissage en ligne doivent être distribués à travers l’essaim.De multiples approches ont déjà été proposées pour faire face aux problèmes posés par l’apprentissage en ligne décentralisé de comportements robotiques, parmi lesquels la robotique probabiliste, l’apprentissage par renforcement, et la robotique évolutionnaire. Cependant, le problème abordé dans le cadre de cette thèse se caractérise par le fait que l’on considère un groupe de robots (en lieu et place d’un seul et unique robot). De plus, dû à la nature ouverte de l’environnement, il n’est pas possible de supposer que l’ingénieur humain ait les connaissances nécessaires pour définir les éléments indispensables aux processus d’apprentissage.Assurer l’intégrité de l’essaim est placé en tant que premier élément d’une feuille de route visant à définir un ensemble d’étapes nécessaires à la réalisation d’une tâche par un groupe de robot dans un environnement ouvert :– Étape 1 : Assurer l’intégrité de l’essaim.– Étape 2 : Maintenir les robots disponibles en tant que service à l’utilisateur.– Étape 3 : Réaliser la tâche définie par l’utilisateur.Dans le cadre de cette thèse nous travaillons à la réalisation de l’étape 1 de cette feuille de route, et assumons l’hypothèse de travail suivante :Hypothèse de travail : Dans un cadre de robotique collective en environnement ouvert, la réalisation d’une tâche définie par l’utilisateur implique tout d’abord un comportement auto-adaptatif.Le sujet de cette thèse est la réalisation de solutions algorithmiques décentralisées pouvant garantir l’in- tégrité d’un essaim de robots en environnement ouvert lorsque un système robotique collectif utilise une communication locale. La principale difficulté à sa résolution est le besoin de prendre en compte l’envi- ronnement. En effet, en fonction de l’environnement courant, les robots peuvent avoir à démontrer une grande variété de comportements à l’échelle globale comme la coopération, la spécialisation, l’altruisme, ou la division du travail.Dans cette thèse nous introduisons et définissons le problème de l’Adaptation Evolutionnaire Distribuée Guidée par l’Environnement. Nous proposons un algorithme pour résoudre ce problem. Cet algorithme a été validé aussi bien en simulation que sur des robots réels. Il a été utilisé pour étudier le problème de l’auto-adaptation dans les environnements suivants :– Environnement où l’émergence de consensus comportementaux est nécessaire.– Environnements où la robustesse face à des changements environnementaux est nécessaires.– Environnements où des comportements altruistes sont nécessaires. / Cette thèse décrit une partie du travail effectué dans le cadre du projet européen Symbrion 1 . Ce projet vise à la réalisation de tâches complexes nécessitant la coopération de multiples robots dans un cadre de robotique en essaim (au moins 100 robots opérant ensemble). De multiples problèmes sont étudiés par le projet dont : l’auto-assemblage de robots en structures complexes et l’auto-organisation d’un grand nombre de robots afin de réaliser une tâche commune. Le principal sujet porte sur les mécanismes d’auto-adaptation pour la robotique modulaire et en essaim, avec un intérêt pour des capacités de forte coordination et de coopération à l’échelle de l’essaim.Les difficultés rencontrées dans la réalisation de ce projet sont dues à l’utilisation de robots dans des environnements ouverts restant inconnus jusqu’à la phase de déploiement. Puisque les conditions d’opérations ne peuvent être prédites à l’avance, des algorithmes d’apprentissage en ligne doivent être utilisés pour élaborer les comportements utilisés. Lorsqu’un grand nombre de robots sont utilisés, plusieurs considérations doivent être prise en compte : capacité de communication réduite, faible mémoire, faible capacité de calcul. Par conséquent les algorithmes d’apprentissage en ligne doivent être distribués à travers l’essaim.De multiples approches ont déjà été proposées pour faire face aux problèmes posés par l’apprentissage en ligne décentralisé de comportements robotiques, parmi lesquels la robotique probabiliste, l’apprentissage par renforcement, et la robotique évolutionnaire. Cependant, le problème abordé dans le cadre de cette thèse se caractérise par le fait que l’on considère un groupe de robots (en lieu et place d’un seul et unique robot). De plus, dû à la nature ouverte de l’environnement, il n’est pas possible de supposer que l’ingénieur humain ait les connaissances nécessaires pour définir les éléments indispensables aux processus d’apprentissage.Assurer l’intégrité de l’essaim est placé en tant que premier élément d’une feuille de route visant à définir un ensemble d’étapes nécessaires à la réalisation d’une tâche par un groupe de robot dans un environnement ouvert :– Étape 1 : Assurer l’intégrité de l’essaim.– Étape 2 : Maintenir les robots disponibles en tant que service à l’utilisateur.– Étape 3 : Réaliser la tâche définie par l’utilisateur.Dans le cadre de cette thèse nous travaillons à la réalisation de l’étape 1 de cette feuille de route, et assumons l’hypothèse de travail suivante :Hypothèse de travail : Dans un cadre de robotique collective en environnement ouvert, la réalisation d’une tâche définie par l’utilisateur implique tout d’abord un comportement auto-adaptatif.Le sujet de cette thèse est la réalisation de solutions algorithmiques décentralisées pouvant garantir l’in- tégrité d’un essaim de robots en environnement ouvert lorsque un système robotique collectif utilise une communication locale. La principale difficulté à sa résolution est le besoin de prendre en compte l’envi- ronnement. En effet, en fonction de l’environnement courant, les robots peuvent avoir à démontrer une grande variété de comportements à l’échelle globale comme la coopération, la spécialisation, l’altruisme, ou la division du travail.Dans cette thèse nous introduisons et définissons le problème de l’Adaptation Evolutionnaire Distribuée Guidée par l’Environnement. Nous proposons un algorithme pour résoudre ce problem. Cet algorithme a été validé aussi bien en simulation que sur des robots réels. Il a été utilisé pour étudier le problème de l’auto-adaptation dans les environnements suivants :– Environnement où l’émergence de consensus comportementaux est nécessaire.– Environnements où la robustesse face à des changements environnementaux est nécessaires.– Environnements où des comportements altruistes sont nécessaires.

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets valides / The increasing number of elderly in the world reveals today new societal challenges, particularly in terms of healthcare and assistance services. With recent advances in technology, robotics appears as a promising solution to develop systems that improve the living conditions of this aging population. This thesis aims at proposing and validating an approach for robust control of an active orthosis, based on the subject intention. This orthosis is designed to assist flexion/ extension movements of the knee for people suffering from knee joint deficiencies. The proposed second order sliding mode control allows to take into account the nonlinearities and parametric uncertainties resulting from the dynamics of the equivalent lower limb-orthosis system. It also ensures on one hand, a good tracking performance of the desired trajectory imposed by the therapist or the subject itself, and on the second hand, a satisfactory robustness with respect to external disturbances that may occur during flexion and extension of the knee joint. In this thesis, a neural model based on Multi-Layer Perceptron is used to estimate the subject's intention from the measurement of the EMG signals characterizing the voluntary activities of the quadriceps muscle group. This approach overcomes the complex modeling of the muscular activation and contraction dynamics. All the proposed approaches in this thesis have been validated experimentally with the voluntary participation of several healthy subjects

Ce projet de recherche, intitulé Téléopération d'un robot collaboratif par outil haptique traite un des problèmes contemporains de la robotique, à savoir la coopération entre l'humain et la machine. La robotique est en pleine expansion depuis maintenant deux décennies: les robots investissent de plus en plus l'industrie, les services ou encore l'assistance à la personne et se diversifient considérablement. Ces nouvelles tendances font sortir les robots des cages dans lesquelles ils étaient placés et ouvrent grand la porte vers de nouvelles applications. Parmi elles, la coopération et les interactions avec l'humain représentent une réelle opportunité pour soulager l'homme dans des tâches complexes, fastidieuses et répétitives. En parallèle de cela, la robotique moderne s'oriente vers un développement massif du domaine humanoïde. Effectivement, plusieurs expériences sociales ont montré que l'être humain, constamment en interaction avec les systèmes qui l'entourent, a plus de facilités à contribuer à la réalisation d'une tâche avec un robot d'apparence humaine plutôt qu'avec une machine. Le travail présenté dans ce projet de recherche s'intègre dans un contexte d'interaction homme-robot (IHR) qui repose sur la robotique humanoïde. Le système qui en découle doit permettre à un utilisateur d'interagir efficacement et de façon intuitive avec la machine, tout en respectant certains critères, notamment de sécurité. Par une mise en commun des compétences respectives de l'homme et du robot humanoïde, les interactions sont améliorées. En effet, le robot peut réaliser une grande quantité d'actions avec précision et sans se fatiguer, mais n'est pas nécessairement doté d'une prise de décision adaptée à la situation, contrairement à l'homme qui est capable d'ajuster son comportement naturellement ou en fonction de son expérience. En d'autres termes, ce système cherche à intégrer le savoir-faire et la capacité de réflexion humaine avec la robustesse, l'efficacité et la précision du robot. Dans le domaine de la robotique, le terme d'interaction intègre également la notion de contrôle. La grande majorité des robots reçoit des commandes machines qui sont généralement des consignes de trajectoire, qu'ils sont capables d'interpréter. Or, plusieurs interfaces de contrôle sont envisageables, notamment celles utilisant des outils haptiques, qui permettent à un utilisateur d'avoir un ressenti et une perception tactile. Ces outils comme tous ceux qui augmentent le degré de contrôle auprès de l'utilisateur, en ajoutant un volet sensoriel, sont parfaitement adaptés pour ce genre d'applications. Dans ce projet, deux outils haptiques sont assemblés puis intégrés à une interface de contrôle haptique dans le but de commander le bras d'un robot humanoïde. Ainsi, l'homme est capable de diriger le robot tout en ajustant ses commandes en fonction des informations en provenance des différents capteurs du robot, qui lui sont retranscrites visuellement ou sensoriellement.

Les contributions de la thèse sont centrées sur la prise de décisions séquentielles et plus spécialement sur l'Apprentissage par Renforcement (AR). Prenant sa source de l'apprentissage statistique au même titre que l'apprentissage supervisé et non-supervisé, l'AR a gagné en popularité ces deux dernières décennies en raisons de percées aussi bien applicatives que théoriques. L'AR suppose que l'agent (apprenant) ainsi que son environnement suivent un processus de décision stochastique Markovien sur un espace d'états et d'actions. Le processus est dit de décision parce que l'agent est appelé à choisir à chaque pas de temps du processus l'action à prendre. Il est dit stochastique parce que le choix d'une action donnée en un état donné n'implique pas le passage systématique à un état particulier mais définit plutôt une distribution sur l'espace d'états. Il est dit Markovien parce que cette distribution ne dépend que de l'état et de l'action courante. En conséquence d'un choix d'action, l'agent reçoit une récompense. Le but de l'AR est alors de résoudre le problème d'optimisation retournant le comportement qui assure à l'agent une récompense maximale tout au long de son interaction avec l'environnement. D'un point de vue pratique, un large éventail de problèmes peuvent être transformés en un problème d'AR, du Backgammon (cf. TD-Gammon, l'une des premières grandes réussites de l'AR et de l'apprentissage statistique en général, donnant lieu à un joueur expert de classe internationale) à des problèmes de décision dans le monde industriel ou médical. Seulement, le problème d'optimisation résolu par l'AR dépend de la définition préalable d'une fonction de récompense adéquate nécessitant une expertise certaine du domaine d'intérêt mais aussi du fonctionnement interne des algorithmes d'AR. En ce sens, la première contribution de la thèse a été de proposer un nouveau cadre d'apprentissage, allégeant les prérequis exigés à l'utilisateur. Ainsi, ce dernier n'a plus besoin de connaître la solution exacte du problème mais seulement de pouvoir désigner entre deux comportements, celui qui s'approche le plus de la solution. L'apprentissage se déroule en interaction entre l'utilisateur et l'agent. Cette interaction s'articule autour des trois points suivants : i) L'agent exhibe un nouveau comportement ii) l'expert le compare au meilleur comportement jusqu'à présent iii) l'agent utilise ce retour pour mettre à jour son modèle des préférences puis choisit le prochain comportement à démontrer. Afin de réduire le nombre d'interactions nécessaires entre l'utilisateur et l'agent pour que ce dernier trouve le comportement optimal, la seconde contribution de la thèse a été de définir un critère théoriquement justifié faisant le compromis entre les désirs parfois contradictoires de prendre en compte les préférences de l'utilisateur tout en exhibant des comportements suffisamment différents de ceux déjà proposés. La dernière contribution de la thèse est d'assurer la robustesse de l'algorithme face aux éventuelles erreurs d'appréciation de l'utilisateur. Ce qui arrive souvent en pratique, spécialement au début de l'interaction, quand tous les comportements proposés par l'agent sont loin de la solution attendue. / The thesis contributions resolves around sequential decision taking and more precisely Reinforcement Learning (RL). Taking its root in Machine Learning in the same way as supervised and unsupervised learning, RL quickly grow in popularity within the last two decades due to a handful of achievements on both the theoretical and applicative front. RL supposes that the learning agent and its environment follow a stochastic Markovian decision process over a state and action space. The process is said of decision as the agent is asked to choose at each time step an action to take. It is said stochastic as the effect of selecting a given action in a given state does not systematically yield the same state but rather defines a distribution over the state space. It is said to be Markovian as this distribution only depends on the current state-action pair. Consequently to the choice of an action, the agent receives a reward. The RL goal is then to solve the underlying optimization problem of finding the behaviour that maximizes the sum of rewards all along the interaction of the agent with its environment. From an applicative point of view, a large spectrum of problems can be cast onto an RL one, from Backgammon (TD-Gammon, was one of Machine Learning first success giving rise to a world class player of advanced level) to decision problems in the industrial and medical world. However, the optimization problem solved by RL depends on the prevous definition of a reward function that requires a certain level of domain expertise and also knowledge of the internal quirks of RL algorithms. As such, the first contribution of the thesis was to propose a learning framework that lightens the requirements made to the user. The latter does not need anymore to know the exact solution of the problem but to only be able to choose between two behaviours exhibited by the agent, the one that matches more closely the solution. Learning is interactive between the agent and the user and resolves around the three main following points: i) The agent demonstrates a behaviour ii) The user compares it w.r.t. to the current best one iii) The agent uses this feedback to update its preference model of the user and uses it to find the next behaviour to demonstrate. To reduce the number of required interactions before finding the optimal behaviour, the second contribution of the thesis was to define a theoretically sound criterion making the trade-off between the sometimes contradicting desires of complying with the user's preferences and demonstrating sufficiently different behaviours. The last contribution was to ensure the robustness of the algorithm w.r.t. the feedback errors that the user might make. Which happens more often than not in practice, especially at the initial phase of the interaction, when all the behaviours are far from the expected solution.

L’utilisation de robots collaboratifs dans l’industrie de production est en plein essor. Ces robots, dont la puissance est limitée, sont dotés de capteurs leur permettant de détecter la présence d’obstacles, afin de garantir la sécurité des humains se trouvant aux alentours. On s’intéresse dans cette thèse à l’utilisation de systèmes redondants, collaboratifs et mobiles (bras articulés montés sur plateformes mobiles), dans un environnement de production aéronautique peuplé d’humains, pour la réalisation d’opérations d’assemblage. Du point de vue des process, l’utilisation de ces systèmes, souvent beaucoup moins imposants et rigides que leurs homologues non collaboratifs, est jalonnée de défis. La grande souplesse mécanique et les faibles couples qui les caractérisent peuvent induire des imprécisions de positionnement et une incapacité à soutenir l’intensité d’une interaction physique. Ce contexte induit également un besoin d’autonomie de ces systèmes, qui sont amenés à travailler dans des environnements en perpétuelle évolution. Dans cette thèse, une formulation de la redondance cinématique est d’abord présentée. Le formalisme associé permet de simplifier l’exploitation de la liberté que ces systèmes possèdent sur le choix des postures à utiliser pour réaliser des tâches de placement statique de l’effecteur. Ce formalisme est ensuite exploité pour améliorer et caractériser le comportement en déformation et la capacité d’application d’efforts des systèmes redondants sériels. Enfin, le sujet de la planification des mouvements de systèmes robotisés dans un environnement dynamique et encombré est considéré. La solution présentée adapte l’algorithme bien connu des Probabilistic RoadMaps pour y inclure une anticipation des trajectoires des obstacles dynamiques. Cette solution permet de planifier des mouvements sécuritaires, peu intrusifs et efficaces, jusqu’à la destination. / Industrial applications involving collaborative robots are regarded with a growing interest. These power-limited systems are embedded with additional sensing capabilities, which allow them to safely work around humans and conquer new industrial grounds. The subject of managing redundant, collaborative and mobile systems, for assembly operations within a human-populated aircraft production environment, is addressed in this thesis. From a process perspective, the use of these smaller and less stiff counterparts of the non-collaborative robots comes with new challenges. Their high mechanical flexibility and weak actuation can cause shortcomings in positioning accuracy or for interaction force sustainment. The ever-changing nature of human-populated environments also requires highly autonomous solutions. In this thesis, a formulation of positional redundancy is presented. It aims at simplifying the exploitation of the freedom redundant manipulators have on static-task-fulfilling postures. The associated formalism is then exploited to characterise and improve the deformational behaviour and the force capacity of redundant serial systems. Finally, the subject of planning motions within cluttered and dynamic environments is addressed. An adaptation of the well-known Probabilistic RoadMaps method is presented – to which obstacles trajectories anticipation has been included. This solution allows to plan safe, efficient and non-intrusive motions to a given destination.

La cobotique est un domaine émergeant qui offre de nouvelles perspectives pour améliorer la performance des entreprises et la santé des hommes au travail, en alliant l'expertise et les capacités cognitives des opérateurs aux atouts des robots. Dans cette thèse la cobotique est positionnée comme le domaine de la collaboration homme-robot. Nous définissons les systèmes cobotiques comme des systèmes au sein desquels l'homme et le robot interagissent pour réaliser une tâche commune.Cette thèse d'ingénierie robotique a été réalisée en binôme avec Théo Moulières-Seban, doctorant en cognitique. Ces deux thèses Cifre ont été menées avec Safran et ArianeGroup qui ont reconnu la cobotique comme stratégique pour le développement de leur compétitivité. Pour étudier et développer les systèmes cobotiques, nous avons proposé conjointement une approche méthodologique interdisciplinaire appliquée à l'industrie et validée par nos encadrants académiques. Cette approche offre une place centrale à l'intégration des futurs utilisateurs dans la conception, à travers l'analyse de leur activité de travail et la réalisation de simulations participatives. Nous avons déployé cette démarche pour répondre à différents besoins industriels concrets chez ArianeGroup.Dans cette thèse, nous détaillons la conception d'un système cobotique pour améliorer la santé et la sécurité des opérateurs sur le poste de nettoyage des cuves de propergol. Les opérations réalisées sur ce poste sont difficiles physiquement et présentent un risque pyrotechnique. Conjointement avec l'équipe projet ArianeGroup, nous avons proposé un système cobotique de type téléopération pour conserver l'expertise des opérateurs tout en les plaçant en sécurité pendant la réalisation des opérations pyrotechniques. Cette solution est en cours d'industrialisation dans la perspective de la production du propergol des fusées Ariane.L'application de notre démarche d'ingénierie des systèmes cobotiques sur une variété de postes de travail et de besoins industriels nous a permis de l'enrichir avec des outils opérationnels pour guider la conception. Nous prévoyons que la cobotique soit une des clés pour replacer l'homme au cœur des moyens de production dans le cadre de l'Usine du futur. Réciproquement, l'intégration des opérateurs dans les projets de conception sera déterminante pour assurer la performance et l'acceptation des futurs systèmes cobotiques. / Human Robot Collaboration provides new perspectives to improve companies' performance and operators' working conditions, by bringing together workers expertise and adaptation capacity with robots' power and precision. In this research, we introduce the concept of "cobotic system", in which humans and robots -- with possibly different roles -- interact, sharing a common purpose of solving a task.This robotic engineering PhD thesis has been completed as a team with the cognitive engineer Théo Moulières-Seban. Both PhD thesis were conducted under the leadership of Safran and ArianeGroup, which have recognized Human Robot Collaboration has strategic for their industrial performance. Together, we proposed the "cobotic system engineering": a cross-disciplinary approach for cobotic system design. This approach was applied to several industrial needs within ArianeGroup.In this thesis, we detail the design of a cobotic system to improve operators' health and safety on the "tank cleaning" workstation. We have proposed a teleoperation cobotic system to keep operators' expertise while placing them in a safe place to conduct operations. This solution is now under an industrialization phase for the production of Ariane launch vehicles.We argue that thanks to their flexibility, their connectivity to modern workshops' technological ecosystem and their ability to take humans into account, cobotic systems will be one of the key parts composing the Industry 4.0.