Dans cette thèse, nous proposons d'intégrer la notion d'habitude comportementale au sein d'une architecture de contrôle robotique, et d'étudier son interaction avec les mécanismes générant le comportement planifié. Les architectures de contrôle robotiques permettent à ce dernier d'être utilisé efficacement dans le monde réel et au robot de rester réactif aux changements dans son environnement, tout en étant capable de prendre des décisions pour accomplir des buts à long terme (Kortenkamp et Simmons, 2008). Or, ces architectures sont rarement dotées de capacités d'apprentissage leur permettant d'intégrer les expériences précédentes du robot. En neurosciences et en psychologie, l'étude des différents types d'apprentissage montre pour que ces derniers sont une capacité essentielle pour adapter le comportement des mammifères à des contextes changeants, mais également pour exploiter au mieux les contextes stables (Dickinson, 1985). Ces apprentissages sont modélisés par des algorithmes d'apprentissage par renforcement direct et indirect (Sutton et Barto, 1998), combinés pour exploiter leurs propriétés au mieux en fonction du contexte (Daw et al., 2005). Nous montrons que l'architecture proposée, qui s'inspire de ces modèles du comportement, améliore la robustesse de la performance lors d'un changement de contexte dans une tâche simulée. Si aucune des méthodes de combinaison évaluées ne se démarque des autres, elles permettent d'identifier les contraintes sur le processus de planification. Enfin, l'extension de l'étude de notre architecture à deux tâches (dont l'une sur robot réel) confirme que la combinaison permet l'amélioration de l'apprentissage du robot. / In this work, we study how the notion of behavioral habit, inspired from the study of biology, can benefit to robots. Robot control architectures allow the robot to be able to plan to reach long term goals while staying reactive to events happening in the environment (Kortenkamp et Simmons, 2008). However, these architectures are rarely provided with learning capabilities that would allow them to acquire knowledge from experience. On the other hand, learning has been shown as an essential abiilty for behavioral adaptation in mammals. It permits flexible adaptation to new contexts but also efficient behavior in known contexts (Dickinson, 1985). The learning mechanisms are modeled as model-based (planning) and model-free (habitual) reinforcement learning algorithms (Sutton et Barto, 1998) which are combined into a global model of behavior (Daw et al., 2005). We proposed a robotic control architecture that take inspiration from this model of behavior and embed the two kinds of algorithms, and studied its performance in a robotic simulated task. None of the several methods for combining the algorithm we studied gave satisfying results, however, it allowed to identify some properties required for the planning process in a robotic task. We extended our study to two other tasks (one being on a real robot) and confirmed that combining the algorithms improves learning of the robot's behavior.

Ma thèse vise à contribuer au développement et l’amélioration de la cinématique de la partie supérieure du robot HYDROïD pour des tâches bi-manuelles, tout en basant sur une étude biomécanique de cette partie chez l’être humain.Pour atteindre notre objectif majeur, ce travail adopte dans un premier temps une nouvelle structure hybride de 4 degrés de liberté (ddl) pour le torse du robot, distribués en 3 ddl au niveau lombaire et un ddl au niveau thoracique. Cette structure était identifiée après une analyse de l’espace de travail d’un modèle multi-corps simulant la colonne vertébrale d’un être humain, et une étude d’optimisation de ce modèle permettant la synthèse de la structure envisagée.Dans un second temps, une amélioration de la cinématique du bras du robot a été mise en place, en introduisant la notion de l’épaule complexe au présente structure. Le choix de ce nouveau degré de liberté était le fruit d’une approche systématique pour augmenter l’anthropomorphisme géométrie du bras souhaité vers un bras humain de la même taille.Les 2 structures proposées ont passé par la suite par la phase de conception mécanique tout en respectant les contraintes géométriques et en se basant sur l’énergie hydraulique comme étant l’énergie d’ actionnement de ces systèmes. Enfin, le Modèle Géometrique Inverse (MGI) pour la solution générique du torse a été établi et son adaptation à notre cas particulier a été identifiée. Une solution optimisée pour ce mécanisme basée sur 2 différents critères a ensuite été donnée. / My thesis aims at contributing to the development and improvement of the upper body of HYDROïD robot for bi-manual tasks, while basing on a bio-mechanical study of this part of the human being. To reach our major goal, this work adopts, at first, a novel hybrid structure of 4 degrees of freedom (DOF) for the trunk of the robot, distributed in three DOF at the lumbar level and one DOF at the thoracic level. This structure was identified after an analysis of the work-space of a multi-body model feigning the vertebral column of a human being, and an optimization study of that model allowing the synthesis of the envisaged structure. Secondly, an improvement of the kinematics of the robor arm was organized, by introducing the notion of the shoulder complex in the present structure. The choice of this new degree of freedom was the fruit of a systematic approach to increase the anthropomorphism geometry of the arm wished towards a humanitarian arm of the same size.The two proposed structures crossed afterward by the mechanical design phase while respecting all the geometrical constraints and by using the hydraulic energy as being the type of actuation of these systems. Finally, the Inverse Geometrical Model (IGM) for the generic solution of the trunk was established and its adaptation to our particular case was identified. An optimized solution for this mechanism based on 2 various criteria was then given.

L'objectif de ce travail est de construire une machine d'essai pour la prothèse. La machine doit être capable de reproduire les mêmes conditions dynamiques et cinématiques appliquées sur la prothèse pendant l'utilisation normale.Le nombre d'amputation et les causes d'amputation ont été recueillis. Différents types de prothèses ont été classés selon la prothèse de jambe par hauteur d'amputation, prothèse passive et active, différenciées par la nature de leur actionneur. La plupart des machines d'essai pour la prothèse ont été étudiées à partir de la prospective technologique et capacitaire. Déterminer toutes les limitations de la plupart des machines d'essai existantes, et les besoins de développer une nouvelle machine pour remplir complètement ces besoins ont été développés.Ensuite, nous avons étudié et analysé la dynamique de la marche et de la course humaines. Les équations du mouvement en prenant en considération les masses et les moments d'inertie des segments squelettiques. La plupart des paramètres de la démarche ont été extraits. En conclusion, nous avons les exigences cinématiques du centre de gravité humain pour générer 6 DOF que la machine d'essai devrait effectuer pour imiter la démarche humaine normale et courir.Trois conceptions ont été proposées pour implanter la machine d'essai; Bras de robot articulé, manipulateur cartésien et Stewart Platform (SP). Après la mise en œuvre des trois solutions, nous avons trouvé la solution la plus appropriée est le SP attaché avec une hanche active artificielle. Nous avons choisi la puissance hydraulique car c'est la technique d'actionnement la plus appropriée pour notre solution, connaissant les forces d'actionnement requises.Pour aider à contrôler le mouvement de SP, une nouvelle solution de modèle géométrique direct pour la planeuse et la plate-forme Stewart 6-6 a été développée en utilisant les capteurs rotatifs au lieu de capteurs de revêtement comme voulu pour les actionneurs hydrauliques. L'analyse de sensibilité a été étudiée pour cette solution, et un calcul analytique pour le calcul de l'espace de travail a également été développé.La conclusion de cette machine d'essai est que nous pouvons créer toute la dynamique du corps humain, c'est-à-dire marcher ou courir ou monter et descendre des escaliers. La solution développée peut porter des procédures d'essai pour la prothèse passive ou active. / The objective of this work is to build a testing machine for prosthesis. The machine should be able to reproduce the same dynamic and kinematics conditions applied on the prosthesis during the normal use.Numbers of amputation, and causes of amputation were collected. Different types of prosthesis were classified according to the leg prosthesis per amputation height, passive and active prosthesis, differentiated by the nature of their actuator. Most of the testing machine for the prosthesis were studied form the technological and capability prospective. Determining all the limitations of most of existing testing machines, and the needs to develop a new machine to full fill these needs were developed.Then we studied and analyzed the dynamics of the human gait and run. The equations of motion by taking into consideration the masses and moments of inertia of skeletal segments. Most of the parameters of gait were extracted. In conclusion, we have the kinematic requirements of the human center of gravity to generate 6 DOF that the testing machine should carry out to emulate the normal human gait and run.Three designs were proposed to implement the testing machine; Articulated robot arm, Cartesian manipulator, and Stewart Platform (SP). After implementing the three solutions we found the most suitable solution is the SP attached with it an artificial active hip. We have chosen the hydraulic power as it is the most suitable actuation technique for our solution knowing the required actuation forces.To help in controlling the SP motion, a novel Closed-form solution of direct Geometric model for planer and 6-6 Stewart Platform using the rotary sensors instead of liner sensors as wanted to the hydraulic actuators was developed. Sensitivity analysis was studied for that solution, and analytical calculation for computing the workspace was also developed.The conclusion from this testing machine is that we can create all the dynamics of the human body, i.e. walking or running or going up and down stairs. The developed solution can carry testing procedures for either passive or active prothesis.

Le corps humain a toujours été une source d’inspiration pour les ingénieurs et les scientifiques de tous les domaines dans le monde entier. L’un des sujets les plus intéressants de la dernière décennie a été les robots humanoïdes. Les robots humanoïdes représentent les systèmes robotiques les plus complexes. Ils offrent une plus grande mobilité dans les terrains accidentés et non structurés que les véhicules à roues normaux. À l’avenir, les robots humanoïdes devraient être employés pour une variété de tâches dangereuses dans des domaines tels que les opérations de sauvetage, l’assistance aux personnes âgées, l’éducation et le déminage humanitaire. Le travail réalisé dans cette thèse est réalisé sur le robot hydraulique humanoïde HYDROïD, un humanoïde à commande hydraulique avec 52 degrés de liberté actifs, conçu pour exécuter des tâches très dynamiques comme la marche, la course et le saut. robot puisque les actionneurs hydrauliques ont un excellent rapport poids/puissance et absorbent naturellement les pics de force d’impact lors des différentes activités. L'objectif de cette thèse est de contribuer au développement des mécanismes robotiques de la cheville et du genou avec une dynamique élevée. Un nouveau mécanisme de cheville est développé afin de pallier les inconvénients des performances réalisées avec l’ancien mécanisme de cheville d'origine. Des taux de fuite et de frottement plus faibles sont obtenus en plus d’une optimisation de pression pour les articulations de la cheville. De plus, une nouvelle solution pour optimiser le poids des actionneurs hydrauliques est appliquée sur le mécanisme du genou du robot.Une telle solution comprend l’utilisation de la technologie des matériaux composites légers pour atteindre un poids et une performance optimisés pour le joint. Afin d’appliquer des méthodologies de contrôle sur les mécanismes de la cheville et du genou, un modèle géométrique inverse pour les deux mécanismes est présenté. Le contrôle de position est utilisé pour contrôler les angles des articulations de la cheville et les mécanismes du genou. Enfin, les conclusions et les perspectives d’avenir sont présentées dans le dernier chapitre. / Human body has always been an inspiration for engineers and scientists from all fields all over the world. One of the most interesting topics in the last decade was humanoid robots. Humanoid robots represent the most complex robotic systems. They provide greater mobility in rough and unstructured terrain than the normal wheeled vehicles. In the future, humanoid robots are expected to be employed for a variety of dangerous tasks in fields like rescue operations, assisting elderly people, education and humanitarian demining. The work achieved in this dissertation is performed on the humanoid hydraulic robot HYDROïD. It is hydraulically actuated humanoid featuring 52 active degrees of freedom and is designed to perform highly dynamic tasks like walking, running and jumping. Hydraulic power was chosen for this robot since hydraulic actuators have an excellent power to weight ratio and naturally absorb impact force peaks during different activities. The objective of this dissertation is to contribute toward the development of ahighly dynamic robotic ankle and knee mechanisms. A new ankle mechanism islooked for in order to tackle the drawbacks raised by the performances achievedwith the original old ankle mechanism. Lower leakage and friction rates areachieved in addition to a pressure optimization for the ankle joints. Moreover, anew solution for optimizing the weight of hydraulic actuators is applied on theknee mechanism of the robot. Such solution includes the usage of light compositematerial technology to achieve optimized weight and performance for the joint.In order to apply control methodologies on the ankle and knee mechanisms,inverse geometrical model for the both mechanism are presented. Position controlis used to control the joints angles of the ankle and the knee mechanisms. Finally,the conclusions and the future perspectives are presented in the last chapter.

L'objectif de ce travail de thèse est de permettre sur le long terme de proposer des interactions sociales personnalisées exploitant l’attirance que les personnes souffrant de Troubles du Spectre Autistique (TSA) ont envers les robots humanoïdes, tels que Nao (Softbank Robotics), afin d’améliorer leurs capacités d’interaction sociale. Trois institutions spécialisées pour personnes atteintes de TSA participent à notre étude : l'IME Notre Ecole et l'IME MAIA, Institut médico-éducatif pour enfants et adolescents atteints de TSA et la Lendemaine, Foyer d’Aide Médicalisée pour adultes atteints de TSA.Les différences inter-individuelles sont très présentes dans les TSA et elles impactent différemment le comportement de chaque individu avec TSA dans sa vie (par exemples la communication, l'attention jointe, ou encore les troubles moteurs, à des degrés différents pour chaque individu), et dans cette étude, durant leur interaction sociale avec un robot.Afin d’envisager à long terme une interaction personnalisée pour chaque participant, une première étape a consisté à définir leur profil sensorimoteur. L'hypothèse qui guide notre étude est que l'intégration des informations visuelles et proprioceptives (perception, consciente ou non, de la position et des changements des différentes parties du corps) d'une personne joue un rôle sur ses capacités sociales. Une personne qui réagit peu aux informations visuelles et qui utilise les informations proprioceptives relatives à ses mouvements ou à la position de son corps de manière exacerbée, aurait plus de difficultés à s’engager et à maintenir une interaction sociale.Les profils sensoriels des participants ont été évalués à l’aide du test du Profil Sensoriel de Dunn et du test sensorimoteur impliquant une scène mobile virtuelle afin d’évaluer leur dépendance visuelle et proprioceptive. L'analyse des données a permis de classer nos participants en trois groupes montrant des comportements différents face aux informations proprioceptives et visuelles, et à leur intégration.Nous avons ensuite étudié les liens entre les profils sensoriels des participants et leurs différents comportements sociaux à travers plusieurs tâches impliquées dans les interactions sociales : (1) reconnaissance d'émotions exprimées par deux robots, un avatar et une personne ; (2) interaction sociale avec le robot Nao sur la salutation ; (3) attention conjointe avec le robot Nao, et (4) imitation avec le robot Nao. Cette dernière tâche a fait l’objet de sessions répétées sur huit semaines (modèle de thérapie sur l'apprentissage et de renforcement de l'imitation pour enfants avec TSA).A travers ces études, nous avons pu observer que les participants ayant une plus forte dépendance à la proprioception et une indépendance au champ visuel ont eu plus de difficultés à interagir avec le robot (moins de regards vers le robot, moins de réponses à l'attention conjointe, plus de difficultés à reconnaitre les émotions, et à imiter un partenaire) que les autres participants.Nous avons pu observer que les sessions avec le robot Nao ont eu un effet bénéfique chez les participants avec TSA. A la suite des sessions répétées avec le robot Nao, les participants ont montré une amélioration de leurs capacités sociales (regard vers le partenaire, imitations) vers un partenaire d'imitation humain.Ces résultats confortent l'idée d'utiliser les profils sensoriels des personnes avec TSA pour leur proposer, dans des recherches futures, des interactions personnalisées avec les robots. / The goal of this thesis is to provide contributions that will help in the long term to enable personalized robot-based social interaction for individuals with Autism Spectrum Disorders (ASD). This work was done in collaboration with three care facilities for people suffering from ASD: IME MAIA (France) and IME Notre Ecole, medical and educative schools for children and teenagers with ASD, and FAM La Lendemaine (France), a medical house for adults with ASD.Inter-individual differences are present in ASD, and impact the behaviors of each individual in their lives, and in this study, during their interactions with a robot.The first step of our work was to propose an appropriate method to define the proprioceptive and visual profiles of each of our participants. We based our work on the hypothesis that the proprioceptive (the ability of an individual to determine body segment positions (i.e., joint position sense and to detect limb movements in space) and visual integration of cues of an individual with ASD is an indicator of their social and communication skills. We posit that a mitigated behavioral response (i.e., hyporeactivity) to visual motion and an overreliance on proprioceptive information are linked in individuals with ASD to their difficulties in integrating social cues and engaging in successful social interactions.We used two methods to define the proprioceptive and visual profile of our participant: a well-known questionnaire on sensory preferences and an experimental setup. With the setup, we were able to observe three different groups of postural behaviors in our participants. Thanks to these individual profiles, we could make assumptions on the behaviors that one can expect from each of our participants during interactions with the robot.We aimed to assess various social skills of our participants in regards to their profiles. We designed three single case studies: (1) emotion recognition with different embodiments (two robots, a virtual agent and a human); (2) a short greeting social task with the robot Nao; and (3) a game evaluating joint attention response to the robot Nao. We also conducted eight weeks-long sessions with an imitation task with Nao.Through these studies, we were able to observe that the participants that display an overreliance on proprioceptive cues and a hyporeactivity to visual cues had more difficulties to interact with the robot (less gaze towards the robot, less answers to joint attention initiation behaviors, more difficulties to recognize emotions and to imitate a partner) than the other participants.We were able to observe that the repeated sessions with the robot Nao were benefic for participants with ASD: after the sessions with the robot Nao, the participants showed an improvement in their social skills (gaze to the partner, imitations).Defining such individual profiles could provide promising strategies for designing successful and adapted Human-Robot Interaction for individuals with ASD.

La plupart des applications robotiques, telles que les véhicules autonomes, sont développées à partir d’une page blanche avec quelques rares réutilisations de conceptions ou de codes issus d’anciens projets équivalents. Qui plus est, les systèmes robotiques deviennent de plus en plus critiques, dans la mesure où ils sont déployés dans des environnements peu structurés, et centrés sur l’humain. Ces systèmes à fort contenu logiciel qui utilisent des composants distribués et hétérogènes interagissent dans un environnement dynamique, et incertain. Or, il s’agit là d’étapes indispensables pour la mise en place de méthodes d’évaluation extensibles, ainsi que pour permettre la réutilisation de composants logiciels pré-existants. Le développement de structures logicielles et d’outils de conception d’architectures, orientés pour la robotique, coûte cher en termes de temps et d’effort, et l’absence d’une approche systématique pourrait conduire à la production de conceptions adhoc, peu flexibles et peu réutilisables. Faire de la meta-structure de l’architecture un point de convergence offre de nouvelles possibilités en termes d’interopérabilité, et de partage de la connaissance, au sein des communautés dédiées à la mise en place d’architectures et de structures. Nous suivons cette direction, en proposant un modèle commun, et en fournissant une approche méthodologique systématique aidant à spécifier les différents aspects du développement d’architectures logicielles, et leurs relations au sein d’une structure partagée. / Most innovative applications having robotic capabilities like self-driving cars are developed from scratch with little reuse of design or code artifacts from previous similar projects. As a result, work at times is duplicated adding time and economic costs. Absence of integrated tools is the real barrier that exists between early adopters of standardization efforts and early majority of research and industrial community. These software intensive systems are composed of distributed, heterogeneous software components interacting in a highly dynamic, uncertain environment. However, no significant systematic software development process is followed in robotics research. The process of developing robotic software frameworks and tools for designing robotic architectures is expensive both in terms of time and effort, and absence of systematic approach may result in ad hoc designs that are not flexible and reusable. Making architecture meta-framework a point of conformance opens new possibilities for interoperability and knowledge sharing in the architecture and framework communities. We tried to make a step in this direction by proposing a common model and by providing a systematic methodological approach that helps in specifying different aspects of software architecture development and their interplay in a framework.

Le sujet de thèse concerne le développement de l'architecture de contrôle et la génération de trajectoire pour un exosquelette évolutif appelé SOL. Les résultats de l'étude biomédicale ont révélé que la progressivité de la maladie pouvait être résolue par une réadaptation précoce et continue tout au long de la croissance. Ainsi, l'importance de l'utilisation d'un exosquelette a un impact positif puisqu'il sert à la fois à la locomotion et à la réhabilitation. Cependant, les exosquelettes actuels ne peuvent pas être adaptés au changement continu de la biomécanique de l'adolescent tout au long de sa croissance. Par conséquent, le besoin de développer un exosquelette évolutif capable de faire face aux besoins croissants est un sujet interdisciplinaire. L'architecture de contrôle d'un tel dispositif évolutif a été abordée dans cette thèse, à la fois dans les développements matériels et logiciels pour incorporer autant que possible la fonctionnalité d'évolutivité. Les étapes initiales ont été franchies en vue d'atteindre l'objectif d'un exosquelette évolutif, en contribuant à la fois aux développements matériels qui permettent d'apporter d'autres améliorations tout au long de l'avancement du projet, et aux développements du firmware, qui ont répondu aux besoins en matière d'évolutivité au niveau du contrôle.L'extensibilité a également été abordée aux trois niveaux hiérarchiques de contrôle. Plus spécifiquement, une attention particulière a été accordée à la génération des trajectoires de référence de la marche pour une population en croissance. Enfin, grâce à la connaissance de la biomécanique du sujet, le contrôleur développé est capable d’identifier les trajectoires appropriées et injecter les trajectoires de référence des actionneurs de l’exosquelette SOL.Un premier prototype de l'exosquelette est utilisé pour manifester les résultats du générateur de marche évolutionnaire (E.G.G.) proposé. Comme premier prototype, un mouvement de marche libre dans l'air est testé, où la validation du matériel proposé et des boucles de contrôle sont démontrées. L'étude des réponses de contrôle des exosquelettes contre les perturbations externes probables et des scénarios de sécurité en cas de défaillance est encore un travail futur obligatoire avant de réaliser les premiers tests sur l'exosquelette humain. / The thesis' subject concerns the development of the control architecture and the trajectory generation for a scalable exoskeleton called SOL. The biomedical study outcomes revealed that the progressiveness of the disease could be solved by early and continuous rehabilitation throughout the growth. Thus, the importance of using an exoskeleton has a positive impact since it is used to provide locomotion and rehabilitation, at the same time. However, the current exoskeletons cannot be adapted to fit the continuous change of teenager biomechanics throughout his growth. Hence, the need for developing a scalable exoskeleton that can cope with the growing needs is still a challenging topic. Especially, the control architecture of such a scalable device was tackled in this thesis, in both hardware and software developments to incorporate the scalability features. Initiative steps have been passed towards the goal of achieving a scalable exoskeleton, by contributing in hardware developments that allowing further enhancements to be included throughout the advancement of the project. Firmware developments achieved have addressed the scalability needs in terms of control by considering the three hierarchical levels (which are: High, Middle, and low-levels of control). More specifically, a focus was dedicated to the generation of the gait reference trajectories for the growing population. Data were collected from healthy subjects wearing a passive exoskeleton to extract the proper joint trajectories, then, the data were processed to build a gait library to be deployed on the exoskeleton controller. Finally, by knowledge of the subject biomechanics, the controller is able to fetch the proper trajectories and inject the reference trajectories to the SOL's actuators. A first prototype of the exoskeleton is used to manifest the outcomes of the proposed Evolutionary Gait Generator (E.G.G.). As a first prototype, A free walking in air motion is tested, where the validation of the proposed hardware and control loops are demonstrated. Studying the exoskeletons' control responses against probable external disturbances and fail-safe scenarios are still future work mandatory before achieving first human-exoskeleton testing.

Le déploiement des futurs véhicules autonomes promet d'avoir un impact socio-économique majeur, en raison de leur promesse d'être à la fois plus sûrs et plus efficaces que ceux conduits par des humains. Afin de satisfaire à ces attentes, la capacité des véhicules autonomes à planifier des trajectoires sûres et à manœuvrer efficacement dans le trafic sera capitale. Cependant, le problème de planification de trajectoire au milieu d'obstacles statiques ou mobiles a une combinatoire forte qui est encore aujourd'hui problématique pour les meilleurs algorithmes.Cette thèse explore une nouvelle approche de la planification de mouvement, basée sur l'utilisation de la notion de décision de conduite comme guide pour structurer le problème de planification en vue de faciliter sa résolution. Cette approche peut trouver des applications pour la conduite coopérative, par exemple pour coordonner plusieurs véhicules dans une intersection non signalisée, ainsi que pour la conduite autonome où chaque véhicule planifie sa trajectoire. Dans le cas de la conduite coopérative, les décisions correspondent au choix d'un ordonnancement des véhicules qui peut être avantageusement encodé comme un graphe. Cette thèse propose une représentation similaire pour la conduite autonome, où les décisions telles que dépasser ou non un véhicule sont nettement plus complexes. Une fois la décision prise, il devient aisé de déterminer la meilleure trajectoire y correspondant, en conduite coopérative comme autonome. Cette approche basée sur la prise de décision peut permettre d'améliorer la robustesse et l'efficacité de la planification de trajectoire, et ouvre d'intéressantes perspectives en permettant de combiner des approches mathématiques classiques avec des techniques plus modernes d'apprentissage automatisé. / The deployment of future self-driving vehicles is expected to have a major socioeconomic impact due to their promise to be both safer and more traffic-efficient than human-driven vehicles. In order to live up to these expectations, the ability of autonomous vehicles to plan safe trajectories and maneuver efficiently around obstacles will be paramount. However, motion planning among static or moving objects such as other vehicles is known to be a highly combinatorial problem, that remains challenging even for state-of-the-art algorithms. Indeed, the presence of obstacles creates exponentially many discrete maneuver choices, which are difficult even to characterize in the context of autonomous driving. This thesis explores a new approach to motion planning, based on using this notion of driving decisions as a guide to give structure to the planning problem, ultimately allowing easier resolution. This decision-based motion planning approach can find applications in cooperative driving, for instance to coordinate multiple vehicles through an unsignalized intersection, as well as in autonomous driving where a single vehicle plans its own trajectory. In the case of cooperative driving, decisions are known to correspond to the choice of a relative ordering for conflicting vehicles, which can be conveniently encoded as a graph. This thesis introduces a similar graph representation in the case of autonomous driving, where possible decisions -- such as overtaking the vehicle at a specific time -- are much more complex. Once a decision is made, planning the best possible trajectory corresponding to this decision is a much simpler problem, both in cooperative and autonomous driving. This decision-aware approach may lead to more robust and efficient motion planning, and opens exciting perspectives for combining classical mathematic programming algorithms with more modern machine learning techniques.

L'objectif de cette thèse CIFRE est de contribuer à la communication véhiculaire autonome et au développement de la mobilité urbaine. Les travaux sont basés sur les limitations et défis de la communication par radio pour les applications de sécurité et envisagent de déployer le système d'éclairage des véhicules en tant que solution de communication de soutien pour le platooning d'IVC-activées par VC Véhicules autonomes. L'objectif principale de cette recherche doctorale consiste à intégrer le système VLC dans l'architecture existante de C-ITS en développant un prototype VLC, ainsi que des algorithmes de transfert suffisants permettant VLC, RF et des solutions basées sur la perception afin d'assurer les exigences de sécurité maximales et l'échange continu d'informations entre les véhicules. La faisabilité et l'efficacité de la mise en oeuvre du système et des algorithmes de transfert ont fait l'objet de recherches approfondies sur six chapitres, destinés à faciliter une progression logique des matériaux et permettre un accès relativement facile. En plus de l'amélioration de la capacité routière en utilisant les systèmes de conduite autonome à la base de convoi. Les simulations réalisées ainsi que les résultats expérimentaux ont montré que l'intégration de VLC avec les solutions existantes RF a un avantage certain dans la qualité du canal de communication et les exigences de sécurité d'un système de platooning quand un algorithme approprié est utilisé. / This thesis effort contributes to the autonomous vehicular communication and urban mobility improvements. The work addresses the main radio-based V2V communication limitations and challenges for ITS hard-safety applications and intends to deploy the vehicular lighting system as a supportive communication solution for platooning of IVC-enabled autonomous vehicles. The ultimate objectives of this Ph.D research are to integrate the VLC system within the existing C-ITS architecture by developing a VLC prototype, together with sufficient, hand-over algorithms enabling VLC, RF, and perception-based solutions in order to ensure the maximum safety requirements and the continuous information exchange between vehicles. The feasibility and efficiency of the VLC-RF system implementation and hand-over algorithms were subjects to deep investigations over six self-contained chapters meant to facilitate a logical progression of materials and to enable a relatively easy access. In addition to the improvement in road capacity by utilizing the convoy-based autonomous driving systems. The carried out simulations followed-up by experimental results proved that the integration of VLC with the existed RF solutions lead to a definite benefit in the communication channel quality and safety requirements of a platooning system when a proper hand-over algorithm is utilized.

Les techniques d'insertion d'aiguille font partie des interventions chirurgicales les plus courantes. L'efficacité de ces interventions dépend fortement de la précision du positionnement des aiguilles dans un emplacement cible à l'intérieur du corps du patient. L'objectif principal dans cette thèse est de développer un système robotique autonome, capable d'insérer une aiguille flexible dans une structure déformable le long d'une trajectoire prédéfinie. L’originalité de ce travail se trouve dans l’utilisation de simulations inverses par éléments finis (EF) dans la boucle de contrôle du robot pour prédire la déformation des structures. La particularité de ce travail est que pendant l’insertion, les modèles EF sont continuellement recalés (étape corrective) grâce à l’information extraite d’un système d’imagerie peropératoire. Cette étape permet de contrôler l’erreur des modèles par rapport aux structures réelles et ainsi éviter qu'ils divergent. Une seconde étape (étape de prédiction) permet, à partir de la position corrigée, d’anticiper le comportement de structures déformables, en se reposant uniquement sur les prédictions des modèles biomécaniques. Ceci permet ainsi d’anticiper la commande du robot pour compenser les déplacements des tissus avant même le déplacement de l’aiguille. Expérimentalement, nous avions utilisé notre approche pour contrôler un robot réel afin d'insérer une aiguille flexible dans une mousse déformable le long d'une trajectoire (virtuelle) prédéfinie. Nous avons proposé une formulation basée sur des contraintes permettant le calcul d'étapes prédictives dans l'espace de contraintes offrant ainsi un temps d'insertion total compatible avec les applications cliniques. Nous avons également proposé un système de réalité augmentée pour la chirurgie du foie ouverte. La méthode est basée sur un recalage initial semi-automatique et un algorithme de suivi peropératoire basé sur des marqueurs (3D) optiques. Nous avons démontré l'applicabilité de cette approche en salle d'opération lors d'une chirurgie de résection hépatique. Les résultats obtenus au cours de ce travail de thèse ont conduit à trois publications (deux IROS et un ICRA) dans les conférences internationales puis à un journal (Transactions on Robotics) en cours de révision. / Needle-based interventions are among the least invasive surgical approaches to access deep internal structures into organs' volumes without damaging surrounding tissues. Unlike traditional open surgery, needle-based approaches only affect a localized area around the needle, reducing this way the occurrence of traumas and risks of complications \cite{Cowan2011}. Many surgical procedures rely on needles in nowadays clinical routines (biopsies, local anesthesia, blood sampling, prostate brachytherapy, vertebroplasty ...). Radiofrequency ablation (RFA) is an example of percutaneous procedure that uses heat at the tip of a needle to destroy cancer cells. Such alternative treatments may open new solutions for unrespectable tumors or metastasis (concerns about the age of the patient, the extent or localization of the disease). However, contrary to what one may think, needle-based approaches can be an exceedingly complex intervention. Indeed, the effectiveness of the treatment is highly dependent on the accuracy of the needle positioning (about a few millimeters) which can be particularly challenging when needles are manipulated from outside the patient with intra-operative images (X-ray, fluoroscopy or ultrasound ...) offering poor visibility of internal structures. Human factors, organs' deformations, needle deflection and intraoperative imaging modalities limitations can be causes of needle misplacement and rise significantly the technical level necessary to master these surgical acts. The use of surgical robots has revolutionized the way surgeons approach minimally invasive surgery. Robots have the potential to overcome several limitations coming from the human factor: for instance by filtering operator tremors, scaling the motion of the user or adding new degrees of freedom at the tip of instruments. A rapidly growing number of surgical robots has been developed and applied to a large panel of surgical applications \cite{Troccaz2012}. Yet, an important difficulty for needle-based procedures lies in the fact that both soft tissues and needles tend to deform as the insertion proceeds in a way that cannot be described with geometrical approaches. Standard solutions address the problem of the deformation extracting a set of features from per-operative images (also called \textit{visual servoing)} and locally adjust the pose/motion of the robot to compensate for deformations \cite{Hutchinson1996}. [...]To overcome these limitations, we introduce a numerical method allowing performing inverse Finite Element simulations in real-time. We show that it can be used to control an articulated robot while considering deformations of structures during needle insertion. Our approach relies on a forward FE simulation of a needle insertion (involving complex non-linear phenomena such as friction, puncture and needle constraints).[...]