Le projet BEWHEELI (Brain Eyes WHEELchair Interface) consiste à mettre en place une interface basée sur la combinaison du regard et de l’activité cérébrale pour aider une personne à mobilité réduite, à contrôler, commander son fauteuil roulant. La navigation sur fauteuil roulant basée sur le regard a fait l’objet de plusieurs projets. Néanmoins, plusieurs contraintes ont été évoqué : la fatigue cognitive, occulo-musculaire, et l’incapacité de la gestion des fixations sporadiques, d’où l’introduction de la composante cérébrale qui, malgré sa limitation technologique et la complexité de son traitement, s’avère complémentaire à la composante visuelle. Par conséquent pour pallier à ce problème, qui influe sur la sécurité de la navigation du fauteuil roulant, deux paramètres, l’émotion et la fatigue mentale ont été pris en considération. En premier temps, un protocole d’induction des émotions a été mis en place, se basant sur la présentation de séquences vidéo, et les données issues du capteur cérébral ont été extraites et classifiées pour en dégager quatre émotions essentielles : excitation, stress, énervement et relaxation. Ces dernières ont été ensuite intégrées comme contrôleurs de vitesse dans un contexte de navigation virtuelle sur fauteuil roulant. La prise en considération du niveau de la fatigue mentale de l’utilisateur, qui peut engendrer sa déconcentration totale ou partielle dans la prise de décisions, est cruciale pour sécuriser la navigation sur fauteuil roulant. Pour se faire, une étude cognitive basée essentiellement sur l’impact de la fatigue mentale issu des deux sources de contrôle cérébrales, telles que : le Pique 300 (P300) et le potentiel visuel évoqué (SSVEP). Un protocole d’expérience spécifique a été mis en place, nous a permis d’évoquer les caractéristiques physiques des signaux du P300 et le SSVEP d’induire la fatigue mentale. Afin de définir la partie cérébrale la plus influencée et évaluer au mieux le niveau de fatigue de l’utilisateur, une étude de corrélation et de fusion entre les deux informations issues des deux signaux du P300 et le SSVEP a été menée en utilisant la théorie des évidences (Dempster-Schäfer). En dernière étape de ce projet, une étude de fusion fatigue mentale / émotion a été effectué, moyennant la logique floue, pour l’aide à la décision en mode manuel, semi-autonome ou autonome, du fauteuil roulant. / He Brain Eyes WHEELchair Interface (BEWHEELI) project aims at proposing a new alternative for severely disabled people (example palsy and Locked-In patients) to command their wheelchairs. It's built on two major blocks: the command block which ensures the migration from the use of joystick to the gaze/brain automated command (including the intermediate phase of gaze/joystick command). The security block deals with the wheelchair control by assessing human factors mainly emotions and mental fatigue through its impact on brainwave patterns. In the former, four emotions were induced and implemented (relaxation, nervousness, excitement and stress) in three navigation scenarios where the introduction of the detection block was assessed. The next step consists on evaluating the impact the mental fatigue can have on two sources of control : Positive 300 (P300) and Steady State Visual Evocked Potentials (SSVEP).Those are treated individually and combined be the mean of evidential theory reasoning to build up a fatigue detection block. At the end a fuzzy logic based decision system was introduced to combine emotional and fatigue blocks that triggers to three navigation modes : manual, semi-autonomous and autonomous that reflect physical abilities of the users to command their wheelchairs.

Problématique et objectifs: Le cadre de mon travail de thèse traite du développement de solutions d'assistance robotisée pour l'aide des personnes atteintes de troubles du fonctionnels. La problématique qui est posée ici est l'apport des réseaux de neurones pour la modélisation du mouvement des personnes atteintes par le syndrome cérébelleux. Résultats obtenus : Dans le but d'améliorer la commande d'un robot d'assistance (Monimad), mon travail a consisté à développer des solutions qui permettent de fournir un modèle interne du mouvement d'une personne atteinte par le syndrome cérébelleux. Pour accomplir ce travail, une phase d'enregistrement de données a été mise en place pour des personnes saines et pour des personnes touchées par le syndrome cérébelleux. La modélisation a été déclinée en trois types : Génération de trajectoire : une simulation de mouvement réel a été mise en place avec des réseaux de neurones et comparée avec d'autres méthodes du domaine du controle optimal. Prédiction : une prédiction des mouvements futurs du patient est obtenue avec des réseaux de neurones, cette prédiction présente les propriétés de généralisation et de spécialisation. Son bon fonctionnement est validé sur des mouvements de patients. Observation : un outil de reconstruction basé sur les réseaux de neurones est proposé pour à partir d'une donnée angulaire reconstruire l'état d'une personne dans un mouvement de verticalisation. Enfin toutes ces modélisations sont appliquées à des mouvements de personnes atteintes du syndrôme cérébelleux qui utilisent une interface d'assistance. Ces méthodes de modélisation sont validées sur ce protocole.

Le point de départ des travaux présentés dans cette thèse est la volonté de développement d'une aide robotisée à la saisie intuitive pour les personnes en situation de handicap. L'outil proposé est un manipulateur contrôlé en utilisant directement les informations transmises par deux caméras, l'une embarquée sur la pince qui donne une vue détaillée de la scène, et l'autre déportée qui en oﰛre une vue d'ensemble. L'objet de nos travaux est de saisir un objet a priori inconnu à partir d'un seul clic de l'utilisateur sur une image acquise par la caméra déportée. Nous proposons des méthodes permettant de localiser et de caractériser grossièrement un objet de forme convexe aﰜn qu'il puisse être saisi par la pince du manipulateur. Cette thèse peut être vue comme complémentaire aux méthodes existantes reposant sur l'utilisation de bases de données. Ce manuscrit est divisé en deux parties : la localisation grossière d'un objet inconnu et la caractérisation de sa forme. L'objet se situe sur la ligne de vue qui passe par le centre optique de la caméra déportée et le clic. La projection de cette ligne de vue dans la caméra embarquée est la ligne épipolaire associée aux clic. Nous proposons donc un asservissement visuel reposant sur l'utilisation de la géométrie épipolaire pour commander la caméra embarquée de façon à parcourir cette ligne. Les indices visuels extraits des images embarquées sont ensuite mis en correspondance avec les indices détectés au voisinage du clic pour estimer la position 3D de l'objet. Cette méthode est robuste à des mouvements relatifs de l'objet et de la caméra déportée au cours du processus de localisation. En ﰜn de processus, l'objet désigné se trouve dans le champ de vision des deux caméras et ces deux vues peuvent servir à initier une caractérisation plus précise de l'objet et suﰞsante pour la saisie. Le problème de la caractérisation de la forme de l'objet a été traité dans le cadre d'une observation monoculaire dynamique. La forme de l'objet est modélisée par une quadrique dont les paramètres sont estimés à partir de ses projections dans un ensemble d'images. Les contours de l'objet sont détectés par une méthode de contours actifs initialisés à partir de la localisation grossière de l'objet. La caractérisation de l'objet est d'autant plus précise que les vues utilisées pour l'estimer sont bien choisies. La dernière contribution de ce mémoire est une méthode de sélection par vision active des vues optimales pour la reconstruction. Les meilleures vues sont choisies en recherchant les positions de la caméra qui maximisent l'information.

Les systèmes de robotique sociale sont de plus en plus présents dans nos vies. Ce ne sont plus des entités isolées, mais on s'attend à ce qu'ils soient capables d'interagir et de communiquer avec les humains. Ils doivent respecter les normes comportementales attendues par les humains avec qui les systèmes robotiques sont en interaction.L'une des principales pistes de recherche dans le domaine de la robotique sociale est représentée par la conception d'une interaction naturelle entre un robot social et un individu. Plus spécifiquement, cette interaction devrait prendre en considération le profil de l'individu, l'état émotionnel, l'état physiologique et l'humeur, entre autres.Dans cette thèse, nous explorons la relation qui existe entre l'échelle de typologie circadienne, la performance cognitive et l'état physiologique au cours de différents scénarios d'interaction homme-robot. L'administration de différents questionnaires psychologiques permet de déterminer le profil d'un individu. En outre, à l’aide de différents capteurs (par exemple, GSR, caméra thermique), de multiples méthodologies ont été développées pour déterminer l’état physiologique d’un individu. Plus spécifiquement, la variation de la température faciale, le clignotement des yeux et la réponse galvanique de la peau ont été étudiés.Plusieurs scénarios d'interaction homme-robot ont été conçus afin de tester le système développé. L'impact de l'empathie a également été étudié. En outre, le système développé a été testé avec succès dans deux environnements réels, avec deux populations vulnérables. La première application d'assistance est représentée par le projet de recherche EU H2020 ENRICHME, dans lequel un robot a été développé pour les personnes âgées atteintes d'un trouble cognitif léger. La deuxième population vulnérable est constituée d'individus souffrant de différents troubles du sommeil.Nous pensons que cette thèse représente une étape importante dans la compréhension de l'état physiologique de l'individu et est liée à la performance cognitive. / Social robotic systems are more and more present in our everyday lives. They are no longer isolated entities, but instead, they are expected to be capable of interacting and communicating with humans. They have to follow the behavioral norms that are expected by the individuals the robotic systems are interacting with.One of the main research directions in the field of social robotics is represented by the design of a natural interaction between a social robot and an individual. More specifically, this interaction should take into consideration the profile of the individual, the emotional state, the physiological internal state, and the mood, among others.In this thesis it is explored the relationship that exists between morningness-eveningness, cognitive performance, and the internal physiological state during different human-robot interaction scenarios. By administering different psychological questionnaires, the profile of an individual can be determined. Moreover, with the help of different sensors (e.g., GSR, thermal camera), multiple methodologies were developed to determine the internal physiological state of an individual. More specifically, the facial temperature variation, the blinking, and the galvanic skin response were investigated.Several human-robot interaction scenarios have been designed in order to test the developed system. The impact of empathy was also investigated. Furthermore, the developed system was successfully tested in two real-world environments, with two vulnerable populations. The first assistive application is represented by the ENRICHME EU H2020 research project, where a personal robot was developed for the elderly with mild cognitive impairment. The second vulnerable population consists of individuals suffering from different sleep disorders.We believe that this thesis represents an important step in understanding how the physiological internal state of an individual is related to cognitive performance, and to the user profile of that individual.

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets valides / The increasing number of elderly in the world reveals today new societal challenges, particularly in terms of healthcare and assistance services. With recent advances in technology, robotics appears as a promising solution to develop systems that improve the living conditions of this aging population. This thesis aims at proposing and validating an approach for robust control of an active orthosis, based on the subject intention. This orthosis is designed to assist flexion/ extension movements of the knee for people suffering from knee joint deficiencies. The proposed second order sliding mode control allows to take into account the nonlinearities and parametric uncertainties resulting from the dynamics of the equivalent lower limb-orthosis system. It also ensures on one hand, a good tracking performance of the desired trajectory imposed by the therapist or the subject itself, and on the second hand, a satisfactory robustness with respect to external disturbances that may occur during flexion and extension of the knee joint. In this thesis, a neural model based on Multi-Layer Perceptron is used to estimate the subject's intention from the measurement of the EMG signals characterizing the voluntary activities of the quadriceps muscle group. This approach overcomes the complex modeling of the muscular activation and contraction dynamics. All the proposed approaches in this thesis have been validated experimentally with the voluntary participation of several healthy subjects

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets valides

Ce travail s'inscrit dans le cadre de la conception et réalisation d'un robot d'assistance à la personne. Dans cette thèse, nous nous intéressons particulièrement à la conception, à la modélisation et à la commande d'un robot manipulateur mobile. La conception mécanique couplée à un outil de simulation dynamique multi-corps nous a permis d'obtenir un modèle virtuel très réaliste. Le modèle cinématique du système a été obtenu en utilisant la méthode D-H modifiée. L'approche Bond graph et la méthode de Lagrange ont permis de construire le modèle dynamique. Un algorithme hybride qui combine la pseudoinverse du jacobien et la méthode RRT a été proposé pour la planification de mouvement d'un manipulateur redondant et rechercher de configurations continues, stables et sans collision. Un contrôleur basé sur les réseaux de neurones a été introduit pour la commande coordonnée d'un manipulateur mobile. Cette méthode ne nécessite pas un modèle précis du robot. Les paramètres inconnus sont identifiés et compensés en utilisant des réseaux de neurones RBF. Un algorithme de contrôle similaire est présenté pour la commande force/position d'un manipulateur mobile qui est soumis à des contraintes holonomes et nonholonomes. L'étude de la main robotique a été effectuée séparément avant d'être couplée au reste du système. Les modèles cinématique et dynamique du système main-objet ont été obtenus en utilisant les approches mathématiques et bond graph. Un algorithme est proposé afin d'assurer une prise ferme, éviter les dérapages et suivre les mouvements désirés. Les validations des modèles et des différentes lois de commande ont été effectuées grâce à la co-simulation Matlab/modèle virtuel

Les premiers documents attestant l'utilisation d'une chaise à roues utilisée pour transporter une personne avec un handicap datent du 6ème siècle en Chine. À l'exception des fauteuils roulants pliables X-frame inventés en 1933, 1400 ans d'évolution de la science humaine n'ont pas changé radicalement la conception initiale des fauteuils roulants. Pendant ce temps, les progrès de l'informatique et le développement de l'intelligence artificielle depuis le milieu des années 1980 ont conduit inévitablement à la conduite de recherches sur des fauteuils roulants intelligents. Plutôt que de se concentrer sur l'amélioration de la conception sous-jacente, l'objectif principal de faire un fauteuil roulant intelligent est de le rendre le plus accessible. Même si l'invention des fauteuils roulants motorisés ont partiellement atténué la dépendance d'un utilisateur à d'autres personnes pour la réalisation de leurs actes quotidiens, certains handicaps qui affectent les mouvements des membres, le moteur ou la coordination visuelle, rendent impossible l'utilisation d'un fauteuil roulant électrique classique. L'accessibilité peut donc être interprétée comme l'idée d'un fauteuil roulant adaptée à la pathologie de l'utilisateur de telle sorte que il / elle soit capable d'utiliser les outils d'assistance. S'il est certain que les robots intelligents sont prêts à répondre à un nombre croissant de problèmes dans les industries de services et de santé, il est important de comprendre la façon dont les humains et les utilisateurs interagissent avec des robots afin d'atteindre des objectifs communs. En particulier dans le domaine des fauteuils roulants intelligents d'assistance, la préservation du sentiment d'autonomie de l'utilisateur est nécessaire, dans la mesure où la liberté individuelle est essentielle pour le bien-être physique et social. De façon globale, ce travail vise donc à caractériser l'idée d'une assistance par contrôle partagé, et se concentre tout particulièrement sur deux problématiques relatives au domaine de la robotique d'assistance appliquée au fauteuil roulant intelligent, à savoir une assistance basée sur la vision et la navigation en présence d'humains. En ciblant les tâches fondamentales qu'un utilisateur de fauteuil roulant peut avoir à exécuter lors d'une navigation en intérieur, une solution d'assistance à bas coût, basée vision, est conçue pour la navigation dans un couloir. Le système fournit une assistance progressive pour les tâches de suivi de couloir et de passage de porte en toute sécurité. L'évaluation du système est réalisée à partir d'un fauteuil roulant électrique de série et robotisé. A partir de la solution plug and play imaginée, une formulation adaptative pour le contrôle partagé entre l'utilisateur et le robot est déduite. De plus, dans la mesure où les fauteuils roulants sont des dispositifs fonctionnels qui opèrent en présence d'humains, il est important de considérer la question des environnements peuplés d'humains pour répondre de façon complète à la problématique de la mobilité en fauteuil roulant. En s'appuyant sur les concepts issus de l'anthropologie, et notamment sur les conventions sociales spatiales, une modélisation de la navigation en fauteuil roulant en présence d'humains est donc proposée. De plus, une stratégie de navigation, qui peut être intégrée sur un robot social (comme un fauteuil roulant intelligent), permet d'aborder un groupe d'humains en interaction de façon équitable et de se joindre à eux de façon socialement acceptable. Enfin, à partir des enseignements tirés des solutions proposées d'aide à la mobilité en fauteuil roulant, nous pouvons formaliser mathématiquement un contrôle adaptatif partagé pour la planification de mouvement relatif à l'assistance à la navigation. La validation de ce formalisme permet de proposer une structure générale pour les solutions de navigation assistée en fauteuil roulant et en présence d'humains. / Earliest records of a wheeled chair used to transport a person with disability dates back to the 6m century in China. With the exception of the collapsible X-frame wheelchairs invented in 1933, 1400 years of human scientific evolution has not radically changed the initial wheelchair design. Meanwhile, advancements in computing and the development of artificial intelligence since the mid-1980s has inevitably led to research on Intelligent Wheelchairs. Rather than focusing on improving the underlying design, the core objective of making a wheelchair intelligent is to make it more accessible. Even though the invention of the powered wheelchairs have partially mitigated a user's dependence on other people for their daily routines, some disabilities that affect limb movements, motor or visual coordination, make il impossible for a user to operate a common powered wheelchair. Accessibility can also thus be thought of as the idea, where the wheelchair adapts to the user malady such that he/she is able to utilize its assistive capabilities. While it is certain that intelligent robots are poised to address a growing number of issues in the service and medical care industries, it is important to resolve how humans and users interact with robots in order to accomplish common objectives. Particularly in the assistive intelligent wheelchair domain, preserving a sense of autonomy with the user is required, as individual agency is essential for his/her physical and social well-being. This work thus aims to globally characterize the idea of assistive shared control while particularly devoting the attention to two issues within the intelligent assistive wheelchair domain viz. vision-based assistance and human-aware navigation.Recognizing the fundamental tasks that a wheelchair user may have to execute in indoor environments, we design low­cost vision-based assistance framework for corridor navigation. The framework provides progressive assistance for the tasks of safe corridor following and doorway passing. Evaluation of the framework is carried out on a robotized off-the­shelf wheelchair. From the proposed plug and play design, we infer an adaptive formulation for sharing control between user and robot. Furthermore, keeping in mind that wheelchairs are assistive devices that operate in human environments, it is important to consider the issue of human-awareness within wheelchair mobility. We leverage spatial social conventions from anthropology to surmise wheelchair navigation in human environments. Moreover, we propose a motion strategy that can be embedded on a social robot (such as an intelligent wheelchair) that allows il to equitably approach and join a group of humans in interaction. Based on the lessons learnt from the proposed designs for wheelchair mobility assistance, we can finally mathematically formalize adaptive shared control for assistive motion planning. ln closing, we demonstrate this formalism in order to design a general framework for assistive wheelchair navigation in human environments.

Cette thèse porte sur la perception multimodale de l'homme pour l'Interaction Homme-Robot (IHR). Elle a été financée par le projet ANR Contint RIDDLE (2012 - 2015). Ce projet est centré sur le développement d'un robot d'assistance pour les personnes âgées atteintes de troubles cognitifs légers. Celui-ci a pour but de répondre à un besoin grandissant d'aide à domicile envers les personnes âgées vivant seules. En effet, la population vieillissant de plus en plus, on estime qu'environ 33% des français auront plus de 60 ans en 2060. L'enjeu est donc de programmer un robot interactif (via ses capacités perceptuelles) capable d'apprendre la relation entre l'usager et un sous-ensemble d'objets du quotidien de ce dernier, soit des objets pertinents, présents ou possiblement égarés dans l'espace partagé du robot et de l'usager. Dans ce cadre, il reste de nombreux verrous à lever, notamment en termes de : (i) perception conjointe de l'homme et de son environnement, (ii) d'intégration sur un système robotisé, (iii) de validation par des scénarii mettant en jeu le robot et une personne âgée en interaction avec quelques objets usuels. La finalité du projet est de voir le robot répondre aux interrogations relatives à une dizaine d'objets courants (définis par une étude préliminaire sur une population qui se plaint de troubles cognitifs) par des actions appropriées. Par exemple, le robot signalera l'emplacement d'un objet en se déplaçant vers lui, en le saisissant ou en donnant des indications orales quant à sa position si l'objet n'est pas atteignable. Le projet RIDDLE est multipartenaire : il regroupe la société Magellium, le Gérontopôle de Toulouse, l'équipe MINC du LAAS-CNRS et l'entreprise Aldebaran Robotics dont le robot doit servir de plateforme pour les démonstrations finales. Cette thèse a été co-encadrée par Frédéric Lerasle et Isabelle Ferrané respectivement enseignants-chercheurs dans les équipes RAP du LAAS-CNRS et SAMoVA de l'IRIT-UPS. Lors de ce projet, nous avons, en partenariat avec le gérontopôle, défini un scénario robotique regroupant trois phases principales. Une phase de monitoring où le robot se trouve loin de l'utilisateur et l'observe de sa position, en attente d'une demande d'interaction, une phase d'interaction proximale où le robot se trouve proche de l'utilisateur et interagit avec lui, et enfin la transition qui permet au robot de passer d'une phase à l'autre. Ce scénario est donc construit de manière à créer un robot d'interaction proactif mais non-intrusif. Le caractère non-intrusif est matérialisé par la phase de monitoring. La proactivité est, quant à elle, matérialisée par la création d'un détecteur d'intentionnalité permettant au robot de comprendre de manière non-verbale la volonté de l'utilisateur de communiquer avec lui. Les contributions scientifiques de cette thèse recoupent divers aspects du projet : le scénario robotique, le détecteur d'intentionnalité, une technique de filtrage par essaim de particules, et enfin une technique bayésienne d'amélioration du taux d'erreur de mot à partir d'informations de distance. Cette thèse est divisée en quatre chapitres. Le premier traite du détecteur d'intentionnalité, le deuxième de la technique de filtrage développée, le troisième de la phase d'interaction proximale et des techniques employées, et enfin le dernier chapitre est centré sur les implémentations robotiques. / This work is about human multimodal perception for human-robot interaction (HRI). This work was financed by the RIDDLE ANR Contint project (2012-2015). This project focuses on the development of an assisting robot for the elderly who experience small losses of memory. This project aims at coping with a growing need in human care for elder people living alone. Indeed in France, the population is aging and around 33% of the estimated population will be more than 60 years old by 2060. The goal is therefore to program an interactive robot (with perceptive capabilities), which would be able to learn the relationship between the user and a set of selected objects in their shared environment. In this field, lots of problems remain in terms of : (i) shared human-environment perception, (ii) integration on a robotic platform, and (iii) the validation of some scenarii about usual objects that involve both the robot and the elderly. The aim is to see the robot answer the user's interrogations about ten objects (defined by a preliminary study) with appropriate actions. For example, the robot will indicate the position of an object by moving towards it, grapping it or giving oral indications if it is not reachable. The RIDDLE project was formed by a consortium, with Magellium, the gerontology center of Toulouse, the MINC team from the LAAS-CNRS laboratory and Aldebaran Robotics. The final demonstrations will be led on the Rom´eo platform. This thesis has been co-directed by Fr´ed´eric Lerasle and Isabelle Ferran´e, respectively from the RAP team of LAAS-CNRS and the SAMoVA team of IRIT. Along the project, in partnership with the gerontology center, a robot scenario was determined following three major steps. During the first one -the "Monitoring step"- the robot is far from the user and waits for an intention of interaction. A "Proximal interaction step" is reached when the robot interacts with the user from a close position. Finally, the last step : the "Transition" allows the robot to move to reach the two previous ones. This scenario was built in order to create a not-intrusive proactive robot. This non-intrusiveness is materialized by the "monitoring step". The proactivity is achieved by the creation of a detector of user intention, allowing the robot to understand non-verbal information about the user's will to communicate with it. The scientific contributions of this thesis include various aspects : robotic scenarii, the detector of user intention, a filtering technique based on particle swarm optimization algorithm, and finally a Baysian scheme built to improve the word error rate given distance information. This thesis is divided in four chapters. The first one is about the detector of user intention. The second chapter moves on to the filtering technique. The third chapter will focus on the proximal interaction and the employed techniques, and finally the last chapter will deal with the robotic implementations.

Ce travail s’inscrit dans le cadre de la conception et réalisation d’un robot d’assistance à la personne. Dans cette thèse, nous nous intéressons particulièrement à la conception, à la modélisation et à la commande d’un robot manipulateur mobile. La conception mécanique couplée à un outil de simulation dynamique multi-corps nous a permis d’obtenir un modèle virtuel très réaliste. Le modèle cinématique du système a été obtenu en utilisant la méthode D-H modifiée. L’approche Bond graph et la méthode de Lagrange ont permis de construire le modèle dynamique. Un algorithme hybride qui combine la pseudoinverse du jacobien et la méthode RRT a été proposé pour la planification de mouvement d’un manipulateur redondant et rechercher de configurations continues, stables et sans collision. Un contrôleur basé sur les réseaux de neurones a été introduit pour la commande coordonnée d’un manipulateur mobile. Cette méthode ne nécessite pas un modèle précis du robot. Les paramètres inconnus sont identifiés et compensés en utilisant des réseaux de neurones RBF. Un algorithme de contrôle similaire est présenté pour la commande force/position d’un manipulateur mobile qui est soumis à des contraintes holonomes et nonholonomes. L’étude de la main robotique a été effectuée séparément avant d’être couplée au reste du système. Les modèles cinématique et dynamique du système main-objet ont été obtenus en utilisant les approches mathématiques et bond graph. Un algorithme est proposé afin d’assurer une prise ferme, éviter les dérapages et suivre les mouvements désirés. Les validations des modèles et des différentes lois de commande ont été effectuées grâce à la co-simulation Matlab/modèle virtuel / The purpose of this thesis is to design, model and control of a personal assistant robot used for domestic tasks. In order to make the robot’s design more efficient, a virtual simulation system is built using dynamic simulation software. The kinematic model is set up based on modified D-H principle. The dynamic model is built using the Lagrange theorem and elaborated in Matlab. We also employ an energy-based approach for modeling and its bond graph notation ensures encapsulation of functionality, extendibility and reusability of each element of the model. A hybrid algorithm of combining the Jacobian pseudoinverse algorithm with Rapidly-Exploring Random Tree method is presented for collision-free path planning of a redundant manipulator. An intelligent robust controller based on neural network is introduced for the coordinated control of a mobile manipulator. This method does not require an accurate model of the robot. Unknown dynamic parameters of the mobile platform and the manipulator are identified and compensated in closed-loop control using RBF neural network. A similar control algorithm is presented for coordinated force/motion control of a mobile manipulator suffering both holonomic and nonholonomic constraints. Kinematics and dynamics of a dexterous hand manipulating an object with known shape by rolling contacts are derived. A computed torque control algorithm is presented to ensure firm grip, avoid slippage and well track a given motion imposed to the object. The validation of models and different control laws were made by the co-simulation Matlab / virtual model