This thesis outlines the methodology and experiments associated with the reshaping of human intention via based on the robot movements in Human-Robot Interactions (HRI). Although works on estimating human intentions are quite well known research areas in the literature, reshaping intentions through interactions is a new significant branching in the field of human-robot interaction. In this thesis, we analyze how previously estimated human intentions change based on his/her actions by cooperating with mobile robots in a real human-robot environment. Our approach uses the Observable Operator Models (OOMs) and Hidden Markov Models (HMMs) designed for the intelligent mobile robotic systems, which consists of two levels: the low-level tracks the human while the high-level guides the mobile robots into moves that aim to change intentions of individuals in the environment. In the low level, postures and locations of the human are monitored by applying image processing methods. The high level uses an algorithm which includes learned OOM models or HMM models to estimate human intention and decision making system to reshape the previously estimated human intention. Through this thesis, OOMs are started to be used at the human-robot interaction applications for first time. This two-level system is tested on video frames taken from a real human-robot environment. The results obtained using the proposed approaches are compared according to performance towards the degree of reshaping the detected intentions.

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets valides / The increasing number of elderly in the world reveals today new societal challenges, particularly in terms of healthcare and assistance services. With recent advances in technology, robotics appears as a promising solution to develop systems that improve the living conditions of this aging population. This thesis aims at proposing and validating an approach for robust control of an active orthosis, based on the subject intention. This orthosis is designed to assist flexion/ extension movements of the knee for people suffering from knee joint deficiencies. The proposed second order sliding mode control allows to take into account the nonlinearities and parametric uncertainties resulting from the dynamics of the equivalent lower limb-orthosis system. It also ensures on one hand, a good tracking performance of the desired trajectory imposed by the therapist or the subject itself, and on the second hand, a satisfactory robustness with respect to external disturbances that may occur during flexion and extension of the knee joint. In this thesis, a neural model based on Multi-Layer Perceptron is used to estimate the subject's intention from the measurement of the EMG signals characterizing the voluntary activities of the quadriceps muscle group. This approach overcomes the complex modeling of the muscular activation and contraction dynamics. All the proposed approaches in this thesis have been validated experimentally with the voluntary participation of several healthy subjects

L'auteur n'a pas fourni de résumé en français / This thesis focuses on semi-autonomous wheelchair navigation. We aim to design asystem respecting the following constraints.Safety: The system must avoid collisions with objects and specially with humans present in the scene.Usability: People with motor disabilities and elders often have problems using joysticks and other standard control devices. The use of more sophisticated and human-like ways of interacting with the robot must be addressed to improve the acceptance and comfort for the user. It is also considered that the user could just be able to move one finger and so the request of human intervention should be as reduced as possible to accomplish the navigation task.Compliance:} The robot must navigate securely among obstacles while reducing the frustration caused to the user by taking into account his intentions at different levels; final destination, preferred path, speed etc.Respect of social conventions: When moving, the robot may considerably disturb people around it, especially when its behavior is perceived as unsocial. It is thus important to produce socially acceptable motion to reduce disturbances. We will also addresses the issue of determining those places where the robot should be placed in order become part of an interacting group.In this work we propose to estimate the user's intention in order to reduce thenumber of necessary commands to drive a robotic wheelchair and deal withambiguous or inaccurate input interfaces. In this way, the wheelchair can be incharge of some part of the navigation task and alleviate the user involvement.The proposed system takes into account the user intention in terms of the finaldestination and desired speed. At each level, the method tries to favor themost ``reasonable'' action according to the inferred user intention.The user intention problem is approached by using a model of the user based onthe hypothesis that it is possible to learn typical destinations (those wherethe user spends most of his time) and use this information to enhance theestimation of the destination targeted by the user when he is driving therobotic wheelchair.A probabilistic framework is used to model the existent relationship betweenthe intention of the user and the observed command. The main originality of theapproach relies on modeling the user intentions as typical destinations and theuse of this estimation to check the reliability of a user's command to decidehow much preeminence it should be assigned by the shared controller whenmanaging the robot's speed.The proposed shared-control navigation system considers the direction of thecommands given by the user, the obstacles detected by the robot and the inferreddestination to correct the robot's velocity when necessary. This system is basedon the dynamic window approach modified to consider the input given by the user,his intention, the obstacles and the wheelchair's dynamic constraints tocompute the appropriate velocity command.All of the results obtained in this thesis have been implemented and validatedwith experiments, using both real and simulated data. Real data has beenobtained on two different scenarios; one was at INRIA's entry hall and the otherat the experimental apartment GERHOME.

La robotique constitue une solution prometteuse pour développer des systèmes d'assistance visant à améliorer l'autonomie et les conditions de vie des personnes dépendantes. Ainsi, de nombreuses recherches sont menées actuellement à travers le monde pour concevoir et développer des robots portables ou exosquelettes, en tant que dispositifs d'aide à la mobilité pour augmenter les capacités motrices des sujets porteurs, ou comme auxiliaires de rééducation neuro-musculaire. Cette thèse vise le développement des modèles de connaissances nécessaires pour la mise en oeuvre de commandes assistives d'un exosquelette de l'articulation du genou, notamment celles basées sur l'intention du sujet porteur. Cet exosquelette est destiné à l'assistance des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies du genou, ou pour le renforcement musculaire et la rééducation de sujets âgés ou hémiparétiques. Pour l'estimation de l'intention de mouvement du porteur, nous proposons modèle musculo-squelettique polynomial, complété par un modèle muscle-tendons de type Hill et le modèle bi-linéaire de Zajac pour modéliser la dynamique d'activation et de désactivation musculaire. Le modèle musculo-squelettique polynomial proposé offre le même niveau de réalisme et de précision qu'un modèle musculo-squelettique générique anatomique, sans nécessiter l'emploi de méthodes d'optimisation gourmandes en temps de calcul. Dans cette thèse, nous proposons un ensemble de trois commandes assistives destinées à guider ou à assister, via l'exosquelette, un sujet dans un contexte d'assistance à la rééducation en mode actif-aidé: La première, basée sur la passivité, exploite les propriétés physiques de l'exosquelette et du sujet porteur pour stabiliser asymptotiquement l'ensemble exosquelette-membre inférieur du porteur. Les paramètres du contrôleur sont ajustés automatiquement en fonction de la contribution du sujet au mouvement. A travers cette commande, l'exosquelette développe un couple correctif pour guider le genou vers la trajectoire de référence ou son voisinage. La seconde commande introduit une saturation pour maintenir le couple d'assistance dans un intervalle donné, garantissant ainsi la sécurité du sujet porteur. Cette commande garantit aussi des mouvements à des vitesses raisonnables et une convergence vers la trajectoire de référence. La deuxième loi de commande est complétée par une fonction permettant de moduler le couple d'assistance en fonction de la phase de rééducation. Enfin, la troisième commande proposée vise à maximiser la transparence de l'exosquelette pour éviter d'altérer les mouvements naturels du sujet porteur. Elle exploite la dynamique d'interaction induite par les mouvements relatifs du sujet porteur par rapport à l'exosquelette dus aux compliances intrinsèques de l'ensemble exosquelette-membre inférieur. Ces commandes ont été évaluées sur un sujet volontaire sain âgé de 29 ans, en considérant les modes d'assistance passif et actif-aidé. L'analyse des résultats expérimentaux montre de bonnes performances en termes de précision de poursuite de trajectoire, de robustesse vis-à-vis des incertitudes paramétriques et des perturbations externes. Ces résultats montrent également des propriétés importantes comme la sécurité du sujet porteur, le suivi précis de l'intention du porteur, l'assistance adaptative pour la rééducation active et la transparence de l'interaction exosquelette-porteur / Nowadays, robotics constitutes a promising solution to develop assistive systems to improve autonomy of dependent people during everyday activities. Thus, much research is being conducted currently worldwide to design and develop wearable robots or exoskeletons as assistive devices for mobility in order to improve the capabilities of the wearer. These devices can also be used during neuromuscular rehabilitation processes. This thesis aims to develop models necessary for the implementation of subject's intention wearer assistive control strategies using a knee joint exoskeleton. In order to estimate the movement intention of the wearer, we propose a Hill- Zajac based musculoskeletal model. This musculoskeletal model provides a high level of realism and accuracy compared to an anatomical generic musculoskeletal model without requiring the use of optimization methods techniques that are generally computational effort consuming. Three assistive control strategies are developed in this thesis to assist the wearer in a context of assistance and rehabilitation. In this thesis, we propose a set of three assistive commands to guide or assist through the exoskeleton, a subject in the context of rehabilitation assistance to active-assisted method: The first, based on passivity, operates the physical properties of the exoskeleton about the wearer and to stabilize the lower assembly asymptotically exoskeleton-member carrier. The first one is based on passivity and uses the physical properties of the exoskeleton and the wearer to stabilize asymptotically the human- lower-limb exoskeleton system. The second one introduces a saturation threshold to maintain the assistive torque in a given interval, ensuring the safety of the wearer. The third one aims to maximize the transparency of the exoskeleton to avoid altering the natural movements of the wearer. It uses the interaction dynamics induced by the relative movements between the wearer and the exoskeleton. These control strategies were evaluated on a 29-year-old healthy volunteer subject. The analysis of the experimental results shows satisfactory performances in terms of trajectory tracking accuracy, robustness with respect to parametric uncertainties and external disturbances. The results show also a good accuracy in the human intention detection and an adaptive support for active rehabilitation and transparent human-robot interaction

The development of driver assistance and automated vehicle control is in process and finds its way more and more into urban traffic environments. Here, the complexity of traffic situations is highly challenging and requires system approaches to comprehend such situations. The key element is the process of situation assessment to identify critical situations in advance and derive adequate warning and intervention strategies. This thesis introduces a system approach to establish a situation assessment process with the focus on the prediction of the driver intention. The system design is based on the Situation Awareness model by Endsley. Further, a prediction algorithm is created using Hidden Markov Models. To define the parameters of the models, an existing database is used and previously analyzed to identify reasonable variables that indicate an intended driving direction while approaching the intersection. Here, vehicle dynamics are used instead of driver inputs to enable a further extension of the prediction, i.e.\\ to predict the driving intention of other vehicles detected by sensors. High prediction rates at temporal distances of several seconds before entering the intersection are accomplished. The prediction is integrated in a system for situation assessment including an intersection model. A Matlab tool is created with an interface to the vehicle CAN bus and the intersection modeling which uses digital map data to establish a representation of the intersection. To identify differences and similarities in the process of approaching an intersection dependent on the intersection shape and regulation, a naturalistic driving study is conducted. Here, the distance to the intersection and velocity is observed on driver inputs related to the upcoming intersection (leaving the gas pedal, pushing the brake, using the turn signal). The findings are used to determine separate prediction models dependent on shape and regulation of the upcoming intersection. The system runs in real-time and is tested in a real traffic environment. / Die Entwicklung von Fahrerassistenz und automatisiertem Fahren ist in vollem Gange und entwickelt sich zunehmend in Richtung urbanen Verkehrsraum. Hier stellen besonders komplexe Verkehrssituationen sowohl für den Fahrer als auch für Assistenzsysteme eine Herausforderung dar. Zur Bewältigung dieser Situationen sind neue Systemansätze notwendig, die eine Situationsanalyse und -bewertung beinhalten. Dieser Prozess der Situationseinschätzung ist der Schlüssel zum Erkennen von kritischen Situationen und daraus abgeleiteten Warnungs- und Eingriffsstrategien. Diese Arbeit stellt einen Systemansatz vor, welcher den Prozess der Situationseinschätzung abbildet mit einem Fokus auf die Prädiktion der Fahrerintention. Das Systemdesign basiert dabei auf dem Situation Awareness Model von Endsley. Der Prädiktionsalgorithmus ist mit Hilfe von Hidden Markov Modellen umgesetzt. Zur Bestimmung der Modellparameter wurde eine existierende Datenbasis genutzt und zur Bestimmung von relevanten Variablen für die Prädiktion der Fahrtrichtung während der Kreuzungsannäherung analysiert. Dabei wurden Daten zur Fahrdynamik ausgewählt anstelle von Fahrereingaben um die Prädiktion später auf externe Fahrzeuge mittels Sensorinformationen zu erweitern. Es wurden hohe Prädiktionsraten bei zeitlichen Abständen von mehreren Sekunden bis zum Kreuzungseintritt erzielt. Die Prädiktion wurde in das System zur Situationseinschätzung integriert. Weiterhin beinhaltet das System eine statische Kreuzungsmodellierung. Dabei werden digitale Kartendaten genutzt um eine Repräsentation der Kreuzung und ihrer statischen Attribute zu erzeugen und die der Kreuzungsform entsprechenden Prädiktionsmodelle auszuwählen. Das Gesamtsystem ist als Matlab Tool mit einer Schnittstelle zum CAN Bus implementiert. Weiterhin wurde eine Fahrstudie zum natürlichen Fahrverhalten durchgeführt um mögliche Unterschiede und Gemeinsamkeiten bei der Annäherung an Kreuzungen in Abhängigkeit der Form und Regulierung zu identifizieren. Hierbei wurde die Distanz zur Kreuzung und die Geschwindigkeit bei Fahrereingaben im Bezug zur folgenden Kreuzung gemessen (Gaspedalverlassen, Bremspedalbetätigung, Blinkeraktivierung). Die Ergebnisse der Studie wurden genutzt um die Notwendigkeit verschiedener Prädiktionsmodelle in Abhängigkeit von Form der Kreuzung zu bestimmen. Das System läuft in Echtzeit und wurde im realen Straßenverkehr getestet.

The development of driver assistance and automated vehicle control is in process and finds its way more and more into urban traffic environments. Here, the complexity of traffic situations is highly challenging and requires system approaches to comprehend such situations. The key element is the process of situation assessment to identify critical situations in advance and derive adequate warning and intervention strategies. This thesis introduces a system approach to establish a situation assessment process with the focus on the prediction of the driver intention. The system design is based on the Situation Awareness model by Endsley. Further, a prediction algorithm is created using Hidden Markov Models. To define the parameters of the models, an existing database is used and previously analyzed to identify reasonable variables that indicate an intended driving direction while approaching the intersection. Here, vehicle dynamics are used instead of driver inputs to enable a further extension of the prediction, i.e.\\ to predict the driving intention of other vehicles detected by sensors. High prediction rates at temporal distances of several seconds before entering the intersection are accomplished. The prediction is integrated in a system for situation assessment including an intersection model. A Matlab tool is created with an interface to the vehicle CAN bus and the intersection modeling which uses digital map data to establish a representation of the intersection. To identify differences and similarities in the process of approaching an intersection dependent on the intersection shape and regulation, a naturalistic driving study is conducted. Here, the distance to the intersection and velocity is observed on driver inputs related to the upcoming intersection (leaving the gas pedal, pushing the brake, using the turn signal). The findings are used to determine separate prediction models dependent on shape and regulation of the upcoming intersection. The system runs in real-time and is tested in a real traffic environment.:Contents List of Figures Acronyms 1 Introduction 1.1 Motivation 1.2 Outline 2 Fundamentals 2.1 Traffic Intersections 2.2 Situation Assessment 2.3 Prediction of Driver Intention 2.3.1 Methods Overview 2.3.2 Hidden Markov Models 2.4 Localization 3 Driving Behavior 3.1 Data Analysis 3.1.1 Data selection and processing 3.1.2 Results 3.1.3 Conclusion 3.2 Naturalistic Driving Study 3.2.1 Background 3.2.2 Methods 3.2.3 Results 3.2.4 Discussion and Conclusion 4 Prediction Algorithm 4.1 Framework 4.2 Input data 4.3 Evaluation 4.4 Validation 4.5 Conclusion 5 System Approach 5.1 Sensing 5.2 Situation analysis 5.3 Prediction 5.3.1 Implementation 5.3.2 Graphical User Interface (GUI) 5.3.3 Testing and Outlook 6 Conclusion and Outlook Bibliography / Die Entwicklung von Fahrerassistenz und automatisiertem Fahren ist in vollem Gange und entwickelt sich zunehmend in Richtung urbanen Verkehrsraum. Hier stellen besonders komplexe Verkehrssituationen sowohl für den Fahrer als auch für Assistenzsysteme eine Herausforderung dar. Zur Bewältigung dieser Situationen sind neue Systemansätze notwendig, die eine Situationsanalyse und -bewertung beinhalten. Dieser Prozess der Situationseinschätzung ist der Schlüssel zum Erkennen von kritischen Situationen und daraus abgeleiteten Warnungs- und Eingriffsstrategien. Diese Arbeit stellt einen Systemansatz vor, welcher den Prozess der Situationseinschätzung abbildet mit einem Fokus auf die Prädiktion der Fahrerintention. Das Systemdesign basiert dabei auf dem Situation Awareness Model von Endsley. Der Prädiktionsalgorithmus ist mit Hilfe von Hidden Markov Modellen umgesetzt. Zur Bestimmung der Modellparameter wurde eine existierende Datenbasis genutzt und zur Bestimmung von relevanten Variablen für die Prädiktion der Fahrtrichtung während der Kreuzungsannäherung analysiert. Dabei wurden Daten zur Fahrdynamik ausgewählt anstelle von Fahrereingaben um die Prädiktion später auf externe Fahrzeuge mittels Sensorinformationen zu erweitern. Es wurden hohe Prädiktionsraten bei zeitlichen Abständen von mehreren Sekunden bis zum Kreuzungseintritt erzielt. Die Prädiktion wurde in das System zur Situationseinschätzung integriert. Weiterhin beinhaltet das System eine statische Kreuzungsmodellierung. Dabei werden digitale Kartendaten genutzt um eine Repräsentation der Kreuzung und ihrer statischen Attribute zu erzeugen und die der Kreuzungsform entsprechenden Prädiktionsmodelle auszuwählen. Das Gesamtsystem ist als Matlab Tool mit einer Schnittstelle zum CAN Bus implementiert. Weiterhin wurde eine Fahrstudie zum natürlichen Fahrverhalten durchgeführt um mögliche Unterschiede und Gemeinsamkeiten bei der Annäherung an Kreuzungen in Abhängigkeit der Form und Regulierung zu identifizieren. Hierbei wurde die Distanz zur Kreuzung und die Geschwindigkeit bei Fahrereingaben im Bezug zur folgenden Kreuzung gemessen (Gaspedalverlassen, Bremspedalbetätigung, Blinkeraktivierung). Die Ergebnisse der Studie wurden genutzt um die Notwendigkeit verschiedener Prädiktionsmodelle in Abhängigkeit von Form der Kreuzung zu bestimmen. Das System läuft in Echtzeit und wurde im realen Straßenverkehr getestet.:Contents List of Figures Acronyms 1 Introduction 1.1 Motivation 1.2 Outline 2 Fundamentals 2.1 Traffic Intersections 2.2 Situation Assessment 2.3 Prediction of Driver Intention 2.3.1 Methods Overview 2.3.2 Hidden Markov Models 2.4 Localization 3 Driving Behavior 3.1 Data Analysis 3.1.1 Data selection and processing 3.1.2 Results 3.1.3 Conclusion 3.2 Naturalistic Driving Study 3.2.1 Background 3.2.2 Methods 3.2.3 Results 3.2.4 Discussion and Conclusion 4 Prediction Algorithm 4.1 Framework 4.2 Input data 4.3 Evaluation 4.4 Validation 4.5 Conclusion 5 System Approach 5.1 Sensing 5.2 Situation analysis 5.3 Prediction 5.3.1 Implementation 5.3.2 Graphical User Interface (GUI) 5.3.3 Testing and Outlook 6 Conclusion and Outlook Bibliography