Cette thèse s’inscrit dans le cadre théorique très général de la conception des systèmessociotechniques complexes. Elle est appliquée au système de l'Appareil à Gouverner des sous-­‐marins. Elle traite, tout particulièrement, de l'étape d’allocation des fonctions entre l’homme et la machine.L’objectif des premiers travaux a été de tester un système automatisant la phase d’analyse de l’information mise à disposition du barreur. Deux expérimentations ont évalué les effets d’une interface "écologique" sur la performance, la charge de travail et la conscience de la situation de barreurs réalisant une tâche de pilotage sur simulateur.Une deuxième phase a consisté à définir différentes solutions d’allocation dynamique des fonctions entre l’homme et la machine dans le système de pilotage de sous-­‐marin. Une expérimentation a évalué l’apport d’une réallocation à la machine de la gestion du cap et/ ou de l'immersion, en fonction de la performance et de la charge de travail de l'opérateur.Les résultats de ces différentes études conduisent à proposer une démarche de conception d'un système sociotechnique qui reprend et enrichit le cadre du CWA (Cognitive Work Analysis) et à discuter du positionnement et de la formalisation del’allocation des fonctions dans le processus de conception des systèmes homme-­‐machine. / This thesis comes within the scope of sociotechnical systems design. It is applied to thesubmarine rudder control system. It focuses, in particular, on the stage of functions allocation between helmsman and machine.The objective of the first experiments was to test an "ecological" interface automating the function of information analysis. Two experiments evaluated its effects on performance, workload and situation awareness of helmsmen performing steering tasks.A second phase consisted in defining different proposals of dynamic allocations of functions between helmsman and machine. An experiment was carried out, in order to evaluate a solution of adaptive automation.The results of these studies lead to propose an approach for designing a socio-­‐technical system, which relies on and enhances the CWA (Cognitive Work Analysis) framework. They lead also to discuss place and formalisation of the functions allocation's stage into the process of sociotechnical systems' design.

This dissertation presents a unique approach to human behavior analysis based on expert guidance and intervention through interactive construction and modification of behavior models. Our focus is to introduce the research area of behavior analysis, the challenges faced by this field, current approaches available, and present a new analysis approach: Interactive Relevance Search and Modeling (IRSM). More intelligent ways of conducting data analysis have been explored in recent years. Ma- chine learning and data mining systems that utilize pattern classification and discovery in non-textual data promise to bring new generations of powerful "crawlers" for knowledge discovery, e.g., face detection and crowd surveillance. Many aspects of data can be captured by such systems, e.g., temporal information, extractable visual information - color, contrast, shape, etc. However, these captured aspects may not uncover all salient information in the data or provide adequate models/patterns of phenomena of interest. This is a challenging problem for social scientists who are trying to identify high-level, conceptual patterns of human behavior from observational data (e.g., media streams). The presented research addresses how social scientists may derive patterns of human behavior captured in media streams. Currently, media streams are being segmented into sequences of events describing the actions captured in the streams, such as the interactions among humans. This segmentation creates a challenging data space to search characterized by non- numerical, temporal, descriptive data, e.g., Person A walks up to Person B at time T. This dissertation will present an approach that allows one to interactively search, identify, and discover temporal behavior patterns within such a data space. Therefore, this research addresses supporting exploration and discovery in behavior analysis through a formalized method of assisted exploration. The model evolution presented sup- ports the refining of the observer\'s behavior models into representations of their understanding. The benefit of the new approach is shown through experimentation on its identification accuracy and working with fellow researchers to verify the approach\'s legitimacy in analysis of their data. / Ph. D.

L’évolution de la technologie se traduit par l’émergence de systèmes de plus en plus complexes et automatisés. Dans les situations dynamiques, l’activité de l’opérateur est désormais plus centrée sur la supervision que sur l’exécution. Ces situations sont caractérisées par la complexité, l’incertitude, un contrôle partiel et un risque important de perdre la maîtrise de la situation. L’objectif principal des travaux présentés dans ce manuscrit est de créer un indicateur synthétique de charge mentale, qui servira à piloter une réallocation des fonctions en temps réel. Il s'agit, in fine, de permettre à l’opérateur de mieux réguler sa charge mentale, et de l'aider à garder ou à récupérer la maîtrise de la situation. Ces travaux sont appliqués à l’activité de supervision d’un essaim de drones étudiée sur une plateforme de simulation (la plateforme SUSIE). Nous avons pour cela revisité et combiné le modèle de Hart et Staveland (1988), qui considère la charge mentale comme une construction multidimensionnelle et celui de Sperandio (1971), qui se focalise sur les régulations de l’activité. Cela nous a amené à proposer un modèle dynamique et tridimensionnel (basé sur l’analyse des contraintes, des effets de la charge sur la tâche et l’opérateur, et des régulations), sur lequel nous nous sommes appuyés pour construire une démarche de création d’un indicateur synthétique de charge mentale. Cette démarche se décompose en quatre étapes. La première consiste à réaliser une analyse de la tâche en suivant la méthodologie de Sperandio (1988), afin de définir et d’identifier les descripteurs de la charge mentale suivant les trois catégories de notre modèle dynamique et tridimensionnel. La seconde étape s’appuie sur la réalisation d’une expérimentation, qui vise à valider ou exclure les indicateurs identifiés, en fonction de leur sensibilité aux variations de charge mentale (telle que définie par Cegarra et Chevalier (2008)). Les résultats montrent notamment que le diamètre pupillaire et l’observation des régulations permettent une mesure sensible. La troisième étape a pour objectif de créer un indicateur synthétique de charge mentale en fusionnant par réseaux bayésiens et logique floue les indicateurs retenus. Enfin, la dernière phase supporte la conception d’une allocation dynamique des fonctions, déclenchée à partir de l’indicateur synthétique de charge mentale. Une deuxième expérimentation a été menée afin d’évaluer l’apport de la réallocation. Elle montre que l’aide permet à l’opérateur de mieux réguler son activité ; elle modifie la charge de travail (contrainte), mais ne réduit pas la charge mentale. / The evolution of technology has resulted in the emergence of increasingly complex and automated systems. In dynamic situations, the activity of the operator is now more centred on supervision than on execution. These situations are characterized by complexity, uncertainty, partial control and a significant risk of losing control of the situation. The main objective of the work presented in this manuscript is to create a synthetic mental workload indicator, which will be used to trigger a reallocation of functions in real time. The ultimate goal is to enable the operator to better regulate his/her mental workload and to help him/her maintain or regain control of the situation. This work is applied to the supervision activity of a drone swarm studied on a simulation platform (the SUSIE platform). We have revisited and combined the model of Hart and Staveland (1988), which considers the mental workload as a multidimensional construct and that of Sperandio (1971), which focuses on the regulation of activity. This led us to propose a dynamic and three-dimensional model (based on the analysis of the constraints, the effects of the workload on the task and the operator, and the regulations), on which we relied to build a creative approach of a synthetic mental workload indicator. This process is divided into four stages. The first consists in carrying out an analysis of the task following the methodology of Sperandio (1988), to define and identify the descriptors of the mental workload according to the three categories of our dynamic and three-dimensional model. The second step is based on the realization of an experiment, which aims to validate or exclude the identified indicators, per their sensitivity to variations in mental workload (as defined by Cegarra et Chevalier (2008)). The results show in particular that the pupillary diameter and the observation of the regulations allow an appreciable measurement. The third step aims to create a synthetic indicator of mental load by merging the chosen indicators by using Bayesian networks and fuzzy logic. Finally, the last phase supports the design of a dynamic allocation of functions, triggered from the synthetic indicator of mental workload. A second experiment was carried out to evaluate the contribution of reallocation. It shows that the aid allows the operator to better regulate his activity; it modifies the task workload (constraint), but does not reduce the mental workload.

Cette thèse représente une étude d'un nouvel indicateur d'aide à la décision pour le problème d'ordonnancement d'ateliers de production sous présence d'incertitudes. Les contributions apportées dans ce travail se situent dans le contexte des groupes d'opérations permutables. Cette approche consiste à proposer une solution d'ordonnancement flexible caractérisant un ensemble fini non-énuméré d'ordonnancements. Un opérateur est ensuite censé sélectionner l'ordonnancement qui répond le mieux aux perturbations survenues dans l'atelier. Nous nous intéressons plus particulièrement à cette phase de sélection et nous mettons l'accent sur l’intérêt de l'humain pour la prise de décision. Dans un premier temps, nous présentons le meilleur des cas; indicateur d'aide à la décision pour le calcul du meilleur ordonnancement caractérisé par l'ordonnancement de groupes. Nous proposons des bornes inférieures pour le calcul des dates de début/fin des opérations. Ces bornes sont ensuite implémentées dans une méthode de séparation et d'évaluation permettant le calculer du meilleur des cas. Grâce à des simulations effectuées sur des instances de job shop de la littérature, nous mettons l'accent sur l'utilité et la performance d'un tel indicateur dans un système d'aide à la décision. Enfin, nous proposons une Interface Homme-Machine (IHM) adaptée à l'ordonnancement de groupes et pilotée par un système d'aide à la décision multicritères. L'implémentation de cette IHM sur un cas d'étude réel a permis de soulever certaines pratiques efficaces pour l'aide à la décision dans le contexte de l'ordonnancement sous incertitudes. / This thesis represents a study of a new decision-aid criterion for manufacturing scheduling under uncertainties. The contributions made in this work relate to the groups of permutable operations context. This approach consists of proposing a flexible scheduling solution characterizing a non-enumerated and finite set of schedules. An operator is then supposed to select the appropriate schedule that best copes with the disturbances occurred on the shop floor. We focus particularly on this selection phase and we emphasize the important of the human for decision making. First, we present the best-case; a decision-aid criterion for computing the best schedule characterized by the groups of permutable operations method. We propose lower bounds for computing the best starting/completion time of operations. These lower bounds are then implemented in a branch and bound procedure in order to compute the best-case. Through to several simulations carried out on literature benchmark instances, we stress the usefulness of such criterion in a decision-aid system. Finally, we propose a Human-Machine-Interface (HMI) adapted to the groups of permutable operations and driven by a multi-criteria decision-aid system. The implementation results of this HMI on a real case study provided some insight about the practice of decision-making and scheduling under uncertainties.

This paper is an explorative interaction design study focusing on the development of a wearable device for enhanced learning of bodily skills. It uses a variation of technology scouting and matchmaking to explore possible technologies related to assistive technology for learning. Semi-structured interviews were conducted with people in the concerned fields and analysis of the interviews resulted in insights that could inform the development of the design. Research findings suggest that a wearable learning system that leverages AI to guide and assist learning of bodily skills through a haptic interface could be possible with current technology. The paper proposes a schematic diagram of the system, UX goals and evaluates user attitudes towards such a system. Overall, this design study could serve as a resource for future development of AI-assisted education for activities involving bodily movement.

Le travail présenté dans la thèse s’inscrit dans le projet de recherche partenarial ANR-ABV 2009 dont l’objet est la conception d’un système de conduite automatisée à basse vitesse. Il décrit et analyse les principes d’un contrôle partagé d’un véhicule automobile entre un conducteur humain et un copilote électronique (E-copilote). L’objectif est de mettre en place une coopération Homme-Machine efficace entre le conducteur et l’E-copilote. Un des enjeux est notamment de permettre au conducteur d’interagir avec l’E-copilote de façon continue pour pouvoir exécuter les manœuvres qu’il souhaite sans nécessiter la désactivation ni être gêné par l’E-copilote. Cet enjeu répond au besoin de prise en compte des actions du conducteur entreprises pour pallier celles du E-copilote dans certaines situations par exemple éviter un obstacle non perçu par le système. L’objectif dans ce cas est de garantir le confort au conducteur ainsi que sa conscience du mode engagé (système actif ou pas). Le conducteur et l’E-copilote agissant simultanément sur le système de direction, chacun doit être conscient des actions de l’autre : une communication bidirectionnelle est essentielle. Pour atteindre cet objectif, nous avons retenu les interactions haptiques à travers le système de direction du véhicule. Le couple appliqué par le conducteur sur volant est utilisé par l’E-copilote pour prendre en compte ces actions de la même façon que le couple produit par l’E-copilote est ressenti par le conducteur et utilisé pour comprendre le comportement du système. D’autres aspects essentiels pour la coopération H-M ont également été abordés : l’´étude des changements de modes de fonctionnement du système ainsi que l’IHM via laquelle le conducteur interagit avec le système. / The work presented in the thesis is part of the research partnership project ANRABV 2009 which aims is to design an automated low-speed driving. It describes and analyzes the principles of shared control of a motor vehicle between a human driver and an electronic copilot (E-copilot). The objective is to establish effective human-machine cooperation between the driver and E-copilot. One issue is particular to allow the driver to interact with the E-copilot continuously in order to perform maneuvers he wants without requiring deactivation neither constrained by E-copilot. This issue addresses the need for consideration of driver actions taken to remedy those of E-copilot for example avoiding undetected obstacle by the system while ensuring operator comfort and the driver situation awareness. The driver and E-co-pilot acting simultaneously on the steering system, everyone must be aware of the actions of the other: twoway communication is essential. To achieve this goal, we used the haptic interactions through the steering system of the vehicle. The torque applied by the driver on the steering wheel is used by the E-copilot to take into account these actions as the torque produced by the E-copilot is felt by the driver and used to understand the system’s behavior. Other key issues for the Human-Machine Cooperation were also discussed: the study of changes in modes of operation of the system and HMI via which the driver interact with the system.

Les récentes percées technologiques dans les domaines de l’actionnement, de la perception et de l’intelligence artificielle annoncent une nouvelle ère pour l’assistance à la conduite et les véhicules hautement automatisés. Toutefois, dans un contexte où l’automatisation demeure imparfaite, il est primordial de s’assurer que le système d’automatisation de la conduite puisse maintenir la conscience de la situation du conducteur afin que ce dernier puisse accomplir avec succès son rôle de supervision des actions du système. En même temps, le système doit pouvoir assurer la sécurité du véhicule et prévenir les actions du conducteur qui risqueraient de compromettre sa sécurité et celle des usagers de la route. Il est donc nécessaire d’intégrer dès la conception du système automatisé de conduite, la problématique des interactions avec le conducteur en réglant les problèmes de partage de tâche et de degré de liberté, d’autorité et de niveau d’automatisation du système. S’inscrivant dans le cadre du projet ANR-CoCoVeA (Coopération Conducteur-Véhicule Automatisé), cette thèse se penche de plus près sur la question de la coopération entre l’automate de conduite et le conducteur. Notre objectif est de fournir au conducteur un niveau d’assistance conforme à ses attentes, capable de prendre en compte ses intentions tout en assurant un niveau de sécurité important. Pour cela nous proposons un cadre général qui intègre l’ensemble des fonctionnalités nécessaires sous la forme d’une architecture permettant une coopération à plusieurs niveaux de la tâche de conduite. Les notions d’attribution des tâches et de gestion d’autorité avec leurs différentes nuances sont abordées et l’ensemble des fonctions du système identifiées dans l’architecture ont été étudiées et adaptées pour ce besoin de coopération. Ainsi, nous avons développé des algorithmes de décision de la manœuvre à effectuer, de planification de trajectoire et de contrôle qui intègrent des mécanismes leur permettant de s’adapter aux actions et aux intentions du conducteur lors d’un éventuel conflit. En complément de l’aspect technique, cette thèse étudie les notions de coopération sous l’angle des facteurs humains en intégrant des tests utilisateur réalisés sur le simulateur de conduite dynamique SHERPA-LAMIH. Ces tests ont permis à la fois de valider les développements réalisés et d’approfondir l’étude grâce à l’éclairage qu’ils ont apporté sur l’intérêt de chaque forme de coopération. / The recent technological breakthroughs in the actuation, perception and artificial intelligence domains herald a new dawn for driving assistance and highly automated driving. However, in a context where the automation remains imperfect and prone to error, it is crucial to ensure that the automated driving system maintains the driver’s situation awareness in order to be able to successfully and continuously supervise the system’s actions. At the same time, the system must be able to ensure the safety of the vehicle and prevent the driver’s actions that would compromise his safety and that of other road users. Therefore, it is essential that the issue of interaction and cooperation with the driver is addressed throughout the whole system design process. This entails the issues of task allocation, authority management and levels of automation. Conducted in the scope of the projet ANR-CoCoVeA (French acronym for: "Cooperation between Driver and Automated Vehicle"), this thesis takes a closer look at the question of cooperation between the driver and automated driving systems. Our main objective is to provide the driver with a suitable assistance level that accounts for his intentions while ensuring global safety. For this matter, we propose a general framework that incorporates the necessary features for a successful cooperation at the different levels of the driving task in the form of a system architecture. The questions of task allocation and authority management are addressed under their different nuances and the identified system functionalities are studied and adapted to match the cooperation requirements. Therefore, we have developed algorithms to perform maneuver decision making, trajectory planning, and control that include the necessary mechanisms to adapt to the driver’s actions and intentions in the case of potential conflicts. In addition to the technical aspects, this thesis studies the cooperation notions from the human factor perspective. User test studies conducted on the SHERPA-LAMIH dynamic simulator allowed for the validation of the different developments while shedding light on the benefits of different cooperation forms.

Face à l’évolution rapide des technologies nécessaires à l’automatisation de la conduite au cours de ces dernières années, les grands constructeurs automobiles promettent la commercialisation de véhicules autonomes à l’horizon 2020. Cependant, la définition des interactions entre les systèmes de conduite automatisée et le conducteur au cours de la tâche de conduite reste une question ouverte. L'objectif de cette thèse est de concevoir, développer et évaluer des principes de coopération entre le conducteur et les systèmes de conduite automatisée. Compte tenu de la complexité d'un tel Système Homme-Machine, la thèse propose, en premier lieu une architecture de contrôle coopératif hiérarchique et deux principes de coopération généraux sur deux niveaux dans l’architecture qui serviront ensuite de base commune pour la conception des systèmes coopératifs développés pour les cas d’usages définis. Afin d’assurer une coopération efficace avec le conducteur dans un environnement de conduite dynamique, le véhicule autonome a besoin de comprendre la situation et de partager sa compréhension de la situation avec le conducteur. Pour cela, cette thèse propose un formalisme de représentation de la scène de conduite basé sur le repère de Frenet. Ensuite, une méthode de prédiction de trajectoire est également proposée. Sur la base de la détection de manœuvre et de l'estimation du jerk, cette méthode permet d’améliorer la précision de la trajectoire prédite comparée à celle déterminée par la méthode basée sur une hypothèse d'accélération constante. Dans la partie d’études de cas, deux principes de coopération sont mis en œuvre dans deux cas d’usage. Dans le premier cas de la gestion d’insertion sur autoroute, un système de contrôle longitudinal coopératif est conçu. Il comporte une fonction de planification de manœuvre et de génération de trajectoire basée sur la commande prédictive. En fonction du principe de coopération, ce système peut à la fois gérer automatiquement l’insertion d’un véhicule et donner la possibilité au conducteur de changer la décision du système. Dans le second cas d'usage qui concerne le contrôle de trajectoire et le changement de voie sur autoroute, le problème de partage du contrôle est formulé comme un problème d’optimisation sous contraintes qui est résolu en ligne en utilisant l’approche de la commande prédictive (MPC). Cette approche assure le transfert continu de l’autorité du contrôle entre le système et le conducteur en adaptant les pondérations dans la fonction de coût et en mettant en œuvre des contraintes dynamiques en ligne dans le modèle prédictif, tout en informant le conducteur des dangers potentiels grâce au retour haptique sur le volant. Les deux systèmes sont évalués à l’aide de tests utilisateur sur simulateur de conduite. En fonction des résultats des tests, cette thèse discute la question des facteurs humains et la perception de l'utilisateur sur les principes de coopération. / Given rapid advancement of automated driving (AD) technologies in recent years, major car makers promise the commercialization of AD vehicles within one decade from now. However, how the automation should interact with human drivers remains an open question. The objective of this thesis is to design, develop and evaluate interaction principles for AD systems that can cooperate with a human driver. Considering the complexity of such a human-machine system, this thesis begins with proposing two general cooperation principles and a hierarchical cooperative control architecture to lay a common basis for interaction and system design in the defined use cases. Since the proposed principles address a dynamic driving environment involving manually driven vehicles, the AD vehicle needs to understand it and to share its situational awareness with the driver for efficient cooperation. This thesis first proposes a representation formalism of the driving scene in the Frenet frame to facilitate the creation of the spatial awareness of the AD system. An adaptive vehicle longitudinal trajectory prediction method is also presented. Based on maneuver detection and jerk estimation, this method yields better prediction accuracy than the method based on constant acceleration assumption. As case studies, this thesis implements two cooperation principles for two use cases respectively. In the first use case of highway merging management, this thesis proposes a cooperative longitudinal control framework featuring an ad-hoc maneuver planning function and a model predictive control (MPC) based trajectory generation for transient maneuvers. This framework can automatically handle a merging vehicle, and at the mean time it offers the driver a possibility to change the intention of the system. In another use case concerning highway lane positioning and lane changing, a shared steering control problem is formulated in MPC framework. By adapting the weight on the stage cost and implementing dynamic constraints online, the MPC ensures seamless control transfer between the system and the driver while conveying potential hazards through haptic feedback. Both of the designed systems are evaluated through user tests on driving simulator. Finally, human factors issue and user’s perception on these new interaction paradigms are discussed.