Les bénéfices engendrés par l’utilisation croissante de l’automatisation masquent un problème fondamental. En cas de pannes ou de situations imprévues, les opérateurs présentent souvent des difficultés dans la reprise en main de tels systèmes. Le but de cette thèse était d’étudier comment le cadre théorique de l’agentivité pouvait nous aider à identifier et évaluer les informations requises pour rendre la supervision de systèmes fortement automatisés plus efficace, pour restaurer un sentiment de contrôle approprié et pour augmenter l’acceptabilité du système par les opérateurs. Pour y parvenir, nous avons réalisé quatre expériences lors desquelles les participants devaient superviser le vol d’un avion sous pilote automatique. Dans un premier temps, nous avons montré que fournir des informations sur les intentions du système augmentait le sentiment de contrôle des participants. Cependant, ce gain d’information ne nous a pas permis d’observer le phénomène de liage intentionnel. Nous avons également trouvé que cette information entraînait de meilleures performances pour détecter des décisions non-optimales du système, conduisait à un changement dans la façon dont les participants allouaient leurs ressources attentionnelles et aussi augmentait le niveau d’acceptabilité du système. De façon intéressante, nous avons également montré dans la dernière expérience que le délai entre l’apparition de l’information sur les intentions du système et l’implémentation de son action impactait différemment la performance et les sentiments de contrôle et d’acceptabilité des opérateurs. / Human operators seem often helpless to takeover an automated system in case of failure. This "out-of-the-loop” problem occurs when an operator is unable to understand the intentions and to predict the outcome of actions of the system. The goal of this thesis was to study how the theoretical framework of agency can help identifying and evaluating the information required to make supervision of fully automated systems more efficient, to restore an appropriate sense of control and to increase the user acceptance of what the system is doing. To achieve this goal, we tested participants in four aircraft supervision tasks. We first showed that providing greater information about the system’s intentions increased the participants' sense of control. However, this condition did not produce any change in a frequently-used implicit marker of the sense of agency, the so-called “intentional binding effect”. We also found that this information led to better performances in detecting when the system’s decisions were non-optimal, to a change in the way participants allocated their attentional resources and also to increase the level of user acceptance. Interestingly, we also showed in the last experiment that the delay between prime messages providing information about the system's intentions and the system's actions impacted differently the performance and the operator's levels of control and acceptance. In the last section, we discuss the implications of our results for the field of human-machine interaction. We claim that the science of agency may be useful to elaborate concrete recommendations for designing automatic systems in which operators remain "in the loop" of control.

Ce travail de recherche doctorale étudie l’influence de la stimulation tactile de l’interface lors de l’évaluation en ligne du produit. A travers un plan d’expériences composé d’une étude exploratoire au design de recherche mixte et de trois expérimentations, nous cherchons à identifier, dans un premier temps, l’effet de l’absence d’interaction directe avec le produit (étude exploratoire) puis nous testons l’effet du type de test de produits sur la préférence d’achat du consommateur (i.e. physique vs. virtuel) (étude 1). Dans un deuxième temps, nous étudions l’effet de la stimulation tactile directe de l’interface sur la perception de similarité du test et l’influence de cette dernière sur l’évaluation du produit. En particulier, nous testons deux effets: celui de la congruence entre la stimulation tactile de l’interface et la texture du produit (étude 2) puis celui de la familiarité des textures (étude 3). D’une part, nous montrons que le consommateur est à la recherche d’interaction sensorielle lors de son interaction virtuelle avec les produits, ce qui lui permet de considérer cette expérience virtuelle comme plus réaliste, notamment au niveau sensoriel (étude exploratoire). Nous montrons également que le consommateur préfère l’expérience virtuelle du produit malgré le manque significatif d’interactions sensorielles, notamment tactiles (étude 1). D’autre part, nous montrons que l’interaction des textures entre l’interface et le produit influence négativement la similarité perçue du test (étude 2) tandis que, lorsque les textures ne sont pas familières, l’interaction des textures influence positivement la similarité perçue (étude 3). A partir de ces résultats, nous concluons que le consommateur est à la recherche de stimulation tactile lors de son expérience virtuelle avec le produit afin de satisfaire son besoin de toucher et d’enrichir son expérience sensorielle en ligne. En particulier, l’effet positif de l’interaction des textures, lorsque la stimulation n’est pas familière, sur la similarité perçue du test suggère que les consommateurs considèrent l’information tactile comme suffisante pour percevoir une similarité sensorielle à celle obtenue en magasin. / Our doctoral research examines the influence of tactile stimulation in online product evaluation. With an exploratory study and three experiments, we aim at identifying the effect of the absence of direct product touch (exploratory study), and then concentrate on the effect of the type of product testing on the consumer’s preference for purchasing (physical vs. virtual) (study 1). Next, we look at the influence of the interface tactile stimulation on the perceived product test similarity, of which the latter positively influences the online product evaluation. In particular, we test two types of effect: the congruence (study 2) and the familiarity of the textures (study 3). On the one hand, our results show that consumers are seeking a higher sensory input into online environments while interacting with products, especially from a tactile perspective (exploratory study). Results also highlight that consumers prefer the online product experience, even though they regret the absence of products' tactile sensations (study 1). On the other hand, we demonstrate that the interaction between the interface's direct tactile stimulation and the product's texture negatively influence the perceived similarity of product testing when textures fit, whereas when the textures are unfamiliar, the interaction of texture positively influences the perceived similarity of product testing. From these results, we conclude that consumers are in need of tactile input into virtual product experiences to satisfy their need for touch, and enhance their online sensory experiences. Notably, the positive effect of the interaction of textures, in an unfamiliar tactile stimulation, suggests that consumers consider the direct tactile stimulation as not being sufficient enough to provide useful information, but they assimilate it to a real product testing from a tactile perspective.

L'Internet des Objets, dont la vision et les technologies provoquent la rencontre des mondes physique et numérique, amène aujourd'hui à la création de nouveaux types d'applications permettant d'interopérer les services du World Wide Web avec les produits du quotidien. Ces applications " orientées produit ", capables de représenter, contrôler ou de compléter les fonctions d'artéfacts intégrant des capacités de traitement de l'information, remettent en cause les principes et conventions établies par les métiers de la conception. Elles préfigurent l'émergence de produits connectés à Internet, dont l'offre fonctionnelle peut être " augmentée " et modifiée au cours du temps, de manière à répondre aux besoins changeants des utilisateurs. Cette recherche, menée à l'intersection des sciences de la conception, de l'informatique ubiquitaire et des interactions homme-machine, vise à étudier les enjeux que suscitent ces applications lors la conception de produits. Elle met en exergue la nécessité d'établir un modèle descriptif des applications orientées produit facilitant leur figuration par les utilisateurs, ainsi que d'explorer les problèmes pragmatiques résultant de leur intégration dans les produits. Elle conduit également à l'élaboration et l'évaluation, par la pratique, de principes pour le design de la forme et des interactions des produits augmentés. Elle décrit plus particulièrement la ductilité de futurs produits, le nouveau rapport entre fonction, comportement et structure qu'ils établissent, et leurs possibles évolutions. Cette recherche contribue aux travaux sur l'Internet des Objets en proposant un nouveau cadre de discussion, et en offrant aux chercheurs et aux praticiens des outils qui peuvent être employés durant le processus de conception.

Les interfaces visuelles interactives exploitent les capacités visuelles et cognitives de l'humain, afin de lui permettre de manipuler et de comprendre de grandes quantités de données abstraites. La conception et l'évaluation de ces interfaces restent cependant des processus complexes, car ils portent sur toute la chaine de traitement de l'information, des données bru tes, jusqu'au rendu sous forme d'image. Les interfaces actuelles sont également peu flexibles et adaptables à une nouvelle donnée, tâche ou technique d'exploration, car elles nécessitent alors une nouvelle itération de développement logiciel et redéploiement chez l'utilisateur. Dans cette thèse nous nous sommes intéressés à l'amélioration de ce processus de conception, en proposant une approche orientée services permettant de limiter tout redéploiement et de faciliter le partage et la collaboration autour de représentations visuelles. Notre démarche a tout d'abord été d'étudier les espaces de design de la visualisation d'information, de l'interaction visuelle et de l'exploration visuelle de données de manière étendue. Nous avons ensuite proposé une architecture de conception composée d'un profil applicatif, d'un graphe de scène et de services web de visualisation. La réalisation de quatre applications interactives a permis de montrer la mise en œuvre opérationnelle de cette architecture, dans des contextes aussi différents en termes de données et de tâches à réaliser que sont l'exploration de bases de données de films, d'images, de réseaux sociaux et de collection de textes littéraires.

Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantique. / Unimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services

L'Internet des Objets, dont la vision et les technologies provoquent la rencontre des mondes physique et numérique, amène aujourd'hui à la création de nouveaux types d'applications permettant d'interopérer les services du World Wide Web avec les produits du quotidien. Ces applications « orientées produit », capables de représenter, contrôler ou de compléter les fonctions d'artéfacts intégrant des capacités de traitement de l'information, remettent en cause les principes et conventions établies par les métiers de la conception. Elles préfigurent l'émergence de produits connectés à Internet, dont l'offre fonctionnelle peut être « augmentée » et modifiée au cours du temps, de manière à répondre aux besoins changeants des utilisateurs. Cette recherche, menée à l'intersection des sciences de la conception, de l'informatique ubiquitaire et des interactions homme-machine, vise à étudier les enjeux que suscitent ces applications lors la conception de produits. Elle met en exergue la nécessité d'établir un modèle descriptif des applications orientées produit facilitant leur figuration par les utilisateurs, ainsi que d'explorer les problèmes pragmatiques résultant de leur intégration dans les produits. Elle conduit également à l'élaboration et l'évaluation, par la pratique, de principes pour le design de la forme et des interactions des produits augmentés. Elle décrit plus particulièrement la ductilité de futurs produits, le nouveau rapport entre fonction, comportement et structure qu'ils établissent, et leurs possibles évolutions. Cette recherche contribue aux travaux sur l'Internet des Objets en proposant un nouveau cadre de discussion, et en offrant aux chercheurs et aux praticiens des outils qui peuvent être employés durant le processus de conception. / The Internet of Things, whose underlying vision and technologies aim at bridging the physical and digital worlds together, lead to the creation of new types of applications coupling Web services with everyday products. Such product-oriented applications, which enable the functional exposition, control or enhancement of artifacts that embed information processing capabilities, question the established design principles and conventions. They open up the possibility for Internet-enabled products, whose functions can be “augmented” and adapted to better support users' changing needs, to be designed. This research, which is at the intersection of Design Science, Ubiquitous Computing and Human-Computer Interactions, aims at studying the impact brought about by applications on product design. It highlights the need to build an application model that facilitates their representation by users, and to explore the pragmatic issues rose by their integration into products. It leads to the definition and evaluation, through practice, of principles for the design of augmented products' form and interactions. It describes the ductility of future products, the novel coupling between functions, behavior and structure they implement and their potential evolutions. This work contributes to the Internet of Things research by reframing the discussion and by providing researchers and practitioners with tools that can be leveraged during the design process.

La communication affective est au cœur de nos interactions interpersonnelles. Nous communiquons les émotions à travers de multiples canaux non verbaux. Plusieurs travaux de recherche sur l’interaction homme-machine ont exploité ces modalités de communication afin de concevoir des systèmes permettant de reconnaître et d’afficher automatiquement des signaux affectifs. Le toucher est la modalité la moins explorée dans ce domaine de recherche. L’aspect intrusif des interfaces haptiques actuelles est l’un des principaux obstacles à leur utilisation dans la communication affective médiée. En effet, l’utilisateur est physiquement connecté à des systèmes mécaniques pour recevoir la stimulation. Cette configuration altère la transparence de l’interaction médiée et empêche la perception de certaines dimensions affectives comme la valence. L’objectif de cette thèse est de proposer et d’étudier une technique de stimulation tactile sans contact avec des systèmes mécaniques pour médier des signaux d’affects. Sur la base de l’état de l’art des interfaces haptiques, nous avons proposé une stratégie de stimulation tactile basée sur l’utilisation d’un jet d’air mobile. Cette technique permet de fournir une stimulation tactile non-intrusive sur des zones différentes du corps. De plus, ce dispositif tactile permettrait une stimulation efficace de certains mécanorécepteurs qui jouent un rôle important dans les perceptions d’affects positifs. Nous avons conduit une étude expérimentale pour comprendre les relations entre les caractéristiques physiques de la stimulation tactile par jet d’air et la perception affective des utilisateurs. Les résultats mettent en évidence les effets principaux de l'intensité et de la vitesse du mouvement du jet d’air sur l’évaluation subjective mesurée dans l’espace affectif (à savoir, la valence, l'arousal et de la dominance).La communication des émotions est clairement multimodale. Nous utilisons le toucher conjointement avec d’autres modalités afin de communiquer les différents messages affectifs. C’est dans ce sens que nous avons conduit deux études expérimentales pour examiner la combinaison de la stimulation tactile par jet d’air avec les expressions faciales et vocales pour la perception de la valence. Ces expérimentations ont été conduites dans un cadre théorique et expérimental appelé théorie de l’intégration de l’information. Ce cadre permet de modéliser l’intégration de l’information issue de plusieurs sources en employant une algèbre cognitive. Les résultats de nos travaux suggèrent que la stimulation tactile par jet d’air peut être utilisée pour transmettre des signaux affectifs dans le cadre des interactions homme-machine. Les modèles perceptifs d’intégration bimodales peuvent être exploités pour construire des modèles computationnels permettant d’afficher des affects en combinant la stimulation tactile aux expressions faciales ou à la voix. / Affective communication plays a major role in our interpersonal interactions. We communicate emotions through multiple non-verbal channels. Researches on human-computer interaction have exploited these communication channels in order to design systems that automatically recognize and display emotional signals. Touch has receivers less interest then other non-verbal modalities in this area of research. The intrusive aspect of current haptic interfaces is one of the main obstacles to their use in mediated emotional communication. In fact, the user is must physically connected to mechanical systems to receive the stimulation. This configuration affects the transparency of the mediated interaction and limits the perception of certain emotional dimensions as the Valence. The objective of this thesis is to propose and study a technique for tactile stimulation. This technique does not require contact with mechanical systems to transmit affective signals. On the basis of the state of the art of haptic interfaces, we proposed a strategy of tactile stimulation based on the use of a mobile air jet. This technique provides a non-intrusive tactile stimulation on different areas of the body. In addition, this tactile device would allow effective stimulation of some mechanoreceptors that play an important role in perceptions of positive affect. We conducted an experimental study to understand the relationships between the physical characteristics of tactile stimulation by air jet and the emotional perception of the users. The results highlight the main effects of the intensity and the velocity of movement of the air stream on the subjective evaluation measured in space affective (namely, Valence, Arousal and Dominance).The communication of emotions is clearly multi-modal. We use touch jointly with other modalities to communicate different emotional messages. We conducted two experimental studies to examine the combination of air jet tactile stimulation with facial and vocal expressions for perception of the valence. These experiments were conducted in a theoretical and experimental framework called integration of information theory. This framework allows modelling the integration of information from multiple sources using a cognitive algebra. Our work suggests that tactile stimulation by air jet can be used to transmit emotional signals in the context of the human-machine interactions. Perceptual bimodal integration models can be exploited to build computational models to display affects by combining tactile stimulation to facial expressions or the voice.

Le système perceptif d’un chirurgien doit s’adapter aux contraintes multisensorielles liées à la chirurgie guidée par l’image. Trois expériences sont conçues pour explorer ces contraintes visuelles et haptiques pour l’apprentissage guidé par l’image. Les résultats montrent que les sujets sont plus rapides et plus précis avec une vision directe. La stéréoscopie 3D n’améliore pas les performances des débutants complets. En réalité virtuelle, la variation de la longueur, largeur, position et complexité de l'objet affecte les performances motrices. La force de préhension appliquée sur un système robotique chirurgical dépend de l'expérience de l'utilisateur. En conclusion, le temps et la précision sont importants, mais la précision doit rester une priorité pour un apprenti. L'homogénéité des groupes d'étude est important pour la recherche sur la formation chirurgicale. Les résultats ont un impact direct sur le suivi des compétences individuelles pour les applications guidées par l'image. / Perceptual system of a surgeon must adapt to conditions of multisensorial constrains regard to planning, control, and execution of the image-guided surgical operations. Three experimental setups are designed to explore these visual and haptic constraints in the image-guided training. Results show that subjects are faster and more precise with direct vision compared to image guidance. Stereoscopic 3D viewing does not represent a performance advantage for complete beginners. In virtual reality, variation in object length, width, position, and complexity affect the motor performance. Applied grip force on a surgical robot system depends on the user experience level. In conclusion, both time and precision matter critically, but trainee gets as precise as possible before getting faster should be a priority. Study group homogeneity and background play key role in surgical training research. The findings have direct implications for individual skill monitoring for image-guided applications.