La dernière décennie a vu s'établir la démocratisation des interfaces tactiles. De nombreux logiciels jusque là réservés aux ordinateurs de bureau offrent désormais une version qui se contrôle du bout des doigts. Cependant, l'expressivité limitée de la modalité tactile restreint drastiquement le nombre de fonctionnalités disponibles. La recherche explore donc différentes pistes pour augmenter cette expressivité notamment par l'identification des doigts. Alors que la littérature se focalise principalement sur les méthodes d'identification des doigts, cette thèse vise à mieux en comprendre l'utilisation afin de guider la conception de techniques d'interaction.Nous réalisons d'abord une revue des technologies existantes, présentons nos prototypes et évaluons l'utilisation de la reconnaissance des empreintes digitales, qui nous semble la solution la plus prometteuse en vue d'une intégration dans des systèmes commerciaux. Par la réalisation d'expériences contrôlées, nous étudions ensuite les différences de performances et de préférences entre les doigts, l'influence de l'identification des doigts sur la stratégie de réalisation de tâches. Nous explorons également comment intégrer cette information au sein des techniques d'interaction existantes et aider les utilisateurs à appréhender le riche vocabulaire offert. / During the last decade, touch interfaces have become more and more ubiquitous. A lot of software applications initially designed for desktop computers have now a tactile counterpart. However, the limited expressiveness of the touch modality restricts drastically the amount of features available on touch applications. Researchers have been exploring different tracks on how to augment this expressiveness, notably through finger identification. While the literature mainly focuses on tackling the technological challenge, this dissertation aims at better understanding its use in order to provide guidelines for designing interaction techniques.We first summarize existing technologies, present our prototypes and evaluate the use of fingerprint recognition, that we perceive as the most promising solution with the aim of being integrated in consumer devices. Through controlled experiments, we study the differences of performance and preference between fingers, the influence of finger identification on user strategies to complete tasks. We also explore how to integrate this new information along existing interaction techniques and help users grasp the rich vocabulary provided. Our works lead to guidelines for designing interaction techniques leveraging finger identification that we implement in three different interaction contexts (tabletops, tablets and smartphones) through Adoiraccourcix, an interaction technique combining command selection and parameter manipulation.

The purpose of this thesis is to explore how surface engagement through touch affects perception of stimuli and mood. Researchers have found psychological, physiological and cognitive benefits associated with exposure to and interaction with nature. Stress Reduction Theory with Psychoevolutionary framework, and Attention Restoration Theory are often used to explain and interpret results. However, studies that focus on individuals with negative perspectives of nature find a positive affective response to nature is not universal. Rather, individuals respond differently based on their own experience with nature. Childhood exposure and culture have been found to influence attitudes towards nature. Theories of embodied cognition emphasize the importance of previously learned associations and embodied states have been found to influence judgment, experience of emotions, and physiological states. To assess whether an individual's attitude towards nature influences the embodiment of a positive or negative state, participants were randomly assigned to come into physical contact with one of four surfaces with their feet: grass, fake grass, dirt and cement. Individuals affective, cognitive and physical relationship with nature was measured with the Nature Relatedness Scale. Change in perception of neutral stimuli and mood before and after surface exposure were measured. Results suggested surfaces influenced mood in different ways, however the effects on perception were unclear. A participant's perspective of nature did not seem to influence mood change depending on surface type. Future research is needed to assess whether the shift in mood was based on metaphors of language, priming from surface texture, or a result of complex interaction between bodily sensations and cognition.

L'amélioration des outils informatiques devient davantage tributaire de l'enrichissement et du développement de nouvelles interfaces homme-machines que de l'augmentation de la puissance des machines. Les périphériques et techniques d'interaction font partie intégrante des interfaces homme-machines et sont au coeur de nos travaux. Nos recherches s'inscrivent dans cet axe de développement de l'interaction homme-machine en considérant à la fois les aspects matériels, logiciels et les capacités humaines liés aux interfaces homme-machines. Dans ce cadre, nos travaux ont mis en évidence l'importance des fonctions de transfert pour les périphériques de pointage indirects et montrent qu'il existe une marge d'optimisation de ces fonctions. La prise en compte des caractéristiques physiques des périphériques, des capacités des utilisateurs et d'une reconsidération de la gestion des périphériques dans les systèmes actuels permettent en effet d'améliorer les tâches existantes et d'effectuer des tâches auparavant impossibles à réaliser avec des techniques d'interaction standards. Nous nous sommes également intéressés aux périphériques d'interaction directs pour lesquels nous avons montré que la prise en compte de l'occultation permet d'améliorer l'interaction sur écrans tactiles, tout comme une meilleure compréhension des capacités de séparation et d'intégration des degrés de liberté améliore les tâches de manipulation 3D sur écrans multipoints. Le développement de nouvelles interfaces homme-machine est également au coeur de nos travaux. La compréhension des limites des périphériques isotoniques et élastiques existants nous a conduit à développer le périphérique hybride isotonique-élastique RubberEdge. Nos travaux portent également sur l'utilisation du retour tactile avec frottement programmable pour développer de nouvelles techniques d'interaction, l'amélioration des changements de mode sur écrans tactiles avec le développement du périphérique Conté et l'exploitation de l'interaction sur et au dessus d'une surface tactile avec le système Mockup Builder. Le dernier volet de nos travaux concerne l'estimation de la difficulté perçue d'exécution de gestes et l'analyse de la dynamique de gestes pour distinguer les tâches de sélection de celles de saisie d'objets dans le cadre d'interfaces sans contact.

Un nombre croissant de paradigmes d'interaction et de dispositifs ont été développés et étudiés pour les manipulations 3D.Ce développement bénéficie, en particulier, aux domaines scientifiques tels que la visualisation qui s'appuie sur la manipulation de données 3D.De nombreuses études ont démontré les avantages de chacun d'entre eux pour des tâches spécifiques liées à la visualisation. Pourtant, les interfaces utilisateur graphiques classiques ainsi que la souris et les claviers prédominent toujours dans la plupart des environnements interactifs: de tels environnements sont toujours utiles pour des tâches spécifiques et parce qu'ils sont facilement disponibles et accessibles par rapport aux nouveaux paradigmes d'interaction et aux dispositifs innovants. Contrairement à l'approche habituelle qui consiste à créer ou étudier un nouveau paradigme, une nouvelle technique ou un nouveau dispositif d'interaction, les travaux présentés dans cette thèse ouvrent la voie à un continuum d'interaction: la possibilité de passer d'un paradigme d'interaction à l'autre et de combiner deux ou plusieurs paradigmes d'interaction pour en tirer profit. Pour atteindre cet objectif, nous prenons plusieurs mesures. Tout d'abord, en se basant sur l'observation que la souris et le clavier, l'interaction tactile et l'interaction tangible sont maintenant des normes ou se rapprochent d'être des paradigmes d'interaction standard pour les cas d'utilisation occasionnelle ou spécifique, cette thèse étudie et compare leurs avantages et limites inhérents aux manipulations 3D.Sur la base de ce travail, nous créons ensuite un paradigme d'interaction hybride tactile et tangible. Basé sur les besoins de la visualisation scientifique pour la mécanique des fluides, nous mettons en œuvre des techniques spécifiques d'interaction exploratrice 3D avec le paradigme hybride et les évaluons avec des experts du domaine. La mise en œuvre prototypique de ce paradigme hybride est une tablette tactile capable de quantifier ses propres mouvements (rotations et translations). Sur la base des retours d'expérience des experts du domaine, une telle combinaison est plus flexible que l'état de l'art et permet des manipulations 3D précises. Avec le potentiel de ce paradigme hybride, nous abordons ensuite la tâche complexe de la sélection des sous-ensembles 3D ---une étape initiale majeure pour la compréhension des données. Alors que la sélection de sous-ensembles 3D est généralement effectuée avec une entrée 2D initiale étendue ultérieurement par la machine, notre combinaison d'interactions tactiles et tangibles permet aux utilisateurs d'avoir une technique de sélection entièrement manuelle avec la même tablette: un lasso 2D peut être dessiné avec une entrée tactile qui peut ensuite être étendue en 3D lors du déplacement de la tablette. Non seulement cette combinaison comble-t-elle un vide dans la taxonomie des techniques de sélection de sous-ensembles 3D, mais est, qui plus est, plus précise que les solutions partiellement automatisées, quoique plus lentes. Enfin, en nous appuyant sur l'observation selon laquelle une interaction tangible avec un dispositif localement couplé pourrait nécessiter des ajustements de facteur de gain, nous proposons d'utiliser un aspect spécifique de l'interaction tactile, la détection de pression, pour contrôler les facteurs de gain des manipulations tangibles. Les travaux présentés dans cette thèse démontrent donc le potentiel d'un continuum d'interaction pour la visualisation en proposant des paradigmes d'interaction hybrides dans une configuration facile à maintenir, facile à intégrer et abordable. Il fournit les premières étapes nécessaires pour un continuum d'interaction qui, espérons-le, inspirera la création de plus de techniques d'interaction hybrides pour l'interaction de données 3D. / An increasing number of interaction paradigms and devices are being developed and studied for 3D manipulations. This development benefits, in particular, scientific domains such as visualization which rely on manipulation of 3D data. Numerous studies have proven the benefits of each one of them for specific tasks involved in visualization. Yet, classical graphical user interfaces as well as mouse and keyboards still prevail in most interactive settings: such environments are still useful for specific tasks and because they are readily available and accessible when compared to innovative interaction paradigms and devices. In contrast to the usual approach to create or study a new interaction paradigm, technique, or device, the work presented in this thesis paves the way towards an interaction continuum: the possibility to transition between and combine two or more interaction paradigms to benefit from their inherent advantages. To achieve this goal we take several steps. First, building on the observation that mouse and keyboard, tactile interaction and tangible interaction are now standards or are getting close to being standard interaction paradigms for casual or specific use cases, this thesis studies and compares their inherent advantages and limitations for 3D manipulations. Based on this work, we then create a hybrid tactile/tangible interaction paradigm. Based on the needs of scientific visualization for fluid dynamics, we implement specific 3D explorative interaction techniques with the hybrid paradigm and evaluate them with domain experts. The prototypical implementation of this hybrid paradigm is a tactile-enabled and spatially-aware tablet. Based on the feedback from domain experts, such a combination is more flexible than the state of the art and still facilitates precise 3D manipulations. With the potential of this hybrid paradigm, we then tackle the complex task of 3D subsets selection---a major initial step for data understanding. While 3D subset selection is usually conducted with an initial 2D input later extended by the machine, our combination of tactile and tangible interaction allows users to have a fully manual selection technique with the same spatially-aware tablet: a 2D lasso can be drawn with tactile input which can then be extended into 3D when moving the tablet. Not only does this combination fill in an empty space in the taxonomy of 3D subset selection techniques, but we also found it to be more precise than partially-automated solutions---albeit being slower. Finally, building on the observation that tangible interaction with a locally-coupled device might need gain factor adjustments, we propose to use a specific aspect of tactile interaction, pressure-sensing, to control the gain factors of tangible manipulations. The work presented in this thesis thus demonstrates the potential of an interaction continuum for visualization by proposing hybrid interaction paradigms in an easy-to-maintain, easy-to-integrate, and affordable setup. It provides the necessary initial steps for an interaction continuum that will hopefully inspire the creation of more hybrid interaction techniques for 3D data interaction.

Les travaux de cette thèse en informatique s'inscrivent dans le domaine de l'interaction homme-machine (IHM). Le sujet de ce mémoire concerne l'utilisation d'une nouvelle forme d'ordinateur appelée table interactive. Il s'agit d'une table dont le plateau est à la fois un écran et une surface de détection multi-tactile. Les tables interactives ouvrent de nouveaux usages de l'informatique en permettant des applications multi-utilisateurs en coprésence. Les utilisateurs d'une même table interactive ont naturellement envie d'interagir simultanément sur la surface partagée. Cette simultanéité est toutefois difficile à observer dans un contexte collaboratif et non artificiel. Les études existantes n'ont pas suffisamment analysé les problèmes rencontrés ni cherché comment le système peut aider à gérer les accès simultanés.Notre approche a consisté à étudier les interactions simultanées en nous orientant vers des situations originales où la couche applicative du système exerce une forte pression sur le rythme d'utilisation. Nous justifions ainsi l'utilisation d'un jeu vidéo comme outil d'exploration et d'expérimentation. Ce mémoire retrace la conception et le développement de RealTimeChess, un jeu pour 2 à 4 joueurs, adapté aux caractéristiques des tables interactives, et inspiré des échecs dans une version s'affranchissant du tour par tour. Nous rapportons les résultats d'expériences menées sur des groupes de 2 à 4 participants en situations de coopération et de compétition, qui ont permis de mettre en évidence des problèmes de gênes physiques et d'accessibilité aux objets distants ; de perception des informations importantes en contexte dynamique ; et de contrôle du rythme de l'interaction.Ce mémoire expose en outre les leçons apprises au niveau de l'interaction simultanée de plusieurs utilisateurs, des aspects de territorialité, des comportements collaboratifs et enfin en proposant des recommandations de Game Design pour tables interactives.

Utiliser une tablette ou un smartphone est désormais courant. Cependant, les effets de l'âge sur les capacités motrices nécessaires pour l'exécution des gestes d'interaction tactile n'ont pas été suffisamment pris en compte lors de la conception et de l'évaluation des systèmes interactifs, une des raisons qui a empêché l'inclusion numérique de ce groupe d'utilisateurs. L'objectif de cette thèse est d'étudier l'interaction des personnes âgées avec les écrans tactiles afin d'identifier des problèmes d'utilisabilité sur des supports variés (smartphone et tablette, doigt et stylet). Pour cette étude, nous avons conçu un système interactif constitué de jeux de type puzzle numérique tactiles, où le geste d'interaction drag-and-drop (glisser-déposer) est employé pour positionner les cibles. Dans ce contexte, une attention particulière a été portée à l'analyse des mouvements de l'utilisateur. L'analyse des postures du poignet durant l'interaction a permis d'élucider la relation entre les caractéristiques des mouvements des personnes âgées avec leurs performances, à savoir, des temps plus longs et une augmentation du nombre d'erreurs par rapport aux utilisateurs adultes plus jeunes. Prendre en compte la variabilité des capacités motrices des utilisateurs lors des phases de conception et évaluation des systèmes interactifs est nécessaire pour comprendre leurs difficultés et améliorer l'ergonomie et utilisabilité de l'interaction tactile. / Tablets and smartphones have become mainstream technologies. However, the aging effects on the motor skills implied on tactile interaction haven't been enough considered during the design and evaluation of tactile interactive systems, what prevent this group of older adult users to be digitally included successfully. This thesis aims to study the interaction of older adults with touchscreens in order to identify usability issues on different devices and input modalities (smartphone and tablet, finger and stylus). To this study, we designed an interactive system consisted of tactile puzzle games and using drag-and-drop interaction for positioning the puzzle pieces into their corresponding targets. In this framework, a special attention was given to the analysis of the movements of the user. The analysis of the postures of the users' wrists during interaction allowed to elucidate the relationship between the characteristics of the movements of older adults and their performances, particularly concerning the longer times needed for executing the gestures of interaction as well as the increased error rates of this group of users when compared to younger adults. Taking into account the variability of users' motor skills during the design and evaluation of interactive systems is necessary to better understand their difficulties as well as to improve the ergonomics and the usability levels of tactile interaction.

Les systèmes interactifs étant utilisés pour réaliser des tâches toujours plus complexes et variées, les utilisateurs ont besoin de systèmes qui soient à la fois expressifs, efficaces et utilisables. Si des systèmes simples peuvent être instantanément utilisables, l’expressivité accessible avec des systèmes complexes est souvent considérée comme réservée aux experts. Cependant, notre approche, inspirée par la recherche en phénoménologie et en psychologie, souligne que certaines activités expertes ayant une portée sociale, comme les activités artistiques, permettent aussi aux non-experts d’acquérir des compétences et une connaissance considérables de façon implicite. Dans ce manuscrit, nous évoquerons notamment la connaissance et les compétences avancées développées par les non-musiciens lors de l’écoute de la musique et de l’observation du jeu instrumental. Nous défendons deux idées. Premièrement, les concepteurs de systèmes interactifs peuvent profiter de ces compétences et de cette connaissance implicites pour créer des systèmes expressifs qui soient utilisables. Deuxièmement, les méthodes d'apprentissage expertes et les outils experts, qui ont été perfectionnés à travers le temps et ont fait leurs preuves dans des situations complexes, peuvent servir de sources d'inspiration pour améliorer l’utilisabilité des systèmes complexes pour les utilisateurs novices. Nous proposons un cadre de conception pour étudier l'utilisabilité et l'expressivité des techniques d'interaction, comme deux nouvelles mesures de la qualité de l'interaction, et présentons les trois projets de cette thèse. Dans le premier, nous étudions l'utilisation de motifs rythmiques pour l'interaction, et nous montrons que des utilisateurs novices sont capables de reproduire et de mémoriser efficacement de grands vocabulaires de motifs rythmiques. Une telle interaction tire parti des capacités naturelles des non-musiciens pour percevoir et reproduire des structures rythmiques. Nous définissons des règles pour créer des motifs rythmiques adaptés à l’interaction, et montrons qu’ils peuvent être utilisés efficacement pour déclencher des commandes. Dans le deuxième projet, nous étudions la conception et l’apprentissage de postures multi-doigt sur des écrans multi-tactiles. Nous prenons en compte les contraintes mécaniques et les degrés de liberté de la main pour créer des vocabulaires expressifs de postures multi-doigt, dont nous évaluons l’utilisabilité lors d’une expérimentation. Nous présentons une méthode d’apprentissage adaptée aux postures les plus complexes, inspirée par l’apprentissage des accords en musique, et nous montrons qu’elle peut améliorer la compréhension et la mémorisation. Dans le dernier projet, nous nous intéressons aux applications de création musicale en temps réel, et tentons de les faire profiter des qualités instrumentales des instruments acoustiques. Nous voulons créer des applications qui permettent un jeu virtuose et expressif, et dont les fonctionnalités élémentaires sont accessibles aux novices (comme on peut jouer quelques accords au piano sans apprentissage). Nous proposons un cadre de conception et une architecture logicielle qui aident à considérer la conception d’applications musicales comme une lutherie à part entière. Avec ces projets, nous montrons que, dans ces cas : (i) la connaissance et les compétences implicites des non-experts peuvent être réutilisées en interaction ; (ii) les méthodes d’apprentissage expertes peuvent permettre de rendre les systèmes expressifs plus utilisables ; (iii) s’inspirer des outils experts peut aider à concevoir des systèmes interactifs expressifs et utilisables. Nous proposons l’étude de l’utilisabilité comme une alternative à l’immédiateté prônée par les entreprises d’informatique, et nous présentons des méthodes pour tirer parti de la richesse des activités expertes et de la connaissance implicite des non-experts pour créer des systèmes interactifs expressifs et utilisables par les novices. / As interactive systems are now used to perform a variety of complex tasks, users need systems that are at the same time expressive, efficient and usable. Although simple interactive systems can be easily usable, interaction designers often consider that only expert practitioners can benefit from the expressiveness of more complex systems. Our approach, inspired by studies in phenomenology and psychology, underscores that non-experts have sizeable knowledge and advanced skills related to various expert activities having a social dimension –such as artistic activities–, which they gain implicitly through their engagement as perceivers. For example, we identify various music-related skills mastered by non-musicians, which they gain when listening to music or attending performances. We have two main arguments. First, interaction designers can reuse such implicit knowledge and skills to design interaction techniques that are both expressive and usable by novice users. Second, as expert artifacts and expert learning methods have evolved over time and have shown efficient to overcome the complexity of expert activities, they can be used as a source of inspiration to make expressive systems more easily usable by novice users. We provide a design framework for studying the usability and expressiveness of interaction techniques as two new aspects of the user experience, and explore this framework with three projects. In the first project we study the use of rhythmic patterns as an input method, and show that novice users are able to reproduce and memorize large vocabularies of patterns. This is made possible by the natural abilities of non-musicians to perceive, reproduce and make sense of rhythmic structures. We define a method to create expressive vocabularies of patterns, and show that novice users are able to efficiently use them as command triggers. In the second project, we study the design and learning of chording gestures on multitouch screens. We introduce design guidelines to create expressive chord vocabularies taking the mechanical constraints and the degrees of freedom of the human hand into account. We evaluate the usability of such gestures in an experiment and we present an adapted learning method inspired by the teaching of chords in music. We show that novice users are able to reproduce and memorize our vocabularies of chording gestures, while our learning method can improve long-term memorization. The final project focuses on music software used for live performances and proposes a framework for designing “instrumental” software allowing expert musical playing and having its elementary functionalities accessible to novices, as it is the case with acoustic instruments (for example, one can easily play a few chords on a piano without practice). We define a design framework inspired by a functional decomposition of acoustic instruments and present an adapted software architecture, both aiming to ease the design of such software and to make it match with instrument-making. These projects show that, in these cases: (i) the implicit knowledge novices have about some expert activities can be reused for interaction; (ii) expert learning methods can inspire ways to make expressive systems more usable novices; (iii) taking expert artifacts as a source of inspiration can help creating usable and expressive interactive systems. In this dissertation, we propose the study of usability as an alternative to the focus on immediacy that characterizes current commercial interactive systems. We also propose methods to benefit from the richness of expert activities and from the implicit knowledge of non-experts to design interactive systems that are at the same time expressive and usable by novice users.

Les travaux de cette thèse en informatique s’inscrivent dans le domaine de l’interaction homme-machine (IHM). Le sujet de ce mémoire concerne l’utilisation d’une nouvelle forme d’ordinateur appelée table interactive. Il s’agit d’une table dont le plateau est à la fois un écran et une surface de détection multi-tactile. Les tables interactives ouvrent de nouveaux usages de l’informatique en permettant des applications multi-utilisateurs en coprésence. Les utilisateurs d’une même table interactive ont naturellement envie d’interagir simultanément sur la surface partagée. Cette simultanéité est toutefois difficile à observer dans un contexte collaboratif et non artificiel. Les études existantes n’ont pas suffisamment analysé les problèmes rencontrés ni cherché comment le système peut aider à gérer les accès simultanés.Notre approche a consisté à étudier les interactions simultanées en nous orientant vers des situations originales où la couche applicative du système exerce une forte pression sur le rythme d’utilisation. Nous justifions ainsi l’utilisation d’un jeu vidéo comme outil d’exploration et d’expérimentation. Ce mémoire retrace la conception et le développement de RealTimeChess, un jeu pour 2 à 4 joueurs, adapté aux caractéristiques des tables interactives, et inspiré des échecs dans une version s’affranchissant du tour par tour. Nous rapportons les résultats d’expériences menées sur des groupes de 2 à 4 participants en situations de coopération et de compétition, qui ont permis de mettre en évidence des problèmes de gênes physiques et d’accessibilité aux objets distants ; de perception des informations importantes en contexte dynamique ; et de contrôle du rythme de l’interaction.Ce mémoire expose en outre les leçons apprises au niveau de l’interaction simultanée de plusieurs utilisateurs, des aspects de territorialité, des comportements collaboratifs et enfin en proposant des recommandations de Game Design pour tables interactives. / This thesis presents our work in computer science in human-computer interaction (HCI). The subject concerns the use of a new kind of computer called the interactive tabletop display. It is a table whose top is both a screen and a multi-touch detection device. Interactive tabletops open up new uses of computer applications by allowing several co-located users to work or play together on the same system. Tabletop’s users naturally want to interact simultaneously on the shared surface. This simultaneity is difficult to observe in a collaborative and not artificial environment. Existing studies have not sufficiently analyzed the problems nor sought how the system can help manage concurrency.Our approach was to exploring simultaneous interactions by studying original situations where the system puts pressure on users. We explain how we used a video game as an exploration and experimentation tool. This thesis traces the design and development of RealTimeChess, a game for 2-4 players, a real-time version of Chess adapted to tabletops. We report the results of experiments on groups of 2 to 4 participants in situations of cooperation and competition, which helped to highlight problems and physical discomfort of access to remote objects, awareness in dynamic context, and control the pace of interaction.This thesis also presents lessons learned on simultaneous interactions of multiple users, territoriality aspects, collaborative behavior, and finally gives tabletop Game Design guidelines.