Les systèmes interactifs étant utilisés pour réaliser des tâches toujours plus complexes et variées, les utilisateurs ont besoin de systèmes qui soient à la fois expressifs, efficaces et utilisables. Si des systèmes simples peuvent être instantanément utilisables, l’expressivité accessible avec des systèmes complexes est souvent considérée comme réservée aux experts. Cependant, notre approche, inspirée par la recherche en phénoménologie et en psychologie, souligne que certaines activités expertes ayant une portée sociale, comme les activités artistiques, permettent aussi aux non-experts d’acquérir des compétences et une connaissance considérables de façon implicite. Dans ce manuscrit, nous évoquerons notamment la connaissance et les compétences avancées développées par les non-musiciens lors de l’écoute de la musique et de l’observation du jeu instrumental. Nous défendons deux idées. Premièrement, les concepteurs de systèmes interactifs peuvent profiter de ces compétences et de cette connaissance implicites pour créer des systèmes expressifs qui soient utilisables. Deuxièmement, les méthodes d'apprentissage expertes et les outils experts, qui ont été perfectionnés à travers le temps et ont fait leurs preuves dans des situations complexes, peuvent servir de sources d'inspiration pour améliorer l’utilisabilité des systèmes complexes pour les utilisateurs novices. Nous proposons un cadre de conception pour étudier l'utilisabilité et l'expressivité des techniques d'interaction, comme deux nouvelles mesures de la qualité de l'interaction, et présentons les trois projets de cette thèse. Dans le premier, nous étudions l'utilisation de motifs rythmiques pour l'interaction, et nous montrons que des utilisateurs novices sont capables de reproduire et de mémoriser efficacement de grands vocabulaires de motifs rythmiques. Une telle interaction tire parti des capacités naturelles des non-musiciens pour percevoir et reproduire des structures rythmiques. Nous définissons des règles pour créer des motifs rythmiques adaptés à l’interaction, et montrons qu’ils peuvent être utilisés efficacement pour déclencher des commandes. Dans le deuxième projet, nous étudions la conception et l’apprentissage de postures multi-doigt sur des écrans multi-tactiles. Nous prenons en compte les contraintes mécaniques et les degrés de liberté de la main pour créer des vocabulaires expressifs de postures multi-doigt, dont nous évaluons l’utilisabilité lors d’une expérimentation. Nous présentons une méthode d’apprentissage adaptée aux postures les plus complexes, inspirée par l’apprentissage des accords en musique, et nous montrons qu’elle peut améliorer la compréhension et la mémorisation. Dans le dernier projet, nous nous intéressons aux applications de création musicale en temps réel, et tentons de les faire profiter des qualités instrumentales des instruments acoustiques. Nous voulons créer des applications qui permettent un jeu virtuose et expressif, et dont les fonctionnalités élémentaires sont accessibles aux novices (comme on peut jouer quelques accords au piano sans apprentissage). Nous proposons un cadre de conception et une architecture logicielle qui aident à considérer la conception d’applications musicales comme une lutherie à part entière. Avec ces projets, nous montrons que, dans ces cas : (i) la connaissance et les compétences implicites des non-experts peuvent être réutilisées en interaction ; (ii) les méthodes d’apprentissage expertes peuvent permettre de rendre les systèmes expressifs plus utilisables ; (iii) s’inspirer des outils experts peut aider à concevoir des systèmes interactifs expressifs et utilisables. Nous proposons l’étude de l’utilisabilité comme une alternative à l’immédiateté prônée par les entreprises d’informatique, et nous présentons des méthodes pour tirer parti de la richesse des activités expertes et de la connaissance implicite des non-experts pour créer des systèmes interactifs expressifs et utilisables par les novices. / As interactive systems are now used to perform a variety of complex tasks, users need systems that are at the same time expressive, efficient and usable. Although simple interactive systems can be easily usable, interaction designers often consider that only expert practitioners can benefit from the expressiveness of more complex systems. Our approach, inspired by studies in phenomenology and psychology, underscores that non-experts have sizeable knowledge and advanced skills related to various expert activities having a social dimension –such as artistic activities–, which they gain implicitly through their engagement as perceivers. For example, we identify various music-related skills mastered by non-musicians, which they gain when listening to music or attending performances. We have two main arguments. First, interaction designers can reuse such implicit knowledge and skills to design interaction techniques that are both expressive and usable by novice users. Second, as expert artifacts and expert learning methods have evolved over time and have shown efficient to overcome the complexity of expert activities, they can be used as a source of inspiration to make expressive systems more easily usable by novice users. We provide a design framework for studying the usability and expressiveness of interaction techniques as two new aspects of the user experience, and explore this framework with three projects. In the first project we study the use of rhythmic patterns as an input method, and show that novice users are able to reproduce and memorize large vocabularies of patterns. This is made possible by the natural abilities of non-musicians to perceive, reproduce and make sense of rhythmic structures. We define a method to create expressive vocabularies of patterns, and show that novice users are able to efficiently use them as command triggers. In the second project, we study the design and learning of chording gestures on multitouch screens. We introduce design guidelines to create expressive chord vocabularies taking the mechanical constraints and the degrees of freedom of the human hand into account. We evaluate the usability of such gestures in an experiment and we present an adapted learning method inspired by the teaching of chords in music. We show that novice users are able to reproduce and memorize our vocabularies of chording gestures, while our learning method can improve long-term memorization. The final project focuses on music software used for live performances and proposes a framework for designing “instrumental” software allowing expert musical playing and having its elementary functionalities accessible to novices, as it is the case with acoustic instruments (for example, one can easily play a few chords on a piano without practice). We define a design framework inspired by a functional decomposition of acoustic instruments and present an adapted software architecture, both aiming to ease the design of such software and to make it match with instrument-making. These projects show that, in these cases: (i) the implicit knowledge novices have about some expert activities can be reused for interaction; (ii) expert learning methods can inspire ways to make expressive systems more usable novices; (iii) taking expert artifacts as a source of inspiration can help creating usable and expressive interactive systems. In this dissertation, we propose the study of usability as an alternative to the focus on immediacy that characterizes current commercial interactive systems. We also propose methods to benefit from the richness of expert activities and from the implicit knowledge of non-experts to design interactive systems that are at the same time expressive and usable by novice users.

Bien que de plus en plus de données sonores et audiovisuelles soient disponibles, la majorité des interfaces qui permettent d’y accéder reposent uniquement sur une présentation visuelle. De nombreuses techniques de visualisation ont déjà été proposées utilisant une présentation simultanée de plusieurs documents et des distorsions permettant de mettre en relief l’information plus pertinente. Nous proposons de définir des équivalents auditifs pour la présentation de plusieurs fichiers sonores en concurrence, et de combiner de façon optimale les stratégies audio et visuelles pour la présentation de documents multimédia. Afin d’adapter au mieux ces stratégies à l’utilisateur, nous avons dirigé nos recherches sur l’étude des processus perceptifs et attentionnels impliqués dans l’écoute et l’observation d’objets audiovisuels concurrents, en insistant sur les interactions entre les deux modalités.Exploitant les paramètres de taille visuelle et de volume sonore, nous avons étendu le concept de lentille grossissante, utilisée dans les méthodes focus+contexte visuelles, aux modalités auditive et audiovisuelle. A partir de ce concept, une application de navigation dans une collection de documents vidéo a été développée. Nous avons comparé notre outil à un autre mode de rendu dit de Pan&Zoom à travers une étude d’utilisabilité. Les résultats, en particulier subjectifs, encouragent à poursuivre vers des stratégies de présentation multimodales associant un rendu audio aux rendus visuels déjà disponibles.Une seconde étude a concerné l’identification de sons d’environnement en milieu bruité en présence d’un contexte visuel. Le bruit simule la présence de plusieurs sources sonores simultanées telles qu’on pourrait les retrouver dans une interface où les documents audio et audiovisuels sont présentés ensemble. Les résultats de cette expérience ont confirmé l’avantage de la multimodalité en condition de dégradation. De plus, au-delà des buts premiers de la thèse, l’étude a confirmé l’importance de la congruence sémantique entre les composantes visuelle et sonore pour la reconnaissance d’objets et a permis d’approfondir les connaissances sur la perception auditive des sons d’environnement.Finalement, nous nous sommes intéressée aux processus attentionnels impliqués dans la recherche d’un objet parmi plusieurs, en particulier au phénomène de « pop-out » par lequel un objet saillant attire l’attention automatiquement. En visuel, un objet net attire l’attention au milieu d’objets flous et certaines stratégies de présentation visuelle exploitent déjà ce paramètre visuel. Nous avons alors étendu la notion de flou aux modalités auditives et audiovisuelles par analogie. Une série d’expériences perceptives a confirmé qu’un objet net parmi des objets flous attire l’attention, quelle que soit la modalité. Les processus de recherche et d’identification sont alors accélérés quand l’indice de netteté correspond à la cible, mais ralentis quand il s’agit d’un distracteur, mettant ainsi en avant un phénomène de guidage involontaire. Concernant l’interaction intermodale, la combinaison redondante des flous audio et visuel s’est révélée encore plus efficace qu’une présentation unimodale. Les résultats indiquent aussi qu’une combinaison optimale n’implique pas d’appliquer obligatoirement une distorsion sur les deux modalités. / Although more and more sound and audiovisual data are available, the majority of access interfaces are solely based on a visual presentation. Many visualization techniques have been proposed that use simultaneous presentation of multiple documents and distortions to highlight the most relevant information. We propose to define equivalent audio technique for the presentation of several competing sound files, and optimally combine such audio and visual presentation strategies for multimedia documents. To better adapt these strategies to the user, we studied attentional and perceptual processes involved in listening and watching simultaneous audio-visual objects, focusing on the interactions between the two modalities.Combining visual size and sound level parameters, we extended the visual concept of magnifying lens to auditory and audiovisual modalities. Exploiting this concept, a navigation application in a video collection has been developed. We compared our tool with another rendering mode called Pan & Zoom through a usability study. Results, especially subjective results, encourage further research to develop multimodal presentation strategies by combining an audio rendering to the visual renderings already available.A second study concerned the identification of environmental sounds in a noisy environment in the presence of a visual context. The noise simulated the presence of multiple competing sounds as would be observed in an interface where several multimedia documents are presented together. The experimental results confirmed the multimodality advantage in condition of audio degradation. Moreover, beyond the primary goals of the thesis, this study confirms the importance of the semantic congruency between visual and auditory components for object recognition and provides deeper knowledge about the auditory perception of environmental sounds.Finally, we investigated attentional processes involved in the search of a specific object among many, especially the “pop-out” phenomenon whereby a salient object automatically attracts attention. In vision, an sharp object attracts attention among blurred objects and some visual strategies already exploit this parameter to display the information. We extended by analogy the concept of visual blur to auditory and audiovisual modalities. A serie of experiments confirmed that a perceptual object among blurred objects attracts attention, regardless of the modality. The identification and search process is then accelerated when the sharpness parameter is applied to the target, but slow when it is applied to a distractor. These results highlight an involuntary attraction effect. Concerning the crossmodal interaction, a redundant combination of audio and visual blur proved to be more effective than a unimodal presentation. Results also indicate that optimal combination does not necessarily require a distortion of both modalities.

Cette thèse a été initiée dans un contexte d’amélioration de l'expérience utilisateur (UX) pour l'analyse des données de Business Intelligence en raison de l'augmentation du volume de données liées à cette activité. D'une part, les besoins psychologiques des utilisateurs portent sur la simplification de l’utilisation des applications analytiques, ils font l’objet de plus en plus d’attention ; d'autre part, les tâches qu'ils sont prêts à mener deviennent de plus en plus complexes ce qui peut entraîner une surcharge de mémoire qui influe sur les performances dans leur réalisation. Pour garantir la prise en compte de ces deux aspects, les designers doivent concevoir des interfaces et fournir des informations appropriées qui répondent à la fois aux besoins des utilisateurs et aux nécessités de leur activité. Dans cette recherche, nous nous sommes intéressés à l'amélioration de la reprise de la tâche suite à une suspension ou à une interruption de celle-ci dans le cadre de l’analyse visuelle de données. La nature multitâche des actions des utilisateurs et les capacités limitées de stockage de la mémoire de travail humaine entraînent des difficultés à s’engager de nouveau dans une tâche qui a été interrompue ou suspendue. Il devient donc avantageux de disposer d'un outil de suppléance de la mémoire qui aide les utilisateurs à se remettre à leur tâche dans des conditions optimales.Une revue de la littérature nous a conduit tout d'abord au positionnement de notre recherche vis à vis de l'approche énactive et de la perception sensorimotrice qui considèrent l'outil comme un artefact configurant l'interaction entre l'utilisateur et la tâche, selon deux états, saisi ou déposé. De ce point de vue, nous avons constaté que le modèle de mémoire cognitiviste utilisé couramment ne considère pas le rôle de l’interaction avec le monde extérieur dans la construction de la mémoire, et par conséquent ignore la dimension saisie des supports et outils dans la construction d’une mémoire. Par conséquent, nous proposons de compléter ce modèle avec un modèle de mémoire incarnée, qui ouvre une nouvelle perspective permettant de concevoir un outil de suppléance mémorielle approprié. Enfin, les principes de conception d’IHM et d’UX nous aident à construire une proposition d’outil et à mener un plan d'expérience mettant en avant le lien entre les modifications des conditions de perception et les modifications de la dynamique d’interaction. En conclusion de cette partie, la problématique générale est introduite avec l’exploration, la mise en œuvre et l’évaluation de la proposition. La première expérience, le test pilote, analyse la perception que peuvent avoir des concepteurs naviguant sur des applications interactives. Cette étude nous a aidé à construire un vocabulaire d'évaluation en conception d’un support de suppléance de la mémoire et nous a guidé pour concevoir un processus expérimental en tenant compte de ces critères. Dans une seconde expérience, nous développons un outil basé sur une fonction que nous appelons le "history path". Cet outil permet d’afficher à l’utilisateur, dans une fenêtre spécifique de l’interface, certaines étapes de résolution d’une tâche antérieure effectuée par ce même utilisateur (ou pour simuler une interruption de tâche). Nous avons mis en place une expérience simple (minimaliste) simulant une résolution de problème qui a été enregistrée pour évaluer dans quelle mesure le history path peut aider l'utilisateur à récupérer efficacement une tâche interrompue. La première partie de cette expérience nous permet de confirmer l’utilité potentielle de cette fonction et nous aide à explorer l’espace de conception. Dans la deuxième partie, nous expérimentons deux outils différents basés sur deux représentations de l’history path, une représentation statique et l’autre dynamique. Les résultats de l'évaluation nous amènent à comprendre les conditions techniques d'une expérience positive pour laquelle la reprise de tâche est facilitée. / This thesis was initiated in the context of enhancing the user experience for analyzing data due to the increase of the volume of data related to this activity. On the one hand, users’ psychological needs for the simple use of analytic applications are paid more attention than before; on the other hand, the task they are willing to conduct is getting more and more complicated, which may cause memory overload that influences the task performance. To ensure that both aspects are taken into account, the designers should provide a proper information and design a proper interface that meets both users’ needs and the requirements of their activity. In this research, we are interested in improving the task recommitment following a task suspension or interruption in the context of a visual data analysis task. The multitasking nature of user actions and limited storage capacity of human working memory cause difficulties in re-engaging an interrupted or suspended task. Therefore, it is beneficial to have a memory supplementation tool that supports users to recommit their task in optimal conditions. A literature review first leads to the positioning of our research on the enactive approach and sensorimotor perception that consider the tool as an artifact configuring the interaction between the user and the task, in two modes the “put down” mode and the “in hand” mode. From this point of view, we have found that the commonly used cognitive memory model ignores the role of interaction with the external world in the formation of the memory, and consequently ignores the “in hand” dimension of the artifacts in one memory construction. Therefore, we complete this model with the embodied memory, which gives us a new perspective to design an appropriate memory tool that serves as a supplementation of our perceptual system. Finally, the design principles in human-computer interaction and UX helped us build a tool and conduct an experimental plan highlighting the link between changes in perception conditions and changes in the dynamics of interaction. As a conclusion, the research problem is introduced in terms of how we can provide users with a relevant context to recommit to resolving a task after interruption. The design proposal needs to be explored, designed and evaluated. The first experiment, the exploratory study, analyzes the perception of interactive applications by experienced designers. This study helped us construct a vocabulary of evaluation of the design for a memory supplementation support and guided us for the design considering these criteria. In the second experiment, we develop a tool based on a function that we call the “history path”, which permits to show, in a specific window of the user interface, some of the steps of a previous task resolution that a user has performed during previous experience (or to simulate a resolution task interruption). We set up a simple (minimalist) experiment simulating a problem-solving task, which was recorded to evaluate the extent to which a history path support can help the user for efficient recovering of an interrupted task. The first part of this experiment allows us to confirm the potential use of this function and helps us explore the design space. In the second part, we experiment two different tools, based on two history path representations, a static one and a dynamic one. The evaluation results allow us to understand the technical conditions of a positive experience for which task recovery is facilitated. In this second experiment, several means for recording the user experience were mobilized: the evaluation of the durations and gaze frequencies on area of interest in the interface window by eye tracking, the recording of the verbalizations during the RTA (Retrospective Think Aloud) session, and the semantic evaluation.

Ces dix dernières années, plusieurs centaines de web-documentaires ont été publiés sur Internet. Si ce format émergent connaît un succès d’estime important auprès des professionnels des médias, son design ne va pas de soi. Dès lors, comment les théories du cinéma documentaire et des médias informatisés éclairent-elles les métamorphoses médiatiques caractéristiques de ces « nouvelles écritures » ? Quels sont les enjeux ontologico-esthétiques et communicationnels d’un documentaire interactif ? Quel rôle et quel pouvoir l’instance d’énonciation doit-elle octroyer à un « spectateur-actant » ? Afin de répondre à ces questions, un état des lieux de la production francophone permet tout d’abord d’établir une typologie des différents modes d’interaction. Ensuite, une approche ethnographique, fondée sur une observation participante du design de B4, fenêtres sur tour, au sein de France Télévisions, interroge l’ensemble des controverses socio-techniques et sémio-pragmatiques qui jalonnent les six mois de conception. Une analyse par théorisation ancrée met en exergue les différentes dimensions d’un Utilisateur Modèle négociées, de manière plus ou moins implicite, par l’ensemble des acteurs. Enfin, les usages supposés du web-documentaire sont confrontés à une évaluation de l’expérience utilisateur. Les jonctions et disjonctions entre les figures d’un Utilisateur Modèle, Statistique et Empirique contribuent in fine à mieux appréhender le design de ce format hybride et non stabilisé. / In the last few years, several hundred interactive documentaries (i-docs) have been published on the Internet. If many media professionals prize the i-doc format, its design remains a challenging feat. Given this, what light do film documentary theories and digital media shed on the mediated metamorphoses that typify the “New Writings” movement? What are the communicational and ontologico-aesthetic issues of i-docs? What role and what power should an instance of enunciation accord to the “actant-spectator”?In response to these questions, our study of the current state of the French-speaking production scene brought to the fore a typology of interaction modes. Following this observation, an ethnographic approach, based on a participant observation method, questioned the overall sociotechnical and semio-graphic issues that marked the six-month design process of an i-doc called B4, fenêtres sur tour for the State-run France Télévisions. A Grounded Theory analysis of the data highlighted the different dimensions of a more or less implicit negotiated Model User used by the actors. Finally, the purported uses of i-docs were questioned in evaluating users’ experience. The junctions and disjunctions involving the interaction of the User, Statistical and Empirical Models contributed to a better grasp of the designing of the hybrid and non-stabilised i-doc format.