L’utilisation de plusieurs applications de communication au lieu d’une est de plus en plus commune. En particulier, ces applications permettent à l’utilisateur de communiquer de diverses façons avec son partenaire, les membres de sa famille ou ses amis proches. En plus d’observer comment chaque application influence la communication, il est nécessaire de comprendre comment les gens communiquent au travers d’un écosystème d’applications. Dans la première partie, je décris comment les pratiques de communication d’un utilisateur via une application sont influencées par les contacts et fonctionnalités d'autres applications de l’écosystème. La première étude montre que les utilisateurs isolent leurs contacts dans différentes applications : ils créent des “lieux de communication”, ayant des règles uniques d’adhésion, des buts perçus et des connotations émotionnelles. Ces lieux de communication sont rompus lorsqu’un utilisateur ajoute un contact qui brise des règles d’adhésion d’une application, par exemple pour utiliser une fonctionnalité présente uniquement dans cette application. La deuxième étude montre que les utilisateurs personnalisent leurs applications de communication pour mieux exprimer leur identité et leurs liens avec d’autres personnes. Au-delà de ces personnalisations, les fonctionnalités d’une application influencent la manière dont l’utilisateur s’exprime dans d’autres applications. Pour cette raison, les fonctionnalités exclusives à une application empêchent les utilisateurs de s’exprimer de manière cohérente dans leur écosystème d’applications. Je propose quatre pistes pour explorer comment améliorer la communication via un écosystème d’applications : permettre la création de plusieurs lieux de communication dans une même application, soutenir une manière de communiquer propre à une relation à travers l’écosystème d’applications, accéder aux fonctionnalités d’une application depuis les autres applications, et de permettre des outils de communication qui appartiennent aux utilisateurs et non exclusivement aux applications. Dans la seconde partie, j’explore ces pistes/directions en réutilisant des mécanismes déjà disponibles dans les systèmes d’exploitation des téléphones mobiles : des notifications, des commandes gestuelles, et des claviers virtuels. Je réutilise les notifications comme un affichage périphérique d’alerte pour construire Lifelines, un canal de communication dédié aux couples qui partage des chronologies graphiques d’informations contextuelles, comme la proximité du lieu de vie, le niveau de batterie et le nombre de pas. Je réutilise les commandes gestuelles comme raccourcis personnels pour diverses fonctionnalités que les utilisateurs peuvent exécuter dans n’importe quelle application. Je présente une vision de conception et étudie les stratégies des utilisateurs pour créer des gestes personnels dans une étude comparative avec Fieldward et Pathward, deux techniques d’interaction pour créer des gestes qui sont faciles à mémoriser pour l’utilisateur et facile à reconnaître pour le système. Enfin, je réutilise les claviers virtuels comme des boîtes à outils de communication que les utilisateurs peuvent transporter d’une application à une autre. Je présente une vision de conception et explore sa faisabilité grâce à deux prototypes : La Shared Emoji Toolbox, qui permet de partager des collections de raccourcis pour des emojis, et CommandBoard, qui combine de la saisie gestuelle de texte avec des raccourcis gestuels pour accéder à un vaste ensemble de commandes. En conclusion, je soutiens que chaque application affecte la manière dont l'utilisateur communique dans les autres applications de l'écosystème. Nous devrions cesser de concevoir uniquement des applications isolées mais concevoir des mécanismes qui aident les utilisateurs à préserver leurs lieux de communication et à exprimer leur identité et leur intimité avec leurs proches de manière cohérente dans leur écosystème d'applications. / More and more, people communicate via not one, but a complex mix of apps. In particular, couples, close friends and families use multiple apps to express caring in diverse ways throughout the day. This calls for a new focus of study: besides observing how each app shapes communication, I argue that we need a deeper understanding of how people communicate via ecosystems of communication apps. In Part One, I show that users' communication practices in one app are not only influenced by its contacts and features but also by the contacts and features in their other apps. A first study shows that the contacts in an app affect the conversations with other contacts. To control this phenomenon, people isolate contacts in different apps: they create communication places, each with its own membership rules, perceived purpose, and emotional connotations. As relationships change, people move contacts in and out of their apps, driving communication places to redefine each other. People may break their places by bringing outsiders when the functionality they need exists only in one app.A second study shows that people customize their communication apps to better express their identities, culture and intimate bonds with others. Beyond customizations, the features of each app nurture expression habits that transfer to other apps, thus influencing how users express themselves across their entire app ecosystem. App-exclusive features prevent consistent identity expressions across apps and interfere with relationship-specific communication styles. Based on these insights, I propose four design directions for supporting ecosystems of communication apps: allow multiple communication places within the same app, support relationships across apps, provide access to functionality from other apps, and enable user-owned---rather than app-exclusive---communication tools. In Part Two, I explore those design directions by repurposing three mechanisms currently available in mobile operating systems: notifications, which users can overlay on top of any open app; gesture commands, which users could perform on any app that recognizes gestures; and soft keyboards, which appear in any app that accepts text input. I repurpose notifications as peripheral awareness displays to build Lifelines, a dedicated communication channel for couples which shares visual timelines of contextual information, e.g. closeness to home, battery level, and steps. A longitudinal study with nine couples shows how each couple leveraged Lifelines in unique ways, finding opportunities for coordinating implicitly, starting conversations, and being more understanding with each other. I repurpose gesture commands as personal gesture shortcuts to diverse functionality which users can perform in any app. I present a design envisionment and study user strategies for creating personal gestures in a comparative study of Fieldward and Pathward, two interaction techniques for creating gestures that are easy to remember and easy for the system to recognize. The results show large individual differences in users' gesture-creation strategies, reflecting their culture, their intimate bonds with special contacts and technology usage habits. Last, I repurpose soft keyboards as communication toolboxes that users can carry with them from app to app. I present a design envisionment and explore its feasibility by building two prototypes: The Shared Emoji Toolbox, which allows sharing collections of emoji shortcuts, and Command Board, which combines gesture typing with gesture shortcuts to access rich sets of commands. In conclusion, I argue that when people communicate via multiple apps, each app shapes how communication happens in others. We should shift from building isolated apps to designing mechanisms that help users preserve their communication places and express their identities and intimate bonds with others consistently across their apps.

Ce travail s'inscrit dans le domaine du contrôle performatif de la synthèse vocale, et plus particulièrement de la modification temps-réel de signaux de voix pré-enregistrés. Dans un contexte où de tels systèmes n'étaient en mesure de modifier que des paramètres de hauteur, de durée et de qualité vocale, nos travaux étaient centrés sur la question de la modification performative du rythme de la voix. Une grande partie de ce travail de thèse a été consacrée au développement de Vokinesis, un logiciel de modification performative de signaux de voix pré-enregistrés. Il a été développé selon 4 objectifs: permettre le contrôle du rythme de la voix, avoir un système modulaire, utilisable en situation de concert ainsi que pour des applications de recherche. Son développement a nécessité une réflexion sur la nature du rythme vocal et sur la façon dont il doit être contrôlé. Il est alors apparu que l'unité rythmique inter-linguistique de base pour la production du rythme vocale est de l'ordre de la syllabe, mais que les règles de syllabification sont trop variables d'un langage à l'autre pour permettre de définir un motif rythmique inter-linguistique invariant. Nous avons alors pu montrer que le séquencement précis et expressif du rythme vocal nécessite le contrôle de deux phases, qui assemblées forment un groupe rythmique: le noyau et la liaison rythmiques. Nous avons mis en place plusieurs méthodes de contrôle rythmique que nous avons testées avec différentes interfaces de contrôle. Une évaluation objective a permis de valider l'une de nos méthodes du point de vue de la précision du contrôle rythmique. De nouvelles stratégies de contrôle de la hauteur et de paramètres de qualité vocale avec une tablette graphique ont été mises en place. Une réflexion sur la pertinence de cette interface au regard de l'essor des nouvelles interfaces musicales continues nous a permis de conclure que la tablette est la mieux adaptée au contrôle expressif de l'intonation (parole), mais que les PMC (Polyphonic Multidimensional Controllers) sont mieux adaptés au contrôle de la mélodie (chant, ou autres instruments).Le développement de Vokinesis a également nécessité la mise en place de la méthode de traitement de signal VoPTiQ (Voice Pitch, Time and Quality modification), combinant une adaptation de l'algorithme RT-PSOLA et des techniques particulières de filtrage pour les modulations de qualité vocale. L'utilisation musicale de Vokinesis a été évaluée avec succès dans le cadre de représentations publiques du Chorus Digitalis, pour du chant de type variété ou musique contemporaine. L'utilisation dans un cadre de musique électro a également été explorée par l'interfaçage du logiciel de création musicale Ableton Live à Vokinesis. Les perspectives d'application sont multiples: études scientifiques (recherches en prosodie, en parole expressive, en neurosciences...), productions sonores et musicales, pédagogie des langues, thérapies vocales. / This work belongs to the field of performative control of voice synthesis, and more precisely of real-time modification of pre-recorded voice signals. In a context where such systems were only capable of modifying parameters such as pitch, duration and voice quality, our work was carried around the question of performative modification of voice rhythm. One significant part of this thesis has been devoted to the development of Vokinesis, a program for performative modification of pre-recorded voice. It has been developed under 4 goals: to allow for voice rhythm control, to obtain a modular system, usable in public performances situations as well as for research applications. To achieve this development, a reflexion about the nature of voice rhythm and how it should be controlled has been carried out. It appeared that the basic inter-linguistic rhtyhmic unit is syllable-sized, but that syllabification rules are too language-dependant to provide a invariant inter-linguistic rhythmic pattern. We showed that accurate and expressive sequencing of vocal rhythm is performed by controlling the timing of two phases, which together form a rhythmic group: the rhythmic nucleus and the rhythmic link. We developed several rhythm control methods, tested with several control interfaces. An objective evaluation showed that one of our methods allows for very accurate control of rhythm. New strategies for voice pitch and quality control with a graphic tablet have been established. A reflexion about the pertinence of graphic tablets for pitch control, regarding the rise of new continuous musical interfaces, lead us to the conclusion that they best fit intonation control (speech), but that PMC (Polyphonic Multidimensional controllers) are better for melodic control (singing, or other instruments).The development of Vokinesis also required the implementation of the VoPTiQ (Voice Pitch, Time and Quality modification) signal processing method, which combines an adaptation of the RT-PSOLA algorithm and some specific filtering techniques for voice quality modulations. The use of Vokinesis as a musical instrument has been successfully evaluated in public representations of the Chorus Digitalis ensemble, for various singing styles (from pop to contemporary music). Its use for electro music has also been explored by interfacing the Ableton Live composition environnment with Vokinesis. Application perspectives are diverse: scientific studies (research in prosody, expressive speech, neurosciences), sound and music production, language learning and teaching, speech therapies.

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations). / More and more researches on Human-Computer Interactions (HCI) are trying to perform detailed analyses of interaction to determine its influence on users’ behaviours. A particular emphasis is now put on emotional reactions during the interaction, whether it’s from the perspective of user experience evaluation or user performance. Standard qualitative approaches are limited because they are based on observations and interviews after the interaction, therefore limiting the precision of the diagnosis. User experience and emotional reactions being, by nature, highly dynamic and contextualized, evaluation approaches should be the same to accurately diagnose the quality of interaction. This thesis presents an evaluation approach, both dynamic and quantitative, which allows contextualising users’ emotional reactions to help identify their causes during the interaction with a system. To this end, our work focuses on three main axes: 1) automatic task recognition using machine learning modeling of eye tracking and interaction data; 2) automatic inference of psychological constructs (emotional activation, emotional valence, and cognitive load) through physiological signals analysis; and 3) diagnosis of users’ reactions during interaction based on the coupling of the two previous operations. The ideas and development of our approach are illustrated using two experimental contexts: e-commerce and simulation-based training. We also present the tool we implemented in order to allow HCI professionals (e.g.: user experience expert, training supervisor, or game designer) to use our evaluation approach to assess interaction. This tool is designed to facilitate the triangulation of measuring instruments and the integration with more classical Human-Computer Interaction methods (ex.: surveys and observation coding).

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations). / More and more researches on Human-Computer Interactions (HCI) are trying to perform detailed analyses of interaction to determine its influence on users’ behaviours. A particular emphasis is now put on emotional reactions during the interaction, whether it’s from the perspective of user experience evaluation or user performance. Standard qualitative approaches are limited because they are based on observations and interviews after the interaction, therefore limiting the precision of the diagnosis. User experience and emotional reactions being, by nature, highly dynamic and contextualized, evaluation approaches should be the same to accurately diagnose the quality of interaction. This thesis presents an evaluation approach, both dynamic and quantitative, which allows contextualising users’ emotional reactions to help identify their causes during the interaction with a system. To this end, our work focuses on three main axes: 1) automatic task recognition using machine learning modeling of eye tracking and interaction data; 2) automatic inference of psychological constructs (emotional activation, emotional valence, and cognitive load) through physiological signals analysis; and 3) diagnosis of users’ reactions during interaction based on the coupling of the two previous operations. The ideas and development of our approach are illustrated using two experimental contexts: e-commerce and simulation-based training. We also present the tool we implemented in order to allow HCI professionals (e.g.: user experience expert, training supervisor, or game designer) to use our evaluation approach to assess interaction. This tool is designed to facilitate the triangulation of measuring instruments and the integration with more classical Human-Computer Interaction methods (ex.: surveys and observation coding).

L’Interaction Humain-Machine a évolué d’une perspective classique vers un environnement plus naturel, dans lequel les humains peuvent utiliser la langue naturelle pour échanger des connaissances avec un ordinateur. Pour bien “comprendre” les intentions de l’humain, l’ordinateur doit être capable de détecter les émotions et de répondre en conséquence. Cette thèse porte sur plusieurs aspects de la détection des émotion humaines, en partant de différentes techniques de détection jusqu’à leur intégration dans un Système Interactif Distribué. Les émotions sont un concept flou et leur perception par des individus humains peut aussi varier. Par conséquent, cela rend le problème de détection très difficile en informatique. Du point vue de la détection de l’affect, nous avons proposé trois approches différentes : une méthode à base de Cartes Auto-Organisatrices (Self Organizing Maps- SOM), un classifieur de la valence basé sur des caractéristiques multi-modales et un Séparateur à Vaste Marge (Support Vector Machines - SVM) et une technique pour résoudre les conflits dans un dictionnaire affectif (SentiWordNet). En outre, du point de vue de l’intégration aux systèmes, deux questions sont abordées : une expérience de type Magicien d’Oz dans un environnement de narration d’histoires pour enfants et une architecture de Système Interactif Distribué. / Human-Computer Interaction migrates from the classic perspective to a more natural environment, where humans are able to use natural language to exchange knowledge with a computer. In order to fully “understand” the human’s intentions, the computer should be able to detect emotions and reply accordingly. This thesis focuses on several issues regarding the human affects, from various detection techniques to their integration into a Distributed Interactive System. Emotions are a fuzzy concept and their perception across human individuals may vary as well. Therefore, this makes the detection problem very difficult for a computer. From the affect detection perspective, we proposed three different approaches: an emotion detection method based on Self Organizing Maps, a valence classifier based on multi-modal features and Support Vector Machines, and a technique to resolve conflicts into a well known affective dictionary (SentiWordNet). Moreover, from the system integration perspective, two issues are approached: a Wizard of Oz experiment in a children storytelling environment and an architecture for a Distributed Interactive System.

Le Big Data, phénomène sociotechnique porteur de mythes, se traduit dans les entreprises par la mise en place de premiers projets, plus particulièrement des projets de Data Science. Cependant, ils ne semblent pas générer la valeur espérée. La recherche-action menée au cours de 3 ans sur le terrain, à travers une étude qualitative approfondie de cas multiples, pointe des facteurs clés qui limitent cette génération de valeur, et notamment des modèles de processus projet trop autocentrés. Le résultat est (1) un modèle ajusté de dispositif projet data (Brizo_DS), ouvert et orienté sur les usages, dont la capitalisation de connaissances, destiné à réduire les incertitudes propres à ces projets exploratoires, et transposable à l’échelle d’une gestion de portefeuille de projets data en entreprise. Il est complété par (2) un outil de documentation de la qualité des données traitées, le Databook, et par (3) un dispositif de Médiation Homme-Données, qui garantissent l’alignement des acteurs vers un résultat optimal. / Big Data, a sociotechnical phenomenon carrying myths, is reflected in companies by the implementation of first projects, especially Data Science projects. However, they do not seem to generate the expected value. The action-research carried out over the course of 3 years in the field, through an in-depth qualitative study of multiple cases, points to key factors that limit this generation of value, including overly self-contained project process models. The result is (1) an open data project model (Brizo_DS), orientated on the usage, including knowledge capitalization, intended to reduce the uncertainties inherent in these exploratory projects, and transferable to the scale of portfolio management of corporate data projects. It is completed with (2) a tool for documenting the quality of the processed data, the Databook, and (3) a Human-Data Mediation device, which guarantee the alignment of the actors towards an optimal result.