Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantique. / Unimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services

La théorie de l'information a influencé un grand nombre de domaines scientifiques depuis son introduction par Claude Shannon en 1948. A part la loi de Fitts et la loi de Hick, qui sont apparus lorsque les psychologues expérimentaux étaient encore enthousiastes à l'idée d'appliquer la théorie de l'information aux différents domaines de la psychologie, les liens entre la théorie de l'information et l'interaction humain-machine (IHM) ont été peu explorés. L'objectif de cette thèse est de combler le fossé entre la théorie de l'information et l'IHM en considérant que l'interaction entre les humains et les machines peut être considérée comme un processus de communication et peut donc être caractérisée à l'aide des concepts de la théorie de l'information. Les trois principales contributions de cette thèse sont : (1) une perspective historique détaillée sur la manière dont la théorie de l'information a influencé la psychologie et l'IHM, avec en particulier une discussion approfondie et une analyse de la pertinence de la loi de Hick pour l'IHM, (2) le cadre formel Gain d'Information Bayésienne (BIG pour Bayesian Information Gain) qui quantifie et exploite les informations envoyées par l'utilisateur à l'ordinateur pour exprimer son intention et (3) une illustration des avantages de l'utilisation des mesures de la théorie de l'information pour évaluer la performance des entrées et pour caractériser une tâche d'interaction. Cette thèse démontre ainsi que la théorie de l'information peut être utilisée comme un outil unifié pour comprendre et concevoir la communication et l'interaction humain-machine. / Information theory has influenced a large number of scientific fields since its first introduction in 1948. Apart from Fitts' law and Hick's law, which came out when experimental psychologists were still enthusiastic about applying information theory to various areas of psychology, the relation between information theory and human-computer interaction (HCI) has rarely been explored. This thesis strives to bridge the gap between information theory and HCI by taking the stance that human-computer interaction can be considered as a communication process and therefore can be characterized using information-theoretic concepts. The three main contributions are: (1) a detailed historical perspective on how information theory influenced psychology and HCI, particularly an in-depth discussion and analysis of how relevant Hick's law is to HCI; (2) a Bayesian Information Gain (BIG) framework that quantifies the information sent by the user to the computer to express her intention; and (3) a further illustration of the advantages of using information-theoretic measures to evaluate input performance and to characterize the rich aspects of an interaction task. This thesis demonstrates that information theory can be used as a unified tool to understand and design human-computer communication.

L'objet principal de nos recherches est la prise en compte du contexte dans les Environnements Informatiques pour l'Apprentissage Humain (EIAH). Les problématiques traitées concernent la création de modèles considérant le contexte des apprenants et des enseignants pour faciliter leurs communications et le partage d'informations, ainsi que la conception de situations informatisées favorisant des apprentissages par des mises en contexte. Notre activité s'est organisée autour de projets de recherche ayant pour préoccupation d'améliorer la formation en ligne et les learning games. Dans le cadre de la formation en ligne, les contributions majeures se situent au niveau de la conception et l'expérimentation de modèles pour inciter et soutenir des communications contextuelles, c'est à dire liant des messages à des éléments de contexte (ressources, connaissances, activités d'apprentissage ou d'enseignement). Dans le cadre des learning games, les contributions principales concernent la définition d'un processus de création de jeux d'entreprise et son instrumentation informatique intégrant des contrôles qualité. Nous adoptons une démarche de recherche qui place l'utilisateur, ses activités et ses besoins au centre des préoccupations. La méthode globale de conception de nos systèmes peut être qualifiée d'itérative et de participative. Une attention particulière est portée sur la construction des interactions homme-machine qui doivent refléter les modèles et concepts sous-jacents.

Intégrés dans un projet de développement d'un système multit-robots de neurochirurgie mini-invasive pour l'ablation de tumeurs, ces travaux ont pour objectif la conception et modélisation d'un robot déployable dans le cerveau, selon des trajectoires curvilignes, sans espace libre autour de sa structure et sans guide naturel pour aider à sa progression. Après définition de la tâche de déploiement, un état de l'art recense un large panel de concepts et une évaluation sélectionne un concept continu bio-inspiré des trompes d'éléphant. La solution modulaire du robot est définie et modélisée géométriquement en associant une chaîne cinématique aux mobilités continues du robot. Une statégie de déploiement, reposant sur une succession ordonnée d'extensions/rétractions locales pour une élongation itérative du robot est formalisée pour le cas générique à N modules, puis validée par des plans de simulations de robots ayant 1 à 3 modules (erreur de suivi inférieure à un mm). Sur un modèle d'étude de gels d'agar (texture proche du cerveau), les efforts de pénétration du robot dans le cerveau sont estimés, puis la conception CAO et la programmation d'un démonstrateur à ressorts sont réalisées. Une interface homme/machine, simulant et commandant le robot, est programmée et des tests sont effectués pour valider certains aspects du déploiement. Un deuxième démonstrateur actionné pneumatiquement est à finaliser pour procéder à une étude comparative des deux prototypes. Même si des perspectives d'amélioration restent à explorer, les résultats obtenus sont encourageants. Un travail collaboratif entre spécialistes de différents domaines devrait conduire à l'optimisation de ce robot de déploiement.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

Cette recherche porte un regard critique sur les interfaces de spatialisation sonore et positionne la composition de musique spatiale, un champ d’étude en musique, à l’avant plan d’une recherche en design. Il détaille l’approche de recherche qui est centrée sur le processus de composition de musique spatiale et les modèles mentaux de compositeurs électroacoustiques afin de livrer des recommandations de design pour le développement d’une interface de spatialisation musicale nommée Centor. Cette recherche montre qu’un processus de design mené à l’intersection du design d’interface, du design d’interaction et de la théorie musicale peut mener à une proposition pertinente et innovatrice pour chacun des domaines d’étude. Nous présentons la recherche et le développement du concept de spatialisation additive, une méthode de spatialisation sonore par patrons qui applique le vocabulaire spectromorphologique de Denis Smalley. C’est un concept d’outil de spatialisation pour le studio qui complémente les interfaces de composition actuelles et ouvre un nouveau champ de possibilités pour l’exploration spatiale en musique électroacoustique. La démarche de recherche présentée ici se veut une contribution au domaine du design d’interfaces musicales, spécifiquement les interfaces de spatialisation, mais propose aussi un processus de design pour la création d’interfaces numériques d’expression artistique. / This research takes a critical look at current sound spatialisation interfaces and places spatial music composition, traditionally studied in music research, at the forefront of a research in design. This thesis presents a research approach focused on understanding the spatial composition process and mental models of electroacoustic music composers in order to build a design brief for a new sound spatialisation software tool : Centor. This research combines the study of interface and interaction design with music theory in order to generate an innovative sound spatialisation method that is meaningful from both an interaction design and musical standpoint. We present the research and development process of additive spatialisation: a pattern based method that integrates aspects of spectromorphology, developed by Denis Smalley. The proposed spatilisation tool for in studio work is meant to complement current digital audio workstations and to offer new opportunities for spatial sound exploration in electroacoustic music. This work is a contribution to the field of new musical interface design, specifically for spatialisation but also, more broadly, suggests a design process that could be used for the creation of new digital tools for artistic expression.

Cette thèse traite des interfaces utilisateur tangibles (TUI). La première partie de ce manuscrit concerne l'interaction tangible sur table interactive. Nous introduisons tout d'abord les TUIs et les tables interactives. Nous validons une hypothèse concernant la spécialisation de la forme des interacteurs tangibles et nous en tirons les conséquences pour la conception des TUIs. Nous proposons une solution de boîtier à boutons pour y déporter certaines opérations dans le contexte d'une TUI sur table interactive. Nous abordons la construction et le développement d'un système de tables interactives tangibles transportables et à faible coût permettant de faire du prototypage rapide de TUIs. Nous terminons en soulignant les particularités de l'évaluation expérimentale des TUIs. La seconde partie de ce manuscrit traite un cas d'application d'une TUI pour les géosciences : GeoTUI. Nous commençons par présenter le contexte métier des géophysiciens et leurs besoins en terme de nouveaux moyens d'interaction. Nous présentons les résultats de notre conception d'une TUI pour les géosciences. Nous précisons le détail du développement de notre prototype. Pour terminer, nous présentons les deux expérimentations utilisateurs qui ont été conduites pour valider nos choix de conception. / This thesis focuses on tangible user interfaces (TUI). The first part of this manuscript is about tangible interaction on tabletop. We first introduce TUIs and tabletops. We validate an hypothesis about the specialization of the form of the tangible objects, and conclude from that consequences on TUIs design. We propose the solution of a button box to deport some operations in the context of tabletop TUI. We present the construction and development of a transportable and low cost tabletop TUI system that allows rapid TUI prototyping. We end pointing out the special features of user experiments of TUIs. The second part of this manuscript deals with an application case of a TUI for geoscience: GeoTUI. We start presenting the context of the geophysicists work and their need in term of new way of interation. We present the results of our design of a TUI for geoscience. We detail the development of our prototype. To finish, we present two user experiments we conducted to validate our design choices.

Cette thèse présente un nouvel instrument de musique, appelé Embodied Musical Instrument (EMI), qui a été conçu pour répondre à deux problèmes : comment pouvons-nous “capturer” et modéliser des gestes musicaux et comment utiliser ce modèle afin de contrôler des paramètres de synthèse sonore de manière expressive. L'EMI est articulé autour d'une stratégie de “mapping explicite” qui s'inspire de techniques du jeu pianistique, mais aussi du potentiel gestuel de certains objets. Le système que nous proposons utilise des caméras 3D et des algorithmes de vision par ordinateur afin de libérer le geste de dispositifs intrusifs, tout en facilitant le processus de capture et de performance. Nous utilisons différentes caméras 3D pour le suivi de geste et exploitons pleinement leur potentiel en ajoutant une plaque transparente. Cette plaque créer un seuil de détection pour les doigtés, mais fournit aussi une rétroaction haptique, simple mais nécessaire. Nous avons examiné les gestes des doigts par rapport à la surface de l’EMI et nous avons décomposé leurs trajectoires en phases élémentaires, ce qui nous a permis de modéliser et d'analyser des gestes de type pianistique. Une étude préliminaire sur les gestes musicaux a porté notre intérêt non seulement sur les gestes “effectifs” opérés par les doigts - dans le cas des instruments à claviers - mais aussi sur les gestes “d’accompagnements” et “figuratifs”, caractérisés principalement par les mouvements des bras et de la tête. Par conséquent, nous distinguons deux niveaux d'interactions, délimités par deux volumes d’interaction: un volume englobant dit “micro” inclut les micro-gestes opérés par les doigts, tandis qu’un volume englobant dit “macro” comprend des mouvements plus importants du haut du corps. À partir de cela, nous étendons notre modèle de jeu pianistique à un paradigme d'interaction 3D, où les paramètres musicaux de haut niveau, tels que les effets sonores (filtres, réverbération, spatialisation), peuvent être contrôlés en continu par des mouvements du haut du corps. Nous avons exploré un ensemble de scénarios réels pour cet instrument, à savoir la pratique, la composition et la performance. L'EMI introduit un cadre pour la capture et l'analyse de gestes musicaux spécifiques. Une analyse hors ligne des fonctionnalités gestuelles peut révéler des tendances, des défauts et des spécificités d'une interprétation musicale. Plusieurs œuvres musicales ont été créées pour l’EMI, réalisées en solo, accompagnées d'un quatuor à cordes, et d’autres ensembles musicaux. Un retour d'expérience montre que l'instrument peut être facilement enseigné - sinon de manière autodidacte - grâce aux paradigmes gestuels intuitifs tirés de gestes pianistiques et d'autres gestes métaphoriques. / This thesis presents a novel musical instrument, named the Embodied Musical Instrument (EMI), which has been designed to answer two problems : how can we capture and model musical gestures and how can we use this model to control sound synthesis parameters expressively. The EMI is articulated around an explicit mapping strategy, which draws inspiration from the piano-playing techniques and other objects’ affordances.  The system we propose makes use of 3D cameras and computer vision algorithms in order to free the gesture from intrusive devices and ease the process of capture and performance, while enabling precise and reactive tracking of the fingertips and upper-body. Having recourse to different 3D cameras tracking solutions, we fully exploit their potential by adding a transparent sheet, which serves as a detection threshold for fingerings as well as bringing a simple but essential haptic feedback. We examined finger movements while tapping on the surface of the EMI and decomposed their trajectories into essential phases, which enabled us to model and analyse piano-like gestures. A preliminary study of generic musical gestures directed our interest not only on the effective gestures operated by the fingers - in the case of keyboard instruments - but also on the accompanying and figurative gestures, which are mostly characterised by the arms and head movements. Consequently, we distinguish two level of interactions, delimited by two bounding volumes. The micro bounding volume includes the micro-gestures operated with the fingers, while the macro bounding volume includes larger movements with the upper-body. Building from this, we extend our piano-like model to a 3D interaction paradigm, where higher-level musical parameters, such as sound effects, can be controlled continuously by upper-body free movements. We explored a set of real-world scenarios for this instrument, namely practice, composition and performance. The EMI introduces a framework for capture and analysis, of specific musical gestures. An off-line analysis of gesture features can reveal trends, faults and musical specificities of an interpret. Several musical works have been created and performed live; either solo or accompanied by a string quartet, revealing the body gesture specificities through the sounds it synthesises. User experience feedback shows that the instrument can be easily taught - if not self-taught - thanks to the intuitive gesture paradigms drawn from piano-like gestures and other metaphorical gestures.

Les systèmes de dialogue homme machine actuellement utilisés dans l’industrie sont fortement limités par une forme de communication très rigide imposant à l’utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l’état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d’utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l’utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d’erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d’apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d’utiliser.Afin d’appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l’espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l’espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d’utiliser la distance d’édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l’adoption des POMDP pour le dialogue dans l’industrie.Dans le domaine du renseignement d’informations touristiques et de la réservation de chambres d’hôtel, les résultats sur des dialogues simulés montrent l’efficacité de l’approche par renforcement associée à un système de règles pour s’adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu’un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé. / Dialog managers (DM) in spoken dialogue systems make decisions in highly uncertain conditions, due to errors from the speech recognition and spoken language understanding (SLU) modules. In this work a framework to interface efficient probabilistic modeling for both the SLU and the DM modules is described and investigated. Thorough representation of the user semantics is inferred by the SLU in the form of a graph of frames and, complemented with some contextual information, is mapped to a summary space in which a stochastic POMDP dialogue manager can perform planning of actions taking into account the uncertainty on the current dialogue state. Tractability is ensured by the use of an intermediate summary space. Also to reduce the development cost of SDS an approach based on clustering is proposed to automatically derive the master-summary mapping function. A implementation is presented in the Media corpus domain (touristic information and hotel booking) and tested with a simulated user.

Notre objectif, tout au long de ce manuscrit, est de proposer une méthodologie d'analyse, de conception et d'évaluation d'applications dédiées à la recherche d'information orientée métier. Le premier chapitre commence par un état de l'art sur la modélisation de la recherche d'information. Dans un second temps, il traite la notion d'interaction homme machine présente au sein de systèmes de recherche d'information. Ce chapitre permet de souligner que le contexte métier n'est pas pris en compte dans la modélisation de la recherche d'information via un système informatisé. Le deuxième chapitre propose une méthodologie d'analyse, de conception et d'évaluation d'Applications dédiées à la Recherche d'information Orientée Métier (AROM). Il traite également de l'intégration du contexte métier via la notion d'ontologie au sein d'un système dédié. Enfin, une confrontation avec un système existant est réalisée dans le but de valider la méthodologie en termes d'évaluation. Le troisième chapitre permet de valider la méthodologie AROM dans la conception d'applications via deux cas d'étude industriels. Nous montrons comment le premier cas d'étude nous a permis d'avoir une réflexion sur le développement de la méthodologie. Grâce à la méthodologie AROM, le second cas d'étude propose une interface innovante en termes de recherche d'information orientée métier. / Our goal is to develop a methodology to analyse, to implement and to evaluate user-trade oriented information retrieval applications.The first chapter begins with a state of the art about information retrieval models. It presents human computer interaction of informatiion retrieval systems. It helps to understand that user trade context has to be dealt of in information retrieval model and especially during the design of dedicated applications.The second chapter is the core of our methodology to analyse, to implement and to evaluate user-trade oriented information retrieval applications. This methodology is called AROM. The chapter explains how to take into account user trade context by integrating an ontology in the dedicated system. The AROM methodoly is compared with an existing system in order to its validation.The third chapter validates the AROM methodology during the design of two industrial case studies. The first case study has been designed during the first steps of the design of the AROM methodology. It helped us understand which concepts were necessary to our methodology. Thanks to our methodology, the second case study has an innovative interface through a user trade oriented information retrieval tool.