Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires.

Les environnements virtuels sont des espaces immersifs et intuitifs mais la conception des interfaces d'édition et de navigation y est complexe en raison de la diversité des dispositifs d'interaction et des tâches à réaliser. Les tables tactiles offrent des interactions intuitives mais proposent seulement un nombre limité de degrés de liberté. Dans le but de mieux couvrir les besoins d'interaction dans les environnements 3D, nous proposons la conception des TEAMViz (Tabletop Environment Augmented with Mural Visualization soit en français environnement tabletop augmenté par une visualisation murale). Les TEAMViz combinent des interactions réalisées au moyen d'une vue 2D d'un environnement virtuel présentée sur une table tactile et des interactions au moyen d'une vue 3D en perspective de ce même environnement projetée sur un écran vertical. La contribution principale de notre recherche est la réalisation d'une méthode de conception pour la combinaison d'interactions effectuées avec plusieurs dispositifs d'entrée sur des vues multiples présentées sur des surfaces d'affichage distinctes pour des tâches d'édition et de navigation dans un environnement virtuel. Cette méthode de conception prend en compte les relations entre les degrés de liberté des dispositifs d'entrée dans le monde réel, les tâches à réaliser et les relations entre les vues. Elle permet de combiner des interactions réalisées avec des dispositifs dont le couplage fort entre l'entrée et la sortie est requis comme dans le cas des surfaces tactiles.

Les systèmes interactifs évoluent peu à peu et tendent vers des interactions plus transparentes où les objets physiques et les entités numériques se rencontrent et s'entremêlent. Ces formes avancées d'interaction sont maintenant connues sous des qualificatifs multiples tels que réalité augmentée, interfaces tangibles, interaction mixte ou encore Systèmes Interactifs Mixtes (SIM). L'émergence de ces paradigmes s'accompagne d'un impact fort sur la conception de ces systèmes interactifs, conduisant notamment les concepteurs à devoir manipuler plus de variables et à devoir explorer un espace de conception plus vaste. Face à cette complexité, de nouveaux formalismes sont apparus pour décrire les fondements de ces systèmes et les représenter. Malgré ces avancées théoriques, les propositions de conception restent principalement limitées à un même ensemble de technologies et de manipulations. De plus, les méthodologies de conception utilisées pour les IHM traditionnelles ne sont pas confrontées à ce verrou lié à l'exploration des possibles. En conséquence, pour contribuer à l'essor des SIM nous proposons une approche de conception appelée " Model Assisted Creativity Session " (MACS), combinant modèle formel de l'interaction mixte et activité de conception collaborative et créative. L'objectif de cette approche est tout d'abord de permettre une exploration plus systématique de l'espace de conception au travers de la manipulation des concepts exprimés par un formalisme du domaine. En outre, il s'agit de mettre à disposition un langage de référence pour une équipe pluridisciplinaire afin de faciliter la collaboration entre des participants ayant différents champs de compétences. L'intérêt est donc d'offrir une représentation partagée du problème et de permettre aux équipes pluridisciplinaires d'explorer l'espace de conception jusque dans ses limites les plus retranchées, les conduisant ainsi à atteindre des espaces innovants et créatifs. Sur la base d'une analyse des principes fondamentaux de la conception collaborative et créative et d'une revue des ressources de conception existantes dans le domaine des SIM, nous identifions un ensemble de principes permettant de décrire les contours d'une telle méthode. Nous introduisons ensuite les principes de mise en œuvre de la méthode MACS. Nous étudions ensuite les limites posées par la compréhension par des novices de deux formalismes de l'interaction mixte. Puis nous décrivons un ensemble de cas d'étude et analysons l'impact de l'utilisation du modèle sur le déroulement d'une séance de conception de SIM au travers d'une analyse de protocole verbal et comportemental. Nous montrons notamment que cette méthode permet d'aider les participants à se focaliser sur le problème de conception, à faire référence au modèle pour exprimer leurs idées et que les concepts exprimés par la notation accompagnent le processus de génération d'idées. Nous concluons la présentation de nos travaux par l'illustration de SIM issus de cette méthode ainsi que par la présentation d'un outil interactif visant à accompagner le déroulement de ces séances de conception collaboratives et créatives.

Les techniques de reconnaissance et de synthèse vocale deviennent de plus en plus performantes et robustes, ce qui facilite la création des applications de dialogue oral humain-machine. Ce sont des applications à partir desquelles la machine dialogue oralement avec l'humain en imitant l'acte de communication des humains. Cependant, le dialogue entre l'humain et la machine manque encore de naturel, de souplesse et est parfois même agaçant. Alors que les recherches se sont orientées vers l'aspect acoustique et sémantique du signal de la parole, d'autres se sont positionnées au niveau de l'apprentissage de la machine. Cette technique consiste à lui apprendre une stratégie du dialogue. La stratégie optimale du dialogue permet à l'humain et à la machine de communiquer de manière efficace. La question qui se pose en informatique cognitive est de savoir comment une machine peut apprendre des séquences de comportements, en l'occurrence, des énoncés du langage naturel qui, lorsque confrontées à une séquence effective, doivent être aptes à interagir avec celui qui a ces comportements (humains)? . Plus généralement, l'un des domaines importants de recherche en informatique cognitive est celui de la représentation des connaissances qu'il faut construire pour permettre à la machine d'effectuer une tâche de type intelligence artificielle. Pour ce faire, il existe plusieurs approches. Quelle que soit celle retenue, il faut d'abord savoir quelle est sa représentation, ensuite, savoir comment transférer ces connaissances à la machine pour qu'elle puisse apprendre afin d'améliorer sa performance. Ce transfert relève de trois aspects fondamentaux de notre thèse : représentation des connaissances, acquisition des connaissances et recherche d'information. Notre recherche ne vise cependant pas des réponses abstraites. Elle les explore directement dans un domaine spécifique où ces connaissances sont éminemment requises et doivent être apprises: le dialogue oral humain-machine qui se réalise dans un système de dialogue oral humain-machine. Dans ce système, nous nous concentrerons sur l'aspect stratégique du dialogue considéré comme étant important pour contrôler les interactions orales entre l'humain et la machine [ENG05], [HEN05], [LEV00], [PIE04], [SCH05], [SCH06], [SCH99]. Une stratégie optimale du dialogue permet à la machine de contrôler efficacement ces interactions orales. Nos hypothèses de solutions à appliquer dans le domaine du dialogue sont: 1-La connaissance que représente la stratégie du dialogue peut être vue comme un processus dynamique qui est composé de séquences d'actions. Il traduit un comportement stochastique, dynamique et coopératif avec lequel deux interlocuteurs s'engagent dans un dialogue. Ce processus peut être décrit comme le processus de décision de Markov (état, action, transition, récompense). 2-Pour transférer cette connaissance de l'humain à la machine, nous proposerons une approche d'apprentissage par renforcement avec l'aide d'un utilisateur simulé (Pietquin et Beaufort, 2005 ; J. Schatzmann et al., 2006). Cette approche permet à la machine d'acquérir les connaissances des stratégies optimales du dialogue. 3-Cette stratégie optimale est le résultat, non seulement de la formalisation des connaissances et de l'apprentissage, mais est aussi obtenue grâce à la recherche d'information qui se manifeste à travers un mécanisme de transition entre les états qu'offre le modèle de Markov. Nous démontrerons la faisabilité de notre approche par la réalisation d'un prototype qui met en évidence le processus d'apprentissage proposé. Le dialogue issu de cet apprentissage sera simulé oralement par une interface Windows programmé en Visual Studio C++/.Net dans le laboratoire de R&D de Nuance Communications, Inc. Ainsi, nous démontrerons qu'un système avec une stratégie apprise, modélisée selon nos hypothèses de représentation et d'acquisition des connaissances sera meilleur qu'un système sans stratégie apprise grâce à cette approche. ______________________________________________________________________________ MOTS-CLÉS DE L'AUTEUR: représentation des connaissances, acquisition des connaissances, recherche d'information, contrôle des interactions, intelligence artificielle, processus de décision de Markov, apprentissage machine par renforcement, stratégie du dialogue, système de dialogue oral humain-machine, utilisateur simulé.

Nous présentons dans cette thèse les bases d'un dialogue entre le modèle cognitif dit 'incarné' et le développement de styles et techniques d'interaction pour les interfaces graphiques en 3 dimensions. Ce modèle cognitif, structuré entre autres par Lakoff et Johnson, décrit les correspondances métaphoriques que nous construisons naturellement entre des idées abstraites et les modèles mentaux provenant de notre expérience perceptive. Dortier résume la cognition incarnée en disant que les idées ont des formes, des couleurs, suscitent des goûts et des dégoûts. Cette vision intégrée des systèmes perceptifs et cognitifs s'applique non seulement à la représentation mentale des objets ou des personnes, mais aussi aux idées abstraites quelles soient morales, philosophiques ou scientifiques.Ce modèle met en évidence le rôle de ces corrélations en tant que source de compréhension et d'action et a fait émerger le concept d'interfaces énactives. Aujourd'hui elles se présentent comme un regard commun sur les projets émergents d'interfaces homme-machine. Des projets, tels que les interfaces tangibles, les systèmes de capture de gestes et d'autres solutions logicielles et matérielles multimodales, se servent de notre aptitude à structurer métaphoriquement l'information produite par notre action sur le monde, pour créer des interfaces universellement appréhendables.Nous avons illustré l'application de ce modèle sur des projets d'interfaces graphiques pour la réalisation de tâches dans des contextes hétérogènes. Nous avons ciblé les dispositifs multimédia pour le grand public et les stratégies pour la réussite de ces interfaces en tant qu'outil pédagogique pour les musées, expositions et outils de travail collaboratifs. Notre première application est le projet de médiation graphique pour accéder à une base de données d'objets numérisés en 3D pour le Musée des Arts et Métiers. Dans ce projet les objets numérisés sont affichés selon une métaphore de fluides et particules dotés d'électromagnétisme. La navigation dans ce catalogue se veut claire et pervasive. Nous avons analysons la capacité des métaphores de construire des ponts cohérents entre les diverses plateformes d'accès au catalogue. Dans une seconde implémentation nous employons les métaphores liés à la notion visuelle de profondeur et de densité pour proposer une ligne du temps en 3 dimensions pour la visualisation de donnés temporelles pour EDF. Finalement nos synthétisons les relations entre les ensembles de métaphores pour les appliquer aux composantes d'interaction. La structure résultante se présente sous forme d'un Framework conceptuel d'agents et styles d'interaction qui peut servir en tant qu'outil de prototypage mais aussi comme catalyseur pour la conception d'interfaces innovantes.

Thèse (M.Inf.) -- Université du Québec à Chicoutimi, programme en extension de l'Université du Québec à Montréal, 2005. / Bibliogr.: f. 114-116. Document électronique également accessible en format PDF. CaQCU

Nos travaux contribuent au domaine de l'ingénierie des systèmes interactifs multimodaux critiques. Ils facilitent l'introduction de nouveaux périphériques (comme les tablettes multi-touch, les systèmes de reconnaissance de geste...) permettant l'interaction multimodale et multi-utilisateurs au sein des futurs cockpits. Pour le moment, les méthodes et les techniques de description des IHM (Interactions Homme Machine) existantes pour la conception des cockpits ne permettent pas de prendre en compte la complexité des techniques d'interaction multimodales. De leur côté, les méthodes de conception d'IHM grand public sont incompatibles avec les exigences de fiabilité et de certification nécessaires aux systèmes critiques. Les travaux proposent un modèle d'architecture logicielle et matérielle MIODMIT (Multiple Input Output devices Multiple Interaction Techniques) qui vise l'intégration de périphériques permettant l'usage de multimodalité au sein de systèmes critiques. Ce modèle décrit précisément les rôles de chacun des composants ainsi que les relations qu'ils entretiennent. Il couvre l'ensemble du spectre du système interactif multimodal qui va des périphériques d'entrée et leurs pilotes, vers les techniques d'interaction et l'application interactive. Il décrit aussi le rendu allant de l'application interactive aux périphériques de sortie en passant par les techniques complexes de présentation. Au-delà de sa capacité de description, ce modèle d'architecture assure la modifiabilité de la configuration du système (ajout ou suppression de périphériques au moment du design et de l'exécution). En outre, la modélisation des systèmes fait apparaitre qu'une partie importante du comportement est autonome c'est-à-dire qu'il évolue sans recevoir d'entrées produites par l'utilisateur. Les utilisateurs peuvent avoir du mal à comprendre et à anticiper ce genre de comportement autonome, qui peut engendrer des erreurs appelées automation surprises. Nous proposons une méthode d'évaluation à base de modèles des techniques d'interaction permettant d'analyser pour ensuite réduire significativement les erreurs d'utilisation liées à ces comportements inattendus et incompréhensibles. Enfin nous avons exploité le langage formel ICO (Interactive Cooperative Objects), pour décrire de façon complète et non ambiguë chacun des composants de l'architecture. Il est exploitable au moyen d'un outil d'édition et d'interprétation appelé Petshop, qui permet de faire fonctionner l'application interactive dans son ensemble (de l'entrée à la sortie). Nous avons complété cet environnement par une plateforme que nous avons appelée ARISSIM(ARINC 653 Standard SIMulator). Elle ajoute des mécanismes de sûreté de fonctionnement aux systèmes interactifs multimodaux développés avec Petshop. Plus précisément ARISSIM permet la ségrégation spatiale et la ségrégation temporelle des processus, ce qui accroît fortement la tolérance aux fautes durant l'exécution. Nos travaux proposent un socle aux équipes de conception pluridisciplinaires (principalement ergonomes spécialistes en IHM et développeurs) d'interaction homme-machine pour les systèmes critiques destinés aux cockpits d'aéronefs de prochaine génération. / The work of this thesis aims at contributing to the field of the engineering of interactive critical systems. We aim at easing the introduction of new input and output devices (such as touch screens, mid-air gesture recognition ...) allowing multi-user and multimodal interactions in next generation of aircraft’s cockpits. Currently, development process in the aeronautical filed is not compatible with the complexity of multimodal interaction. On the other side development process of wide spread systems cannot meet the requirements of critical systems. We introduce a generic software and hardware architecture model called MIODMIT (Multiple Input Output devices Multiple Interaction Techniques) which aim the introduction of dynamically instantiated devices, allowing multimodal interaction in critical systems. It describes the organization of information flux with a complete and non-ambiguous way. It covers the entire spectrum of multimodal interactive systems, from input devices and their drivers, to the specification of interaction techniques and the core of the application. It also covers the rendering of every software components, dealing with fission and fusion of information. Furthermore, this architecture model ensure the system configuration modifiability (i.e. add or suppress a device in design or operation phase). Furthermore, moralizing a system reveals that an important part of the interactive part is autonomous (i.e. not driven by the user). This kind of behavior is very difficult to understand and to foresee for the users, causing errors called automation surprises. We introduce a model-based process of evaluation of the interaction techniques which decrease significantly this kind of error. Lastly, we exploited ICO (Interactive Cooperative Objects) formalism , to describe completely and unambiguously each of the software components of MIODMIT. This language is available in an IDE (integrated development environment) called Petshop, which can execute globally the interactive application (from input/output devices to the application core). We completed this IDE with an execution platform named ARISSIM (ARINC 653 Standard SIMulator), adding safety mechanisms. More precisely, ARRISIM allows spatial segregation of processes (memory allocution to each executing partition to ensure the confinement of potential errors) and temporal segregation (sequential use of processor). Those adding increase significantly the system reliability during execution. Our work is a base for multidisciplinary teams (more specifically ergonoms, HMI specialist and developers) which will conceive future human machine interaction in the next generation of aircraft cockpits.

La conception de nouveaux produits industriels nécessite le développement de prototypes avant leur déploiement grand public. Afin d'accélérer cette phase et de réduire les coûts qui en découlent, une solution intéressante consiste a utiliser des prototypes virtuels le plus longtemps possible en particulier dans la phase de conception. Certaines des étapes de la conception consistent à effectuer des opérations d'assemblage ou de désassemblage. Ces opérations peuvent être effectuées manuellement ou automatiquement à l'aide d'un algorithme de planification de mouvement. La planification de mouvement est une méthode permettant à un ordinateur de simuler le déplacement d'un objet d'un point de départ à un point d'arrivée tout en évitant les obstacles. Le travail de recherche de cette thèse apporte des solutions pour l'interaction entre un humain et un algorithme de planification de mouvement pendant l'exploration de l'espace libre. Le temps de recherche est partagé entre l'humain et la machine selon un paramètre de partage d'autorité permettant de déterminer le pourcentage d'allocation du temps à l'une ou l'autre entité. L'utilisation de ces deux entités en même temps permet d'accélérer grandement la vitesse d'exploration par rapport à la vitesse d'un humain seul ou d'un algorithme seul. Ces travaux apportent ensuite une nouvelle méthode de planification de mouvement avec contact permettant de générer des trajectoires à la surface des obstacles au lieu de les générer uniquement dans l'espace libre. La planification au contact permet d'effectuer des opérations spécifiques telles que le glissement ou l'insertion utiles pour la résolution de problèmes de planification dans des environnements encombrés. Enfin, détecter les intentions d'un utilisateur lorsqu'il interagit avec une m achine permet de lui fournir des ordres efficacement et intuitivement. Dans le cadre de la planification interactive au contact, un algorithme de détection d'intention est proposé. Ce dernier s'appuie sur l'utilisation d'un robot haptique permettant à un opérateur de ressentir les obstacles virtuels lors de la manipulation d'un objet virtuel dans un environnement de réalité virtuelle. L'algorithme interactif s'adapte en temps réel aux actions de l'opérateur pour une exploration pertinente de la surface des obstacles. Ces travaux ont été menés en partie au laboratoire toulousain LAAS au sein de l'équipe Gepetto et en partie dans le laboratoire LGP de l'ENIT au sein de l'équipe DIDS. Nous remercions la région Midi-Pyrénées pour avoir financé ces recherches.

Doctorat en sciences psychologiques / info:eu-repo/semantics/nonPublished

Cette thèse porte sur la conception et l'évaluation de systèmes interactifs utilisant des interfaces cerveau-machine (BCI pour Brain-Computer Interfaces). Ce type d'interfaces s'est développé dans les années récentes tout d'abord dans le domaine du handicap, afin de fournir aux grands handicapés des moyens d'interaction et de communication, et plus récemment dans d'autres domaines comme celui des jeux vidéo. Néanmoins, la plupart des travaux ont porté sur l'identification des signaux du cerveau susceptibles de porter une information utile, et sur les traitements nécessaires à l'extraction de cette information. Peu de travaux ont porté sur les aspects d'utilisabilité et de prise en compte des facteurs humains dans l'ensemble du système interactif. Cette thèse se concentre sur les systèmes basées sur SSVEP (steady-state visually evoked potentials), et se propose d'étudier l'ensemble du système interactif cerveau-machine, selon les critères de l'interaction homme-machine (IHM). Plus précisément, les points étudiés portent sur la demande cognitive, la frustration de l'utilisateur, les conditions de calibration, et les BCI hybrides. / This PhD deals with the conception and evaluation of interactive systems based on Brain-Computer Interfaces (BCI). This type of interfaces has developed in recent years, first in the domain of handicaps, in order to provide disabled people means of interaction and communication, and more recently in other fields as video games. However, most of the research so far focused on the identification of cerebral pattern carrying useful information, a on signal processing for the detection of these patterns. Less attention has been given to usability aspects. This PhD focuses on interactive systems based on Steady-State Visually Evoked Potentials (SSVEP), and aims at considering the interactive system as a whole, using the concepts of Human-Computer Interaction. More precisely, a focus is made on cognitive demand, user frustration, calibration conditions, and hybrid BCIs.