Les travaux de cette thèse en informatique s'inscrivent dans le domaine de l'interaction homme-machine (IHM). Le sujet de ce mémoire concerne l'utilisation d'une nouvelle forme d'ordinateur appelée table interactive. Il s'agit d'une table dont le plateau est à la fois un écran et une surface de détection multi-tactile. Les tables interactives ouvrent de nouveaux usages de l'informatique en permettant des applications multi-utilisateurs en coprésence. Les utilisateurs d'une même table interactive ont naturellement envie d'interagir simultanément sur la surface partagée. Cette simultanéité est toutefois difficile à observer dans un contexte collaboratif et non artificiel. Les études existantes n'ont pas suffisamment analysé les problèmes rencontrés ni cherché comment le système peut aider à gérer les accès simultanés.Notre approche a consisté à étudier les interactions simultanées en nous orientant vers des situations originales où la couche applicative du système exerce une forte pression sur le rythme d'utilisation. Nous justifions ainsi l'utilisation d'un jeu vidéo comme outil d'exploration et d'expérimentation. Ce mémoire retrace la conception et le développement de RealTimeChess, un jeu pour 2 à 4 joueurs, adapté aux caractéristiques des tables interactives, et inspiré des échecs dans une version s'affranchissant du tour par tour. Nous rapportons les résultats d'expériences menées sur des groupes de 2 à 4 participants en situations de coopération et de compétition, qui ont permis de mettre en évidence des problèmes de gênes physiques et d'accessibilité aux objets distants ; de perception des informations importantes en contexte dynamique ; et de contrôle du rythme de l'interaction.Ce mémoire expose en outre les leçons apprises au niveau de l'interaction simultanée de plusieurs utilisateurs, des aspects de territorialité, des comportements collaboratifs et enfin en proposant des recommandations de Game Design pour tables interactives.

Les émotions et leurs expressions par des agents virtuels sont deux enjeux importants pour les interfaces homme-machine affectives à venir. En effet, les évolutions récentes des travaux en psychologie des émotions, ainsi que la progression des techniques de l'informatique graphique, permettent aujourd'hui d'animer des personnages virtuels réalistes et capables d'exprimer leurs émotions via de nombreuses modalités. Si plusieurs systèmes d'agents virtuels existent, ils restent encore limités par la diversité des modèles d'émotions utilisés, par leur niveau de réalisme, et par leurs capacités d'interaction temps réel. Dans nos recherches, nous nous intéressons aux agents virtuels capables d'exprimer des émotions via leurs expressions faciales en situation d'interaction avec l'utilisateur. Nos travaux posent de nombreuses questions scientifiques et ouvrent sur les problématiques suivantes : Comment modéliser les émotions en informatique en se basant sur les différentes approches des émotions en psychologie ? Quel niveau de réalisme visuel de l'agent est nécessaire pour permettre une bonne expressivité émotionnelle ? Comment permettre l'interaction temps réel avec un agent virtuel ? Comment évaluer l'impact des émotions exprimées par l'agent virtuel sur l'utilisateur ? A partir de ces problématiques, nous avons axé nos travaux sur la modélisation informatique des émotions et sur leurs expressions faciales par un personnage virtuel réaliste. En effet, les expressions faciales sont une modalité privilégiée de la communication émotionnelle. Notre objectif principal est de contribuer l'amélioration de l'interaction entre l'utilisateur et un agent virtuel expressif. Nos études ont donc pour objectif de mettre en lumière les avantages et les inconvénients des différentes approches des émotions ainsi que des méthodes graphiques étudiées. Nous avons travaillé selon deux axes de recherches complémentaires. D'une part, nous avons exploré différentes approches des émotions (catégorielle, dimensionnelle, cognitive, et sociale). Pour chacune de ces approches, nous proposons un modèle informatique et une méthode d'animation faciale temps réel associée. Notre second axe de recherche porte sur l'apport du réalisme visuel et du niveau de détail graphique à l'expressivité de l'agent. Cet axe est complémentaire au premier, car un plus grand niveau de détail visuel pourrait permettre de mieux refléter la complexité du modèle émotionnel informatique utilisé. Les travaux que nous avons effectués selon ces deux axes ont été évalués par des études perceptives menées sur des utilisateurs.La combinaison de ces deux axes de recherche est rare dans les systèmes d'agents virtuels expressifs existants. Ainsi, nos travaux ouvrent des perspectives pour l'amélioration de la conception d'agents virtuels expressifs et de la qualité de l'interaction homme machine basée sur les agents virtuels expressifs interactifs. L'ensemble des logiciels que nous avons conçus forme notre plateforme d'agents virtuels MARC (Multimodal Affective and Reactive Characters). MARC a été utilisée dans des applications de natures diverses : jeu, intelligence ambiante, réalité virtuelle, applications thérapeutiques, performances artistiques, etc.

L'objet de cette thèse est l'étude de l'intégration de la vidéo dans les systèmes informatiques interactifs. Cette étude se place dans le contexte de la communication médiatisée, où l'informatique permet à la fois de numériser, transmettre, traiter et afficher des flux vidéo numériques mais également de contrôler des moyens vidéo analogiques. Notre démarche se veut à la fois scientifique et technologique, centrée sur les usages : nous voulons comprendre les mécanismes à mettre en oeuvre pour permettre une grande diversité d'usage de la vidéo, de la perception périphérique à la collaboration formelle, et nous voulons en même temps fournir les outils logiciels qui permettront de développer plus encore ces usages. La thèse est organisée en trois parties. La première partie présente différents systèmes commerciaux et travaux de recherche qui illustrent les usages actuels de la vidéo dans les systèmes interactifs. Nous décrivons plus particulièrement les environnements de type Media Space, que nous caractérisons par trois propriétés fondamentales : intégrabilité, flexibilité et intimité. La seconde partie est consacrée à l'utilisation des langages et protocoles du World Wide Web comme infrastructure logicielle pour la mise en oeuvre de nouveaux mediaspaces. Nous montrons le bien-fondé de cette approche en nous basant sur les propriétés identifiées dans la première partie, nous présentons Mediascape et videoServer, deux prototypes qui la mettent en application, puis nous montrons comment elle peut être étendue par l'ajout de clients et de protocoles spécifiques. Ces extensions sont à l'origine de videoSpace, une boîte à outils logicielle que nous présentons dans la troisième partie. Nous décrivons son interface de programmation ainsi que les outils de base qu'elle offre aux utilisateurs, puis nous concluons par trois ensembles de prototypes qui illustrent ses possibilités actuelles et préfigurent les nouveaux usages de la vidéo qu'elle devrait faciliter à l'avenir.

Les environnements virtuels collaboratifs sont des espaces 3D permettant à plusieurs utilisateurs de travailler ensemble pour réaliser une tâche commune. Pour concevoir de tels environnements, qui supportent les interactions homme-homme, il est important d'étudier comment les hommes développent un référentiel commun pour collaborer. Notre travail a consisté à explorer la notion de référentiel commun sur laquelle s'appuie toute activité collaborative. Cette notion favorise la compréhension mutuelle des tâches communes entre partenaires à travers un échange permanent d'informations, explicites et implicites. L'objectif de ce travail a donc été de faciliter et d'enrichir l'activité d'élaboration du référentiel commun dans les environnements virtuels collaboratifs en tirant parti des caractéristiques de ces derniers. En effet, la conception des éléments liés au référentiel commun (mode de communication, construction de l'environnement et interactions) est primordiale pour assurer le fonctionnement collaboratif de l'activité. Deux études expérimentales ont été réalisées autour de deux situations concrètes. La première étude montre que l'ajout d'indices visuels permet d'améliorer l'élaboration du référentiel commun dans le cadre d'une tâche de manipulation d'objets. La deuxième étude montre que la communication haptique permet d'améliorer la construction du référentiel commun autour d'une tâche d'apprentissage d'un geste technique. Ces résultats contribuent à donner des recommandations pour la conception d'environnement virtuel qui supportent la collaboration. Ceci est une première étape dans la définition d'une méthodologie de conception pour ce type de systèmes.

Après la transmission de l'image et du son à travers les réseaux télécoms, il était logique de s'intéresser à la transmission du geste. Le « toucher 3D » est en train de révolutionner la façon de travailler des utilisateurs de la 3D sur ordinateur. Il permet aux gens de manipuler directement des objets et des données numériques de la même façon que dans la réalité en utilisant leur sens du toucher. Il existe des systèmes à retour d'effort, représentés par des manches munis de moteurs pilotés par des logiciels. Ils renvoient dans la main de l'utilisateur des sensations de forces, de vibrations, ils sont programmables en fonction d'une certaine tâche à effectuer dans le monde virtuel. Lors d'un toucher distant, d'un télégeste, nous sommes confrontés au problème de l'instabilité de la boucle haptique (homme-système à retour d'effort-réseau-retour de la force dans la main du manipulateur). Cette instabilité est provoquée par le retard introduit par la latence incompressible du réseau de télécommunication. Idéalement on désirerait obtenir une réponse instantanée (inférieure à la milliseconde), or l'élaboration d'une telle réponse est irréalisable car elle est non causale. Afin de contrer le retard introduit par le réseau nous avons utilisé des prédicteurs dans le but d'obtenir une réponse simultanée à la sollicitation du manipulateur du système à retour d'effort. Cette amélioration d'ergonomie du télégeste est réalisée grâce à la pertinence statistique du modèle de l'algorithme de prédiction.

L'interprétation automatique de gestes basée sur la vision par ordinateur offre de nouvelles possibilités d'interaction avec l'ordinateur, plus naturelles et intuitives qu'avec les périphériques classiques. Cependant, le canal gestuel est un moyen de communication particulièrement riche et la main un objet articulé complexe. Ainsi, l'interaction homme-machine gestuelle constitue un axe de recherche particulièrement actif avec un potentiel applicatif important.<br /> Dans ce contexte, notre travail a consisté à remplacer le fonctionnement d'un écran tactile par un système de vision stéréoscopique avec deux caméras. Ainsi, le problème fondamental a consisté à suivre, en temps réel, le mouvement de la main et des doigts à partir de leurs projections dans les images, avant d'en reconnaître la posture. Les contraintes industrielles qui ont guidé nos travaux nous ont orienté vers une approche par apparence, avec des hypothèses réduites afin que le système soit peu contraignant pour l'utilisateur. Les différentes étapes abordées concernent la détection de la main basée sur la couleur de peau, l'extraction de caractéristiques invariantes, la comparaison de descripteurs de forme pour la reconnaissance de postures 2D, et le suivi 3D du mouvement des doigts et de la main avec un modèle squelettique. Les algorithmes ont été évalués à l'aide d'une base originale de vidéos stéréoscopiques, montrant l'amélioration notable des solutions proposées. La robustesse du système a également été confrontée aux conditions réelles d'une démonstration publique.

Cette thèse s'inscrit dans le domaine de l'intelligence ambiante et de l'interaction homme-machine. Elle a pour thème la génération d'interfaces homme-machine adaptées au contexte d'interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d'IHM dans l'ambiant et notamment de la réutilisation de techniques d'interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l'IHM spécifiques à l'Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d'établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d'IHM ambiante appelée DAME. Cette approche repose sur l'association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d'identifier les différents niveaux d'abstraction réutilisables d'un langage d'interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l'instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d'évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l'IHM en informatique ambiante.

Depuis les travaux fondateurs de R. Bolt « Mets ça là » combinant la voix et le geste, les modalités<br />d'interaction se sont multipliées, diversifiées et améliorées. Les récents paradigmes d'interaction<br />comme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmes<br />de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration de<br />la reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pour<br />les systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soient<br />disponibles, leur développement et leur maintien restent encore des tâches difficiles, notamment<br />par manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception et<br />de développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique).<br />Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateur<br />les modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approche<br />générique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développement<br />et le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outil<br />ICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni,<br />simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondant<br />à l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes de<br />réalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE.

Ce mémoire contribue à la thématique de l'évaluation des interfaces utilisateur. Il se base sur deux contributions pour l'évaluation de ces interfaces. La première consiste en un Framework se basant sur trois différentes techniques d'évaluation (le mouchard électronique, le questionnaire et l'inspection des règles ergonomiques). La seconde consiste en deux ensembles de composants graphiques pour la composition d'interfaces graphiques avec les environnements de développement intégral du type WYSIWYG. Le premier ensemble vise à inspecter la présentation statique de l'interface lors de la conception de cette dernière. Cette inspection s'effectue localement par le composant graphique lui-même par rapport à un ensemble de règles ergonomiques. Le second ensemble consiste à l'évaluation de l'interface utilisateur en analysant l'interaction entre l'utilisateur et l'interface. Cet ensemble de composants opère avec un mouchard dédié à cet usage. Une évaluation de ces deux contributions ainsi que des perspectives de recherche concluront ce présent mémoire.

Les visualisations de données permettent de transmettre de l'information aux utilisateurs. Pour explorer et comprendre les données, les utilisateurs sont amenés à interagir avec ces visualisations.Toutefois, l'interaction avec les visualisations modifie le visuel. Pour éviter des changements brusques et garder l'utilisateur focalisé sur les objets graphiques d'intérêt, des transitions visuelles sont nécessaires pour accompagner les modifications de la visualisation. Ces transitions visuelles peuvent être codées sous la forme d'animations, ou de techniques qui permettent de faire des correspondances, ou des liens avec des données représentées sur plusieurs affichages. Le premier objectif de cette thèse était d'étudier les bénéfices et les propriétés des animations pour l'exploration et la compréhension de grandes quantités de données multidimensionnelles. Nous avons établi en conséquence une taxonomie des transitions animées en visualisation d'information basée sur les tâches des utilisateurs. Cette taxonomie a permis de constater qu'il n'existe pas de contrôle utilisateur sur la direction des objets durant l'animation. Nous avons donc proposé des interactions pour le contrôle de la direction des objets graphiques lors d'une transition animée. D'autre part, nous avons étudié une technique de transition animée mettant en jeu une rotation 3D entre visualisations. Nous avons identifié les avantages qu'elle pouvait apporter et en avons proposé une amélioration.Le second objectif était d'étudier les transitions visuelles dans le domaine du Contrôle du Trafic Aérien. En effet, les contrôleurs utilisent de nombreuses visualisations qui comportent des informations étalées et dupliquées sur plusieurs affichages: l'écran Radar, le tableau de strips, des listes spécifiques d'avions (départ, arrivées) etc. Ainsi dans leur activité, les Contrôleurs Aériens réalisent des transitions visuelles en recherchant et en reliant de l'information à travers les différents affichages. Nous avons étudié comment les animations pouvaient être utilisées dans le domaine du contrôle aérien en implémentant un prototype d'image radar regroupant trois visualisations usuelles pour instrumenter l'activité de supervision du trafic aérien.