L'objet du travail de cette thèse est d'apporter une contribution au rapprochement de l'informatique graphique<br />et de l'audiovisuel pour permettre l'utilisation directe des machines audiovisuelles dans les systèmes informatiques

Cette thèse décrit la plate-forme EVI3d, dont le but premier est d'intégrer tous les résultats récents de la communication humain-machine pour améliorer les interactions en Réalité Virtuelle (RV). En termes d'architecture logicielle, le modèle proposé consiste à gérer des événements qui transitent d'un module interactif vers un autre au travers d'un serveur distribué. Afin de soulager les calculateurs 3d de certaines charges de traitement liées à l'interaction, plusieurs périphériques et modules sont ainsi exportés sur d'autres machines. Les systèmes logiciels actuels de RV ne permettent pas cette gestion distribuée des interactions immersives. Dans ce contexte, la plate-forme EVI3d intègre également un ensemble logiciel pour le développement d'applications sur divers dispositifs immersifs. Ce module permet entre autre de gérer dynamiquement la configuration géométrique et le degré d'immersion de l'application en accord avec celle du dispositif. L'une des fonctionnalités originales de cet ensemble logiciel vise à libérer la main de tout autre périphérique que ceux associés à la manipulation des objets. Pour gérer le déplacement de l'utilisateur au sein de scènes virtuels, nous proposons une extension du concept de véhicule. En analysant les mouvements de la tête de l'utilisateur par rapport à un référentiel neutre préalablement calibré, le principe consiste à utiliser cet écart pour paramétrer le déplacement du véhicule dans le monde virtuel. Cette thèse prouve enfin la faisabilité d'une approche multimodale des interactions en RV. Un démonstrateur présente notamment des interactions immersives qui utilisent une synchronisation temporelle des machines pour fusionner des événements interactifs issus de systèmes de reconnaissance à forte latence (geste, voix). Notons que la plate-forme EVI3d est entre autre validée par son utilisation dans trois applications à caractère scientifique : Mécanique des Fluides, Visualisation d'ADN et CAO en environnement immersif.

Cette thèse a pour thème la communication humain-machine multimodale pour des systèmes d'information grand-public. Dans ce contexte, la communication naturelle repose sur l'accessibilité sensoriactionnelle, cognitive et rhétorique aux informations et aux moyens d'action. Pour cela, nous identifons le rôle clef que jouent les stratégies de dialogue et de présentation : 1) La stratégie de dialogue pour des systèmes coopératifs définit la tâche dialogique qui oriente la suite du dialogue et conditionne, voire contraint, le choix du contenu, comme la relaxation, la présentation ou la restriction. 2) La stratégie de présentation définit une configuration multimodale des unités informationnelles à rendre perceptibles par l'utilisateur. Nous prônons le choix concerté de la stratégie de dialogue avec celle de présentation et nous proposons un composant logiciel dédié au choix conjoint des stratégies de dialogue et de présentation au sein de l'architecture logicielle de référence Arch. Ce nouveau composant, intermédiaire entre le contrôleur de dialogue et les composants de présentation concrète, prend en compte les contraintes de présentation, qu'elle soient définies par l'utilisateur ou issues du contexte d'utilisation et/ou d'études ergonomiques et cognitives, pour déterminer la réaction multimodale du système interactif. Outre la réalisation logicielle du composant au sein de deux systèmes, nous proposons un outil de conception destiné à des non-informaticiens qui permet la conception incrémentale et la génération d'un composant de choix pour un système donné grâce à une interface graphique. L'outil est associé à une plate-forme de simulation pour des expérimentations magicien d'Oz.

Dans le cadre d'activités de recherche, de sélection et de lecture de documents numériques, à des fins professionnelles ou personnelles, les utilisateurs sont souvent submergés par l'abondance des informations. Si ces informations arrivent, de plus, en flux continu, les utilisateurs peuvent se retrouver en surcharge de travail. Ce problème se pose de manière accrue en supervision industrielle.<br />Pour aider les utilisateurs à gérer cette surabondance d'information, l'approche proposée est un système prenant l'initiative d'adapter la présentation des informations afin de réduire les efforts nécessaires aux utilisateurs pour percevoir et interpréter ces dernières. La présentation des informations est, dans cette approche, le résultat d'un processus de traitement des informations, la (\it composition), réalisé par un agent, l'Agent Compositeur, qui cherche à coopérer avec les utilisateurs.<br />Après avoir introduit la problématique de l'adaptation de la présentation des informations dans le cadre de la supervision industrielle avec une application concernant la gestion d'un réseau de distribution électrique, un état des recherches concernant les modèles de l'opérateur en supervision, les interfaces adaptatives et les systèmes à initiative mixte est présenté. L'Agent Compositeur est guidé dans ses choix d'adaptation de la présentation par une propriété, la pertinence. Une définition et un modèle formel de la pertinence sont proposés. Ce modèle formel est utilisé pour effectuer une analyse critique du projet européen AMEBICA (Auto-adaptive Multimédia Environment Based on Intelligent Collaborating Agents) auquel nous avons participé et en proposer des améliorations.

Le but de ce travail est d'étudier l'introduction de la parole dans les interactions homme-machine multimodales et de trouver des contraintes de spécification d'une interface multimodale qui rende la communication avec la machine plus efficace et moins coûteuse. Les objectifs de ce travail concernent les trois points suivants : l'étude de l'usage de la multimodalité, la réalisation d'un système multimodal et l'étude de l'utilisabilité de la multimodalité. L'étude a utilisé des méthodes expérimentales pour clarifier ces points. En ce qui concerne l'usage de la multimodalité deux expériences sont effectuées sur des sujets de test : d'abord dans un cadre de communication inter-humaine qui simule une interface homme-machine réelle, puis en situation de communication homme-machine réelle avec une interface multimodale. Le but de ces expériences est d'observer ce que l'interface multimodale peut offrir et quelles sont ses limites. En ce qui concerne l'utilisabilité de la multimodalité, des tests sont faits à partir d'une expérimentation d'une interface homme-machine multimodale. L'étude se base sur un modèle cognitif de l'être humain pour définir et évaluer les interfaces homme-machine.

Cette thèse se place dans le domaine de la reconnaissance de gestes dans le cadre d'interactions homme-machine. L'objectif est la conception de systèmes de reconnaissance et de compréhension adaptés au canal gestuel et son intégration dans de nouvelles interactions entre un utilisateur et un système informatique. Une revue de la communication gestuelle et de l'interaction homme-machine nous permet de nous interroger sur leurs applications pour une nouvelle interaction naturelle et la définition d'un geste du point de vue d'un concepteur d'interaction gestuelle. Nous définissons un geste par une trajectoire, c'est-à-dire une courbe paramètrée par le temps dans un espace de caractéristiques. Ces caractéristiques sont la position spatiale de la main et sa configuration. Nous proposons de décomposer la reconnaissance en trois étapes : analyse, reconnaissance et interprétation. L'étape d'analyse calcule les caractéristiques de la main dans chaque image de la séquence, créant ainsi la trajectoire du geste. Son analyse spatio-temporelle lors de l'étape de reconnaissance permet de la classifier parmi l'ensemble des gestes connus, spécifiques à l'application. Enfin, l'étape d'interprétation effectue la correspondance entre le geste reconnu et l'action à réaliser. Cette étape est dépendante de l'application visée. Dans cette thèse, nous nous intéressons aux gestes réalisés dans le cadre d'un environnement intelligent. Nous considérons ainsi des gestes de manipulations d'objets en réalité augmentée et des gestes de dessins. Nous présentons enfin une application de reconnaissance d'activités humaines se basant sur le mouvement d'un individu dans cet environnement.

Thesis--George Washington University. / Includes bibliographical references (p. 98-101).

Thesis--George Washington University. / Includes bibliographical references (p. 98-101).

Parmi les systèmes a base de connaissances fondes sur des techniques d'intelligence artificielle nous nous intéressons plus particulièrement aux systèmes de seconde génération (systèmes a schémas de raisonnement multiples) de type multi-agent. Le paradigme multi-agent est issu des approches de l'intelligence artificielle distribuée et permet de pallier les limitations rencontrées lors de la resolution de problèmes complexes. Le but de ce travail est d'analyser le raisonnement, et plus particulièrement d'aborder son étude en univers multi-agent. Il convient de préciser que celui-ci n'est pas un concept indépendant en lui-même: il est au contraire étroitement lie a d'autres problématiques telles que l'étude et la représentation des connaissances, la spécification des structures de contrôle, des protocoles de communication et d'allocation des taches ou le degré de sophistication de l'architecture interne des agents. Pour ce fait deux typologies originales, issues de l'étude approfondie de la connaissance et du raisonnement, seront proposées au long de cette thèse: l'une a caractère formelle l'autre a caractère technologique. La typologie formelle pour la classification des connaissances et du raisonnement permet une vue synthétique d'éléments souvent présentes de façon éparse et s'avère un outil d'assistance a la modélisation des connaissances et des raisonnements. La typologie technologique prend en compte les paramètres régissant les raisonnements propres a la technologie multi-agent non seulement au niveau individuel de l'agent mais aussi ceux développés au sein du groupe d'agents. Ces travaux ont contribue a la conception du système multi-agent kids (knowledge based image diagnosis system), système multi-agent dédié a l'interprétation d'images biomédicales. Ce système, par la variété des formes de connaissances et de raisonnement engages, illustre l'intérêt des typologies formelle et technologique proposées

.