Cette thèse s'inscrit dans le cadre de la spécification de comportements d'agents autonomes situés dans un univers virtuel. L'objectif est la proposition d'un modèle comportemental qui exploite le concept d'intention comme lien sémantique entre les différentes étapes du cycle de d´eveloppement logiciel. A cette fin, la notion d'intention, et plus largement d'intentionnalité, est étudiée sous trois éclairages différents afin de considérer l'opportunité de son emploi dans l'exercice d'une telle spécification. Les aspects philosophiques (à travers la phénoménologie et la philosophie analytique), les aspects psychologiques et neurophysiologiques de cette notion sont ainsi abordés. Il ressort de cette analyse : · le rôle fondamental de l'intention dans le déclenchement, le contrôle en cours d'effectuation et l'arrêt de l'action ; · le rôle de l'intentionnalité dans le dialogue entre les différents intervenants impliqués dans le processus de spécification, l'agent étant alors l'objet de leur discours. Cette étude introduit une critique des approches de spécification comportementale existantes, particulièrement des architectures BDI (Belief Desire Intention). Il apparaît que celles qui exploitent la notion d'intention l'utilisent comme guide de la planification ou comme concept de modélisation. Il s'agit presque systèmatiquement d'approches symboliques. L'ensemble de ces réflexions pose les bases du modèle proposé : c'est un modèle réactif qui exploite la notion d'intention pour effectuer une sélection d'action. L'agent emploie des règles comportementales décrites dans un langage déclaratif afin de générer des intentions à satisfaire en fonction de sa situation. L'exploitation de connaissances des effets présumés de ses actions sur lui-même lui permet de mener un raisonnement qualitatif pour sélectionner l'action la plus adaptée. La notion d'intention permet donc d'établir un lien entre un ensemble de règles comportementales symboliques et un corpus de méthodes impératives (les schèmes sensori-moteurs de l'agent) via l'explicitation du "sens de l'action". D'autre part, l'instauration de ce lien sémantique au sein du modèle favorise la communication entre les différents intervenants impliqués dans la spécification du comportement. La proposition intentionnelle offre les concepts nécessaires à la fédération des points de vue de ces différents spécialistes. La traduction du comportement sous forme de règles comportementales se fait alors selon une sémantique proche de l'ontologie du domaine abordé par la simulation, le concept d'intention étant commun aux différentes phases de conception, depuis l'analyse jusqu'à l'implémentation. Après avoir détaillé le modèle issu de cette proposition, les prérequis techniques à son exécution et l'application réalisée, la thèse conclut sur les bénéfices de cet apport sémantique au sein d'un modèle réactif pour la spécification dans son ensemble (depuis l'analyse du problème jusqu'à l'interprétation des résultats) et dessine les perspectives en matière de conception d'architectures hybrides. Les voies ainsi ouvertes sont essentiellement : · l'apprentissage par l'agent de l'effet présumé de ses actions ; · l'échange de savoir-faire entre agents ; · la génération automatique d'explication, avec une application possible dans les environnements virtuels de formation ; · l'élaboration d'une démarche de conception basée sur le modèle comportemental proposé.

Les travaux pluridisciplinaires de cette thèse, contribuent à deux domaines : les Interfaces Homme-Machine (IHM), en particulier la Réalité Augmentée (RA), et les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO), domaine concret de mise en oeuvre de la RA. La contribution est double : d'une part elle enrichit et organise les concepts d'IHM pour la RA en adoptant un point de vue centré sur la tâche, et d'autre part elle améliore l'utilisabilité par les cliniciens des systèmes de GMCAO. La fusion du monde réel et du monde virtuel ouvre des voies nouvelles pour la conception de systèmes de RA, comme les systèmes de GMCAO. Mais les limites sont mal cernées. Dans ce contexte, nous avons identifié des caractéristiques intrinsèques des systèmes de RA et établi un espace taxinomique. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur-Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation ASUR. Pour décrire l'interaction, ASUR identifie les entités intervenant dans le système, en particulier les adaptateurs, composants ASUR réalisant le lien entre les deux mondes. L'utilisation d'ASUR, par ces aspects descriptifs, taxinomiques et conceptuels constitue la base de notre démarche de conception ergonomique et logicielle de systèmes de RA. Cette démarche se fonde en outre sur l'étude de propriétés ergonomiques au sein de la description ASUR d'un système et sur l'adaptation du modèle d'architecture PAC-Amodeus aux systèmes de RA. En collaboration avec le chirurgien, nous avons appliqué et testé nos résultats méthodologiques sur une application concrète de chirurgie cardiaque. Cette application, CASPER, assiste le chirurgien lors de la réalisation d'une ponction péricardique, en lui procurant des informations de guidage du geste clinique sur un écran. Une re-conception de CASPER nous a amené à implémenter un casque semi-transparent permettant de visualiser ces informations directement sur le patient.

Pour pallier un manque d'outils spécialisés que les enseignants puissent s'approprier et utiliser en classe, l'objectif de cette étude, à l'intersection entre informatique et éducation, vise la réalisation d'un logiciel permettant de créer des supports de cours numériques. Basé sur la technologie MPEG-4 (compression, composition multimédia, interactivité) l'outil est cohérent avec une architecture de mutualisation de contenus. Trois axes de recherche en découlent. Le premier décrit la réalisation d'un prototype d'outil dont l'IHM basée sur celle des « assistants d'installation » apporte une simplicité d'utilisation pour les enseignants « novices », et qui dispose de modules destinés à enrichir les différents médias par des fonctionnalités. Le deuxième axe présente le « module vidéo » qui permet de créer des zones sensibles et des marques temporelles. Le dernier axe décrit un espace 3D de représentation des contenus multimédias dont les niveaux de structuration définis sont conservés.

Dans cette thèse, nous présentons différentes approches pour le calcul, en temps-réel, de la déformation de modèles anatomiques volumiques. Une des applications principales de ce type de modèles concerne la simulation de chirurgie laparoscopique. Cette technique chirurgicale récente, et en permanente évolution, nécessite une formation accrue. Dans ce cadre, l'utilisation d'un simulateur présente de multiples avantages : polyvalence, fréquences d'entraînement élevées, outils d'évaluation, simulation de cas pathologiques rares, etc. La première partie de cette thèse concerne la modélisation du comportement déformable des tissus mous, en prenant en compte les aspects biomécaniques ainsi que les contraintes de temps de calcul. Le premier modèle que nous proposons est basé sur une modélisation par éléments finis d'un solide élastique linéaire. Le calcul, en temps-réel, de la déformation repose sur des combinaisons linéaires de déformation élémentaires obtenues lors d'une étape de pré-calcul. Afin de prendre en compte, dans la déformation, d'éventuelles modifications topologiques du maillage - pouvant représenter, par exemple, l'incision de tissus mous - nous avons proposé un second modèle, appelé "masses/tenseurs". Enfin, nous proposons une formulation originale, appelée "modèle hybride", permettant de combiner, dans une même représentation, les deux modèles déformables précédents. Dans la seconde partie de cette thèse, nous nous intéressons aux problèmes liés à l'utilisation de systèmes à retour d'effort pour les interactions avec un modèle déformable. Nous proposons ainsi une architecture matérielle intégrant les différents modules assurant le calcul des déformations, des forces, le contrôle des systèmes à retour d'effort, la détection de collision, l'affichage graphique, etc. Un premier prototype du simulateur, réalisé sur la base de cette architecture et incluant deux systèmes à retour d'effort, a permis de valider l'ensemble des algorithmes. Finalement, nous proposons en annexe une étude relative à une nouvelle technique de reconstruction faciale. En utilisant différents outils d'analyse et de traitement d'images médicales, nous avons réalisé une série d'expériences visant à retrouver une approximation du visage d'une personne à partir de la seule donnée de son crâne et d'un ensemble réduit de paramètres.

Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

Depuis plusieurs années, la simulation de mouvements d'humains virtuels est devenue un enjeu important pour de nombreux domaines. Comprendre le fonctionnement du mouvement humain et le simuler intéresse des disciplines variées, telles que l'animation par ordinateur, la robotique, la biomécanique, etc. Dans le cas de l'animation d'humains virtuels, le but est d'utiliser ces connaissances pour créer des humanoïdes aussi réalistes que possible. De nombreux travaux ont été déjà été réalisés, permettant désormais de gérer de nombreuses tâches avec des mouvements fidèles à ce qu'un humain aurait réalisé. L'une des contraintes importante du réalisme du mouvement humain est le respect des lois de la dynamique. Tout humain est soumis à ces lois inviolables, faisant partie des lois de la physique. Dans cette thèse, nous nous intéressons à l'étude et la modélisation simplifiée de la dynamique du mouvement humain afin d'atteindre des performances compatibles avec des applications interactives. Le travail proposé se décompose donc en trois parties : analyser le comportement de l'être humain face à certaines contraintes dynamiques, évaluer la capacité d'un utilisateur à percevoir les subtilités gestuelles induites par ces contraintes et proposer une nouvelle méthode d'animation d'humains virtuels tirant le meilleur profit de ces connaissances. Dans le cadre de cette thèse, nous nous sommes donc tout d'abord penchés sur l'étude de la mesure d'équilibre dynamique du mouvement humain. Différents critères de mesure de l'équilibre et du déséquilibre du mouvement humain existent depuis des années en biomécanique et robotique. Dans le but d'évaluer l'efficacité de ces critères, nous avons réalisé une étude portant sur différent types de mouvements pour catégoriser le domaine d'utilisation optimal de chaque critère. Cependant, si la dynamique joue un rôle crucial dans le réalisme du mouvement, peu de travaux traitent de la perception des propriétés dynamiques. Dans le but de définir un seuil de perception, nous avons étudié la capacité des utilisateurs à détecter la masse d'un objet porté par un humain réel (vidéo) ou virtuel (animation). Il sort de l'étude réalisée qu'une faible différence de charge portée par un humain n'est pas perçue. Cependant, nous ne notons pas différence de précision si la séquence provient d'une vidéo ou d'une animation en images de synthèse. Ainsi, malgré le fait que des informations soient perdues lors du processus de capture de mouvements et de synthèse, les éléments liés à la dynamique du mouvement sont préservées et perçus par l'utilisateur. Au vu de l'imprécision avec laquelle un utilisateur perçoit les adaptations gestuelles dues à des contraintes dynamiques, nous avons proposé un modèle simplifié d'adaptation du mouvement en réponse à de nouvelles contraintes dynamiques. Lorsqu'un humain virtuel est soumis à des perturbations non présentes dans le mouvement d'origine, la méthode traite séparément l'adaptation posturale et temporelle du mouvement, entraînant une légère imprécision au profit d'une amélioration considérable du temps de calcul. Le mouvement obtenu est davantage adapté aux contraintes dynamiques que ne l'était celui d'origine, à moindre coût de calcul.

Depuis quelques années, la plupart des constructeurs automobiles innovent en faisant appel aux techniques de la réalité virtuelle (RV). Cette approche possède un fort potentiel en termes de gain de temps et de réduction des coûts. Elle permet également d'évaluer de nouvelles approches liées au processus de conception lui-même. Cependant, un certain nombre de verrous technologiques et méthodologiques subsistent. Ils concernent en particulier (i) la simplification et la physicalisation des maquettes numériques issues des logiciels de CAO, (ii) le développement de configurations visuo-haptiques adaptées aux différentes tâches impliquées par le prototypage virtuel, et (iii) l'identification des retours sensoriels les plus pertinents, permettant à l'opérateur d'effectuer ces tâches efficacement. Un ensemble de problématiques soulevées par le service R&D de Valeo Lighting Systems (Angers) nous a conduit à traiter les trois aspects évoqués ci-dessus. Les tâches étudiées sont l'accessibilité, l'extraction et la manipulation de lampes sur prototype virtuel à l'échelle 1:1. Dans le manuscrit, nous commençons par aborder les limites du prototypage réel et les apports liés au prototypage virtuel. Ces apports sont examinés en particulier pour les phases de création et de validation des prototypes. Puis, nous présentons un état de l'art exhaustif des dispositifs d'affichage et des interfaces à retour d'effort, que nous avons classées en fonction de leur architecture mécanique et de leur support de référence. Ensuite, nous traitons la simplification et l'intégration de maquettes virtuelles ainsi que l'intégration du modèle biomécanique de l'opérateur humain. Différentes simulations permettant de valider la méthodologie d'intégration proposée sont décrites. Celles-ci sont basées sur l'utilisation de notre plate-forme de réalité virtuelle. Enfin, nous décrivons une série cohérente et progressive d'expérimentations permettant d'évaluer la pertinence et l'influence de différentes modalités sensorielles (visuelle, sonore, vibro-tactile, et kinesthésique) sur la performance humaine. L'objectif est d'identifier les avantages et inconvénients de ces retours d'information dans différentes configurations matérielles. Les résultats sont analysés via différents indicateurs de performance (temps de réalisation des tâches, précision de placement). Des données subjectives sont également recueillies via l'observation des sujets pendant l'exécution des tâches et à partir de questionnaires.

Ce travail porte sur la simulation de champs sonores de haute qualité pour des applications graphiques interactives. Dans ce cadre, nous nous sommes intéressé à trois problèmes : le calcul interactif des effets de l'occultation des ondes sonores par des obstacles, l'intégration du son dans un système d'animation et de réalité virtuelle et la simulation adaptative des réflections du son dans des environnements réverbérants. Nous présentons une méthode originale permettant d'approcher les effets des obstacles sur la propagation des ondes sonores. Cette méthode qualitative est fondée sur le calcul de l'obstruction des premiers ellipsoïdes de Fresnel. Pour cela nous utilisons le rendu câblé des cartes graphiques spécialisées pour effectuer un calcul interactif entre une source et un récepteur ponctuels dans des environnements généraux. Une extension plus quantitative, basée sur la théorie de Fresnel-Kirchhoff est également décrite. Nous décrivons également un système interactif de simulation acoustique. Il permet le rendu synchronisé du son et de l'image dans le cadre d'applications d'animation de synthèse et de réalité virtuelle. Nous y avons intégré notre approche de traitement des occultations sonores. Nous présentons comment d'autres effets, comme les réflections spéculaires du son ou l'effet Doppler sont également pris en compte. Enfin, nous introduisons une technique originale de simulation adaptative fondée sur un formalisme proche de la radiosité hiérarchique utilisée en synthèse d'images. Elle permet de prendre en compte efficacement des réflections globales spéculaires et diffuses dans le cadre d'échanges énergétiques dépendants du temps. La solution obtenue est indépendante du point d'écoute et ouvre la porte à des applications de parcours interactifs de l'environnement virtuel. En outre, la complexité du processus peut être contrôlée, permettant des applications plus quantitatives, comme la prévision des qualités acoustiques de lieux d'écoute. Ces trois contributions peuvent permettre de réaliser un système de simulation complet d'une scène sonore virtuelle pouvant être utilisé dans une variété d'applications. Celles-ci ne se limitent toutefois pas à l'acoustique, mais peuvent être étendues à la simulation de propagation d'ondes radioélectriques pour la téléphonie mobile ou les réseaux sans fils.

La dextérité d'un système de Réalité Augmentée (RA) mobile appliqué à la maintenance industrielle repose sur sa flexibilité, sa précision et sa robustesse intrinsèque face aux verrous scientifique et technologique. Nous introduisons d'abord une architecture orientée composants flexible, innovante et satisfaisant les contraintes de temps réel des systèmes de RA. Sur cette architecture est bâti un système de localisation par la vision utilisant des cibles codées. De nouveaux algorithmes d'estimation de pose sont proposés. Notre architecture comporte un Système de Gestion des Augmentations (SGA) utilisant des procédures de maintenance numériques. Chacune est liée à des documents multimédia l'illustrant, dont des modèles 3D animés. Le projet RNTL-Assistance à la Maintenance en RA intègre ce SGA. Enfin, le système est élargi à la RA en vision directe pour laquelle nous combinons une technique de prédiction du point de vue basée sur le filtre particulaire et une méthode de post-rendering.

La réalité augmentée assistée par ordinateur est un domaine émergeant qui progresse rapidement. Son principe est de mélanger le monde réel et le monde virtuel. Dans cette thèse, nous nous intéressons plus particulièrement au ré-éclairage, c'est-à-dire à la modification virtuelle des propriétés l'éclairage, et à la remodélisation des scènes réelles d'intérieur, de façon interactive et en conservant les effets réalistes de l'éclairage mixte (réel et virtuel). Nous avons développé deux méthodes qui réalisent ces objectifs. Les deux méthodes utilisent des données d'entrée non exhaustives pour retrouver les propriétés radiométriques des scènes réelles. Dans notre première approche, la scène réelle est représentée par un modèle géométrique simple et texturé. En nous basant sur les équations de la radiosité, nous modifions les textures afin d'enlever les effets de l'éclairage réel (ombres, etc.). Lors de manipulations interactives qui atteignent un taux de rafraîchissement de 3 images par secondes, les effets d'éclairage sont simulés par des algorithmes incrémentaux, et affichés en utilisant le matériel graphique. Nous avons ensuite développé une deuxième méthode de ré-éclairage pour laquelle la scène réelle est connue depuis plusieurs photographies prises sous des éclairages différents mais contrôlés. Une réflectance diffuse est estimée pour chaque pixel de l'image d'origine. L'éclairage est ensuite simulé en combinant une méthode de lancer de rayon pour l'éclairage direct, et une méthode de radiosité hiérarchique optimisée pour l'éclairage indirect. Cette méthode permet en plus du ré-éclairage, la remodélisation interactive. Enfin, nous proposons une méthode de calibration photométrique pour du matériel photographique non professionnel, et nous présentons des algorithmes permettant une amélioration de la qualité de l'estimation de la réflectance pour chacune des méthodes.