Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée.

Depuis des années, nous imaginons qu'un jour nous allons pouvoir nous déplacer dans des mondes “virtuels”, que tout en restant à Grenoble, nous allons pouvoir visiter la pyramide de Chéops ou la maison de Salvador Dalí à Figueres... Nous voudrions déambuler dans les couloirs du Louvre, nous arrêter devant Mona Lisa, décrocher ce tableau et l'admirer sous tous les angles... Nous voudrions faire le tour du futur tramway de Bordeaux, entrer à l'intérieur et imaginer une ballade en centre ville sous la lumière chaleureuse de l'automne ou un soir au coucher du soleil... Nous voudrions... Tous ces rêves ont un point commun, il faut que l'on puisse se voir évoluer dans un monde réel ou imaginaire, y trouver sa place et interagir avec lui. Pour cela, une puissance de calcul très importante et du matériel spécifique (caméras hautes résolutions, réseaux hauts débits, très grands écrans, etc.) sont nécessaires et c'est seulement depuis peu que nous en disposons. Nous pouvons donc enfin nous atteler à la tâche. Sous ce côté rêveur, je vais présenter mes travaux de recherche effectués ces quatre dernières années. Ils ont été réalisés au travers des projets CYBER.

Les progrès technologiques ont permis d'abaisser la frontière entre image réelle et image virtuelle à tel point que les différencier devient difficile. Si la réalité virtuelle évolue au rythme des progrès technologiques, la réalité augmentée, passage du virtuel vers le réel, n'en est qu'à ses débuts. Le but de cette thèse est d'assurer la transition entre le monde virtuel et réel grâce à un système procam (projecteur caméra) pour améliorer l'apparence visuelle d'un objet. La position de l'objet est estimée en projetant une mire codée pour déterminer des points de correspondance entre les caméras et le projecteur sur un objet sans texture (les détecteurs classiques de points d'intérêt sont inefficaces sur de tels objets). Nous combinons l'étalonnage du système et ces points pour estimer la position 3D de l'objet, et ensuite le recalons avec un modèle de points plus fin, issu d'un scanner ou d'un modèle de CAO. La synthèse de vue est réalisée et l'image synthétisée est projetée sur l'objet. De tels outils permettent de générer des textures virtuelles, temporaires (il suffit d'éteindre le projecteur pour enlever la texture de l'objet), qui peuvent décrire l'usure de la texture ou l'objet sous son apparence d'origine.

Ce projet de recherche se présente sous la forme d'une performance musicale interactive présentée devant public. Les installations nécessaires à la performance comprennent d'un côté des instruments de musique traditionnels cubains et de l'autre un automate musical présentant diverses fonctionnalités interactives. Ces deux dimensions sont regroupées autour d'un chef d'orchestre/performeur (l'auteur de ces lignes) qui va les unifier le temps d'une performance musicale en temps réel. Le répertoire musical folklorique afro-cubain y sert de base à l'élaboration d'une fresque musicale qui est interprétée à l'aide d'instruments traditionnels tels que les congas, le tres et la clave. Ces instruments sont joués par la même personne et enregistrés de manière successive à l'aide de l'automate musical. Des séquences préenregistrées viennent s'ajouter à ces enregistrements en direct afin de constituer un corpus riche et malléable. Plusieurs paramètres compositionnels peuvent être altérés en temps réel à partir des senseurs de mouvement disposés en demi-cercle au-dessus de l'interacteur. Il en résulte ainsi l'élaboration improvisée et interactive d'une composition musicale dérivée du folklore afro-cubain. L'ensemble est ponctué de divers enregistrements de conversations réalisés lors d'un séjour à Cuba, rassemblant ainsi les diverses interventions musicales en une trame suggérant le voyage, le métissage culturel ainsi que l'apprentissage musical. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Art, Communication, Culture, Musique, Composition, Conga, Temps réel, Métissage culturel, Interactivité, Hyperinstrument, Réalité augmentée, Altérité.

L'objectif de la Réalité Augmentée (RA) est d'intégrer des objets virtuels dans des images d'une scène réelle.<br />Les applications de la RA nécessitent que la scène augmentée soit continuellement mise à jour en fonction des mouvements de la caméra dans la scène.<br />Il est donc primordial de pouvoir calculer à chaque instant les paramètres de la caméra pour avoir une composition cohérente.<br />Cependant, les paramètres calculés sont souvent affectés par des fluctuations statistiques, ce qui nuit à l'impression visuelle de la scène augmentée.<br />Le problème de stabilisation de la caméra a été considéré par Kanatani et Matsuaga qui classifient les déplacements de la caméra par un certain nombre de modèles de mouvement.<br />Nous avons proposé de poursuivre leurs travaux dans un cadre d'environnements de type multi-planaire et de tester différents critères de sélection de modèles, ce qui a mis en évidence que l'usage de critères impliquant l'information sur la covariance des paramètres calculés améliorait la précision et la robustesse des points de vues calculées.<br /><br />Idéalement, un système de RA devrait fonctionner dans un environnement sans besoin de préparer la scène.<br />Dans cette thèse, nous considérons les problèmes du calcul du point de vue et des paramètres intrinsèques de la caméra dans le cadre d'environnements de type mu<br />lti-planaire.<br />De telles structures sont très courantes en intérieurs comme en extérieurs et le domaine d'application de nos méthodes est donc assez large.<br /><br />Nos évaluations expérimentales montrent que les stratégies ici proposées améliorent la précision et la stabilité dans le calcul des paramètres de la caméra et,<br />par conséquent, la qualité des séquences augmentées.

Ce mémoire de thèse de doctorat présente l'évaluation d'un système de réalité mixte dans le cadre d'une utilisation sur le site d'opération de construction. Il s'agit notamment de déterminer la pertinence d'un tel outil mobile pour des opérateurs pour les assister dans leurs tâches quotidiennes, et notamment dans la préparation et le suivi des opérations de construction ou rénovation. Cet outil se voudrait être un outil d'aide à la décision pour les maîtres d'ouvrages et maîtres d'œuvre. Le cas d'étude porte sur la rénovation virtuelle des baies anciennes (datées du XVIIIème siècle) dans une cellule des bâtiments conventuels de Cluny (Saône et Loire, France). L'approche consiste à comparer l'efficacité, la précision et la rapidité d'opérateurs dans la réalisation de tâches identiques. Trois méthodes liées à l'utilisation des nouvelles technologies dans le domaine de l'AIC (Architecture Ingénierie et Construction) sont comparées, elles ont guidé la définition du protocole expérimental. La première méthode traditionnelle fournit à l'opérateur de la documentation papier. La seconde met en œuvre la dématérialisation des données constructives, accessibles depuis un ordinateur de bureau. La troisième méthode plus innovante ajoute à la précédente l'accès colocalisé à la base de données grâce à un terminal mobile. Une étude qui a suivi a porté sur la visualisation et l'interprétation de résultats de simulation thermique, en réalité virtuelle. La comparaison des trois premières méthodes a donné lieu à une première expérimentation dont les résultats ont montré la légère prédominance du second scénario (travail sur ordinateur de bureau). Cependant, au-delà des aspects d'ergonomie et d'interface utilisateur, des investigations complémentaires doivent être menées pour étudier l'opportunité du développement du BIM in situ, c'est-à-dire l'utilisation du modèle de données du bâtiment (BIM- Building Information Model) sur le chantier.

Cette thèse porte sur la fiction hypermédiatique. Elle analyse les relations entre la fiction, la narrativité et les environnements hypermédiatiques selon une perspective sémiotique et intermédiale. Les nouvelles formes fictionnelles et narratives engendrées par les technologies numériques, où prédomine un mode spatial, sont mises en relation avec leurs précurseurs et leurs avenues prospectives. Le concept d'hypermédialité est élargi afin d'inclure des dispositifs qui ne dépendent pas nécessairement de technologies complexes. Par extension, il désigne un mode de configuration en réseau faisant appel à plusieurs médias disséminés dans l'espace. Formes hétéroclites, les propositions contemporaines prolongent plusieurs pratiques artistiques issues des domaines littéraire, filmique, scénique et environnemental, ou encore elles constituent de nouvelles formes autonomes. La thèse gravite autour d'une question centrale: Comment les environnements hypermédiatiques instaurent-ils de nouvelles formes fictionnelles et comment le sujet humain construit-il la signification à partir d'elles? Nous investiguerons la manière dont les environnements hypermédiatiques peuvent devenir le support de nouvelles propositions fictionnelles, en explorant d'abord les genres constitués de la fiction hypermédiatique, pour en développer ensuite l'analyse critique. La thèse tentera de cerner comment la fiction hypermédiatique se lie à des précurseurs. Par exemple, les fictions encyclopédiques, les arts de mémoire, la cathédrale médiévale, les villes utopiques ou les théâtres encyclopédiques de la Renaissance préfigurent les formes actuelles. L'hypermédialité se manifeste également dans des formes cinématographiques ou scéniques en relation avec les mondes virtuels du cyberespace. En partant de ces précurseurs, nous tenterons d'explorer de manière prospective comment ces formes peuvent évoluer en déployant des imaginaires signifiants du point de vue de l'expérience humaine. La première partie de la thèse examinera deux genres existants de la fiction hypermédiatique, soit l'hyperfiction textuelle et le jeu interactif, en relation avec les théories narratologiques. Nous appuyons la réflexion sur les concepts de textualité, de médialité et d'interface. Le premier chapitre se centrera sur l'évolution des questions ayant balisé l'étude des oeuvres de première génération jusqu'aux formes actuelles. Il fera un survol de positions théoriques ayant influencé l'étude des formes de fiction émergentes. Il développera une analyse critique des premières formes de l'hyperfiction textuelle en mettant en évidence l'importance de la prise en compte du sujet dans l'analyse. Dans le deuxième chapitre, nous aborderons le problème de la tension entre deux modes de configuration qui, de prime abord, entrent en conflit dans les environnements interactifs: soit les principes narratif et associatif. Nous demanderons alors comment réconcilier ces deux principes, réflexion qui se poursuivra tout au long de la thèse. Nous verrons que les environnements hypermédiatiques ne construisent pas des formes du récit à l'état pur : le principe narratif se conjugue avec des traits encyclopédiques ou ludiques. En analysant d'abord les relations entre les notions de jeu et de récit, le troisième chapitre se centrera sur les mondes fictionnels et les espaces ludiques des jeux interactifs. La seconde partie se tournera vers les formes prospectives en élargissant les corpus, allant du cinéma aux formes scéniques et aux environnements architecturaux. Pour cela, nous adopterons d'abord une approche historicisée. Au cours du quatrième chapitre, nous convoquerons dans notre analyse les arts de la mémoire issus de la tradition rhétorique ainsi que les théâtres encyclopédiques de la Renaissance, pour montrer comment les formes hypermédiatiques naissent du croisement entre les principes narratif et associatif. Puis, au cours du chapitre cinq, en élargissant les corpus au cinéma étendu ou aux dispositifs de réalité virtuelle, nous ferons appel aux concepts d'immersion, de présence ainsi que de simulation. En s'appuyant sur le concept de réalités mixtes, le chapitre six traitera des espaces navigationnels par le biais de la cognition spatiale et des relations entre espaces matériels et virtuels. L'analyse s'appuiera sur l'étude des mondes virtuels du cyberespace et des environnements urbains investis par les technologies numériques. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Fiction, Hypermédia, Spatialité, Narrativité, Remédiation, Espaces ludiques, Immersion, Présence, Agentivité, Réalités virtuelles, Réalités augmentées, Réalités mixtes.

L'analyse de visibilité est une question importante de la recherche qui peut trouver des applications dans de nombreux domaines: sécurité, conception de réseau sans fil, gestion du paysage, mise en oeuvre d'accès piétonniers .... La prise en compte de la troisième dimension dans le calcul de visibilité est un réel défi. Seules quelques solutions peuvent détecter les obstacles 3D qui limitent l'isovist. Dans cette communication, nous présentons un nouvel algorithme qui peut détecter tous les objets qui bloquent la vue dans un environnement 30 reconstitué numériquement intégrant le relief. Une démonstration avec des données SIG est également effectuée.La reconnaissance automatique des bâtiments est une étape essentielle pour la réalité augmentée et un outil possible pour la géolocalisation d'une prise de vue. Les recherches dans ce domaine n'utilisent pas la localisation par contenu de l'image. Cet article présente une méthodologie pour l'enrichissement d'une base de données urbaine SIG grâce à un descripteur de texture de façade calculé sur des images de référence. Cet indicateur est ensuite utilisé pour retrouver ce bâtiment dans une nouvelle image et le localiser dans une base de données SIG 3D afin d'estimer sa position et son orientation dans le repère de l'appareil photographique qui a pris le cliché. La qualité des résultats obtenus fait l'objet d'une discussion.

Il y a aujourd'hui, d'après l'UNECE1 environ 770.000 robots opérationnels dont 24.000 en France. À ce jour, la plupart de ces robots sont des manipulateurs industriels dont l'autonomie est souvent réduite au stricte minimum. Ce manque d'autonomie est souvent due à l'absence de capteurs extéroceptifs sur les systèmes robotiques disponibles sur le marché. Ces capteurs sont cependant indispensables des lors que le robot évolue dans un environnement partiellement ou totalement inconnu. Dans ce contexte ces capteurs apportent aux systèmes robotiques les informations nécessaires pour appréhender l'environnement dans lequel ils évoluent. Dans le cadre de nos travaux nous avons uniquement considéré le cas des capteurs de vision qui fournissent au système une information riche mais dégénérée sous la forme d'une projection vers une image 2D de l'ensemble de l'environnement 3D perçu. L'un des points fondamentaux du cycle perception-action est la génération automatique des mouvements d'une ou plusieurs caméras. La création de carte 3D de l'environnement a longtemps été considérée comme un point de passage obligé pour la génération automatique des mouvements d'un robot autonome et de nombreux travaux se sont focalisés, souvent avec succès, sur ce sujet (e.g., [63]). Une façon élégante de raccourcir ce cycle en liant étroitement l'action à la mesure dans l'image est de générer les mouvements du système robotique en ayant recours au techniques d'asservissement visuel.

L’attention est le processus qui consiste à filtrer les informations utiles à l’activité, de celles qui lui sont inutiles. La réalité augmentée (RA) de surlignage guide ce processus de sélection de l’information, en mettant en valeur certains éléments par rapport à d’autres. Telle qu’envisagée actuellement pour la conduite automobile, la RA de surlignage met en évidence des éléments liés à l’activité générale de conduite (e.g. panneaux en cas de mauvaise visibilité, direction à emprunter), mais indépendamment des manœuvres. Or, la littérature sur l’attention visuelle en activité nous montre que les parcours oculaires sont très spécifiques aux buts et sous-buts immédiats. Une RA qui ne respecte pas cette priorisation « naturelle » du traitement de l’information risque donc de perturber la prise d’informations.Le premier objectif de cette recherche est de déterminer dans quelle mesure l’allocation de l’attention visuelle en conduite automobile se concentre sur les informations liées à la manœuvre. Le second objectif est d’étudier l’impact de la RA sur cette allocation de l’attention.Nous avons mis en place trois expérimentations dans lesquelles les participants visualisaient des scènes statiques et dynamique de conduite automobile, et devaient décider s’ils pouvaient réaliser une manœuvre. Nous avons analysé les variations d’allocation de l’attention visuelle selon les manœuvres notifiées et les conditions de RA à l’aide d’enregistrements oculométriques. Nos résultats montrent que l’attention visuelle est fortement allouée aux indices permettant la prise de décision, mais qu’elle ne néglige pas les indices permettant la compréhension générale de la scène. La RA optimise l’attention visuelle lorsqu’elle met en évidence des indices liés à la manœuvre, mais elle perturbe l’attention visuelle dans les autres conditions. Ces résultats permettent d’identifier et de caractériser différents risques inhérents à la RA de surlignage, et de discuter des pistes de conception pour les prendre en compte. / Attention involves distinguishing information which is useful for an activity from that which is not. Augmented reality (AR) highlighting guides this process of information selection by increasing the salience of high-value elements. In such systems, “value” is typically seen as linked to the overall activity of driving (e.g. traffic signs in case of poor visibility, or indications of direction). However, several studies have shown that during an activity eye movements are specific to the immediate goal. AR which does not respect this “natural” prioritizing of information thus risks interfering with information-processing.The first objective of this study is to determine to what extent the allocation of visual attention in automobile driving is focused on information related to a maneuver. The second objective is to study the impact of AR on this allocation of attention.We set up three experiments in which participants viewed static and dynamic driving situations and had to decide whether they could perform a maneuver. We analyzed the variations in allocation of visual attention in relation to the maneuvers in question and the AR conditions using eye movements recording. Our results show that visual attention is strongly linked to cues which permit decision-making, but that it does not overlook cues allowing a general comprehension of the situation. AR optimizes visual attention when it highlights cues related to the maneuver, but it disturbs visual attention in other cases. These findings make it possible to identify and categorize various risks inherent in AR highlighting, and to discuss possible approaches to dealing with them through more effective design.