Ce projet de recherche se présente sous la forme d'une performance musicale interactive présentée devant public. Les installations nécessaires à la performance comprennent d'un côté des instruments de musique traditionnels cubains et de l'autre un automate musical présentant diverses fonctionnalités interactives. Ces deux dimensions sont regroupées autour d'un chef d'orchestre/performeur (l'auteur de ces lignes) qui va les unifier le temps d'une performance musicale en temps réel. Le répertoire musical folklorique afro-cubain y sert de base à l'élaboration d'une fresque musicale qui est interprétée à l'aide d'instruments traditionnels tels que les congas, le tres et la clave. Ces instruments sont joués par la même personne et enregistrés de manière successive à l'aide de l'automate musical. Des séquences préenregistrées viennent s'ajouter à ces enregistrements en direct afin de constituer un corpus riche et malléable. Plusieurs paramètres compositionnels peuvent être altérés en temps réel à partir des senseurs de mouvement disposés en demi-cercle au-dessus de l'interacteur. Il en résulte ainsi l'élaboration improvisée et interactive d'une composition musicale dérivée du folklore afro-cubain. L'ensemble est ponctué de divers enregistrements de conversations réalisés lors d'un séjour à Cuba, rassemblant ainsi les diverses interventions musicales en une trame suggérant le voyage, le métissage culturel ainsi que l'apprentissage musical. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Art, Communication, Culture, Musique, Composition, Conga, Temps réel, Métissage culturel, Interactivité, Hyperinstrument, Réalité augmentée, Altérité.

L'objectif de la Réalité Augmentée (RA) est d'intégrer des objets virtuels dans des images d'une scène réelle.<br />Les applications de la RA nécessitent que la scène augmentée soit continuellement mise à jour en fonction des mouvements de la caméra dans la scène.<br />Il est donc primordial de pouvoir calculer à chaque instant les paramètres de la caméra pour avoir une composition cohérente.<br />Cependant, les paramètres calculés sont souvent affectés par des fluctuations statistiques, ce qui nuit à l'impression visuelle de la scène augmentée.<br />Le problème de stabilisation de la caméra a été considéré par Kanatani et Matsuaga qui classifient les déplacements de la caméra par un certain nombre de modèles de mouvement.<br />Nous avons proposé de poursuivre leurs travaux dans un cadre d'environnements de type multi-planaire et de tester différents critères de sélection de modèles, ce qui a mis en évidence que l'usage de critères impliquant l'information sur la covariance des paramètres calculés améliorait la précision et la robustesse des points de vues calculées.<br /><br />Idéalement, un système de RA devrait fonctionner dans un environnement sans besoin de préparer la scène.<br />Dans cette thèse, nous considérons les problèmes du calcul du point de vue et des paramètres intrinsèques de la caméra dans le cadre d'environnements de type mu<br />lti-planaire.<br />De telles structures sont très courantes en intérieurs comme en extérieurs et le domaine d'application de nos méthodes est donc assez large.<br /><br />Nos évaluations expérimentales montrent que les stratégies ici proposées améliorent la précision et la stabilité dans le calcul des paramètres de la caméra et,<br />par conséquent, la qualité des séquences augmentées.

Ce mémoire de thèse de doctorat présente l'évaluation d'un système de réalité mixte dans le cadre d'une utilisation sur le site d'opération de construction. Il s'agit notamment de déterminer la pertinence d'un tel outil mobile pour des opérateurs pour les assister dans leurs tâches quotidiennes, et notamment dans la préparation et le suivi des opérations de construction ou rénovation. Cet outil se voudrait être un outil d'aide à la décision pour les maîtres d'ouvrages et maîtres d'œuvre. Le cas d'étude porte sur la rénovation virtuelle des baies anciennes (datées du XVIIIème siècle) dans une cellule des bâtiments conventuels de Cluny (Saône et Loire, France). L'approche consiste à comparer l'efficacité, la précision et la rapidité d'opérateurs dans la réalisation de tâches identiques. Trois méthodes liées à l'utilisation des nouvelles technologies dans le domaine de l'AIC (Architecture Ingénierie et Construction) sont comparées, elles ont guidé la définition du protocole expérimental. La première méthode traditionnelle fournit à l'opérateur de la documentation papier. La seconde met en œuvre la dématérialisation des données constructives, accessibles depuis un ordinateur de bureau. La troisième méthode plus innovante ajoute à la précédente l'accès colocalisé à la base de données grâce à un terminal mobile. Une étude qui a suivi a porté sur la visualisation et l'interprétation de résultats de simulation thermique, en réalité virtuelle. La comparaison des trois premières méthodes a donné lieu à une première expérimentation dont les résultats ont montré la légère prédominance du second scénario (travail sur ordinateur de bureau). Cependant, au-delà des aspects d'ergonomie et d'interface utilisateur, des investigations complémentaires doivent être menées pour étudier l'opportunité du développement du BIM in situ, c'est-à-dire l'utilisation du modèle de données du bâtiment (BIM- Building Information Model) sur le chantier.

Cette thèse porte sur la fiction hypermédiatique. Elle analyse les relations entre la fiction, la narrativité et les environnements hypermédiatiques selon une perspective sémiotique et intermédiale. Les nouvelles formes fictionnelles et narratives engendrées par les technologies numériques, où prédomine un mode spatial, sont mises en relation avec leurs précurseurs et leurs avenues prospectives. Le concept d'hypermédialité est élargi afin d'inclure des dispositifs qui ne dépendent pas nécessairement de technologies complexes. Par extension, il désigne un mode de configuration en réseau faisant appel à plusieurs médias disséminés dans l'espace. Formes hétéroclites, les propositions contemporaines prolongent plusieurs pratiques artistiques issues des domaines littéraire, filmique, scénique et environnemental, ou encore elles constituent de nouvelles formes autonomes. La thèse gravite autour d'une question centrale: Comment les environnements hypermédiatiques instaurent-ils de nouvelles formes fictionnelles et comment le sujet humain construit-il la signification à partir d'elles? Nous investiguerons la manière dont les environnements hypermédiatiques peuvent devenir le support de nouvelles propositions fictionnelles, en explorant d'abord les genres constitués de la fiction hypermédiatique, pour en développer ensuite l'analyse critique. La thèse tentera de cerner comment la fiction hypermédiatique se lie à des précurseurs. Par exemple, les fictions encyclopédiques, les arts de mémoire, la cathédrale médiévale, les villes utopiques ou les théâtres encyclopédiques de la Renaissance préfigurent les formes actuelles. L'hypermédialité se manifeste également dans des formes cinématographiques ou scéniques en relation avec les mondes virtuels du cyberespace. En partant de ces précurseurs, nous tenterons d'explorer de manière prospective comment ces formes peuvent évoluer en déployant des imaginaires signifiants du point de vue de l'expérience humaine. La première partie de la thèse examinera deux genres existants de la fiction hypermédiatique, soit l'hyperfiction textuelle et le jeu interactif, en relation avec les théories narratologiques. Nous appuyons la réflexion sur les concepts de textualité, de médialité et d'interface. Le premier chapitre se centrera sur l'évolution des questions ayant balisé l'étude des oeuvres de première génération jusqu'aux formes actuelles. Il fera un survol de positions théoriques ayant influencé l'étude des formes de fiction émergentes. Il développera une analyse critique des premières formes de l'hyperfiction textuelle en mettant en évidence l'importance de la prise en compte du sujet dans l'analyse. Dans le deuxième chapitre, nous aborderons le problème de la tension entre deux modes de configuration qui, de prime abord, entrent en conflit dans les environnements interactifs: soit les principes narratif et associatif. Nous demanderons alors comment réconcilier ces deux principes, réflexion qui se poursuivra tout au long de la thèse. Nous verrons que les environnements hypermédiatiques ne construisent pas des formes du récit à l'état pur : le principe narratif se conjugue avec des traits encyclopédiques ou ludiques. En analysant d'abord les relations entre les notions de jeu et de récit, le troisième chapitre se centrera sur les mondes fictionnels et les espaces ludiques des jeux interactifs. La seconde partie se tournera vers les formes prospectives en élargissant les corpus, allant du cinéma aux formes scéniques et aux environnements architecturaux. Pour cela, nous adopterons d'abord une approche historicisée. Au cours du quatrième chapitre, nous convoquerons dans notre analyse les arts de la mémoire issus de la tradition rhétorique ainsi que les théâtres encyclopédiques de la Renaissance, pour montrer comment les formes hypermédiatiques naissent du croisement entre les principes narratif et associatif. Puis, au cours du chapitre cinq, en élargissant les corpus au cinéma étendu ou aux dispositifs de réalité virtuelle, nous ferons appel aux concepts d'immersion, de présence ainsi que de simulation. En s'appuyant sur le concept de réalités mixtes, le chapitre six traitera des espaces navigationnels par le biais de la cognition spatiale et des relations entre espaces matériels et virtuels. L'analyse s'appuiera sur l'étude des mondes virtuels du cyberespace et des environnements urbains investis par les technologies numériques. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Fiction, Hypermédia, Spatialité, Narrativité, Remédiation, Espaces ludiques, Immersion, Présence, Agentivité, Réalités virtuelles, Réalités augmentées, Réalités mixtes.

L'analyse de visibilité est une question importante de la recherche qui peut trouver des applications dans de nombreux domaines: sécurité, conception de réseau sans fil, gestion du paysage, mise en oeuvre d'accès piétonniers .... La prise en compte de la troisième dimension dans le calcul de visibilité est un réel défi. Seules quelques solutions peuvent détecter les obstacles 3D qui limitent l'isovist. Dans cette communication, nous présentons un nouvel algorithme qui peut détecter tous les objets qui bloquent la vue dans un environnement 30 reconstitué numériquement intégrant le relief. Une démonstration avec des données SIG est également effectuée.La reconnaissance automatique des bâtiments est une étape essentielle pour la réalité augmentée et un outil possible pour la géolocalisation d'une prise de vue. Les recherches dans ce domaine n'utilisent pas la localisation par contenu de l'image. Cet article présente une méthodologie pour l'enrichissement d'une base de données urbaine SIG grâce à un descripteur de texture de façade calculé sur des images de référence. Cet indicateur est ensuite utilisé pour retrouver ce bâtiment dans une nouvelle image et le localiser dans une base de données SIG 3D afin d'estimer sa position et son orientation dans le repère de l'appareil photographique qui a pris le cliché. La qualité des résultats obtenus fait l'objet d'une discussion.

Il y a aujourd'hui, d'après l'UNECE1 environ 770.000 robots opérationnels dont 24.000 en France. À ce jour, la plupart de ces robots sont des manipulateurs industriels dont l'autonomie est souvent réduite au stricte minimum. Ce manque d'autonomie est souvent due à l'absence de capteurs extéroceptifs sur les systèmes robotiques disponibles sur le marché. Ces capteurs sont cependant indispensables des lors que le robot évolue dans un environnement partiellement ou totalement inconnu. Dans ce contexte ces capteurs apportent aux systèmes robotiques les informations nécessaires pour appréhender l'environnement dans lequel ils évoluent. Dans le cadre de nos travaux nous avons uniquement considéré le cas des capteurs de vision qui fournissent au système une information riche mais dégénérée sous la forme d'une projection vers une image 2D de l'ensemble de l'environnement 3D perçu. L'un des points fondamentaux du cycle perception-action est la génération automatique des mouvements d'une ou plusieurs caméras. La création de carte 3D de l'environnement a longtemps été considérée comme un point de passage obligé pour la génération automatique des mouvements d'un robot autonome et de nombreux travaux se sont focalisés, souvent avec succès, sur ce sujet (e.g., [63]). Une façon élégante de raccourcir ce cycle en liant étroitement l'action à la mesure dans l'image est de générer les mouvements du système robotique en ayant recours au techniques d'asservissement visuel.

L’attention est le processus qui consiste à filtrer les informations utiles à l’activité, de celles qui lui sont inutiles. La réalité augmentée (RA) de surlignage guide ce processus de sélection de l’information, en mettant en valeur certains éléments par rapport à d’autres. Telle qu’envisagée actuellement pour la conduite automobile, la RA de surlignage met en évidence des éléments liés à l’activité générale de conduite (e.g. panneaux en cas de mauvaise visibilité, direction à emprunter), mais indépendamment des manœuvres. Or, la littérature sur l’attention visuelle en activité nous montre que les parcours oculaires sont très spécifiques aux buts et sous-buts immédiats. Une RA qui ne respecte pas cette priorisation « naturelle » du traitement de l’information risque donc de perturber la prise d’informations.Le premier objectif de cette recherche est de déterminer dans quelle mesure l’allocation de l’attention visuelle en conduite automobile se concentre sur les informations liées à la manœuvre. Le second objectif est d’étudier l’impact de la RA sur cette allocation de l’attention.Nous avons mis en place trois expérimentations dans lesquelles les participants visualisaient des scènes statiques et dynamique de conduite automobile, et devaient décider s’ils pouvaient réaliser une manœuvre. Nous avons analysé les variations d’allocation de l’attention visuelle selon les manœuvres notifiées et les conditions de RA à l’aide d’enregistrements oculométriques. Nos résultats montrent que l’attention visuelle est fortement allouée aux indices permettant la prise de décision, mais qu’elle ne néglige pas les indices permettant la compréhension générale de la scène. La RA optimise l’attention visuelle lorsqu’elle met en évidence des indices liés à la manœuvre, mais elle perturbe l’attention visuelle dans les autres conditions. Ces résultats permettent d’identifier et de caractériser différents risques inhérents à la RA de surlignage, et de discuter des pistes de conception pour les prendre en compte. / Attention involves distinguishing information which is useful for an activity from that which is not. Augmented reality (AR) highlighting guides this process of information selection by increasing the salience of high-value elements. In such systems, “value” is typically seen as linked to the overall activity of driving (e.g. traffic signs in case of poor visibility, or indications of direction). However, several studies have shown that during an activity eye movements are specific to the immediate goal. AR which does not respect this “natural” prioritizing of information thus risks interfering with information-processing.The first objective of this study is to determine to what extent the allocation of visual attention in automobile driving is focused on information related to a maneuver. The second objective is to study the impact of AR on this allocation of attention.We set up three experiments in which participants viewed static and dynamic driving situations and had to decide whether they could perform a maneuver. We analyzed the variations in allocation of visual attention in relation to the maneuvers in question and the AR conditions using eye movements recording. Our results show that visual attention is strongly linked to cues which permit decision-making, but that it does not overlook cues allowing a general comprehension of the situation. AR optimizes visual attention when it highlights cues related to the maneuver, but it disturbs visual attention in other cases. These findings make it possible to identify and categorize various risks inherent in AR highlighting, and to discuss possible approaches to dealing with them through more effective design.

Pour assister la navigation piétonne dans les espaces urbains et intérieurs, une estimation précise de la pose (i.e. la position 3D et l'orientation3D) d'un équipement tenu en main constitue un point essentiel dans le développement d'outils d'aide à la mobilité (e.g. applications de réalité augmentée). Dans l'hypothèse où le piéton n'est équipé que d'appareils grand public, l'estimation de la pose est limitée à l'utilisation de capteurs à faible coût intégrés dans ces derniers (i.e. un récepteur GNSS, une unité de mesure inertielle et magnétique et une caméra monoculaire). De plus, les espaces urbains et intérieurs, comprenant des bâtiments proches et des éléments ferromagnétiques, constituent des zones difficiles pour la localisation et l'estimation de la pose lors de grands déplacements piétons.Cependant, le développement récent et la mise à disposition d'informations contenues dans des Systèmes d'Information Géographiques 3D constituent une nouvelle source de données exploitable pour la localisation et l'estimation de la pose. Pour relever ces défis, cette thèse propose différentes solutions pour améliorer la localisation et l'estimation de la pose des équipements tenus en main par le piéton lors de ses déplacements en espaces urbains et intérieurs. Les solutions proposées intègrent l'estimation de l'attitude basée inertielle et magnétique, l'odométrie visuelle monoculaire mise à l'échelle grâce à l'estimation des déplacements du piéton, l'estimation absolue de la pose basée sur la reconnaissance d'objets SIG 3D parfaitement connus et la mise à jour en position de la navigation à l'estime du piéton.Toutes ces solutions s'intègrent dans un processus de fusion permettant d'améliorer la précision de la localisation et d'estimer en continu une pose qualifiée de l'appareil tenu en main.Cette qualification est nécessaire à la mise en place d'un affichage en réalité augmentée sur site. Pour évaluer les solutions proposées, des données expérimentales ont été recueillies au cours de déplacements piétons dans un espace urbain avec des objets de référence et des passages intérieurs. / To support pedestrian navigation in urban and indoor spaces, an accurate pose estimate (i.e. 3Dposition and 3D orientation) of an equipment held inhand constitutes an essential point in the development of mobility assistance tools (e.g.Augmented Reality applications). On the assumption that the pedestrian is only equipped with general public devices, the pose estimation is restricted to the use of low-cost sensors embedded in the latter (i.e. an Inertial and Magnetic Measurement Unit and a monocular camera). In addition, urban and indoor spaces, comprising closely-spaced buildings and ferromagnetic elements,constitute challenging areas for localization and sensor pose estimation during large pedestrian displacements.However, the recent development and provision of data contained in 3D Geographical Information System constitutes a new wealth of data usable for localization and pose estimation.To address these challenges, this thesis proposes solutions to improve pedestrian localization and hand-held device pose estimation in urban and indoor spaces. The proposed solutions integrate inertial and magnetic-based attitude estimation, monocular Visual Odometry with pedestrian motion estimation for scale estimation, 3D GIS known object recognition-based absolute pose estimation and Pedestrian Dead-Reckoning updates. All these solutions are fused to improve accuracy and to continuously estimate a qualified pose of the handheld device. This qualification is required tovalidate an on-site augmented reality display. To assess the proposed solutions, experimental data has been collected during pedestrian walks in an urban space with sparse known objects and indoors passages.

La perfusion intestinale est un facteur clé dans la guérison des anastomoses digestives. L'évaluation clinique de la perfusion demeure subjective et s’avère insuffisante pour prédire les complications anastomotiques, quelle que soit l'expérience du chirurgien. La vidéographie par fluorescence peut fournir une évaluation en temps réel de la perfusion intestinale. Suite à l'administration systémique d'une substance fluorescente, il est possible d’évaluer les unités de fluorescence, lorsque la zone d'intérêt est illuminée par une source de lumière spécifique. La présence de fluorescence est un marqueur de perfusion tissulaire mais cela reste une donnée subjective. Pour obtenir des données quantitatives, nous avons mis au point une solution d'analyse assistée par ordinateur permettant l'évaluation intraopératoire du site optimal de résection. Le logiciel peut générer une cartographie virtuelle de perfusion et celle-ci peut être superposée aux images laparoscopiques en pour obtenir l'effet de réalité augmentée. Cette thèse décrit le développement progressif de ce concept. / Pre-anastomotic bowel perfusion is a key factor for a successful healing process. Clinical evaluation of bowel perfusion is subjective and not accurate at predicting anastomotic complications, irrespective of the surgeon’s experience. Fluorescence videography analysis can provide real-time evaluation of bowel perfusion. Following the systemic administration of a fluorescent substance, fluorescence videography can compute the units of fluorescence, when the area of interest is illuminated by a specific light source. Fluorescence intensity is a marker of blood supply to the tissue. However, fluorescence intensity alone remains a subjective approach. We have developed a software solution enabling quantitative estimation of bowel perfusion, for intra-operative evaluation of the optimal resection site. The software can generate a “virtual perfusion cartography”, which can be overlapped onto real-time laparoscopic images to obtain the Enhanced Reality effect. This thesis describes the stepwise development of such concept.

Les applications de réalité augmentée peuvent être conçues de différentes manières, mais encore très peu tirent partie de la géolocalisation.Pourtant, aujourd'hui, avec la multitude de capteurs embarqués dans nos smartphones et nos tablettes, l’utilisation de la géolocalisation dans le contexte de la RA (RA Geo) semble très prometteuse.Dans ce travail de thèse, nous avons contribué sur plusieurs aspects fondamentaux de la RA Geo: l'estimation de la position du dispositif, l'estimation de son orientation, ainsi que sur l'impact de ces estimations sur le rendu des informations virtuelles.Dans un premier temps, nous avons étudié l'estimation de l’orientation du téléphone.Nous avons réalisé le premier benchmark dans un motion lab afin de comparer et d'évaluer les différents filtres de la littérature sur une base commune.Celui-ci a permis de produire la première analyse comparative approfondie des différentes approches.Nous avons aussi proposé un nouveau filtre dont le but est de minimiser l’effet des perturbations magnétiques omniprésentes en intérieur et avons quantifié son apport par rapport aux techniques existantes.Dans un deuxième temps, nous avons étudié l'estimation de la position du téléphone lorsqu’il est porté par un piéton.Il existe de nombreux travaux sur les technologies de localisation mais il est difficile de trouver un benchmark qui évalue les différentes technologies dans le cas d’un smartphone grand public. Ainsi, à nouveau nous avons produit le premier benchmark pour analyser de façon comparative les différentes techniques de localisation qui peuvent être utilisées avec un smartphone.Dans un troisième temps, nous avons proposé une méthode pour caractériser l'impact des estimations d'orientation et de positionnement sur le rendu des informations virtuelles.Ceci a permis d'identifier des critères permettant de comprendre plus précisément les limites de faisabilité de différent cas d'utilisation de la RA Geo.Enfin, nous avons proposé un nouveau framework pour faciliter la conception d’applications de la RA Geo.Nous montrons comment les données de cartographie peuvent être utilisées et enrichies à l’aide d’une nouvelle sémantique utilisant OpenStreetMap.Nous avons créé un visualiseur permettant d'afficher des éléments virtuels sur le flux de la caméra.Ce framework intègre différents modules pour la localisation, l’orientation, la gestion des points d'intérêts, le geofencing, l’audio spatialisé, et le rendu 2D ou RA.Finalement, trois exemples d'applications d'AR Géo ont été réalisés à partir de ce framework.TyrAr est une application pour visualiser des informations sur les sommets et les villes environnantes.AmiAr permet de contrôler de certains objets de domotique dans un appartement connecté.Venturi Y3 est une visite guidée de la ville de Grenoble avec des expériences de RA avec de l'audio. / Applications for augmented reality can be designed in various ways, but few take advantage of geolocation.However, nowadays, with the many cheap sensors embedded in smartphones and tablets, using geolocation for augmented reality (Geo AR) seems to be very promising.In this work, we have contributed on several aspects of Geo AR: estimation of device positioning and attitude, and the impact of these estimations on the rendering of virtual information.In a first step, we focused on smartphone attitude estimation.We proposed the first benchmark using a motion lab with a high precision for the purpose of comparing and evaluating filters from the literature on a common basis.This allowed us to provide the first in-depth comparative analysis in this context.In particular, we focused on typical motions of smartphones when carried by pedestrians.Furthermore, we proposed a new technique for limiting the impact of magnetic perturbations with any attitude estimation algorithm used in this context.We showed how our technique compares and improves over previous works.In a second step, we studied the estimation of the smartphone's position when the device is held by a pedestrian.Altough many earlier works focused on evaluation of localisation systems, it remains very difficult to find a benchmark to compare technologies in the setting of a commodity smartphone. Once again, we proposed a novel benchmark to analyse localisation technologies including WiFi fingerprinting, WiFi trilateration, SHS (Step and Heading System) and map-matching.In a third step, we proposed a method for characterizing the impact of attitude and position estimations on the rendering of virtual features.This made it possible to identify criteria to better understand the limits of Geo AR for different use cases.We finally proposed a framework to facilitate the design of Geo AR applications.We show how geodata can be used for AR applications.We proposed a new semantics that extends the data structures of OpenStreetMap.We built a viewer to display virtual elements over the camera livestream.The framework integrates modules for geolocation, attitude estimation, POIs management, geofencing, spatialized audio, 2.5D rendering and AR.Three Geo AR applications have been implemented using this framework.TyrAr is an application to display information on mountain summits and cities around the user.AmiAr allows one to monitor lights, shutters, tv in a smart appartment.Venturi Y3 is an AR-Tour of Grenoble with audio description and experiences.