Un domaine de la recherche en ingénierie des systèmes est de développer des systèmes supervisés semi-autonomes qui interagissent à un très haut niveau avec l'humain. Ces systèmes intelligents ont les capacités d'analyser et de traiter certaines informations pour produire un comportement général observable par les capacités sensorielles et temporelles de l'humain. Il est donc nécessaire de définir un environnement créatif qui interface efficacement l'humain aux informations pour rendre de nouvelles expériences multi-sensorielles optimisant et facilitant la prise de décision. En d'autres mots, il est possible de définir un système multi-sensoriel par sa capacité à augmenter l'optimisation de la prise de décision à l'aide d'une interface qui définit un environnement adapté à l'humain. Un système haptique dans un environnement virtuel incluant une collaboration et une interaction entre l'humain, les mécanismes robotisés et la physique de la réalité virtuelle est un exemple. Un système haptique doit gérer un système dynamique non-linéaire sous-contraint et assurer sa stabilité tout en étant transparent à l'humain. La supervision de l'humain permet d'accomplir des tâches précises sans se soucier de la complexité de la dynamique d'interactions alors que le système gère les différents problèmes antagonistes dont de stabilité (délai de la communication en réseau, stabilité des rendus, etc.), de transparence et de performance. Les travaux de recherche proposés présentent un système multi-sensoriel visuo-haptique qui asservisse l'interaction entre l'humain, un mécanisme et la physique de l'environnement virtuel avec une commande bilatérale. Ce système permet à l'humain de réaliser des fonctions ou des missions de haut niveau sans que la complexité de la dynamique d'interaction limite la prise de décision. Plus particulièrement, il sera proposé de réaliser une interface de locomotion pour des missions de réadaptation et d'entraînement. Ce projet, qui est nommé NELI (Network Enabled Locomotion Interface), est divisé en plusieurs sous-systèmes dont le mécanisme entraîné par des câbles nommé CDLI ( Cable Driven Locomotion Interface ), le système asservi avec une commande bilatérale qui assure le rendu de la locomotion, la réalité virtuelle qui inclut la physique de l'environnement, le rendu haptique et le rendu visuel. Dans un premier temps, cette thèse propose une méthode qui assure la qualité de la réponse de la transmission en augmentant la transparence dynamique de l'asservissement articulaire d'une manière automatique. Une approche d'optimisation, basée sur une amélioration des Extremum Seeking Tuning, permet d'ajuster adéquatement les paramètres des régulateurs et définit le critère de l'assurance qualité dans le cas d'une production massive. Cet algorithme est ensuite utilisé, pour étudier le rendu d'impédance avec l'aide de la modélisation d'un câble et de l'enrouleur. Cette modélisation permet de définir un asservissement articulaire hybride qui est utilisé dans la commande hybride cartésienne afin d'assurer le rendu haptique. Dans un troisième temps, dans un contexte de sécurité, la gestion des interférences entre les pièces mécaniques de l'interface de locomotion est décrite avec une méthode d'estimation des collisions des câbles. Une démonstration des interférences entre les câbles de deux plates-formes est simulée démontrant la faisabilité de l'approche. Finalement, la définition d'un moteur physique par un rendu haptique hybride au niveau de la commande cartésienne est présentée en considérant la géométrie des points de contact entre le modèle du pied virtuel et un objet virtuel. Cette approche procure la stabilité d'interaction recherchée lors de la simulation d'un contact infiniment rigide. Un robot marcheur de marque Kondo est embarqué sur l'interface de locomotion pour interagir avec les objets virtuels. Les résultats de la marche du robot dans l'environnement virtuel concrétisent le projet et servent de démonstrateur technologique.

L’architecture et la géo-ingénierie sont des domaines où les professionnels doivent prendre des décisions critiques. Ceux-ci requièrent des outils de haute précision pour les assister dans leurs tâches quotidiennes. La Réalité Augmentée (RA) présente un excellent potentiel pour ces professionnels en leur permettant de faciliter l’association des plans 2D/3D représentatifs des ouvrages sur lesquels ils doivent intervenir, avec leur perception de ces ouvrages dans la réalité. Les outils de visualisation s’appuyant sur la RA permettent d’effectuer ce recalage entre modélisation spatiale et réalité dans le champ de vue de l’usager. Cependant, ces systèmes de RA nécessitent des solutions de positionnement en temps réel de très haute précision. Ce n’est pas chose facile, spécialement dans les environnements urbains ou sur les sites de construction. Ce projet propose donc d’investiguer les principaux défis que présente un système de RA haute précision basé sur les panoramas omnidirectionels. / Architecture and geo-engineering are application domains where professionals need to take critical decisions. These professionals require high-precision tools to assist them in their daily decision taking process. Augmented Reality (AR) shows great potential to allow easier association between the abstract 2D drawings and 3D models representing infrastructure under reviewing and the actual perception of these objects in the reality. The different visualization tools based on AR allow to overlay the virtual models and the reality in the field of view of the user. However, the architecture and geo-engineering context requires high-accuracy and real-time positioning from these AR systems. This is not a trivial task, especially in urban environments or on construction sites where the surroundings may be crowded and highly dynamic. This project investigates the accuracy requirements of mobile AR GIS as well as the main challenges to address when tackling high-accuracy AR based on omnidirectional panoramas.

Autrefois enfermés à l'intérieur des écrans, les médias numériques s'invitent aujourd'hui au cœur même du quotidien. Informatique ubiquitaire, objets connectés, dispositifs de réalité «mixte» et «augmentée» ... font advenir de nouveaux modes d'expérience spatiale. Pourtant, la portée de cette rupture est encore mal comprise, soit parce que l'on confond expérience esthétique et démonstration technique, soit parce que l'on peine à dépasser les registres traditionnels de la fonction, de l'information et de la fiction. Quelles conséquences pour le design d'espaces? La première partie de cette thèse analyse la terminologie en usage afin de montrer qu'elle ne permet pas de rendre compte de l'expérience esthétique qu'il s'agît de décrire, et propose la notion d'entr'espace comme outil susceptible de la caractériser. Les enjeux sont déplacés depuis le champ strict du numérique vers le cadre plus large de l'histoire du design en vue de mettre en évidence la manière spécifique au design de se saisir des questions soulevées par ces moments de rupture. La deuxième partie explore les tensions qui traversent l'entr'espace en partant du paradigme baroque. Alors que ces dispositifs numériques sont souvent conçus sans prendre en compte les relations spatiales que pourtant ils articulent, l'hypothèse développée est que c'est précisément au niveau de ces relations, considérées dans toute leur épaisseur sensible, que se situent les principaux enjeux. La troisième partie, enfin, propose des axes de réflexion prospectifs en explorant la manière dont l'entr'espace transforme notre expérience de l'habiter à travers les notions de matière, interaction, vie et existence. / Formerly confined inside computer screens, digital media dwells today at the very heart of everyday environments. Ubiquitous computing connected objects, «mixed» and «augmented» reality ... bring about new modes of spatial experience. This breakthrough, however, has not yet been fully acknowledged. Dominant lines of thought either mistake aesthetic experience and technological demonstration, or struggle to get beyond traditional notions of function, information and fiction. What are the consequences for spatial design practice? The first part of this thesis discusses current terminology in order to show its ineffectiveness in describing the precise nature of the aesthetic experience, and proposes the notion of interspace as a conceptual tool to characterize it adequately. The stakes are shifted from the sole realm of the digital towards the larger frame of design history in order to show the specific way that design as a discipline has taken to size the questions rose by analogous technological breakthroughs in the past. The second part explores the tensions that run through interspaces departing from the Baroque paradigm. Whilst such digital devices are often designed without consideration for the spatial relationships they nevertheless organize, the main hypothesis is that it is precisely at the level of such relationships -their fullest sensorial wealth considered-that the highest stakes are. The third and last part introduces prospective lines of thought by exploring the way interspaces transform our experience of dwelling through the notions of matter, interaction, life and existence.

Cette thèse propose d’étudier les enjeux et les répercussions de l’introduction du dispositif de la réalité augmentée dans l’espace muséal assurant, de ce fait, deux fonctions principales : « médium de médiation » et « médium de création ».La première partie s’intéresse à la présentation de la réalité augmentée. Elle précise, en premier lieu, sa définition, son histoire d’invention, ses différents outils techniques, ainsi que ses multiples usages dans différents domaines d’application. Elle essaie, en deuxième lieu, de démontrer, à partir de l’analyse de quelques expériences artistiques pionnières, l’ancrage de la réalité augmentée dans l’histoire de l’art. La deuxième partie consacrée à la « mise en scène » de l’espace muséal, examine, d’abord, l’implication de la réalité augmentée dans la mise en place de deux stratégies de « médiation in situ » : « médiation documentaire » et « médiation par appropriation ». Ensuite, elle ambitionne, en se référant à quelques exemples de musées, de dégager les principaux avantages et inconvénients liés à l’adoption de la réalité augmentée comme « médium de médiation ». Axée sur la « mise en oeuvre » de l’espace muséal, la troisième partie aborde la réalité augmentée comme étant un « médium de création ». Elle présente, d’abord, l’histoire du passage de l’espace d’exposition muséal en « oeuvre-exposition ». Elle focalise, ensuite, son intérêt sur l’œuvre We AR in MoMA (2010) du collectif Manifest.AR. De l’analyse des étapes du processus de création de celle-ci, il en découle, enfin, la mise en évidence de notions corollaires telles que : hacktivisme, « musée portatif », « ville augmentée ». / This thesis proposes to study the issues and the repercussions of the introduction of the augmented reality device in the museum space, thus ensuring two main functions : "medium of mediation" and "medium of creation".The first part focuses on the presentation of augmented reality. It specifies, firstly, its definition, its history of invention, its various technical tools, and its multiple uses in different fields of application. Secondly, it try to demonstrate, from the analysis of some pioneering artistic experiences, the anchoring of augmented reality in the history of art. The second part devoted to the "staging" of the museum space, examines first, the involvement of augmented reality in the setting up of two "in situ mediation" strategies : "documentary mediation" and "mediation by appropriation". Then, it aims to identify, by referring to a few examples of museums, to the main advantages and disadvantages of adopting augmented reality as a "mediation medium". Axed on the "implementation" of the museum space, the third part studies augmented reality as a "medium of creation". First, it presents the history of the transition from the museum space of exhibition to a "work-exhibition". Then, it focus its interest on the work We AR in MoMA (2010) of the collective Manifest.AR. From the analysis of the stages of the creation process of this one, it results, finally, the highlighting of corollary notions such as : hacktivism, "handled museum", "augmented city".

Cette thèse concerne l'étude d'un conflit visuo-proprioceptif de la main appliqué à l'interaction 3D. Un cadre de travail générique est proposé afin de générer, contrôler et réduire le conflit sensoriel en cours d'interaction. Le système utilise un visiocasque semi-transparent vidéo permettant l'intégration de l'image de la main réelle dans la scène virtuelle ainsi que la manipulation visuelle de sa position 3D.<br />Deux nouvelles méthodes sont introduites: un paradigme d'interaction intuitif pour toucher des objets virtuels et une technique pseudo-haptique active basée sur le déplacement de la main. Ces méthodes sont étudiées en considérant leurs bénéfices, limitations, effets sur le comportement de l'utilisateur et les conséquences sur la conception d'applications en environnements virtuels. Ces travaux montre que de nouvelles formes d'interaction 3D sont possible en exploitant les conflits visuo-proprioceptifs de la main. Des perspectives prometteuses sont présentées.

L'objectif de cette thèse est de comparer les apports et les limites de différentes méthodes d'analyse des besoins ergonomique en amont de la conception d'une technologie émergente telle que la Réalité Augmentée (RA). Le cadre applicatif de cette technologie est la formation des mécaniciens automobiles. Après un état de l'art sur l'ergonomie de la RA pour la maintenance et la formation, nous présentons quatre recherches, qui utilisent trois méthodes d'analyse des besoins (des entretiens semi-dirigés, des observations en situation de formation et des tests avec des utilisateurs d'un prototype de RA). Les résultats de ces recherches montrent qu'aujourd'hui l'activité des mécaniciens et des formateurs en maintenance automobile est principalement centrée sur le diagnostic de pannes. D'un point de vue méthodologique, nous concluons que toutes les méthodes utilisées mettent en évidence des besoins conscients et facilement explicitables par les futurs utilisateurs. Dans la conclusion, nous présentons plusieurs pistes de réflexion sur les contributions possibles de l'ergonomie à l'analyse des besoins latents, voire inconnus, qui caractérisent souvent la position des utilisateurs en amont de la conception de technologies émergentes.

Les travaux pluridisciplinaires de cette thèse, contribuent à deux domaines : les Interfaces Homme-Machine (IHM), en particulier la Réalité Augmentée (RA), et les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO), domaine concret de mise en oeuvre de la RA. La contribution est double : d'une part elle enrichit et organise les concepts d'IHM pour la RA en adoptant un point de vue centré sur la tâche, et d'autre part elle améliore l'utilisabilité par les cliniciens des systèmes de GMCAO. La fusion du monde réel et du monde virtuel ouvre des voies nouvelles pour la conception de systèmes de RA, comme les systèmes de GMCAO. Mais les limites sont mal cernées. Dans ce contexte, nous avons identifié des caractéristiques intrinsèques des systèmes de RA et établi un espace taxinomique. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur-Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation ASUR. Pour décrire l'interaction, ASUR identifie les entités intervenant dans le système, en particulier les adaptateurs, composants ASUR réalisant le lien entre les deux mondes. L'utilisation d'ASUR, par ces aspects descriptifs, taxinomiques et conceptuels constitue la base de notre démarche de conception ergonomique et logicielle de systèmes de RA. Cette démarche se fonde en outre sur l'étude de propriétés ergonomiques au sein de la description ASUR d'un système et sur l'adaptation du modèle d'architecture PAC-Amodeus aux systèmes de RA. En collaboration avec le chirurgien, nous avons appliqué et testé nos résultats méthodologiques sur une application concrète de chirurgie cardiaque. Cette application, CASPER, assiste le chirurgien lors de la réalisation d'une ponction péricardique, en lui procurant des informations de guidage du geste clinique sur un écran. Une re-conception de CASPER nous a amené à implémenter un casque semi-transparent permettant de visualiser ces informations directement sur le patient.

La dextérité d'un système de Réalité Augmentée (RA) mobile appliqué à la maintenance industrielle repose sur sa flexibilité, sa précision et sa robustesse intrinsèque face aux verrous scientifique et technologique. Nous introduisons d'abord une architecture orientée composants flexible, innovante et satisfaisant les contraintes de temps réel des systèmes de RA. Sur cette architecture est bâti un système de localisation par la vision utilisant des cibles codées. De nouveaux algorithmes d'estimation de pose sont proposés. Notre architecture comporte un Système de Gestion des Augmentations (SGA) utilisant des procédures de maintenance numériques. Chacune est liée à des documents multimédia l'illustrant, dont des modèles 3D animés. Le projet RNTL-Assistance à la Maintenance en RA intègre ce SGA. Enfin, le système est élargi à la RA en vision directe pour laquelle nous combinons une technique de prédiction du point de vue basée sur le filtre particulaire et une méthode de post-rendering.

La réalité augmentée assistée par ordinateur est un domaine émergeant qui progresse rapidement. Son principe est de mélanger le monde réel et le monde virtuel. Dans cette thèse, nous nous intéressons plus particulièrement au ré-éclairage, c'est-à-dire à la modification virtuelle des propriétés l'éclairage, et à la remodélisation des scènes réelles d'intérieur, de façon interactive et en conservant les effets réalistes de l'éclairage mixte (réel et virtuel). Nous avons développé deux méthodes qui réalisent ces objectifs. Les deux méthodes utilisent des données d'entrée non exhaustives pour retrouver les propriétés radiométriques des scènes réelles. Dans notre première approche, la scène réelle est représentée par un modèle géométrique simple et texturé. En nous basant sur les équations de la radiosité, nous modifions les textures afin d'enlever les effets de l'éclairage réel (ombres, etc.). Lors de manipulations interactives qui atteignent un taux de rafraîchissement de 3 images par secondes, les effets d'éclairage sont simulés par des algorithmes incrémentaux, et affichés en utilisant le matériel graphique. Nous avons ensuite développé une deuxième méthode de ré-éclairage pour laquelle la scène réelle est connue depuis plusieurs photographies prises sous des éclairages différents mais contrôlés. Une réflectance diffuse est estimée pour chaque pixel de l'image d'origine. L'éclairage est ensuite simulé en combinant une méthode de lancer de rayon pour l'éclairage direct, et une méthode de radiosité hiérarchique optimisée pour l'éclairage indirect. Cette méthode permet en plus du ré-éclairage, la remodélisation interactive. Enfin, nous proposons une méthode de calibration photométrique pour du matériel photographique non professionnel, et nous présentons des algorithmes permettant une amélioration de la qualité de l'estimation de la réflectance pour chacune des méthodes.

Dans cette thèse, nous nous intéressons aux structures d'une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie, telles que la réalité augmentée et la stylisation d'images et de vidéos. Le but de toute analyse des structures d'une image est de décrire à un haut-niveau la compréhension que l'on peut avoir de son contenu et de fournir les bases nécessaires à l'amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle. Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition ''Focus+Context''. Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d'une scènes qui sont normalement derrières ce que l'on peut observer dans un flux vidéo. L'utilisation d'une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d'ordre entre les différents objets de la scène. Pour la synthèse d'images guidée par une fonction d'importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l'utilisation d'une carte de gradients et une de saillance. Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l'image. Pour cela, nous développons une nouvelle méthode d'approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme ''moving least square'' (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure~: les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation. Finalement, nous démontrons que l'utilisation d'une technique d'analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l'orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d'une large variété de styles de ligne.