Ces dernières années, de nombreuses compagnies ont mis sur le marché des robots de téléprésence pour des usages de vidéoconférence mobile. Ces plateformes robotiques transmettent généralement la vidéo, l’audio et les données de capteurs de proximité à l’opérateur distant par l’intermédiaire d’une interface de téléopération s’exécutant sur un ordinateur de bureau standard. De nouvelles modalités d’interaction comme la localisation et le suivi de sources sonores, la capacité de ressentir les forces appliquées et la visualisation d’une représentation 3D de l’environnement sont développées et testées sur des plateformes robotique avancées. Il devient donc nécessaire d’explorer de nouvelles techniques pour intégrer ces informations supplémentaires au sein de l’interface. Ce projet de maîtrise propose une solution pour représenter visuellement les sources sonores et les forces d’interaction du robot à travers une interface de téléopération 3D. Cette interface inclut sous une seule vue les fonctionnalités de base comme la représentation du modèle du robot, la reconstruction 3D du nuage de points transmis par le capteur Kinect, la présentation des données des capteurs de proximité ainsi que la possibilité de passer d’une vue égocentrique à une vue exocentrique. L’affichage des sources sonores est réalisé avec des bulles de bandes dessinées pour la parole et des anneaux bleus pour tous les autres types de sons. L’intensité des forces d’interaction sur les bras du robot est affichée par changement de couleur et de taille du modèle 3D et avec des jauges. La direction des forces exercées est matérialisée par des flèches. Enfin, le champs de vision limité de la caméra est augmenté par l’affichage d’une représentation 3D de l’environnement construit dynamiquement par le robot. La phase de validation a été effectuée avec la plateforme robotique IRL-1 qui dispose des modalités perceptuelles nécessaires. Les performances de 31 participants ont été comparées dans l’exécution de trois sous-tâches réalisées avec et sans l’ajout des modalités supplémentaires. La première épreuve d’écoute visait à connaître l’impact de l’affichage de la position des sources sonores. La tâche de manipulation évaluait l’impact de l’affichage des forces ressenties sur les bras. Enfin, le pilotage du robot à travers un slalom avait pour but de tester l’impact de la représentation 3D de l’environnement. L’étude démontre que l’affichage visuel des modalités d’interaction sonores et de force du robot soulage et améliore les performances des utilisateurs dans la réalisation de certaines tâches précises d’écoute ou de manipulation. Cependant, les tests de pilotage du robot à travers un slalom autour de trois cylindres ne permettent pas d’affirmer que l’ajout d’une représentation 3D de l’environnement déjà visité par le robot améliore les performances de navigation.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D.

Pour la téléconférence, on peut remplacer l'image des correspondants distants par des modèles 3D animés de leurs visages. En plus de taux de compression avantageux, cette approche offre les libertés du virtuel : on peut par exemple composer à l'écran l'impression d'un lieu unique, virtuel, où débattent les représentants 3D. Cette thèse présente un algorithme de rendu spécifique, applicable à des clones 3D photo-réalistes de visages. En restreignant les angles de vue autorisés, il permet un rendu simple et rapide, même avec des ordinateurs peu puissants ou sur des machines virtuelles. On propose aussi une architecture de régie automatique, reliée à des caméras virtuelles qui réagissent aux interventions des participants et en proposent une image synthétique. En alternant plusieurs vues (éventuellement partielles) de la scène, on autorise plus de participants simultanés, sans compromettre la qualité de l'image proposée ni l'intelligibilité du débat restitué. Automatique, cette approche libère l'utilisateur du système, qui peut se concentrer sur un débat rendu plus attractif, à la fois comme spectateur et comme participant. Cette thèse rend aussi compte de la réalisation d'un prototype de communication qui intègre les éléments précédents et permet de juger la qualité de la communication obtenue. À cette occasion, l'utilisation d'un environnement sonore qui intègre les interventions distantes et leur localisation (dans ou hors de l'image) est discutée, avec plusieurs expérimentations sur l'association entre l'image et le son spatialisé. Enfin, on introduit une solution hybride (3D et vidéo) pour animer les clones des visages. En incrustant à la surface d'un clone statique l'image des yeux, des sourcils et de la bouche vues par une caméra, on laisse aux spectateurs la responsabilité d'interpréter les expressions originales, dans toute leur dimension vidéo (forte résolution spatiale et temporelle). Un second prototype permet de juger de l'empathie visuelle.

Les besoins grandissant en santé rendent des technologies comme la téléprésence à domicile de plus en plus intéressantes. Cependant, dans le domaine des interfaces humains-machines, il est souvent noté que négliger la façon dont est présentée l'information provenant du robot peut nuire à l'opérateur dans sa compréhension de la situation, ce qui entraîne une efficacité réduite. C'est en considérant la façon dont est traitée l'information chez l'opérateur que nous arriverons à développer une interface permettant d'allouer le maximum des capacités cognitives de l'opérateur à la tâche. De plus, les développements récents de matériel à haute performance et à coûts réduits nous permettent de mettre en oeuvre des techniques modernes de traitement d'images en temps réel. Nous proposons donc de développer un système flexible pour étudier les différentes façons de présenter l'information pertinente à la navigation efficace d'une plateforme robotique mobile. Ce système est basé sur une reconstruction en trois dimensions de l'environnement parcouru à partir des lectures de capteurs retrouvés couramment sur ces plateformes. De plus, l'utilisation d'une caméra vidéo stéréoscopique permet de reproduire l'effet de perspective tel qu'une personne sur place le percevrait. La présence d'un flux vidéo est souvent appréciée par les opérateurs et nous croyons que d'ajouter la profondeur dans notre reproduction de celui-ci est un avantage. Finalement, la caméra virtuelle de l'interface peut être continuellement réorientée de façon à fournir une perspective soit égocentrique, soit exocentrique, selon les préférences de l'opérateur. Nous validons l'utilisation de ce système en évaluant selon différentes métriques les performances d'opérateurs, autant néophytes qu'experts en robotique mobile, de façon à bien cibler les besoins fonctionnels de ce genre d'interfaces et leurs évaluations avec des populations-cibles. Nous croyons que la flexibilité quant au positionnement de la caméra virtuelle de l'interface demeure l'aspect le plus important du système. En effet, nous nous attendons â ce que cela permette à chaque opérateur d'adapter l'interface à ses préférences et les tâches en cours pour qu'il effectue son travail le plus efficacement possible. Bien que nous n'incluons pas de tâches spécifiques au domaine de la télésanté dans nos expérimentations, nous croyons que les observations de ce travail quant à la téléopération en général pourront s'appliquer éventuellement à ce domaine en particulier.

La recherche en didactique des mathématiques que nous présentons a pour objet les interventions de l'enseignant dans l'activité mathématique de l'élève. Le cadre théorique est celui de la théorie des situations didactiques. Nous commençons par proposer une élaboration théorique qui permet de rendre compte de certaines interventions de l'enseignant. D'une part, nous faisons appel au concept d'étayage pour caractériser les interventions de l'enseignant dans la relation élève-milieu qui ne dénaturent pas la signification de l'activité pour l'élève. Nous montrons comment l'étayage s'insère dans une négociation du sens mathématique de l'interaction élève-milieu, négociation pouvant déboucher sur l'effet Topaze. D'autre part, nous caractérisons l'action de l'enseignant sur la compréhension de l'élève, par un processus explicatif co-construit dans l'interaction entre l'enseignant et l'élève. Nous proposons alors d'analyser ces deux processus dans une situation d'interaction enseignant-élève originale : le préceptorat, c'est-à-dire l'interaction didactique qui a lieu entre un enseignant et un unique élève. Nous avons mis en place un dispositif expérimental afin d'observer des interactions de préceptorat et de faire fonctionner nos outils d'analyse. Nos expérimentations ont été réalisées dans le cadre du projet TéléCabri qui a pour objet l'étude des usages et la spécification d'un environnement informatique d'enseignement à distance intégrant téléprésence et partage de l'espace d'apprentissage, notamment le micromonde Cabri-géomètre. L'analyse didactique des interactions de préceptorat passe par l'étude du rôle joué par ler micromonde Cabri-géomètre, composante du milieu pour l'apprentissage. Les résultats obtenus concernent : la pratique habituelle des enseignants qui transparaît dans les interactions de préceptorat, en particulier leur gestion de l'espace de travail Cabri-géomètre, l'étayage et l'effet Topaze ainsi que la caractérisation didactique du processus explicatif.

Les robots de téléprésence sont proposés à des étudiants dont la maladie, l’hospitalisation ou la situation de handicap, empêche la présence physique en classe. La mise en place de cette technologie, s’inscrit dans une logique d’inclusion scolaire, visant une forme de présence de l’étudiant, dans un établissement scolaire ou universitaire dit « ordinaire ». Cependant, aucune étude préalable n’a été réalisée pour rendre compte des dimensions inclusives de cette technologie dans un contexte éducatif. La présence d’un étudiant, médiatisée par un dispositif de téléprésence, démultiplie les espaces d’interactions qui se trouvent situés dans des environnements à la fois physiques et numériques. En effet, l’étudiant utilisateur du robot de téléprésence, dispose de possibilités d’actions dans un environnement distant, qu’il produit à travers un environnement numérique. Cette situation inédite révèle des espaces potentiels de perception et d’action sur le monde et transforme la modalité de présence de l’utilisateur. L’objectif de cette recherche est de proposer une conceptualisation des enjeux de l’utilisation de ce dispositif, dans une visée d’inclusion scolaire. Il s’agit d’une théorisation qui est ancrée dans l’expérience vécue par des étudiants qui utilisent un robot de téléprésence pour des raisons de santé, afin de participer à leurs enseignements. La compréhension de ces expériences subjectives des utilisateurs, assure l’ancrage empirique de notre conceptualisation, dont les résultats mettent en avant les concepts centraux de perception et d’action, qui s’inscrivent dans le concept de présence. Ainsi, dans un contexte d’enseignement configuré en présentiel et médiatisé par un robot de téléprésence, l’inclusion scolaire de l’étudiant utilisateur, se rapporte à une renégociation perceptive réciproque, de la coprésence de l’utilisateur et de l’environnement distant. / Telepresence robots are offered to students whose illness, hospitalization or disability, prevents physical presence in the classroom. The implementation of this technology, is part of a logic of inclusive education, aimed at a form of presence of the student, in a school or university called "ordinary". However, no prior study has been done to account for the inclusive dimensions of this technology in an educational context. The presence of a student, mediated by a device of telepresence, multiplies the spaces of interactions which are located in environments both physical and digital. Indeed, the student user of the telepresence robot has the possibility of actions in a remote environment, which he produces through a digital environment. This unprecedented situation reveals potential spaces of perception and action on the world and transforms the modality of presence of the user. The objective of this research is to propose a conceptualization of the stakes of the use of this device, in a goal of inclusive education. It is a theorization that is rooted in the experience of students using a telepresence robot for health reasons, to participate in their teachings. The understanding of these subjective experiences of the users, ensures the empirical anchoring of our conceptualization, whose results put forward the central concepts of perception and action, which are part of the concept of presence. Thus, in a context of teaching configured face-to-face and mediated by a telepresence robot, the student's inclusion in the classroom, refers to a reciprocal perceptual renegotiation, the co-presence of the user and the remote environment.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D. / Online immersive and collaborative 3D environments are emerging very fast. They raise the issues of sensation of presence within virtual worlds, immersion and interaction capabilities. Multi-camera 3D systems allow to extract geometrical information (3D model) of the observed scene using the photometric information. It enables calculation of a numerical textured model in real-time, which is then used to ensure the user's presence in cyberspace. In this thesis we have studied how to pair the ability of presence, obtained from such a system, with visual immersion and co-located interactions. This led to the realization of an application that combines a head mounted display, an optical tracking system and a multi-camera system. Thus, the user can view his 3D model correctly aligned with his own body and mixed with virtual objects. We also have implemented an experimental telepresence application featuring three sites (Bordeaux, Grenoble, Orleans) that allows multiple users to meet in 3D and collaborate remotely. Textured 3D model gives a very strong sense of presence of each other and strengthens the physical interactions, thanks to body language and facial expressions. Finally, we studied how to extract 3D velocity information from the cameras images; using 2D optical flow and 2D and 3D correspondences, we can estimate the dense displacement of the 3D model. This data extend the interaction capabilities by enriching the 3D model.

Le travail de thèse qui est rapporté dans le présent document a porté sur la réalisation d'un système de restitution sonore spatialisée pour la visioconférence. La principale contrainte de ce projet a résidé dans la taille de la zone d'écoute qui doit être sufisamment grande pour englober plusieurs auditeurs simultanément. Chaque auditeur doit également pouvoir se déplacer au sein de la zone d'écoute. A l'issue d'un tour d'horizon des différentes méthodes de spatialisation sonore existantes (stéréophonie, techniques binaurales, système ambisonique...) dont la pertinence a été examinée du point de vue du contexte de visioconférence, une approche holophonique a été finalement choisie. Attendu qu'elle s'avère être la solution la plus pertinente pour obtenir une zone d'écoute étendue. Un prototype de système holophonique pour la visioconférence a ainsi été conçu et réalisé. D'un point de vue théorique, l'holophonie dérive du Principe de Huygens. Elle constitue l'équivalent acoustique de l'holographie et consiste à reproduire un champ sonore à partir d'un enregistrement sur une surface. Sur la plan pratiqu, le champ sonore est enregistré par un réseau de microphones auquel on substitue un réseau de haut-parleurs de géométrie identique à la restitution. Le concept de Wavefield Synthesis qui a été mis au point à l'UTD (Université Technologique de Delft) définit un exemple de mise en oeuvre d'un système holophonique. Le prototype qui a été développé au cours de cette thèse s'en est largement inspiré. En particulier les simplifications mises en évidence à l'UTD, principalement afin de réduire la taille du réseau de transducteurs et leur nombre, ont été retenues. On a néanmoins eu le souci constant d'analyser la pertinence de la démarche menée à l'UTD et de l'approfondir. Ainsi les questions de l'échantillonnage spatial et de la troncature du réseau de transducteurs ont fait l'objet d'études spécifiques. Au final, le système holophonique qui a été mis au point se compose d'une antenne de haut-parleurs pilotés par une carte DSP. Il a été validé à la fois en environnement anéchoïque et dans un studio expérimental de visioconférence. Au delà de la réalisation d'un système de spatialisation sonore pour la visioconférence, le second objectif de cette thèse visait une meilleure compréhension des procédés de spatialisation sonore à partir de l'approche générale que définit l'holophonie. Cet objectif a été atteint en reliant le système ambisonique à l'holophonie. Il est montré que, loin de constituer deux méthodes distinctes, les systèmes ambisonique et holophonique sont fondés sur des processus analogues et qu'en réalité, le système ambisonique est un cas particulier de l'holophonie. De ce résultat, un formalisme unifiée de la reconstruction de champ sonore a été dégagé, il permet une comparaison directe des performances des deux méthodes, en termes d'enco age et de décodage de l'information spatiale du champ sonore. Il en ressort que, bien que le système ambisonique soit très séduisant sur le plan théorique, il se heurte à de nombreux problèmes de mise en œuvre. Par suite, l'holophonie reste la méthode la plus robuste sur le plan pratique.

Les avancées technologiques, principalement au niveau des télécommunications, interrogent les formes de relation et les transferts d’informations dans le monde actuel. La danse contemporaine, affectée par l’usage des technologies sur la scène (image vidéo, internet, logiciel), voit se modifier les manières de chorégraphier. Si les éléments de base de la création chorégraphique, à savoir le corps dansant, l’espace scénique et le temps de la danse, sont transgressés par l’usage des technologies de la télécommunication (téléprésence), comment les chorégraphes pensent-ils et écrivent-ils la danse en incluant ces nouveaux paramètres ? Que peut perdre ou gagner la danse ? Assistons-nous à l’éveil d’une nouvelle danse, ou à l’émergence d’un autre art ? La redéfinition du corps dansant, en interaction avec son espace et son temps, se trouve au centre de cette recherche. Un projet pratique sous forme d’un laboratoire de création chorégraphique multidisciplinaire, Seuil-Lab, est proposé comme méthodologie de travail pour l’analyse théorique de cette recherche. / Technological advances, especially in telecommunications, call into question relationship modes and information transfers in today’s world. Contemporary dance has been affected by the use of technologies on stage (image, video, internet, software), which has modified choreographic practices. If the basic elements of choreographic creation - namely the dancing body, scenic space and dance time – are infringed upon by the use of technology and telecommunication (telepresence), how can choreographers think and write including these new parameters ? What can dance gain or lose ? Are we witnessing the dawn of a new dance, or the surfacing of a new art ? The redefinition of the dancing body, which interacts with its space and time, is at the core of this research. As a working methodology for the theoretical analysis of this research, we propose Seuil-Lab, a hands-on project in the form of a multidisciplinary choreographic creation lab.