Dans cette thèse, nous nous intéressons aux structures d'une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie, telles que la réalité augmentée et la stylisation d'images et de vidéos. Le but de toute analyse des structures d'une image est de décrire à un haut-niveau la compréhension que l'on peut avoir de son contenu et de fournir les bases nécessaires à l'amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle. Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition ''Focus+Context''. Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d'une scènes qui sont normalement derrières ce que l'on peut observer dans un flux vidéo. L'utilisation d'une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d'ordre entre les différents objets de la scène. Pour la synthèse d'images guidée par une fonction d'importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l'utilisation d'une carte de gradients et une de saillance. Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l'image. Pour cela, nous développons une nouvelle méthode d'approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme ''moving least square'' (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure~: les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation. Finalement, nous démontrons que l'utilisation d'une technique d'analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l'orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d'une large variété de styles de ligne.

L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.<br />Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.<br />Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.<br />Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. <br />Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues.

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ?

Dans le cadre de la rééducation orthophonique des troubles de la parole associés à un mauvais positionnement de la langue, il peut être utile au patient et à l’orthophoniste de visualiser la position et les mouvements de cet articulateur naturellement très peu visible. L’imagerie échographique peut pallier ce manque, comme en témoignent de nombreuses études de cas menées depuis plusieurs années dans les pays anglo-saxons. Appuyés par de nombreux travaux sur les liens entre production et perception de la parole, ces études font l’hypothèse que ce retour articulatoire visuel faciliterait la rééducation du patient. Lors des séances orthophoniques, le patient semble, en effet, mieux appréhender les déplacements de sa langue, malgré la difficulté d’interprétation sous-jacente de l’image échographique liée au bruit inhérent à l’image et à l’absence de vision des autres articulateurs. Nous développons dans cette thèse le concept d’échographie linguale augmentée. Nous proposons deux approches afin d’améliorer l’image échographique brute, et présentons une première application clinique de ce dispositif. La première approche porte sur le suivi du contour de la langue sur des images échographiques. Nous proposons une méthode basée sur une modélisation par apprentissage supervisé des relations entre l’intensité de l’ensemble des pixels de l’image et les coordonnées du contour de langue. Une étape de réduction de la dimension des images et des contours par analyse en composantes principales est suivie d’une étape de modélisation par réseaux de neurones. Nous déclinons des implémentations mono-locuteur et multi-locuteur de cette approche dont les performances sont évaluées en fonction de la quantité de contours manuellement annotés (données d’apprentissage). Nous obtenons pour des modèles mono-locuteur une erreur de 1,29 mm avec seulement 80 images, performance meilleure que celle de la méthode de référence EdgeTrak utilisant les contours actifs. La deuxième approche vise l’animation automatique, à partir des images échographiques, d’une tête parlante articulatoire, c’est-à-dire l’avatar d’un locuteur de référence qui révèle les structures externes comme internes de l’appareil vocal (palais, pharynx, dent, etc.). Nous construisons tout d’abord un modèle d’association entre les images échographiques et les paramètres de contrôle de la langue acquis sur ce locuteur de référence. Nous adaptons ensuite ce modèle à de nouveaux locuteurs dits locuteurs source. Pour cette adaptation, nous évaluons la technique Cascaded Gaussian Mixture Regression (C-GMR), qui s’appuie sur une modélisation conjointe des données échographiques du locuteur de référence, des paramètres de contrôle de la tête parlante, et des données échographique d’adaptation du locuteur source. Nous comparons cette approche avec une régression directe par GMR entre données du locuteur source et paramètre de contrôle de la tête parlante. Nous montrons que l’approche par C-GMR réalise le meilleur compromis entre quantité de données d’adaptation d’une part, et qualité de la prédiction d’autre part. Enfin, nous évaluons la capacité de généralisation de l’approche C-GMR et montrons que l’information a priori sur le locuteur de référence exploitée par ce modèle permet de généraliser à des configurations articulatoires du locuteur source non vues pendant la phase d’adaptation. Enfin, nous présentons les premiers résultats d’une application clinique de l’échographie augmentée à une population de patients ayant subi une ablation du plancher de la bouche ou d’une partie de la langue. Nous évaluons l’usage du retour visuel en temps réel de la langue du patient et l’usage de séquences enregistrées préalablement sur un orthophoniste pour illustrer les articulations cibles, par des bilans orthophoniques classiques pratiqués entre chaque série de séances. Les premiers résultats montrent une amélioration des performances des patients, notamment sur le placement de la langue. / In the framework of speech therapy for articulatory troubles associated with tongue misplacement, providing a visual feedback might be very useful for both the therapist and the patient, as the tongue is not a naturally visible articulator. In the last years, ultrasound imaging has been successfully applied to speech therapy in English speaking countries, as reported in several case studies. The assumption that visual articulatory biofeedback may facilitate the rehabilitation of the patient is supported by studies on the links between speech production and perception. During speech therapy sessions, the patient seems to better understand his/her tongue movements, despite the poor quality of the image due to inherent noise and the lack of information about other speech articulators. We develop in this thesis the concept of augmented lingual ultrasound. We propose two approaches to improve the raw ultrasound image, and describe a first clinical application of this device.The first approach focuses on tongue tracking in ultrasound images. We propose a method based on supervised machine learning, where we model the relationship between the intensity of all the pixels of the image and the contour coordinates. The size of the images and of the contours is reduced using a principal component analysis, and a neural network models their relationship. We developed speaker-dependent and speaker-independent implementations and evaluated the performances as a function of the amount of manually annotated contours used as training data. We obtained an error of 1.29 mm for the speaker-dependent model with only 80 annotated images, which is better than the performance of the EdgeTrak reference method based on active contours.The second approach intends to automatically animate an articulatory talking head from the ultrasound images. This talking head is the avatar of a reference speaker that reveals the external and internal structures of the vocal tract (palate, pharynx, teeth, etc.). First, we build a mapping model between ultrasound images and tongue control parameters acquired on the reference speaker. We then adapt this model to new speakers referred to as source speakers. This adaptation is performed by the Cascaded Gaussian Mixture Regression (C-GMR) technique based on a joint model of the ultrasound data of the reference speaker, control parameters of the talking head, and adaptation ultrasound data of the source speaker. This approach is compared to a direct GMR regression between the source speaker data and the control parameters of the talking head. We show that C-GMR approach achieves the best compromise between amount of adaptation data and prediction quality. We also evaluate the generalization capability of the C-GMR approach and show that prior information of the reference speaker helps the model generalize to articulatory configurations of the source speaker unseen during the adaptation phase.Finally, we present preliminary results of a clinical application of augmented ultrasound imaging to a population of patients after partial glossectomy. We evaluate the use of visual feedback of the patient’s tongue in real time and the use of sequences recorded with a speech therapist to illustrate the targeted articulation. Classical speech therapy probes are led after each series of sessions. The first results show an improvement of the patients’ performance, especially for tongue placement.

La thèse porte sur un nouveau concept pour les afficheurs de réalité augmentée placés près de l’œil, notamment pour améliorer les champs de vision. Deux guides d'ondes sont empilés avec un petit espace d'air entre eux. La lumière couplée dans le premier guide d'ondes par le coupleur d’entrée se propage par réflexion interne totale jusqu'à atteindre un miroir cylindrique à l'extrémité du guide. Puis, la lumière réfléchie est couplée dans le second guide d'ondes avant d'atteindre le coupleur de sortie. Un système similaire basé sur des micro-prismes est aussi décrit. Les conceptions ont été simulées avec le logiciel Zemax. Les champs de vision horizontal et vertical obtenus sont respectivement de 30° et 60°. La Fonction de Transfert de Modulation pour tous les champs objets est supérieure à 30% pour 33 npl/mm, ce qui est suffisant pour un système visuel. De plus, un grand volume de déplacement admissible pour l’œil (Eye-box) d'environ 10×8 mm a été obtenu. / We propose a new concept to improve notably the fields-of-view (FOV) of the near to eye displays (NEDs) for augmented reality. Two waveguides are stacked with a small air gap between them. The light coupled in the first waveguide by the in-coupler propagates by total internal reflection until it reaches a cylindrical mirror at the end of the guide. Then, the reflected light is coupled in the second waveguide before to reach the out-coupler. A similar system based on micro-prisms is also described. The designs were simulated with Zemax software. The obtained horizontal and vertical FOV are respectively 30° and 60°. The Modulation Transfer Function for all object fields is greater than 30% for 33 npl/mm, which is sufficient for a visual system. In addition, a large Eye-box of approximately 10 × 8 mm was obtained.

Nous nous intéressons à l'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Le dispositif mobile est utilisé comme une lentille magique qui 'augmente' la perception de l'environnement physique avec du contenu numérique. Nous nous sommes particulièrement intéressés aux relations spatiales entre le contenu affiché à l'écran et l'environnement physique. En effet la combinaison des environnements physique et numérique repose sur ces relations spatiales, comme l'adaptation de l'augmentation numérique en fonction de la localisation de l'utilisateur. Mais ces relations spatiales définissent aussi des contraintes pour l'interaction. Par exemple l'effet des tremblements naturels de la main rend instable la vidéo affichée sur l'écran du dispositif mobile et par conséquent a un impact direct sur la précision d'interaction. La question est alors, comment peut-on relâcher ces contraintes spatiales pour améliorer l'interaction sans pour autant casser la co-localisation physique-numérique. Nous apportons trois contributions. Tout d'abord, nous avons établi un espace de conception décrivant le contenu affiché à l'écran dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Cet espace conceptuel met en exergue les relations spatiales entre les différents repères des composants le structurant. Cet espace permet d'étudier systématiquement la conception de techniques d'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Deuxièmement, nous avons conçu des techniques de pointage améliorant la précision du pointage en Réalité Augmentée sur supports mobiles. Ces techniques de pointage ont été évaluées lors d'expériences utilisateur. Enfin, dans le cadre du projet en partenariat AIST-Tuskuba, Schneider France et Schneider Japon dans lequel s'inscrit cette thèse, nous avons développé une boîte à outils pour le développement d'applications de Réalité Augmentée sur dispositifs mobiles. Cette boîte à outils a été utilisée pour développer plusieurs démonstrateurs. / We explored interaction within the context of handheld Augmented Reality (AR), where a handheld device is used as a physical magic lens to 'augment' the physical surrounding. We focused, in particular, on the role of spatial relations between the on-screen content and the physical surrounding. On the one hand, spatial relations define opportunities for mixing environments, such as the adaptation of the digital augmentation to the user's location. On the other hand, spatial relations involve specific constraints for interaction such as the impact of hand tremor on on-screen camera image stability. The question is then, how can we relax spatial constraints while maintaining the feeling of digital-physical collocation. Our contribution is three-fold. First, we propose a design space for handheld AR on-screen content with a particular focus on the spatial relations between the different identified frames of reference. This design space defines a framework for systematically studying interaction with handheld AR applications. Second, we propose and evaluate different handheld AR pointing techniques to improve pointing precision. Indeed, with handheld AR set-up, both touch-screen input and the spatial relations between the on-screen content and the physical surrounding impair the precision of pointing. Third, as part of a collaborative research project involving AIST-Tsukuba and Schneider- France and Japan, we developed a toolkit supporting the development of handheld AR applications. The toolkit has been used to develop several demonstrators.

Au cours des dernières décennies, la chirurgie mini invasive a progressivement gagné en popularité face à la chirurgie ouverte, grâce à de meilleurs bénéfices cliniques. Cependant, ce type d'intervention introduit une perte de vision directe sur la scène pour le chirurgien. L'introduction de la réalité augmentée en chirurgie mini invasive semble être une solution viable afin de remédier à ce problème et a donc été activement considérée par la recherche. Néanmoins, augmenter correctement une scène laparoscopique reste difficile à cause de la non-rigidité des tissus et organes abdominaux. En conséquence, la littérature ne fournit pas d'approche satisfaisante à la réalité augmentée en laparoscopie, car de telles méthodes manquent de précision ou requièrent un équipement supplémentaire, contraignant et onéreux. Dans ce contexte, nous présentons un nouveau paradigme à la réalité augmentée en chirurgie laparoscopique. Se reposant uniquement sur l'équipement standard d'une salle opératoire hybride, notre approche peut fournir la relation statique entre l'endoscope et un scan intraopératoire 3D. De nombreuses expériences sur un motif radio-opaque montrent quantitativement que nos augmentations sont exactes à moins d'un millimètre près. Des tests sur des données in vivo consolident la démonstration du potentiel clinique de notre approche dans plusieurs cas chirurgicaux réalistes. / Over the past decades, minimally invasive surgery has progressively become more popular than open surgery thanks to greater clinical benefits. However, this kind of intervention introduced a loss of direct vision upon the scene for the surgeon. Introducing augmented reality to minimally invasive surgery appears to be a viable solution to alleviate this drawback and has thus been an attractive topic for the research community. Yet, correctly augmenting a laparoscopic scene remains challenging, due to the non-rigidity of abdominal tissues and organs. Therefore, the literature does not report a satisfactory approach to laparoscopic augmented reality, as such methods lack accuracy or require expensive and impractical additional equipment. In light of this, we present a novel paradigm to augmented reality in abdominal minimally invasive surgery. Based only on standard hybrid operating room equipment, our approach can provide the static relationship between the endoscope and an intraoperative 3D scan. Extensive experiments on a radio-opaque pattern quantitatively show that the accuracy of our augmentations is less than one millimeter. Tests on in vivo data further demonstrates the clinical potential of our approach in several realistic surgical cases.

Cette thèse s’inscrit dans le thème de la réalité augmentée spatiale (RAS). La RAS permet d’améliorer ou de modifier la perception de la réalité, au travers d’informations virtuelles affichées directement dans l’environnement réel, à l’aide d’un vidéoprojecteur. Bien des domaines peuvent en profiter, tels que le tourisme, le divertissement, l’éducation, la médecine, l’industrie ou le patrimoine culturel. Les techniques informatiques actuelles permettent d’acquérir, d’analyser et de visualiser la géométrie de la surface d’objets réels, comme par exemple pour des artefacts archéologiques. Nous proposons une technique d’interaction et de visualisation en RAS qui combine les avantages de l’étude d’artefacts archéologiques réels et de l’étude d’artefacts archéologiques 3D. Pour cela, nous superposons sur l’objet une visualisation expressive en RAS basée sur les courbures, permettant par exemple de montrer le détail des gravures. Nous simulons ensuite l’utilisation d’une lampe torche grâce à un interacteur à 6 degrés de liberté. L’utilisateur peut ainsi spécifie la zone de l’objet à augmenter et ajuster les nombreux paramètres nécessaires au rendu expressif. L’une des principales caractéristiques de la réalité augmentée spatiale est de permettre à plusieurs utilisateurs de participer simultanément à la même expérience. Cependant, en fonction de l’application souhaitée, cela peut être vu comme un inconvénient. Nous proposons un nouveau dispositif d’affichage permettant de créer des expériences en RAS qui soient multi-utilisateurs et personnalisées, en prenant en compte le point de vue de l’utilisateur. Nous utilisons pour cela un support de projection rétroréfléchissant semi-transparent que l’on positionne en face de l’objet à augmenter. Nous proposons deux implémentations différentes de ce nouveau dispositif, ainsi que deux scénarios d’application. Lorsque l’on veut augmenter des objets déformables, la plupart des techniques de tracking actuelles et la connaissance préalable de la géométrie de l’objet ne suffisent plus. En vue d’être par la suite utilisée pour augmenter un objet, nous proposons une technique de reconstruction de surfaces développables par approximation de cylindres paraboliques, basée sur les MLS. Ce type de surface peut représenter par exemple des vêtements ou des tissus. Nous proposons une solution pour supprimer les problèmes d’approximation dans les zones à forte ambiguïté. / This thesis extends the field of spatial augmented reality (SAR). Spatial augmented reality allows to improve or modify the perception of the reality with virtual information displayed directly in the real world, using video-projection. Many fields such as tourism, entertainment, education, medicine, industry or cultural heritage may benefit from it. Recent computer science techniques allow to measure, analyse and visualise the geometry of the surface of real objects, as for instance archeological artefacts. We propose a SAR interaction and visualisation technique that combines the advantages of the study of both real and 3D archeological artefacts. Thus, we superimpose on the object an expressive rendering based on curvatures with SAR, allowing for example to show details of engravings. Next, we simulate the use of a flashlight with the help of a 6-degree-of-freedom controller. The user can then specify the area on the object to be augmented and adjust the various necessary parameters of the expressive rendering. One of the main caracteristics of SAR is to enable multiple users to simultaneously participate to the same experience. However, depending on the target application, this can be seen as a drawback. We propose a new display device that allows to create experiences in SAR that are both multi-user and personalised by taking into account the user point of view. In order to do so, the projection display, set in front of the object to augment, is made from a material that is both retro-reflective and semi-transparent. We suggest two different uses of this new device, as well as two scenarios of application. Most of recent tracking solutions, even with the knowledge of the geometry of the object beforehand, fail when applied to the augmentation of deformable objects. In order to adress this issue, we propose a reconstruction technique for developable surfaces using parabolic-cylinders based on MLS. This kind of surface may represent cloth or fabric for instance. We show a solution addressing approximation issues in areas where the problem becomes ambiguous.

L’adoption du numérique au sein des industries et les évolutions des technologies ouvrent de nouvelles perspectives d’usages de la réalité augmentée (RA) et de la réalité virtuelle (RV). Ainsi, ces technologies peuvent faciliter l’assistance des opérateurs travaillant sur des systèmes industriels complexes en utilisant la RA et permettre la mise en œuvre de formations en RV, améliorant donc leur efficience. Cependant, intégrer ces nouveaux outils aux processus existants de l’entreprise reste complexe, de par les aspects technologiques et le continuum de données à mettre en œuvre, de par l’identification des cas d’usages et des gains associés et de par la diversité d’acteurs et d’experts métiers à impliquer dans ce processus : l’expert du système industriel, l’opérateur, le concepteur et le développeur informatique.Afin d’aborder ces différentes problématiques industrielles et en se basant sur un état de l’art scientifique et technologique, nos travaux de recherche ont porté sur la proposition d’un modèle de données permettant de faciliter la création de contenu en réalité augmentée pour les opérations sur des systèmes industriels. Ces travaux ont également permis de mettre en place un environnement expérimental basé sur une chaîne de production didactique et une application créée grâce à ce modèle.Dans une seconde partie de ce travail, afin d’évaluer l’efficacité de cette technologie, nous avons mis en place une méthode permettant d’évaluer l’usage de la réalité augmentée pour la maintenance de systèmes industriels complexes selon des critères de performances et de satisfactions. L’analyse de deux études de cas montre que la contextualisation de l’information en réalité augmentée permet à l’opérateur de comprendre plus rapidement l’opération à effectuer qu’avec guide papier tout en réduisant certains types d’erreur. De plus, nous proposons des recommandations pour améliorer la pertinence de l’information fournie en réalité augmentée et identifions le type d’opération permettant d’obtenir un gain significatif, grâce à la réalité augmentée. Ces travaux s’intéressent également à l’influence et à la sélection des dispositifs de rendus.Enfin, en nous basant sur le modèle de données de RA, nous proposons une ontologie permettant d’unifier la création de contenu en réalité augmentée et virtuelle afin de former et guider un opérateur dans ses tâches. Nous étudions l’usage de cette ontologie pour exploiter d’autres données et connaissances de l’entreprise telles que celles liées à la maintenance. Cette ontologie est utilisée pour des scénarios de formation dans des environnements industriels et pour l’assistance sur des opérations. / The adoption of digital technologies within industries and the evolution of technologies are opening new perspectives for using augmented reality (AR) and virtual reality (VR). Therefore, those technologies can facilitate the operators’ tasks working on complex industrial systems, either by bringing them some contextualised information in AR or by helping them with VR trainings. Thus they would improve their efficiency. However, integrating these new tools into existing processes of the company remains complex, due to the technologies and the data continuum needed, through the identification of use cases and the associated gains and by the diversity of actors and business experts involved in this process: the expert of the industrial system, the operator, the designer and the computer scientist.In order to develop those different industrial problematics, we first study the state of the art of scientific publications and existing technologies. Then, our research work has proposed a data modelling facilitating content authoring of augmented reality operations on industrial system. This work has also allowed to set up an experimental environment based on an educational production line and an augmented reality application developed thanks to that model.In a second part of this work, and in order to evaluate the efficiency of this technology, we have proposed a methodology allowing to evaluate augmented reality usage for maintenance, repair and operations on industrial systems according to performance, satisfaction and behavioural criteria. We analyse two case studies. They shows that contextualisation of information with augmented reality allows the operator to faster understand the task he needs to carry out than with paper instructions while reducing some kind of errors. Moreover we are proposing some guidelines in order to improve the augmented reality information efficiency. Besides, we are identifying which types of operation are improved with augmented reality. The work is also describing the rendering device influence on the use of augmented reality.Finally, and based on the augmented reality modelling, we are proposing an ontology allowing to unify content authoring of augmented and virtual reality so as to train or guide operator in their tasks. We are studying the use of this ontology for exploiting others data and company knowledge, as maintenance. This ontology is used for training scenarios in industrial environment and for guiding operator during their work.

Les recherches menées au cours de cette thèse de Doctorat s'inscrivent dans les activités du laboratoire commun OPERA (OPtique EmbaRquée Active) impliquant ESSILOR-LUXOTTICA et le CNRS. L’objectif est de contribuer au développement des “lunettes du futur” intégrant des fonctions d'obscurcissement, de focalisation ou d'affichage qui s’adaptent en permanence à la scène et au regard de l’utilisateur. Ces nouveaux dispositifs devront être dotés de capacités de perception, de décision et d’action, et devront respecter des contraintes d'encombrement, de poids, de consommation énergétique et de temps de traitement. Ils présentent par conséquent des connexions évidentes avec la robotique. Dans ce contexte, les recherches ont consisté à investiguer la structure et la construction de tels systèmes afin d’identifier leurs enjeux et difficultés. Pour ce faire, la première tâche a été de mettre en place des émulateurs de divers types de lunettes actives, qui permettent de prototyper et d’évaluer efficacement diverses fonctions. Dans cette phase de prototypage et de test, ces émulateurs s’appuient naturellement sur une architecture logicielle modulaire typique de la robotique. La seconde partie de la thèse s'est focalisée sur le prototypage d’un composant clé des lunettes du futur, qui implique une contrainte supplémentaire de basse consommation : le système de suivi du regard, aussi appelé oculomètre. Le principe d’un assemblage de photodiodes et d’un traitement par réseau de neurones a été proposé. Un simulateur a été mis au point, ainsi qu’une étude de l'influence de l'agencement des photodiodes et de l’hyper-paramétrisation du réseau sur les performances de l'oculomètre. / The research carried out during this doctoral thesis takes place within the OPERA joint laboratory (OPtique EmbaRquée Active) involving ESSILOR-LUXOTTICA and the CNRS. The aim is to contribute to the development of "glasses of the future", which feature obscuration, focus or display capabilities that continuously adapt to the scene and the user gaze. These new devices will be endowed with perception, decision and action capabilities, and will have to respect constraints of space, weight, energy consumption and processing time. They therefore show obvious connections with robotics. In this context, the structure and building of such systems has been investigated in order to identify their issues and difficulties. To that end, the first task was to set up emulators of various types of active glasses, which enable the prototyping and effective testing of various functions. In this prototyping and testing phase, these emulators naturally rely on a modular software architecture typical of robotics. The second part of the thesis focused on the prototyping of a key component which implies an additional constraint on low consumption, namely the eye tracking system, also known as gaze tracker. The principle of a photodiode assembly and of a neural network processing has been proposed. A simulator has been developed, as well as a study of the influence of the arrangement of photodiodes and the hyper-parametrization of the network on the performance of the oculometer.