Thèse de doctorat : Chimie : chimie-physique : Metz : 2008. / Thèse soutenue sur ensemble de travaux. Bibliogr. en fin de chapitres. Tabl. des fig f. IV-VII. Annexes f. 134.

Les dispositifs mobiles tels que les smartphones, les montres connectées ou les lunettes électroniques ont révolutionné la façon dont nous interagissons. Les lunettes électroniques nous intéressent, car elles fournissent aux utilisateurs une vision simultanée des mondes physique et numérique. Cependant, l’interaction sur les lunettes électroniques n’est pas bien explorée. L’amélioration de l’interaction sur ce dispositif peut convaincre les utilisateurs à l’utiliser plus dans la vie quotidienne. Le sujet de thèse est focalisé sur l’étude et le développement de nouvelles techniques d'interaction avec les lunettes électroniques. En effet, il n'est pas possible d'interagir aussi finement en mobilité ou en situation d'urgence par rapport à une situation stable telle qu’assis devant un bureau. Notre contexte de travail se situe dans le domaine de la santé et en particulier celui du personnel médical visitant un patient dans un hôpital. Le personnel médical doit pouvoir accéder aux données du patient déjà collectées, obtenir des données physiologiques en temps réel, préparer son diagnostic et communiquer avec ses collègues. Le verrou scientifique pour la thèse ici est de trouver des solutions qui permettent au personnel médical de réaliser ces tâches de façon plus précise et moins contraignante. Le but est de rendre plus efficace le diagnostic et le partage d’informations et de faire d'un dispositif encore non maîtrisé un outil fonctionnel en milieu professionnel de la santé. Dans cette optique, les travaux de cette thèse présentent des contributions théoriques et applicatives. Nous avons tout d’abord répertorié les différents travaux effectués dans le cadre des lunettes électroniques pour le domaine de la santé, tout en indiquant le potentiel, les résultats pertinents et les limites. Nous nous sommes focalisés sur les lunettes électroniques pour afficher et manipuler les dossiers patients. D’un point de vue conceptuel, nous avons proposé un espace de conception à huit dimensions pour identifier les lacunes dans les systèmes existants et aider à la conception de nouveaux systèmes. D’un point de vue applicatif, en interaction en sortie, nous avons introduit une technique appelée K-Fisheye sur une interface à tuiles qui permet de parcourir un grand ensemble de données comme celui présent dans le dossier patient. Nous avons utilisé ensuite l’espace de conception pour porter un système existant sur les lunettes électroniques. Le prototype obtenu s’appelle mCAREglass. En interaction en entrée, nous avons exploré quatre techniques de pointage sur les lunettes électroniques avec la norme ISO 9241-411 pour sélectionner les techniques qui ne sont pas contraignantes pour naviguer dans le dossier patient. Ensuite, nous avons conçu une nouvelle technique d’entrée de texte appelé TEXTile qui permet de saisir du texte sur un tissu interactif communiquant avec les lunettes. / Mobile devices such as smartphones, smartwatches or smart glasses have revolutionized how we interact. We are interested in smart glasses because they have the advantage of providing a simultaneous view of both the physical and the digital worlds. However, the interaction for smart glasses is not well explored. More suitable interactions on this device can convince users to use it more in everyday life. The thesis subject is focused on the study and development of new interaction techniques with smart glasses. Indeed, it is not possible to interact so finely in mobility or in an emergency situation compared to a stable situation such as sitting in front of a desktop. The work context is in the health field and in particular a healthcare professional visiting his patient in a hospital. The professional must be able to access the patient's data already collected, obtain physiological data in real time, prepare his diagnosis and communicate with his colleagues. The scientific problem for the thesis here is to find solutions that allow him to perform these tasks in a more precise and less restrictive way. The goal is to make the diagnosis and information sharing more effective and to make a device still uncontrolled a functional system in a professional healthcare environment. In this perspective, the work of this thesis presents theoretical and applicative contributions. We first listed the various work performed in the context of smart glasses for the health field, while indicating potential, relevant results and limitations. We focused on smart glasses to visualize and manipulate patient records. From a conceptual point of view, we have proposed an eight-dimensional design space to identify gaps in existing systems and assist in the design of new systems. From an application point of view, for output interaction, we introduced a technique called K-Fisheye on a tile-based interface that allows the user to browse a large dataset like in the health record. We used the design space to adapt an existing system for the smart glasses. The prototype obtained called mCAREglass. For input interactions, we studied four pointing techniques on smart glasses. We used the ISO 9241-411 standard to select techniques easy to use for exploring the health record. Finally, we designed a new text entry technique called TEXTile by using a new interactive fabric communicating with glasses.

Le système visuel humain exhibe une configuration retino-corticale qui confère à seulement une petite région centrale de la rétine (i.e., la fovéa) une haute spécialisation dans la perception des détails spatiaux fins. Ainsi, l’information visuelle nécessite d’être stabilisée sur cette région au cours de mouvements de tête engendrés par des activités telles que la marche. Des mécanismes de stabilisation du regard ont été rapportés comme compensant les mouvements de translation et de rotation de la tête caractéristiques de la marche par des mouvements réflexes de tête et d’yeux, permettant ainsi une stabilisation efficace de l’image rétinienne d’une cible visuelle fixée dans l’environnement. Néanmoins, lorsque la cible visuelle est fixée à la tête, comme lors de la prise d’information à partir de lunettes informatives, ces mêmes mécanismes pourraient engendrer des perturbations sur les performances visuelles puisqu’alors stabiliser l’image de la cible nécessite que les yeux ne bougent pas dans leur orbite. L’objectif de ces travaux de thèse a été de réaliser une évaluation fonctionnelle des performances visuelles au cours de la marche lorsque la cible visuelle est fixée à la tête. Deux études préliminaires (Etudes 1 et 2) nous ont permis de concevoir une méthode d’évaluation fonctionnelle basée sur la lecture d’informations numériques de temps, favorisant l’étude des limitations sensorielles de la lecture. Ces études nous ont par ailleurs permis d’obtenir de nouvelles connaissances sur la psychophysique de lecture des informations numériques de temps. En combinant notre méthode d’évaluation fonctionnelle avec l’analyse du mouvement de la tête (VICON) et des yeux (EOG) (Etude 3), nous avons montré que pendant la marche des performances optimales de lecture sont assurées par des mécanismes de stabilisation du regard qui compensent efficacement les mouvements de tête induits par l’activité en maintenant, dans une gamme fonctionnelle (2,7°/s-6,3°/s), le glissement rétinien de l’image d’une cible stationnaire affichée dans l’environnement. Nous avons également montré que lorsque l’information est présentée dans un affichage fixé à la tête, ces mêmes mécanismes de stabilisation du regard produisent un glissement rétinien trop important (13,7°/s) pendant la marche, au lieu de le réduire, aboutissant à une diminution des performances de lecture pour la plus grande taille visuelle de caractères testée (5°), mais surtout pour les plus petites tailles (0,2°-0,3°), que nous avons attribuée à une perte d’acuité visuelle. Nous en avons conclu que les mécanismes de stabilisation du regard, qui normalement permettent aux performances visuelles d’être maintenues au cours de l’activité physique, produisent des effets délétères sur les performances de lecture lorsque l’information est présentée à partir d’un affichage fixé à la tête. Les résultats de ces travaux ont permis l’élaboration de règles de conception des IHM visuelles, notamment celles de lunettes informatives, adaptées aux propriétés du système visuel humain. / The human visual system exhibits a retino-cortical configuration that confers to only a small central region of the retina (i.e., the fovea) a high specialization in the perception of fine spatial details. Thus, visual information needs to be stabilized in this area during head movements caused by activities such as walking. Gaze stabilization mechanisms have been reported as compensating the movements of translation and rotation of the head characteristic of walking by reflex movements of the head and eyes, thus allowing effective stabilization of the retinal image of a visual target fixed in the environment. However, when the visual target is attached to the head, as when the information is read from “informative glasses”, these mechanisms could lead to disturbances in visual performance since stabilizing the image of the target requires that the eyes do not move in their orbits. The aim of this thesis work was to perform a functional evaluation of visual performance during walking when the visual target is attached to the head. Two preliminary studies (Studies 1 and 2) enabled us to design a method of functional evaluation based on the reading of numerical time information, furthering the study of sensory reading limitations. These studies also allowed us to obtain new knowledge about the psychophisics of reading numerical time information. By combining our functional evaluation method with the movement analysis of the head (VICON) and eyes (EOG) (Study 3), we showed that during walking optimal reading performance is ensured by gaze stabilization mechanisms that effectively compensate for head movements induced by the activity, by maintaining retinal slip within a functional range of 2.7°/s-6.3°/s for a stationary target in the environment. We also showed that when the information is presented on a display attached to the head, these same gaze stabilization mechanisms produce an excessive retinal slip (13.7°/s) during walking, instead of reducing it, resulting in a decrease in reading performance for the larger (5°), but especially for the smaller (0.2°-0.3°) visual character size tested, which we attributed to a loss of visual acuity. We concluded that the gaze stabilization mechanisms, which normally allow visual performance to be maintained during physical activity, produce deleterious effects on reading performance when the information is presented from a display attached to the head. The results of this work allowed the development of visual HMI design rules, including those for “informative glasses” adapted to the human visual system properties.

Les recherches menées au cours de cette thèse de Doctorat s'inscrivent dans les activités du laboratoire commun OPERA (OPtique EmbaRquée Active) impliquant ESSILOR-LUXOTTICA et le CNRS. L’objectif est de contribuer au développement des “lunettes du futur” intégrant des fonctions d'obscurcissement, de focalisation ou d'affichage qui s’adaptent en permanence à la scène et au regard de l’utilisateur. Ces nouveaux dispositifs devront être dotés de capacités de perception, de décision et d’action, et devront respecter des contraintes d'encombrement, de poids, de consommation énergétique et de temps de traitement. Ils présentent par conséquent des connexions évidentes avec la robotique. Dans ce contexte, les recherches ont consisté à investiguer la structure et la construction de tels systèmes afin d’identifier leurs enjeux et difficultés. Pour ce faire, la première tâche a été de mettre en place des émulateurs de divers types de lunettes actives, qui permettent de prototyper et d’évaluer efficacement diverses fonctions. Dans cette phase de prototypage et de test, ces émulateurs s’appuient naturellement sur une architecture logicielle modulaire typique de la robotique. La seconde partie de la thèse s'est focalisée sur le prototypage d’un composant clé des lunettes du futur, qui implique une contrainte supplémentaire de basse consommation : le système de suivi du regard, aussi appelé oculomètre. Le principe d’un assemblage de photodiodes et d’un traitement par réseau de neurones a été proposé. Un simulateur a été mis au point, ainsi qu’une étude de l'influence de l'agencement des photodiodes et de l’hyper-paramétrisation du réseau sur les performances de l'oculomètre. / The research carried out during this doctoral thesis takes place within the OPERA joint laboratory (OPtique EmbaRquée Active) involving ESSILOR-LUXOTTICA and the CNRS. The aim is to contribute to the development of "glasses of the future", which feature obscuration, focus or display capabilities that continuously adapt to the scene and the user gaze. These new devices will be endowed with perception, decision and action capabilities, and will have to respect constraints of space, weight, energy consumption and processing time. They therefore show obvious connections with robotics. In this context, the structure and building of such systems has been investigated in order to identify their issues and difficulties. To that end, the first task was to set up emulators of various types of active glasses, which enable the prototyping and effective testing of various functions. In this prototyping and testing phase, these emulators naturally rely on a modular software architecture typical of robotics. The second part of the thesis focused on the prototyping of a key component which implies an additional constraint on low consumption, namely the eye tracking system, also known as gaze tracker. The principle of a photodiode assembly and of a neural network processing has been proposed. A simulator has been developed, as well as a study of the influence of the arrangement of photodiodes and the hyper-parametrization of the network on the performance of the oculometer.

Ces travaux de recherche présentés dans cette thèse s’intègrent dans le cadre d’un partenariat entre Generix Group, éditeur de logiciels collaboratifs pour l’écosystème du commerce, et l’École Centrale de Lille portant sur la réalisation d’un système d’aide au déplacement des opérateurs intégrant la Réalité Augmentée (RA) dans le domaine de la supply chain. Dans la gestion des entrepôts, la préparation des commandes représente un processus important. Avoir une gestion optimisée des entrepôts en aidant les opérateurs à travailler dans des meilleures conditions est un enjeu majeur. Le but de cette thèse est de proposer un Système d’Aide à la Décision (SAD) dans les entrepôts pour l’optimisation des processus de picking et putting. L’aspect dynamique et ouvert du problème nous a conduits à adopter une modélisation multi-agent. Le système multi-agent proposé s’appuie sur les méta heuristiques pour gérer l’affectation aux opérateurs des chemins optimisés de préparation de commandes. Le système d’Alliance entre l’Optimisation et les Systèmes Multi-agent (AOSMA) proposé est basé sur une approche de modélisation, optimisation et simulation orientée agent intégrant la technologie des lunettes à RA. En effet, les lunettes connectées permettent d’afficher d’une manière confortable dans le champ de vision de l’opérateur les informations nécessaires afin d’améliorer l’efficacité et le rendement et de réduire les erreurs de picking et putting. Les résultats expérimentaux présentés dans cette thèse justifient l’alliance entre les Systèmes Multi-Agent et l’optimisation tout en intégrant la nouvelle technologie de RA pour assurer le pilotage des parcours de picking et putting / The research presented in this thesis belongs to a partnership between Generix Group, collaborative software vendor for Retail ecosystem, and the Ecole Centrale of Lille which aims to implement a Support System for Travel (SST) distance of pickers integrating Augmented Reality (AR) in the area of the supply chain. In warehouse management, order picking is an important process. Having an optimized warehouse management by helping order pickers to work in better conditions is a major issues. The aim of this thesis is to propose a Decision Support System (DSS) in warehouses to optimize picking and putting processes. The dynamic and open aspect of the problem has led us to adopt a multi-agent modelling approach. The proposed multi-agent system is based on metaheuristics to manage the optimized paths allocation to order pickers. The Alliance between the Optimization and Multi-Agent System (AOMAS) proposed is based on a modeling approach, optimization and agent-oriented simulation integrating Augmented Reality (AR) Smart Glasses. Indeed, the connected glasses can display in the operator's field of vision the necessary information to improve efficiency and effectiveness and reduce errors in picking and putting. The experimental results presented in this thesis, justify the alliance between the multi-agent systems and optimization integrating the new AR technology to ensure the piloting of picking and putting path.

Focalisation sur les usages et éclairage de leur statut stratégique dans l'innovation et la conception de produits ? Visée projective, ou prospective, sur les usages des futurs construits sociotechniques, histoire de guider la recherche et le développement ? L'incitation à observer les usages dans la lorgnette sociologique, d'un poste bien avancé du processus de création et d'objectivation industriel, soulève nombre de questionnements, sur ses desseins comme sur la façon de s'y prendre, surtout lorsque l'image recherchée est celle d'une (future) paire de lunettes, conçue par le leader mondial de l'optique ophtalmique Essilor.<br />La sociologie, convoquée à intégrer les dispositifs de définition et d'évaluation des scripts des prochains produits, se heurte ici à des obstacles majeurs : la plupart des nouvelles technologies n'accèdent pas encore à une réelle inscription sociale dans des usages quotidiens ; d'autre part, les artefacts, encore à ce stade largement ouverts, sont potentiellement susceptibles de s'insérer dans une variété infinie de contextes sociotechniques. Dotée d'une propension à la production de connaissances empiriques sur des configurations sociotechniques constituées, la sociologie saura-t-elle intégrer les logiques de conception innovante sans perdre sa pertinence ?<br />Entre explicitation des usages existants, design d'usages potentiels via la construction et l'investissement itératif de configurations « témoins », et investigation de propriétés structurelles des produits et concepts actuels, cette thèse Cifre propose un cadre d'action pour l'articulation opérationnelle de réflexions sur les pratiques et de spécifications techniques.

Les dispositifs permettant d'agrandir les images représentent les formes les plus courantes d'aides en réadaptation visuelle. Grâce à un essor technologique considérable, les lunettes électroniques, qui fonctionnent comme des aides grossissantes électroniques (fournissant un agrandissement variable, amélioration du contraste, utilisables les mains libres), sont devenues d'avantage disponibles, efficaces et utilisées par les personnes malvoyantes. Cependant, il existe un manque de données probantes et de connaissances au regard des taux d'abandon des lunettes électroniques, des facteurs prédictifs de leur utilisation, ainsi que sur les interventions efficaces qui pourraient optimiser leur utilisation.Afin de mieux comprendre l'utilisation des lunettes électroniques au sein de la population malvoyante, une étude en trois phases a été menée à travers l’exemple des lunettes eSight dans le but de : 1) examiner et synthétiser les facteurs qui influencent l'utilisation d'aides visuelles grossissantes à l'aide d'un examen de la portée afin de guider les études ultérieures; 2) déterminer à travers une étude transversale quelles sont les variables qui prédisent un changement d’utilisation des lunettes électroniques chez leur usager; et 3) élaborer des recommandations fondées sur des données probantes concernant la faisabilité d'une intervention de téléréadaptation auprès des utilisateurs de lunettes électroniques et étudier l'impact de cette modalité sur l’utilisation de leur dispositif et leur qualité de vie.Les travaux de cette thèse contribuent à soutenir l’idée que le choix d’utiliser des aides visuelles grossissantes dépend de causes multifactorielles. Les facteurs personnels et surtout la motivation représentent des prédicteurs importants. Les difficultés de transport et le manque d’entrainement ont été identifiés comme des obstacles importants à l’utilisation des aides visuelles. D’autre part, l’amélioration de la qualité de vie favorise le maintien de l’utilisation des lunettes électroniques. Compte tenu de ces résultats, un programme de formation personnalisée par téléréadaptation a été mis au point pour répondre aux besoins spécifiques des utilisateurs, offrant une attention individualisée pour optimiser l'utilisation des lunettes électroniques. Cette thèse fournit des preuves sur la faisabilité d'administrer plusieurs sessions d’entrainement en réadaptation de basse vision via la téléréadaptation chez des utilisateurs de lunettes électroniques. Les lunettes électronique eSight améliorent la qualité de vie et la vision fonctionnelle des utilisateurs, qu’elle soit associée à la téléréadaptation ou au programme d’autoformation du fabricant. Cela indique que les instructions fournies par la téléréadaptation ou par l'autoformation proposée dans un contexte commercial sont tout aussi efficaces pour améliorer la qualité de vie et les capacités visuelles et que la téléréadaptation pourrait être offerte comme une modalité de formation allternative. Afin d’orienter les recommandations de pratiques fondées sur des données probantes en matière de téléréadaptation, et de répondre au mieux aux besoins des personnes avec une basse vision, d'autres études examinant les effets de la pratique et de l’entrainement sont nécessaires. / Magnification devices are among the most common forms of aids in low vision rehabilitation. They are intended to increase the level of independence and function during activities of daily living. Novel head-mounted display magnification devices for low vision that operate as electronic vision enhancements (providing variable magnification, contrast enhancement, hands-free use) have become more and more available, efficient and are increasingly being utilized, thanks to considerable technological development. Nevertheless, there is still a lack of knowledge regarding abandonment rates, factors predicting abandonment of such devices, and efficient intervention characteristics that optimize their use.To better understand the use of head-mounted displays throughout the low vision population, a three-phase study has been conducted using eSight Eyewear as an example device in order to: 1) investigate and synthesize barriers and facilitators influencing the use of magnifying visual aids, using a scoping review to guide the subsequent cross-sectional and prospective studies; 2) identify which variables best predict a change in device use among current head-mounted display users, using a cross-sectional design; and 3) develop evidence-based recommendations regarding the feasibility of a telerehabilitation intervention on head-mounted display users and study the impact of this modality on their device use and quality of life.This thesis provides supporting evidence for the multifactorial decision-making process around the use of magnifying visual aids. Device users’ low motivation, transportation to rehabilitation services and insufficient training have been identified as important barriers to magnifying low vision aid use. Improving users’ quality of life helps to maintain the use of head-mounted displays. Considering these findings, a personalized training regime via telerehabilitation was developed to meet specific users’ needs, providing individualizing attention to optimize the use of head-mounted displays. This thesis provides evidence about feasibility of administering several low vision rehabilitation training sessions via telerehabilitation with head-mounted display users. eSight Eyewear, either with telerehabilitation or with the manufacturer self-training standard, improves quality of life and functional vision outcomes.This indicates that instructions provided by telerehabilitation or though the eSight self-training standard are equally successful in improving quality of life and visual abilities outcomes and that telerehabilitation could be provided as an alternative training modality. To help guide evidence-based practice recommendations for low vision telerehabilitation implementation that meet the unique needs of individuals with low vision, further studies examining benefits of practice and training are needed.