Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Nous nous intéressons, dans le cadre de cette recherche, à l’accès à l’internet des personnes malvoyantes. Plusieurs types d’outils destinés à ce public sont disponibles sur le marché, comme les lecteurs et les agrandisseurs d’écran, en fonction de l’acuité visuelle de la personne. Bien que ces outils soient utiles et régulièrement utilisés, les malvoyants (ainsi que les aveugles) évoquent souvent leur aspect frustrant. Plusieurs raisons sont citées, comme le manque d’organisation spatiale du contenu lu avec les lecteurs d’écran ou le fait de ne solliciter qu’un seul sens. La présente recherche consiste à adapter pour les malvoyants un système en développement le TactoWeb (Petit, 2013) qui permet une exploration audio-tactile du Web. TactoWeb a été conçu pour les handicapés ayant une cécité complète et n’offre donc aucune propriété visuelle. Nous proposons ici une adaptation du système pour les handicapés n’ayant qu’une déficience visuelle partielle. Nous espérons fournir à cette population des outils performants qui leur permettront de naviguer sur l’internet de façon efficace et agréable. En effet, grâce à une exploration non-linéaire (qui devrait améliorer l’orientation spatiale) et une interface multimodale (qui sollicite la vue, l’ouïe et le toucher), nous pensons réduire fortement le sentiment de frustration qu’évoquent les malvoyants. Nous avons posé l’hypothèse qu’une exploration non-linéaire et trimodale d’un site internet avec TactoColor est plus satisfaisante et efficace qu’une exploration non-linéaire bimodale avec TactoWeb (sans retour visuel). TactoColor a été adapté pour les malvoyants en ajoutant des indices visuels traduisant les composantes de la page (liens, menus, boutons) qui devraient rendre l’exploration plus aisée. Pour vérifier notre hypothèse, les deux versions du logiciel ont été évaluées par des malvoyants. Ainsi, les participants ont commencé soit avec TactoWeb, soit avec TactoColor afin de ne pas favoriser une des versions. La qualité de la navigation, son efficacité et son efficience ont été analysées en se basant sur le temps nécessaire à l’accomplissement d’une tâche, ainsi que la facilité ou la difficulté évoquée par le participant. Aussi, à la fin de chaque session, nous avons demandé leur avis aux participants, grâce à un questionnaire d’évaluation, ce qui nous a permis d’avoir leur retour sur notre logiciel après leur brève expérience. Tous ces relevés nous ont permis de déterminer que l’ajout des couleurs entraine une exploration plus rapide des pages web et une meilleure orientation spatiale. Par contre les performances très différentes des participants ne permettent pas de dire si la présence des couleurs facilite la complétion des tâches. / For this research we wanted to focus on how we could improve the satisfaction of visually impaired people when surfing the internet. Many applications are being developed and used to help the disabled on the web, but almost all of them are criticized. Two of the main complaints are that you can only use one of your senses to interact with them and that it is very difficult to figure out how a page is organized. As Human Beings, we are used to use at least two senses at a time, for example you cannot help smelling and seeing. Thus, being forced to depend only on your hearing is very frustrating. This research wants to adapt, for visually impaired people, a new software, TactoWeb which allows an audio-tactile exploration of the web. As TactoWeb was conceived for blind people, there is no visual element. TactoWeb is a nonlinear screen reader designed to read the elements depending on where they are on the page. By answering the principal needs mentioned by blind people, TactoWeb could be an excellent product. Therefore, our hypothesis is that a nonlinear and tri-modal exploration of a web site is more efficient and satisfying than a bimodal. As many people are first visually impaired before being completely blind, we worked on a version, TactoColor, which would suit their special needs. We added visual elements (links, menu, button) that should make any exploration easier. We asked two groups of visually impaired to test both programs, one starting with TactoWeb and the others with TactoColor, in order not to favor any version. We analyzed the quality of the exploration, its efficacy and efficiency by looking at how long the participants took to fulfill their task and whether or not they found it easy. Thanks to these data, we were able to determine that participants completed their tasks faster. The exploration was also easier thanks to the colors which helped them understand the organization of the elements of the page. However, it is difficult to say if the colors make completion easier because the participant’s results are too different.

Cette thèse s’inscrit dans le cadre de l’analyse des besoins de personnes malvoyantes dans le but de développer de nouvelles solutions d’assistance visuelle en utilisant le principe de réalité augmentée. Le principal objectif de ces travaux était le développement d’un dispositif d’assistance visuelle pour faciliter la mobilité de personnes malvoyantes grâce à un algorithme qui en temps réel adapte sa réponse en fonction des besoins de l’utilisateur et de la situation dans laquelle il évolue. Le premier postulat de cette thèse est d’utiliser l’acuité résiduelle fonctionnelle des malvoyants afin de leur permettre de percevoir un certain nombre d’informations. Le second postulat est d’utiliser les seules informations pertinentes, utiles à un malvoyant, afin d’améliorer sa perception du monde dans lequel il évolue. Le premier axe de recherche a consisté à analyser les besoins des malvoyants afin de recenser, les indices visuels utiles à rehausser afin d’améliorer la perception des malvoyants. Cette étude a été réalisée en immersion et une enquête précise a été menée auprès de malvoyants. Cette étude permet de mieux comprendre les besoins des malvoyants, les méthodes qu’ils utilisent ainsi que leurs usages des dispositifs actuels. Le deuxième axe de recherche a consisté à concevoir et à mettre en oeuvre un algorithme de traitement d’images répondant aux besoins identifiés. Un outil interactif a été développé qui permet de sélectionner la quantité de contours en fonction de la situation. Ce détecteur de contour optimise sa détection afin d’obtenir des contours plus exploitables pour les malvoyants, comparés aux résultats des autres méthodes de l’état de l’art. Cet outil a été testé et validé auprès d’une population donnée de personnes malvoyantes. Ces tests réalisés sur écran ont démontré que les contours constituent des indices visuels très importants qui peuvent être d’une grande aide dans l’analyse d’une scène. Le troisième axe de travail a consisté au développement d’un système de réalité augmentée permettant d’utiliser ce détecteur de contours dans un contexte de mobilité. L’analyse des besoins des malvoyants vis-à-vis d’un tel dispositif nous a permis de définir les caractéristiques indispensables pour le système de calcul, la caméra et le dispositif d’affichage. Concernant le système d’affichage, l’analyse des besoins des malvoyants en termes de profil, de couleur, de largeur des contours, nous a permis de définir les paramètres nécessaires pour un affichage qui répond à ces besoins. Il a également été pris en compte dans les développements les paramètres physiologiques de chaque observateur afin que les images affichées soient visuellement confortables / This thesis was done in the context of visual impaired needs analysis with the goal of new augmented reality visual assistance device development. The main goal of this work was the development of assistive device for mobility of visual impaired people by the use real-time image processing algorithm which take into account user needs and the context. The first postulate is the use of residual visual acuity of visual impaired people to allow them to see more information. The second postulate is the use only most useful information for visual impaired people for the understanding of the situation where are they. The first research axis was an analysis of needs of visual impaired to identify visual cues, which one we need to enhance to help them. To do this, I have done an immersive stage into a re-adaptation clinic for visually impaired. I have also done a questionnaire to identify and understand how current products answers partially to their needs. The second research axis was the development of a new image processing to answer identified needs. I have developed an interactive tools that allow the user to select the amount of edges for each situation, context. This detector optimizes its result to provide better results than others state of the art evaluated methods. This tool was evaluated and validated during visual test by visual impaired people. We have demonstrated that edges are one of the most important visual cues for visual impaired people to analyze a scene. The third research axis was the development of the augmented reality system to use my tool in a context of mobility. To do this, I have analyzed the needs of visual impaired people for this type of devices. I have also defined main requirements of the desired device for the processing unit, the camera and the display module. For display module, I have analyzed physiologic needs of visually impaired, in terms of profile, colors, and thickness to answer their needs. I have also developed an image generation model which takes into account many physiologic parameters of each observer to create visually comfortable images

No description available.

Le développement des systèmes de communication et de localisation et les progrès des dispositifs mobiles rendent possible la mise en œuvre de nouvelles applications et services, permettant l'accès à des informations temps réel et l'amélioration de l'intégration des personnes aveugles. Dans ce contexte, la thèse a contribué au développement d'un système d'information et de guidage destiné aux personnes aveugles dans les transports en commun. La thèse a porté sur deux aspects critiques de ce type de systèmes: la fiabilité de la transmission de données et la capacité à localiser et à guider l'utilisateur de manière robuste. Elle a d'autre part développé un environnement de simulation pour le prototypage et l'analyse du fonctionnement de l'application nomade ainsi que l'étude des aspects réseaux de communication mobile. Les travaux se sont appuyés sur les acquis des projets RAMPE et INFOMOVILLE

Le développement des systèmes de communication et de localisation et les progrès des dispositifs mobiles rendent possible la mise en œuvre de nouvelles applications et services, permettant l'accès à des informations temps réel et l'amélioration de l'intégration des personnes aveugles. Dans ce contexte, la thèse a contribué au développement d'un système d'information et de guidage destiné aux personnes aveugles dans les transports en commun. La thèse a porté sur deux aspects critiques de ce type de systèmes: la fiabilité de la transmission de données et la capacité à localiser et à guider l'utilisateur de manière robuste. Elle a d'autre part développé un environnement de simulation pour le prototypage et l'analyse du fonctionnement de l'application nomade ainsi que l'étude des aspects réseaux de communication mobile. Les travaux se sont appuyés sur les acquis des projets RAMPE et INFOMOVILLE / The development of communication and locating systems and the progress of mobile devices have made possible new applications and services, allowing access to real-time information and improving the integration of blind people. ln this context, the thesis has contributed to the development of an information and guidance system to be used by blind travellers in public transports. The work has focused on two critical aspects for this kind of systems: the reliability of data transmission and the ability of localizing and guiding the user in an efficient way. A simulation environment has also been developed that can be used for the prototyping and the analysis of the mobile application as well as for the study of communication over the wireless network. The thesis is based on the results of the RAMPE and INFOMOVILLE projects

Ce travail se concentre sur une tâche de micro-navigation en plein air où le but est de naviguer vers une adresse de rue spécifiée en utilisant plusieurs modalités (par exemple, images, texte de scène et GPS). La tâche de micro-navigation extérieure s’avère etre un défi important pour de nombreuses personnes malvoyantes, ce que nous démontrons à travers des entretiens et des études de marché, et nous limitons notre définition des problèmes à leurs besoins. Nous expérimentons d’abord avec un monde en grille partiellement observable (Grid-Street et Grid City) contenant des maisons, des numéros de rue et des régions navigables. Ensuite, nous introduisons le Environnement de Trottoir pour la Navigation Visuelle (ETNV), qui contient des images panoramiques avec des boîtes englobantes pour les numéros de maison, les portes et les panneaux de nom de rue, et des formulations pour plusieurs tâches de navigation. Dans SEVN, nous formons un modèle de politique pour fusionner des observations multimodales sous la forme d’images à résolution variable, de texte visible et de données GPS simulées afin de naviguer vers une porte d’objectif. Nous entraînons ce modèle en utilisant l’algorithme d’apprentissage par renforcement, Proximal Policy Optimization (PPO). Nous espérons que cette thèse fournira une base pour d’autres recherches sur la création d’agents pouvant aider les membres de la communauté des gens malvoyantes à naviguer le monde. / This work focuses on an Outdoor Micro-Navigation (OMN) task in which the goal is to navigate to a specified street address using multiple modalities including images, scene-text, and GPS. This task is a significant challenge to many Blind and Visually Impaired (BVI) people, which we demonstrate through interviews and market research. To investigate the feasibility of solving this task with Deep Reinforcement Learning (DRL), we first introduce two partially observable grid-worlds, Grid-Street and Grid City, containing houses, street numbers, and navigable regions. In these environments, we train an agent to find specific houses using local observations under a variety of training procedures. We parameterize our agent with a neural network and train using reinforcement learning methods. Next, we introduce the Sidewalk Environment for Visual Navigation (SEVN), which contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. In SEVN, we train another neural network model using Proximal Policy Optimization (PPO) to fuse multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data, and to use this representation to navigate to goal doors. Our best model used all available modalities and was able to navigate to over 100 goals with an 85% success rate. We found that models with access to only a subset of these modalities performed significantly worse, supporting the need for a multi-modal approach to the OMN task. We hope that this thesis provides a foundation for further research into the creation of agents to assist members of the BVI community to safely navigate.