Le développement des systèmes de communication et de localisation et les progrès des dispositifs mobiles rendent possible la mise en œuvre de nouvelles applications et services, permettant l'accès à des informations temps réel et l'amélioration de l'intégration des personnes aveugles. Dans ce contexte, la thèse a contribué au développement d'un système d'information et de guidage destiné aux personnes aveugles dans les transports en commun. La thèse a porté sur deux aspects critiques de ce type de systèmes: la fiabilité de la transmission de données et la capacité à localiser et à guider l'utilisateur de manière robuste. Elle a d'autre part développé un environnement de simulation pour le prototypage et l'analyse du fonctionnement de l'application nomade ainsi que l'étude des aspects réseaux de communication mobile. Les travaux se sont appuyés sur les acquis des projets RAMPE et INFOMOVILLE

Le développement des systèmes de communication et de localisation et les progrès des dispositifs mobiles rendent possible la mise en œuvre de nouvelles applications et services, permettant l'accès à des informations temps réel et l'amélioration de l'intégration des personnes aveugles. Dans ce contexte, la thèse a contribué au développement d'un système d'information et de guidage destiné aux personnes aveugles dans les transports en commun. La thèse a porté sur deux aspects critiques de ce type de systèmes: la fiabilité de la transmission de données et la capacité à localiser et à guider l'utilisateur de manière robuste. Elle a d'autre part développé un environnement de simulation pour le prototypage et l'analyse du fonctionnement de l'application nomade ainsi que l'étude des aspects réseaux de communication mobile. Les travaux se sont appuyés sur les acquis des projets RAMPE et INFOMOVILLE / The development of communication and locating systems and the progress of mobile devices have made possible new applications and services, allowing access to real-time information and improving the integration of blind people. ln this context, the thesis has contributed to the development of an information and guidance system to be used by blind travellers in public transports. The work has focused on two critical aspects for this kind of systems: the reliability of data transmission and the ability of localizing and guiding the user in an efficient way. A simulation environment has also been developed that can be used for the prototyping and the analysis of the mobile application as well as for the study of communication over the wireless network. The thesis is based on the results of the RAMPE and INFOMOVILLE projects

Ce travail se concentre sur une tâche de micro-navigation en plein air où le but est de naviguer vers une adresse de rue spécifiée en utilisant plusieurs modalités (par exemple, images, texte de scène et GPS). La tâche de micro-navigation extérieure s’avère etre un défi important pour de nombreuses personnes malvoyantes, ce que nous démontrons à travers des entretiens et des études de marché, et nous limitons notre définition des problèmes à leurs besoins. Nous expérimentons d’abord avec un monde en grille partiellement observable (Grid-Street et Grid City) contenant des maisons, des numéros de rue et des régions navigables. Ensuite, nous introduisons le Environnement de Trottoir pour la Navigation Visuelle (ETNV), qui contient des images panoramiques avec des boîtes englobantes pour les numéros de maison, les portes et les panneaux de nom de rue, et des formulations pour plusieurs tâches de navigation. Dans SEVN, nous formons un modèle de politique pour fusionner des observations multimodales sous la forme d’images à résolution variable, de texte visible et de données GPS simulées afin de naviguer vers une porte d’objectif. Nous entraînons ce modèle en utilisant l’algorithme d’apprentissage par renforcement, Proximal Policy Optimization (PPO). Nous espérons que cette thèse fournira une base pour d’autres recherches sur la création d’agents pouvant aider les membres de la communauté des gens malvoyantes à naviguer le monde. / This work focuses on an Outdoor Micro-Navigation (OMN) task in which the goal is to navigate to a specified street address using multiple modalities including images, scene-text, and GPS. This task is a significant challenge to many Blind and Visually Impaired (BVI) people, which we demonstrate through interviews and market research. To investigate the feasibility of solving this task with Deep Reinforcement Learning (DRL), we first introduce two partially observable grid-worlds, Grid-Street and Grid City, containing houses, street numbers, and navigable regions. In these environments, we train an agent to find specific houses using local observations under a variety of training procedures. We parameterize our agent with a neural network and train using reinforcement learning methods. Next, we introduce the Sidewalk Environment for Visual Navigation (SEVN), which contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. In SEVN, we train another neural network model using Proximal Policy Optimization (PPO) to fuse multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data, and to use this representation to navigate to goal doors. Our best model used all available modalities and was able to navigate to over 100 goals with an 85% success rate. We found that models with access to only a subset of these modalities performed significantly worse, supporting the need for a multi-modal approach to the OMN task. We hope that this thesis provides a foundation for further research into the creation of agents to assist members of the BVI community to safely navigate.