Le développement des systèmes de communication et de localisation et les progrès des dispositifs mobiles rendent possible la mise en œuvre de nouvelles applications et services, permettant l'accès à des informations temps réel et l'amélioration de l'intégration des personnes aveugles. Dans ce contexte, la thèse a contribué au développement d'un système d'information et de guidage destiné aux personnes aveugles dans les transports en commun. La thèse a porté sur deux aspects critiques de ce type de systèmes: la fiabilité de la transmission de données et la capacité à localiser et à guider l'utilisateur de manière robuste. Elle a d'autre part développé un environnement de simulation pour le prototypage et l'analyse du fonctionnement de l'application nomade ainsi que l'étude des aspects réseaux de communication mobile. Les travaux se sont appuyés sur les acquis des projets RAMPE et INFOMOVILLE / The development of communication and locating systems and the progress of mobile devices have made possible new applications and services, allowing access to real-time information and improving the integration of blind people. ln this context, the thesis has contributed to the development of an information and guidance system to be used by blind travellers in public transports. The work has focused on two critical aspects for this kind of systems: the reliability of data transmission and the ability of localizing and guiding the user in an efficient way. A simulation environment has also been developed that can be used for the prototyping and the analysis of the mobile application as well as for the study of communication over the wireless network. The thesis is based on the results of the RAMPE and INFOMOVILLE projects

Ce travail se concentre sur une tâche de micro-navigation en plein air où le but est de naviguer vers une adresse de rue spécifiée en utilisant plusieurs modalités (par exemple, images, texte de scène et GPS). La tâche de micro-navigation extérieure s’avère etre un défi important pour de nombreuses personnes malvoyantes, ce que nous démontrons à travers des entretiens et des études de marché, et nous limitons notre définition des problèmes à leurs besoins. Nous expérimentons d’abord avec un monde en grille partiellement observable (Grid-Street et Grid City) contenant des maisons, des numéros de rue et des régions navigables. Ensuite, nous introduisons le Environnement de Trottoir pour la Navigation Visuelle (ETNV), qui contient des images panoramiques avec des boîtes englobantes pour les numéros de maison, les portes et les panneaux de nom de rue, et des formulations pour plusieurs tâches de navigation. Dans SEVN, nous formons un modèle de politique pour fusionner des observations multimodales sous la forme d’images à résolution variable, de texte visible et de données GPS simulées afin de naviguer vers une porte d’objectif. Nous entraînons ce modèle en utilisant l’algorithme d’apprentissage par renforcement, Proximal Policy Optimization (PPO). Nous espérons que cette thèse fournira une base pour d’autres recherches sur la création d’agents pouvant aider les membres de la communauté des gens malvoyantes à naviguer le monde. / This work focuses on an Outdoor Micro-Navigation (OMN) task in which the goal is to navigate to a specified street address using multiple modalities including images, scene-text, and GPS. This task is a significant challenge to many Blind and Visually Impaired (BVI) people, which we demonstrate through interviews and market research. To investigate the feasibility of solving this task with Deep Reinforcement Learning (DRL), we first introduce two partially observable grid-worlds, Grid-Street and Grid City, containing houses, street numbers, and navigable regions. In these environments, we train an agent to find specific houses using local observations under a variety of training procedures. We parameterize our agent with a neural network and train using reinforcement learning methods. Next, we introduce the Sidewalk Environment for Visual Navigation (SEVN), which contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. In SEVN, we train another neural network model using Proximal Policy Optimization (PPO) to fuse multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data, and to use this representation to navigate to goal doors. Our best model used all available modalities and was able to navigate to over 100 goals with an 85% success rate. We found that models with access to only a subset of these modalities performed significantly worse, supporting the need for a multi-modal approach to the OMN task. We hope that this thesis provides a foundation for further research into the creation of agents to assist members of the BVI community to safely navigate.

Ce rapport résume mes activités de recherche depuis l'obtention de mon doctorat. Je me suis penché sur le problème fondamental de l'estimation de signaux sources à partir de l'observation de mesures corrompues de ces signaux, dans des scénarios où les données mesurées peuvent être considérées comme une transformation linéaire inconnue des sources. Deux problèmes classiques de ce type sont la déconvolution ou égalisation de canaux introduisant des distorsions linéaires, et la séparation de sources dans des mélanges linéaires. L'approche dite aveugle essaie d'exploiter un moindre nombre d'hypothèses sur le problème à résoudre : celles-ci se réduisent typiquement à l'indépendance statistique des sources et l'inversibilité du canal ou de la matrice de mélange caractérisant le milieu de propagation. Malgré les avantages qui ont suscité l'intérêt pour ces techniques depuis les années soixante-dix, les critères aveugles présentent aussi quelques inconvénients importants, tels que l'existence d'ambiguïtés dans l'estimation, la présence d'extrema locaux associés à des solutions parasites, et un coût de calcul élevé souvent lié à une convergence lente. Ma recherche s'est consacrée à la conception de nouvelles techniques d'estimation de signal visant à pallier aux inconvénients de l'approche aveugle et donc à améliorer ses performances. Une attention particulière a été portée sur deux applications dans les télécommunications et le génie biomédical : l'égalisation et la séparation de sources dans des canaux de communications numériques, et l'extraction de l'activité auriculaire à partir des enregistrements de surface chez les patients souffrant de fibrillation auriculaire. La plupart des techniques proposées peuvent être considérées comme étant semi-aveugles, dans le sens où elles visent à exploiter des informations a priori sur le problème étudié autres que l'indépendance des sources ; par exemple, l'existence de symboles pilotes dans les systèmes de communications ou des propriétés spécifiques de la source atriale dans la fibrillation auriculaire. Dans les télécommunications, les approches que j'ai explorées incluent des solutions algébriques aux fonctions de contraste basées sur la modulation numérique, la combinaison de contrastes aveugles et supervisés dans des critères semi-aveugles, et une technique d'optimisation itérative basée sur un pas d'adaptation calculé algébriquement. Nos efforts visant à extraire le signal atrial dans des enregistrements de fibrillation auriculaire nous ont permis non seulement de dégager de nouvelles fonctions de contraste basées sur les statistiques de second ordre et d'ordre élevé incorporant l'information a priori sur les statistiques des sources, mais aussi d'aboutir à de nouveaux résultats d'impact clinique et physiologique sur ce trouble cardiaque encore mal compris. Ce rapport se conclut en proposant quelques perspectives pour la continuation de ces travaux. Ces recherches ont été menées en collaboration avec un nombre de collègues en France et à l'étranger, et ont également compris le co-encadrement de plusieurs doctorants. Les contributions qui en ont découlé ont donné lieu à plus de soixante publications dans des journaux, des conférences et des ouvrages collectifs à caractère international. Quelques-unes de ces publications sont jointes à ce document.