A successful restoration of vision should allow the blind to look, to see and to understand. The engineering of a microelectronic vision prosthesis has come a long way over the last forty years, but the understanding of how the restored form of vision would be interpreted and functionally applied to everyday living has made little progress until recent times. Prosthetic vision is not what most people think it would be; it is a visual scene composed of relatively large, isolated, spots of light so-called "phosphenes", very much like a magnified pictorial print. This thesis dissertation seeks to obtain a complete survey of the visual description of phosphenes from the human trial reports in the literature, simulate it, obtain a measure of the functional capacity of such visual perception, and explain the measured performance against design aspects of phosphene presentation, human perception, cognition and behaviour. Specifically, "visual acuity" (VA) was assessed on normally sighted subjects (N=15) administered with "simulated prosthetic vision". VA is a functional measure of vision highly correlated to many daily activities. Aggregating the results from the study with the other VA studies in prosthetic vision, it is shown that in general, the density of the phosphene field determines the affordable VA; however, design aspects relating to the phosphene field lattice (0.03 10gMAR with the hexagonal lattice as opposed to a square lattice) and image processing routines (0.15 10gMAR at optimised settings) can be further fine-tuned to improve VA performance. Significant performance improvement also arose from learning (0.13 10gMAR over ten visitations) and visual scanning adaptation (0.20 10gMAR with a circular scanning strategy). Performance improvements are likely related to various preferences and perceptual preferences of the human visual system. A rehabilitation program targeting the appropriate behavioural adaptation coupled with image processing routine optimised for image comprehension should provide a vision prosthesis recipient with the best functional experience to restored vision.

La cécité touche 39 millions de personnes dans le monde et génère de nombreuses difficultés dans la vie quotidienne. Plus précisément, les capacités de navigation (incluant orientation et mobilité) sont fortement diminuées, ce qui amène les personnes non-voyantes à limiter, voire à cesser leurs déplacements. Pour restaurer des sensations "visuelles", et par-delà, une certaine autonomie, il est possible de stimuler directement le système visuel résiduel d'une personne non-voyante à l'aide d'un implant administrant des micro-stimulations électriques. Le dispositif complet se compose d'une micro-caméra portée sur des lunettes et reliée à un ordinateur de poche, qui lui-même est connecté à l'implant. Lors des micro-stimulations, les sujets perçoivent des tâches grises, blanches ou jaunâtres appelées phosphènes. Ainsi la qualité de la vision restaurée est directement dépendante de la résolution et de la position de l'implant. Le nombre d'électrodes étant faible pour les implants en développement (moins d'une centaine), il est nécessaire de réduire drastiquement la résolution du flux vidéo pour la faire correspondre à la faible résolution de l'implant. Actuellement, l'Argus II de la société Second Sight est l'implant dont le développement est le plus avancé et sa résolution est de 60 électrodes, ce qui permet aux patients implantés de percevoir 60 phosphènes différents. Cette vision restaurée est donc très pauvre et un travail d'optimisation du signal est nécessaire pour pouvoir utiliser l'implant de manière fonctionnelle. Les sujets implantés sont impliqués dans des protocoles cliniques fermés ne permettant pas de les inclure dans d'autres expériences. Malgré cela, il est possible d'étudier les possibilités offertes par ces implants visuels en simulant la vision prothétique dans un casque de réalité virtuelle porté par des sujets voyants. Il s'agit du domaine de la vision prothétique simulée (VPS). La navigation n'a jamais été étudiée chez les patients implantés et très rarement en VPS. Il s'avère qu'avec des implants de très faible résolution, elle pose de grandes difficultés liées à la mobilité mais également des difficultés liées à l'orientation. Les travaux entrepris dans ce doctorat se concentrent sur l'étude de la navigation en VPS. Différentes théories en psychologie nous ont permis d'identifier les éléments importants pour les sujets afin qu'ils se repèrent et se construisent une représentation mentale fiable de l'environnement lors de la navigation. À partir de ces modèles, différents rendus prothétiques utilisant la vision par ordinateur ont été conçus et testés dans une tâche de navigation réalisée dans un environnement virtuel. Les expérimentations effectuées avaient pour objectif d'optimiser la perception et la compréhension de l'espace parcouru avec un implant de faible résolution. Ces évaluations reposaient sur la performance de temps des sujets pour effectuer la tâche de navigation et sur leur représentation mentale de l'environnement. Après la tâche de navigation, il leur était demandé de dessiner la carte des environnements explorés, afin d'évaluer ces représentations. Cette double évaluation a permis d'identifier les indices importants permettant de faciliter la perception et la mémorisation de la structure des environnements dans une tâche de navigation en VPS. Pour améliorer les performances des personnes non-voyantes implantées, il apparaît notamment nécessaire de limiter la quantité d'information présentée, tout en préservant la structure de l'environnement grâce à des algorithmes de vision par ordinateur. Lorsque l'accès à des patients implantés sera plus ouvert, il deviendra nécessaire de valider ces différents résultats en les faisant naviguer en environnement virtuel puis en environnement réel. / Blindness affects thirty nine millions people in the world and generates numerous difficulties in everyday life. Specifically, navigation abilities (which include wayfinding and mobility) are heavily diminished. This leads blind people to limit and eventually to stop walking outside. Visual neuroprosthesis are developed in order to restore such "visual" perception and help them to get some autonomy back. Those implants generate electrical micro-stimulations which are focused on the retina, the optic nerve or the visual cortex. Those stimulations elicit blurry dots called "phosphenes". Phosphenes can be mainly white, grey or yellow. The whole stimulation device contains a wearable camera, a small computer and the implant which is connected to the computer. The implant resolution and position impact directly the quality of the restored visual perception. Current implants include less than a hundred electrodes so it is mandatory to reduce the resolution of the visual stream to match the implant resolution. For instance, the already commercialized Argus II implant from the company Second Sight (Seymar, California) is the leading visual implant worldwide and uses only sixty electrodes. This means that Argus II blind owners can perceive only sixty phosphenes simultaneously. Therefore this restored vision is quite poor and signal optimization is required to get to a functional implant usage. Blind people with implants are involved in restricted clinical trials and are difficult to reach. Yet, studying those implant possibilities is at our reach by simulating prosthetic vision and displaying it in a head mounted display for sighted subjects. This is the field of simulated prosthetic vision (SPV). Navigation was never studied with people with implant, and only a few studies approached this topic in SPV. In this thesis, we focused on the study of navigation in SPV. Computer vision allowed us to select which of the scene elements to display in order to help subjects to navigate and build a spatial representation of the environment. We used psychological models of navigation to conceive and evaluate SPV renderings. Subjects had to find their way and collect elements in a navigation task in SPV inspired by video games for the blind. To evaluate their performance we used a performance index based on the completion time. To evaluate their mental representation, we asked them to draw the environment layout after the task for each rendering. This double evaluation lead us to spot which elements can and should be displayed in low resolution SPV in order to navigate. Specifically those results show that to be understandable in low vision, a scene must be simple and the structure of the environment should not be hidden. When blind people with implant will become available we will be able to confirm or deny those results by evaluating their navigation in virtual and real environments.

Ces travaux s'inscrivent dans le cadre plus général de la réalisation d'une prothèse visuelle, destinée aux personnes atteintes de cécité tardive due à une maladie dégénérative des cellules photo réceptrices de la rétine. Par la stimulation adéquate de certaines parties des voies optiques encore fonctionnelles, il est possible de transmettre à nouveau des perceptions visuelles, appelées phosphènes, dans le champ visuel du patient. Les études actuelles portant sur le contenu informationnel de cette vision prothétique proposent simplement de réduire la résolution de l'image d'une caméra embarquée. Notre étude propose une nouvelle approche basée sur le principe de la vision fonctionnelle, développée en collaboration avec les spécialistes de la rééducation fonctionnelle de l'institut ARAMAV. Par le biais de cette approche innovante, nous avons défini des méthodes d'extraction et de représentation des informations de la scène. L'objectif est d'améliorer l'autonomie en mobilité et de rendre possible la perception des expressions faciales. Pour évaluer la pertinence de ces propositions, nous avons développé un simulateur de vision prothétique, dont les paramètres sont basés sur les résultats d'essais cliniques. Pour la mobilité, nous mettons notamment en évidence l'intérêt de fournir un accès aux informations 3D, en substitution ou en complément de l'information de luminosité, ainsi que l'intérêt d'utiliser un oculomètre pour améliorer et faciliter la prise d'informations. Des expériences spécifiques à la mobilité, ainsi que certains résultats initiaux sont présentés. Pour la reconnaissance des expressions faciales, notre étude apporte la preuve que ces expressions sont correctement perçues si nous combinons des techniques de sélection de l'information et l'utilisation de certains prétraitements. / This work falls within the broader framework of visual prostheses conception, designed for people suffering from late blindness due to degenerative diseases of retina photoreceptor cells. By stimulating certain part of the optical pathway that is still functional, it is possible to elicit visual perceptions, called phosphenes, in the subject's visual field. Recent studies on the problematic of informational content of prosthetic vision propose, in majority, a simple reduction in the resolution of grayscale images acquired from a single head worn camera. Our study proposes a new approach based on the principle of functional vision, developed in collaboration with specialists in functional rehabilitation of the ARAMAV institute. Through this innovative approach, we have defined methods for extraction and representation of scene informational content, which aim to improve autonomy in mobility and to make possible the perception of facial expressio ns. In order to evaluate these propositions, we have developed a prosthetic vision simulator, whose parameters are based on clinical trials results. For mobility, we present the usefulness of providing access to 3D information, in substitution or in addition with brightness information and the usefulness of an eye tracking device to improve and facilitate spatial knowledge acquisition. Experiments dedicated to mobility as well as some preliminary results are presented. For the recognition of facial expressions, our study provides evidence that these expressions are correctly perceived if we combined information selection and specific image processing techniques.