Change detection is an ability that allows intelligent agents to react to unexpected situations. This mechanism is fundamental in providing more autonomy to robots. It has been used in many different fields including quality control and network intrusion. In the visual domain, however, most research has been confined to stationary cameras and only recently have researchers started to shift to mobile cameras. \ We propose a general framework for building internal spatial models of the visual experiences. These models are used to retrieve expectations about visual inputs which can be compared to the actual observation in order to identify the presence of changes. Our framework leverages the tolerance to small view changes of optic flow and color histogram representations and a self-organizing map to build a compact memory of camera observations. The effectiveness of the approach is demonstrated in a walking simulation, where spatial information and color histograms are combined to detect changes in a room. The location signal allows the algorithm to query the self-organizing map for the expected color histogram and compare it to the current input. Any deviations can be considered changes and are then localized on the input image. Furthermore, we show how detecting a vehicle entering or leaving the camera's lane can be reduced to a change detection problem. This simplifies the problem by removing the need to track or even know about other vehicles. Matching Pursuit is used to learn a compact dictionary to describe the observed experiences. Using this approach, changes are detected when the learned dictionary is unable to reconstruct the current input. The human experiments presented in this dissertation support the idea that humans build statistical models that evolve with experience. We provide evidence that not only does this experience improve people's behavior in 3D environments, but also enables them to detect chromatic changes. Mobile cameras are now part of our everyday lives, ranging from built-in laptop cameras to cell phone cameras. The vision of this research is to enable these devices with change detection mechanisms to solve a large class of problems. Beyond presenting a foundation that effectively detects changes in environments, we also show that the algorithms employed are computationally inexpensive. The practicality of this approach is demonstrated by a partial implementation of the algorithm on commodity hardware such as Android mobile devices. / text

Dans ce travail, nous avons premièrement développé et caractérisé des capteurs de flux optique robustes aux changements de conditions lumineuses inspirés par le système visuel de la mouche et mesurant la vitesse angulaire à l'aide de l'algorithme appelé "time of travel". En particulier, nous avons comparé les performances de capteurs mesurant visuellement la vitesse angulaire en intérieur et en extérieur. Les résultats de nos capteurs bio-inspirés ont aussi été comparés avec des capteurs de souris optique. Enfin, une nouvelle implémentation de l'algorithme "time of travel" a été proposée réduisant la charge de calcul de l'unité de traitement.Dans le cadre du projet européen CurvACE (Curved Artificial Compound Eye), nous avons aussi participé au développement du premier oeil composé courbé artificiel capable de mesurer le flux optique à haute vitesse sur une large gamme de lumière ambiante. En particulier, nous avons caractérisé ce capteur et montré sa capacité à mesurer le flux optique à l'aide de plusieurs algorithmes.Finalement, nous avons aussi développé un robot aérien miniature attaché appelé BeeRotor équipé de capteurs et de stratégies de vol imitant les insectes volants et se déplaçant de manière autonome dans un tunnel contrasté. Ce robot peut expliquer comment les abeilles contrôlent leur vitesse et leur position à l'aide du flux optique, tout en démontrant que des solutions alternatives existent aux systèmes couramment utilisés en robotique. Basé seulement sur des boucles de contrôle réagissant à l'environnement, cet hélicoptère a démontré sa capacité à voler de manière autonome dans un environnement complexe et mobile. / In this thesis, we first developed and characterized optic flow sensors robust to illuminance changes inspired by the visual system of the fly and computing the angular speed thanks to the "time of travel" scheme. In particular, we have compared the performances of sensors processing the visual angular speed based on a standard retina or an aVLSI retina composed of pixels automatically adapting to the background illuminance in indoor and outdoor environments. The results of such bio-inspired sensors have also been compared with optic mouse sensors which are used nowadays on Micro Aerial Vehicles to process the optic flow but only in outdoor environments. Finally, a new implementation of the "time of travel" scheme has been proposed reducing the computational load of the processing unit.In the framework of the European project CurvACE, we also participated to the design and development of the first curved artificial compound eye including fast motion detection in a very large range of illuminations. In particular, we characterized such sensor showing its ability to extract optic flow using different algorithms.Finally, we also developed a tethered miniature aerial robot equipped with sensors and control strategies mimicking flying insects navigating in a high-roof tunnel. This robot may explain how honeybees control their speed and position thanks to optic flow, while demonstrating alternative solution to classical robotic approach relying on ground-truth and metric sensors. Based only on visuomotor control loops reacting suitably to the environment, this rotorcraft has shown its ability to fly autonomously in complex and unstationary tunnels.

Grâce aux progrès réalisés dans les domaines de la robotique et des systèmes de transport intelligents (ITS), les véhicules autonomes du futur sont en train de devenir une réalité. Comme les véhicules autonomes devront se comporter en toute sécurité en présence d’autres véhicules, de piétions et d’autres objets fixes ou en mouvement, une des choses les plus importantes qu’ils doivent faire est de percevoir efficacement à la fois leur mouvement et l’environnement autour d’eux. Dans cette thèse, nous avons d’abord étudié comment des capteurs visuels bio-inspirés, qui mesurent le flux optique en 1-D en utilisant seulement quelques pixels sur la base du système visuel de la mouche, pourraient être utilisés pour améliorer les manœuvres de stationnement automatiques. Nous avons ensuite travaillé sur une nouvelle rétine de silicium bio-inspirée, en montrant que le nouveau pixel, appelé M²APIX, est capable de s’auto-adapter dans une gamme de 7 décades et de répondre de manière appropriée à des changements de luminosité rapides jusqu’à ±3 décades, tout en conservant une sensibilité aux contrastes aussi bas que 2%. Nous avons enfin développé et testé un nouveau capteur de flux optique basé sur cette rétine auto-adaptative et sur une nouvelle méthode robuste pour le calcul du flux optique, qui est robuste aux variations de lumière, textures et vibrations que l’on retrouve en milieu routier. Nous avons également construit un robot de type voiture, appelé BioCarBot, qui estime sa vitesse et son angle de braquage au moyen d’un filtre de Kalman étendu (EKF), en utilisant uniquement les mesures de flux optique délivrées par deux capteurs de ce type regardant vers le sol. / Thanks to the advances in the fields of robotics and intelligent transportation systems (ITS), the autonomous vehicles of the future are gradually becoming a reality. As autonomous vehicles will have to behave safely in presence of other vehicles, pedestrians and other fixed and moving objects, one of the most important things they need to do is to effectively perceive both their motion and the environment around them. In this thesis, we first investigated how bio-inspired visual sensors, giving 1-D optic flow using a few pixels based on the findings on the fly’s visual system, could be used to improve automatic parking maneuvers. We subsequently tested a novel bio-inspired silicon retina, showing that the novel pixel, called M2APix, can auto-adapt in a 7-decade range and respond appropriately to step changes up to ±3 decades, while keeping sensitivity to contrasts as low as 2%. We lastly developed and tested a novel optic flow sensor based on this auto-adaptive retina and a new robust method for computing the optic flow, which is robust to the light levels, textures and vibrations that can be found while operating on the road. We also constructed a car-like robot, called BioCarBot, which estimates its velocity and steering angle by means of an extended Kalman filter (EKF) using only the optic flow measurements delivered by two downward-facing sensors of this kind.

No description available.

Lorsqu’ils explorent leur environnement, les humains comme les autres animaux ont la capacité d’utiliser de nombreuses sources d’information afin d’estimer la distance qu’ils parcourent. Le flux optique est un indice important dans la perception de la distance parcourue. De plus, il a été montré que l’ajout d’un point de vue oscillant à une simulation visuelle de mouvement propre vers l’avant modulait cette perception. A travers ce travail, nous nous sommes intéressés à tester si la perception de la distance parcourue était également affectée par un point de vue oscillant, mimant de manière plus ou moins fidèle les mouvements de la tête lors de la marche. Dans six premières expériences, il était demandé aux participants stationnaires, confrontés à un flux optique simulant leur propre mouvement vers l’avant, d’indiquer quand ils pensaient avoir atteint la position d’une cible distante initialement perçue. Une expérience subséquentes s'est intéressée à déterminer si l’absence de ces oscillations jouait un rôle important dans l’estimation de la distance parcourue lorsqu’ils marchaient sur un tapis roulant. Enfin, dans une dernière expérience nous avons développé une mesure dynamique de la distance parcourue à travers l’utilisation d’une tâche demandant aux participants de pointer continuellement la position d’une cible distante initialement perçue. Dans l’ensemble, nos résultats montrent qu’un point de vue oscillant joue un rôle important dans la perception visuelle du mouvement propre et que de nombreux paramètres semblent être impliqués dans ce processus, incluant les informations visuelles et proprioceptives mais également l’aspect écologique de la marche naturelle. / When exploring their environment, humans and other animals have the ability to use many sources of information to estimate the distance they travel. Several studies have shown that optic flow is a significant cue to perceive distance travelled. Furthermore, it was found that adding various viewpoint oscillations to a purely translational optic flow, simulating forward self-motion, modulated this perception. In a series of experiments, we tested whether the perception of distance travelled was also affected by viewpoint oscillation, similar to head motion during natural walking. A first series of experiments, participants were exposed to an immersive optic flow simulating forward self-motion and they were asked to indicate when they thought they had reached the remembered position of a previously seen target. Two further experiments aimed to test whether the idiosyncrasy of viewpoint oscillations affects the perception of distance travelled in stationary observers and whether the absence of their own viewpoint oscillation played an important role in subjects’ estimates, while they were walking on a treadmill. And finally, in a last experiment we tried to develop a dynamic measure of distance travelled to a previously seen target, with a continuous pointing task method. Overall, our results show that viewpoint oscillations play an important role in visual self-motion perception and that several parameters (including visual information, proprioceptive information and ecological aspects of natural walking) seem to be involved in this process.

Pilot spatial disorientation (SD) is a significant cause of incidents and fatal accidents in aviation. The pilot is susceptible to SD especially in low visibility when the visual system is deprived of information from outside the cockpit. This thesis presents the notion of visual flow displays as enhancement of symbology on flight displays primarily in low visibility for improved support of the pilot’s spatial orientation (SO) and control actions. In Studies I and II, synthetic visual flow of forward ego-motion was presented on displays and postural responses were used as measures of display effectiveness in determining SO. The visual flow significantly affected SO, and although the increased stimulation of the visual periphery from a width of 45° to about 105° increased the effects there was no further effect at a width of about 150° (Studies I and II). Studies I and II also showed that omitting 20°- or 30°-wide central fields of view from the visual flow either reduced or not reduced the effects. Further, although inconclusive, Study II may indicate that horizon symbology in central visual field may enhance the effects of peripheral visual flow. The appropriate integration of peripheral visual flow with the head-up display symbology of the Gripen aircraft was presented. Acceleration in a human centrifuge was used in Study III to investigate the effects of synthetic visual flow on the primarily vestibular-dependent somatogravic illusion of pitch-up. Two experiments revealed a reduced illusion with the visual flow. The results of Experiment 2 showed the visual flow scene not only reduced the illusion compared with a darkness condition but also compared with the visual scene without visual flow. Thus, similar to the main findings of Studies I and II, synthetic visual flow can significantly affect SO and supports the visually dependent SO system in an essential manner.

Made available in DSpace on 2014-12-17T15:48:12Z (GMT). No. of bitstreams: 1 LucasMO.pdf: 1455032 bytes, checksum: 6bc4218b3d779cfc9915c6a2efda34f1 (MD5) Previous issue date: 2007-02-23 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / Image segmentation is the process of subdiving an image into constituent regions or objects that have similar features. In video segmentation, more than subdividing the frames in object that have similar features, there is a consistency requirement among segmentations of successive frames of the video. Fuzzy segmentation is a region growing technique that assigns to each element in an image (which may have been corrupted by noise and/or shading) a grade of membership between 0 and 1 to an object. In this work we present an application that uses a fuzzy segmentation algorithm to identify and select particles in micrographs and an extension of the algorithm to perform video segmentation. Here, we treat a video shot is treated as a three-dimensional volume with different z slices being occupied by different frames of the video shot. The volume is interactively segmented based on selected seed elements, that will determine the affinity functions based on their motion and color properties. The color information can be extracted from a specific color space or from three channels of a set of color models that are selected based on the correlation of the information from all channels. The motion information is provided into the form of dense optical flows maps. Finally, segmentation of real and synthetic videos and their application in a non-photorealistic rendering (NPR) toll are presented / Segmenta??o de imagens ? o processo que subdivide uma imagem em partes ou objetos de acordo com alguma caracter?stica comum. J? na segmenta??o de v?deos, al?m dos quadros serem divididos em fun??o de alguma caracter?stica, ? necess?rio obter uma coer?ncia temporal entre as segmenta??es de frames sucessivos do v?deo. A segmenta??o fuzzy ? uma t?cnica de segmenta??o por crescimento de regi?es que determina para cada elemento da imagem um grau de pertin?ncia (entre zero e um) indicando a confian?a de que esse elemento perten?a a um determinado objeto ou regi?o existente na imagem. O presente trabalho apresenta uma aplica??o do algoritmo de segmenta??o fuzzy de imagem, e a extens?o deste para segmentar v?deos coloridos. Nesse contexto, os v?deos s?o tratados como volumes 3D e o crescimento das regi?es ? realizado usando fun??es de afinidade que atribuem a cada pixel um valor entre zero e um para indicar o grau de pertin?ncia que esse pixel tem com os objetos segmentados. Para segmentar as seq??ncias foram utilizadas informa??es de movimento e de cor, sendo que essa ?ltima ? proveniente de um modelo de cor convencional, ou atrav?s de uma metodologia que utiliza a correla??o de Pearson para selecionar os melhores canais para realizar a segmenta??o. A informa??o de movimento foi extra?da atrav?s do c?lculo do fluxo ?ptico entre dois frames adjacentes. Por ?ltimo ? apresentada uma an?lise do comportamento do algoritmo na segmenta??o de seis v?deos e um exemplo de uma aplica??o que utiliza os mapas de segmenta??o para realizar renderiza??es que n?o sejam foto real?sticas

Cette thèse présente l'implémentation d'une stratégie visuelle bio-inspirée sur un aéroglisseur miniature totalement actionné, qui lui permet de naviguer dans le plan horizontal d'un tunnel inconnu. L'élaboration de ce pilote automatique, nommé LORA, fait suite aux études éthologiques menées sur l'abeille depuis ces dernières décennies et nous ont amené à énoncer le principe de la régulation du flux optique pour le contrôle du vol de croisière. Ce pilote automatique est un double régulateur de flux optique latéral constitué de deux boucles visuo-motrices interdépendantes contrôlant conjointement la vitesse d'avance et la position du robot par rapport aux obstacles sans avoir à mesurer ou estimer aucun de ces paramètres. La clé de voûte de ce système de guidage est une troisième boucle destinée à maintenir le cap grâce à un micro-gyromètre et un micro-compas magnétique permettant au robot d'effectuer des mouvements de translation qui génèrent sur son œil composé artificiel du flux optique de translation, seul dépendant du ratio vitesse/distance aux obstacles. Cet œil estime le flux optique grâce à ses deux ou quatre Détecteurs élémentaires de mouvement (total de 4 ou 8 pixels). L'aéroglisseur est alors capable de franchir sans collision, à la manière d'une abeille, divers tunnels : droit, fuselé ou présentant une pente, un virage, une absence de texture sur un mur ou même une zone non-stationnaire. Cette stratégie visuelle bio-inspirée fournit non seulement une solution de navigation élégante à destination de robots totalement actionnés mais elle permet aussi d'expliquer comment une abeille de 100mg peut naviguer sans l'aide de SONAR, RADAR, LIDAR, ou GPS. / In this work, we present for the first time a bio-inspired motion vision-based navigation strategy embedded on a miniature fully-actuated hovercraft allowing it to navigate safely on the horizontal plane of an unknown corridor. The design of this autopilot, called LORA, follows the ethological findings made on honeybees these last decades, which led us to elaborate the principle of the optic flow regulation which might be used by insects to control their flight. The bee-inspired LORA autopilot is a dual optic flow regulator which consists in two intertwined visuomotor feedback loops which control jointly the forward speed of the robot and its clearance to the obstacles. The keystone of this bio-inspired guidance system is a heading-lock system enabling the robot to move in translations and therefore experience a purely translational optic flow which depends only on the ratio speed/clearance to obstacles thanks to a micro-gyrometer and a micro-magnetic compass. The estimation of optic flow is made by a minimalist compound eye, made of two or four Elementary Motion Detectors (only 4 or 8 pixels). The hovercraft is therefore able to cross without crashing a straight or a tapered corridor, presenting a frontal sloping terrain, a bend, a textureless wall, or even a non-stationary section by automatically adapting both its forward speed and its clearance to the walls imitating the honeybee. This bio-inspired visual strategy not only provides an elegant navigation solution in an unknown environment aimed to equip fully-actuated miniature vehicles but also to explain how a 100mg honeybee can navigate with few computational ressources, i.e., without any SONAR, RADAR, LIDAR or GPS.

Le vieillissement entraîne une dégradation des mécanismes sensoriels d’intégration pouvant se manifester dans les tâches de la vie quotidienne des seniors par une perte d'autonomie et des risques de chute. Parmi les facteurs contribuant à l’augmentation de ces risques, certains pourraient relever d’une dégradation de la (re)pondération des signaux sensoriels se traduisant par une augmentation de la dépendance aux informations visuelles et aux références spatiales associées.Examiner la dépendance au référentiel visuel (DRV) dans le contexte du vieillissement permet ainsi de mieux comprendre:• si des effets d’âge sur la cognition et/ou la sensorimotricité sont liés à l’augmentation de la DRV;• si la DRV majorée des seniors indique un mode préféré de référentiation spatiale ou une conséquence des déficits liés à l'âge;• l’évolution de ces associations et ces mécanismes en étudiant des jeunes adultes, des adultes d'âge intermédiaire et des seniors.Dans le Chapitre 2, nous avons examiné les facteurs associés à une plus grande DRV avec l'âge. Nous avons confirmé les résultats classiques de la littérature en montrant une augmentation de la DRV avec l’âge, de plus celle-ci était associée avec une réduction de i) l’effet Aubert, indiquant une réduction de la dépendance au référentiel égocentré (DRE), ii) la capacité de traitement d'attention visuelle parallèle, et iii) la stabilité de fixation visuelle.Nous avons étudié ensuite les comportements d’orientation et de stabilisation de nos participants pendant des tâches posturales, et de marche face à des flux optiques linéaires projetés au sol. Dans le Chapitre 3, nos participants se tenaient 1) en posture érigée pieds serrés ou 2) marchaient sur place (MSP - contacts podaux intermittents) face à 1- une stimulation visuelle statique, 2- un flux optique naturel (aucune stimulation), 3- en approche ou 4- en recul. Les flux optiques ont surtout influencé la MSP induisant des dérives antéroposterieures de la tête, du tronc et du centre de pression (CdP). Les dérives étaient plus marquées chez les seniors par rapport aux autres groupes. Ces participants ont aussi montré des dérives naturelles en condition de MSP, i.e. sans stimulation visuelle projetée. La direction du flux optique a provoqué les effets les plus importants sur la dérive du CdP en association avec i) une DRV supérieure, ii) une DRE réduite et iii) une plus grande dérive naturelle,Dans le chapitre 4, nous avons étudié l'influence de ces mêmes flux sur le contrôle des paramètres de la marche et sur la stabilisation de la tête au cours de la marche. La dépendance au cadre de référence visuel s’est manifestée chez les seniors dans les conditions de i) flux naturel par une stratégie d’abaissement de la tête et une capacité réduite de stabilisation de la tête sur l’espace dont on peut penser que ces comportements visaient à maximiser l’utilisation des indices visuels disponibles, et ii) flux visuels imposés, par une réorientation du tronc et une augmentation de la fréquence du pas. Les résultats montrent aussi une adoption plus fréquente de la stratégie de stabilisation de la tête sur l’espace en conditions imposées de stimulation visuelle. Ce résultat suggère qu’un renforcement artificiel du flux optique mène à une adaptation posturale permettant une meilleure intégration des informations sensorielles pendant la marche.Nos résultats complètent les connaissances actuelles sur les relations entre la DRV et le contrôle sensorimoteur en fonction de la tâche perceptivo- motrice avec l’âge. Cette dépendance semble être associée à une réduction de l'exploitation du cadre de référence égocentrée en termes de perception de l’orientation du corps/verticale et de mouvement- propre, et se manifeste différemment selon la tâche. Enfin, notre travail ouvre des pistes de réflexion pour tenir compte de la DRV exacerbée dans la conception de protocoles d’entraînement pour des seniors plus dépendants. / Aging entails deficits in the mechanisms of sensory integration which may affect daily living tasks in old adults, ultimately leading to loss of autonomy and health risks, notably falls. Among the factors contributing to these risks, some may be associated with a degradation in sensory (re)weighting, leading to a greater reliance on visual cues and the associated frames of reference (FoR) (visual field dependence).Our aim was to study how preferential modes of spatial referencing influence sensorimotor control. Examining visual field dependence in the context of aging thus allows to better understand:• if age-related cognition and/or sensorimotor deficits are associated with increased reliance on the visual FoR;• whether this reliance indicates a preferred mode of spatial referencing or a consequence of age-related deficits;• how the above associations and mechanisms evolve by studying young, middle-aged and old adults.We first examined possible factors associated with greater reliance on the visual FoR with age (Chapter 2). We confirmed classic literature reports of increased visual field dependence in old age, and uncovered an association between greater visual field dependence and reduced i) reliance on the egocentric FoR, ii) parallel attentional visual processing ability, and iii) visual fixation stability.We subsequently examined the orientation and stabilisation behaviour of our participants during postural tasks and while walking under different conditions of linear ground optic flow. In Chapter 3, participants stood quietly or stepped in place (SIP – intermittent podal contacts with the ground surface) while confronted with 1- natural optic flow (no stimulus), 2- a static visual stimulation, 3- approaching and 4- receding optic flow. The results showed that the optic flow stimuli influenced SIP primarily as evidenced by anteroposterior drifting of the head, trunk and centre of pressure (COP). Old adults had larger amplitudes of drift compared to the younger participants, and drifted even under natural flow (natural drift) during SIP, indicating reduced egocentric self-motion perception. The most important directional optic flow effects were on the COP and were associated with i) increased reliance on the visual FOR, ii) reduced reliance on the egocentric FoR, and iii) greater natural drift.In Chapter 4 we investigated the influence of ground optic flow on the control of walking and head stabilisation. Reliance on the visual FoR in old adults was manifested under conditions of i) natural flow by a reduced head pitch orientation and ability to stabilise their head in space, which may indicate a strategy to maximise the salience of available visual cues and ii) imposed optic flow, by a re-orientation of the trunk in pitch and increase in stepping frequency. Our results also revealed a general improvement of head stabilisation under conditions of imposed visual stimulation towards a more frequent adoption of the head stabilisation in space strategy. This suggests that the artificial enhancement of optic flow provokes a postural adaptation in order to optimise sensory information processing when walking.Our findings extend current knowledge on the association between reliance on the visual FoR and sensorimotor control across adulthood and depending on the perceptivo-motor task. It is evident that this reliance is linked to a reduction in the exploitation of the egocentric FoR in terms of body orientation and self-motion perception, and that its manifestation depends on the task. Finally, our work provides insights for the design of training protocols aimed at frailer olds taking into account exacerbated reliance on the visual FoR.

No description available.