No description available.

This work envolves basic options of human visual sense, describes matter of depth perception. We analyze binocular vision of humans, its limits, which must be considered, and followed when trying to project stereoscopic pictures. Then, we mention the most common methods of stereoscopic projection, reader is made acquainted with their options, advantages, and difficulties. The biggest part of this work is dedicated to the optimalizations themselves. They are focused on the most effective rendering of 3D scenes using stereoscopic technology. The effort is to make the best stereoscopic engine as possible and to inspect and improve displayed scene, so that the stereoeffect would be the best. Trivisio ARvision-3D HMD was used for testing purposes.

4D panoptic segmentation is an emerging topic in the field of autonomous driving, which jointly tackles 3D semantic segmentation, 3D instance segmentation, and 3D multi-object tracking based on point cloud data. However, the difficulty of collection limits the size of existing point cloud datasets. Therefore, data augmentation is employed to expand the amount of existing data for better generalization and prediction ability. In this thesis, we built a new point cloud dataset named VCE dataset from scratch. Besides, we adopted a neural network model for the 4D panoptic segmentation task and proposed a simple geometric method based on translation operation. Compared to the baseline model, better results were obtained after augmentation, with an increase of 2.15% in LSTQ. / 4D-panoptisk segmentering är ett framväxande ämne inom området autonom körning, som gemensamt tar itu med semantisk 3D-segmentering, 3D-instanssegmentering och 3D-spårning av flera objekt baserat på punktmolnsdata. Svårigheten att samla in begränsar dock storleken på befintliga punktmolnsdatauppsättningar. Därför används dataökning för att utöka mängden befintliga data för bättre generalisering och förutsägelseförmåga. I det här examensarbetet byggde vi en ny punktmolndatauppsättning med namnet VCE-datauppsättning från grunden. Dessutom antog vi en neural nätverksmodell för 4D-panoptisk segmenteringsuppgift och föreslog en enkel geometrisk metod baserad på översättningsoperation. Jämfört med baslinjemodellen erhölls bättre resultat efter förstärkning, med en ökning på 2.15% i LSTQ.

<p dir="ltr">The advent of advanced machine learning and computer vision techniques has led to the feasibility of 3D perception in the real world, which includes but not limited to tasks of monocular depth estimation (MDE), 3D object detection, semantic scene completion, optical flow estimation (OFE), etc. Due to the 3D nature of our physical world, these techniques have enabled various real-world applications like Autonomous Driving (AD), unmanned aerial vehicle (UAV), virtual/augmented reality (VR/AR) and video composition, revolutionizing the field of transportation and entertainment. However, it is well-documented that Deep Neural Network (DNN) models can be susceptible to adversarial attacks. These attacks, characterized by minimal perturbations, can precipitate substantial malfunctions. Considering that 3D perception techniques are crucial for security-sensitive applications, such as autonomous driving systems (ADS), in the real world, adversarial attacks on these systems represent significant threats. As a result, my goal of research is to build secure and robust real-world 3D perception systems. Through the examination of vulnerabilities in 3D perception techniques under such attacks, my dissertation aims to expose and mitigate these weaknesses. Specifically, I propose stealthy physical-world attacks against MDE, a fundamental component in ADS and AR/VR that facilitates the projection from 2D to 3D. I have advanced the stealth of the patch attack by minimizing the patch size and disguising the adversarial pattern, striking an optimal balance between stealth and efficacy. Moreover, I develop single-modal attacks against camera-LiDAR fusion models for 3D object detection, utilizing adversarial patches. This method underscores that mere fusion of sensors does not assure robustness against adversarial attacks. Additionally, I study black-box attacks against MDE and OFE models, which are more practical and impactful as no model details are required and the models can be compromised through only queries. In parallel, I devise a self-supervised adversarial training method to harden MDE models without the necessity of ground-truth depth labels. This enhanced model is capable of withstanding a range of adversarial attacks, including those in the physical world. Through these innovative designs for both attack and defense, this research contributes to the development of more secure and robust 3D perception systems, particularly in the context of the real world applications.</p>

Made available in DSpace on 2016-04-27T14:32:32Z (GMT). No. of bitstreams: 1 Roberto Sussumu Wataya.pdf: 12788561 bytes, checksum: eb8f9cad18841149a8e1f1cf41d7e2fd (MD5) Previous issue date: 2009-06-18 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Blind and visually impaired people are unable to see and appreciate pictorial art because of visual problems, for, as we know, visual language is still the prevailing form of communication in cultural activities. Individuals who bear Special Visual Needs (ISVN) can utilize a 3D perception development system, that allows, through an educational process, the ISVN to be prepared for a new reality, that is, to go from the 2D dimension to the 3D. Such a system would help these individuals to read the world in an imagery rich context. This study aimed at showing that systems based on Augmented Reality (AR) can facilitate ISVN`s inclusion in the world of painting. In order to accomplish this study, a Colaborative Authorship with Augmented Reality System (CAARS) was used to develop perception systems. These perception systems were utilized in 3D learning situations with 10 congenital blind adults, 4 of which are undergraduate students at UNASP/SP and 6 graduated professionals. These experiences showed that the proposed perception system offered the congenital blind individuals the possibility of learning all the techniques and concepts of 3D representation and interact with certain autonomy in the environment. The 3D perception systems developed for the congenital blind individuals enables them to have access to museums and other cultural spaces, resulting in a contribution to the social inclusion of this group / Pessoas cegas estão impossibilitadas de contemplar e apreciar a arte pictórica por problemas visuais, pois a linguagem visual ainda é a forma de comunicação predominante nas ações culturais. Os Portadores de Necessidades Especiais Visuais (PNEV s) podem utilizar um Sistema de Desenvolvimento de Percepção em 3D (SDP3D) que permita, por processo educacional educar o DV para uma nova realidade, a partir da dimensão 3D <---> 2D. Tal sistema deve ajudar a fazer a leitura do mundo em um contexto rico em representações. Este estudo, teve como objetivo mostrar que sistemas baseados em Realidade Aumentada (RA) podem facilitar a inclusão dos DV s no mundo da pintura. Para realização deste trabalho, foi utilizado o Sistema de Autoria Colaborativa com Realidade Aumentada (SACRA), para elaboração do SDP3D e suas aplicações na aprendizagem em representações 3D, e a participação de 10 cegos congênitos adultos, sendo quatro graduandos no UNASP/SP, e seis profissionais já graduados. As experiências realizadas mostraram que o SDP3D, proposto ofereceu aos cegos congênitos a possibilidade de aprender todas as técnicas e os conceitos de representação 3D, e interagir com uma certa autonomia no ambiente. Esse sistema de desenvolvimento de percepção em 3D para cegos congênitos permite o acesso a espaços museológicos e também a outros espaços culturais, resultando em uma contribuição para a inclusão social desse grupo

Aquesta tesi tracta sobre la combinació del control visual i la llum estructurada. El control visual clàssic assumeix que elements visuals poden ser fàcilment extrets de les imatges. Això fa que objectes d'aspecte uniforme o poc texturats no es puguin tenir en compte. En aquesta tesi proposem l'ús de la llum estructurada per dotar d'elements visuals als objectes independentment de la seva aparença.En primer lloc, es presenta un ampli estudi de la llum estructurada, el qual ens permet proposar un nou patró codificat que millora els existents. La resta de la tesi es concentra en el posicionament d'un robot dotat d'una càmara respecte diferentsobjectes, utilitzant la informació proveïda per la projecció de diferents patrons de llum. Dos configuracions han estat estudiades: quan el projector de llum es troba separat del robot,i quan el projector està embarcat en el robot juntament amb la càmara. Les tècniques proposades en la tesi estan avalades per un ampli estudi analític i validades per resultats experimentals. / This thesis treats about the combination of visual servoing and structured light. Classic visual servoing assumes that visual features can be extracted from the images. However, uniform ornon-textured objects, or objects for which extracting features is too complex or too time consuming cannot be taken into account.This thesis proposes the use of structured light patterns for providing suitable visual features independently of the object appearance.Firstly, a comprehensive survey on coded structured light patterns is presented. Then, a new pattern improving the existing ones isproposed. The remaining of the thesis is devoted to position an eye-in-hand robot with respect to objects by using features provided by light patterns. Two configurations are tested. In thefirst one, an off-board video-projector is used while in the second, an onboard structured light emitter is exploited. The techniques proposed in the thesis are supported by theoreticalanalysis and they are validated by experimental results.

Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn. Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa.La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals.Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències.Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen lessemblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals.Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori.Les principals contribucions d'aquest treball són:·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes.·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic.·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil.·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat. / Human eyes have been widely studied by the scientific community so that its operation principle is widely known. Computer vision tries to copy the way human beings perceive visual information by means of using cameras acting as eyeballs and computers aspiring to process this information in an --intelligent way". The complex task of being conscious of reality is obviously divided into a set of simpler problems which covers from image acquisition to scene description. One of the main applications is robot perception in which a mobile robot is equipped with a computer vision system. Robots may be able to navigate around an unknown structured environment acquiring visual information of their surroundings with the aim of estimating the position and orientation of every obstacle. Moreover, the pose of the vehicle has to be estimated as accurate as possible. Hence, the motion of the vehicle might be also computed allowing the localization of the vehicle with respect to the 3D map.This thesis is focused on the study of the geometry involved in stereo vision systems composed by two cameras with the aim of obtaining 3D geometric information of the vehicle surroundings. This objective deals to the study of camera modelling and calibration and the comprehension of the epipolar geometry. Then, the computation of the fundamental matrix of a stereoscopic system is surveyed with the aim of reducing the correspondence problem between both image planes. An accurate estimation of the fundamental matrix allows us not only to compute 3D information of the vehicle environments, but to validate it. Nevertheless, the traditional case of the epipolar geometry has some limitations in the common case of a single camera attached to a mobile robot. Disparities between two consecutive images are rather small at common image rates leading to numerical inaccuracies on the computation of the fundamental matrix. Then, another objective is the study of general vision-based egomotion estimation methods based on the differential epipolar constraint with the aim of perceiving the robot movement instead of its position. The study of the geometry involved in stereo vision systems leads us to present a computer vision system mounted on a vehicle which navigates in an unknown environment. Two main tasks are faced: a) the localization of the vehicle; and b) the building of an absolute 3D map. / El sistema de visión humano ha sido ampliamente estudiado por la comunidad científica de forma que su principio de funcionamiento es profundamente conocido. La Visión por Computador trata de copiar la forma que nosotros los humanos percibimos la información visual por medio del uso de cámaras actuando como ojos y un ordenador aspirando a procesar toda la información de "forma inteligente". La compleja tarea de ser consciente de la realidad es obviamente dividida en un conjunto de problemas mucho más simples, los cuales abarcan des de la adquisición de la imagen a la descripción de la escena. Una de las numerosas aplicaciones es la percepción por parte de un robot, donde un robot móvil es equipado con un sistema informático de visión por computador. Estos robots deben ser capaces de navegar a lo largo de un entorno estructurado desconocido mediante la adquisición de información visual de su alrededor, con el objetivo de estimar la posición y orientación de todos los obstáculos. Además, la posición del vehículo debe ser estimada de la forma más precisa posible. De esta forma, el movimiento del vehículo puede ser también calculado lo que permite la localización del vehículo con respeto al mapa 3D.Esta tesis profundiza en el estudio de la geometría existente en los sistemas de visión estéreo compuestos por dos cámaras con la intención de obtener información geométrica 3D del entorno del vehículo. Este objetivo lleva consigo la necesidad inicial de realizar un estudio de modelado de la cámara y calibración, y la compensación de la geometría epipolar. A continuación, el cálculo de la matriz fundamental de un sistema esteresocópico es analizado para reducir el problema de la correspondencia entre ambos planos de la imagen. Una estimación precisa de la matriz fundamental nos permite no solamente obtener la información 3D del entorno, sino también validar la misma. No obstante, la geometría epipolar tradicional sufre algunas limitaciones en el caso de una cámara montada en un robot móvil. La disparidad entre dos imágenes consecutivas es realmente mínima trabajando a velocidad estándar lo que conlleva a errores numéricos en el cálculo de la matriz fundamental. Por esta razón, otro objetivo es el estudio de los métodos de estimación del movimiento basados en la geometría epipolar diferencial con el objetivo de pervivir el movimiento del robot y su posición.El estudio de la geometría inmersa en los sistemas de visión estéreo nos lleva a presentar un sistema de visión por computador montado en un vehículo capaz de navegar en un entorno desconocido. Dos tareas básicas son consideradas: a) la localización del vehículo; y b) la construcción de un mapa 3D absoluto.

La percepció per visió es millorada quan es pot gaudir d'un camp de visió ampli. Aquesta tesi es concentra en la percepció visual de la profunditat amb l'ajuda de càmeres omnidireccionals. La percepció 3D s'obté generalment en la visió per computadora utilitzant configuracions estèreo amb el desavantatge del cost computacional elevat a l'hora de buscar els elements visuals comuns entre les imatges. La solució que ofereix aquesta tesi és l'ús de la llum estructurada per resoldre el problema de relacionar les correspondències.S'ha realitzat un estudi sobre els sistemes de visió omnidireccional. S'han avaluat vàries configuracions estèreo i s'ha escollit la millor. Els paràmetres del model són difícils de mesurar directament i, en conseqüència, s'ha desenvolupat una sèrie de mètodes de calibració.Els resultats obtinguts són prometedors i demostren que el sensor pot ésser utilitzat en aplicacions per a la percepció de la profunditat com serien el modelatge de l'escena, la inspecció de canonades, navegació de robots, etc. / Vision perception is enhanced when a large field of view is available. This thesis is focused on the visual perception of depth by means of omnidirectional cameras. The 3D sensing is obtained in computer vision by means of stereo configurations with the drawback of feature matching between images. The solution offered in this dissertation uses structured light projection for solving the matching problem. First, a survey on omnidirectional vision systems was realized. Then, the sensor design was addressed and the particular stereo configuration of the proposed sensor was decided. An accurate model is obtained by a careful study of both components of the sensor. The model parameters are measured by a set of calibration methods.The results obtained are encouraging and prove that the sensor can be used in depth perception applications such as scene modeling, pipe inspections, robot navigation, etc.