Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn. Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa.La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals.Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències.Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen lessemblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals.Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori.Les principals contribucions d'aquest treball són:·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes.·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic.·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil.·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat. / Human eyes have been widely studied by the scientific community so that its operation principle is widely known. Computer vision tries to copy the way human beings perceive visual information by means of using cameras acting as eyeballs and computers aspiring to process this information in an --intelligent way". The complex task of being conscious of reality is obviously divided into a set of simpler problems which covers from image acquisition to scene description. One of the main applications is robot perception in which a mobile robot is equipped with a computer vision system. Robots may be able to navigate around an unknown structured environment acquiring visual information of their surroundings with the aim of estimating the position and orientation of every obstacle. Moreover, the pose of the vehicle has to be estimated as accurate as possible. Hence, the motion of the vehicle might be also computed allowing the localization of the vehicle with respect to the 3D map.This thesis is focused on the study of the geometry involved in stereo vision systems composed by two cameras with the aim of obtaining 3D geometric information of the vehicle surroundings. This objective deals to the study of camera modelling and calibration and the comprehension of the epipolar geometry. Then, the computation of the fundamental matrix of a stereoscopic system is surveyed with the aim of reducing the correspondence problem between both image planes. An accurate estimation of the fundamental matrix allows us not only to compute 3D information of the vehicle environments, but to validate it. Nevertheless, the traditional case of the epipolar geometry has some limitations in the common case of a single camera attached to a mobile robot. Disparities between two consecutive images are rather small at common image rates leading to numerical inaccuracies on the computation of the fundamental matrix. Then, another objective is the study of general vision-based egomotion estimation methods based on the differential epipolar constraint with the aim of perceiving the robot movement instead of its position. The study of the geometry involved in stereo vision systems leads us to present a computer vision system mounted on a vehicle which navigates in an unknown environment. Two main tasks are faced: a) the localization of the vehicle; and b) the building of an absolute 3D map. / El sistema de visión humano ha sido ampliamente estudiado por la comunidad científica de forma que su principio de funcionamiento es profundamente conocido. La Visión por Computador trata de copiar la forma que nosotros los humanos percibimos la información visual por medio del uso de cámaras actuando como ojos y un ordenador aspirando a procesar toda la información de "forma inteligente". La compleja tarea de ser consciente de la realidad es obviamente dividida en un conjunto de problemas mucho más simples, los cuales abarcan des de la adquisición de la imagen a la descripción de la escena. Una de las numerosas aplicaciones es la percepción por parte de un robot, donde un robot móvil es equipado con un sistema informático de visión por computador. Estos robots deben ser capaces de navegar a lo largo de un entorno estructurado desconocido mediante la adquisición de información visual de su alrededor, con el objetivo de estimar la posición y orientación de todos los obstáculos. Además, la posición del vehículo debe ser estimada de la forma más precisa posible. De esta forma, el movimiento del vehículo puede ser también calculado lo que permite la localización del vehículo con respeto al mapa 3D.Esta tesis profundiza en el estudio de la geometría existente en los sistemas de visión estéreo compuestos por dos cámaras con la intención de obtener información geométrica 3D del entorno del vehículo. Este objetivo lleva consigo la necesidad inicial de realizar un estudio de modelado de la cámara y calibración, y la compensación de la geometría epipolar. A continuación, el cálculo de la matriz fundamental de un sistema esteresocópico es analizado para reducir el problema de la correspondencia entre ambos planos de la imagen. Una estimación precisa de la matriz fundamental nos permite no solamente obtener la información 3D del entorno, sino también validar la misma. No obstante, la geometría epipolar tradicional sufre algunas limitaciones en el caso de una cámara montada en un robot móvil. La disparidad entre dos imágenes consecutivas es realmente mínima trabajando a velocidad estándar lo que conlleva a errores numéricos en el cálculo de la matriz fundamental. Por esta razón, otro objetivo es el estudio de los métodos de estimación del movimiento basados en la geometría epipolar diferencial con el objetivo de pervivir el movimiento del robot y su posición.El estudio de la geometría inmersa en los sistemas de visión estéreo nos lleva a presentar un sistema de visión por computador montado en un vehículo capaz de navegar en un entorno desconocido. Dos tareas básicas son consideradas: a) la localización del vehículo; y b) la construcción de un mapa 3D absoluto.

Made available in DSpace on 2014-12-17T14:55:06Z (GMT). No. of bitstreams: 1 GutembergSS.pdf: 569123 bytes, checksum: 6f85b5ee47010d2d331986f17689304b (MD5) Previous issue date: 2008-05-30 / This work presents a cooperative navigation systemof a humanoid robot and a wheeled robot using visual information, aiming to navigate the non-instrumented humanoid robot using information obtained from the instrumented wheeled robot. Despite the humanoid not having sensors to its navigation, it can be remotely controlled by infra-red signals. Thus, the wheeled robot can control the humanoid positioning itself behind him and, through visual information, find it and navigate it. The location of the wheeled robot is obtained merging information from odometers and from landmarks detection, using the Extended Kalman Filter. The marks are visually detected, and their features are extracted by image processing. Parameters obtained by image processing are directly used in the Extended Kalman Filter. Thus, while the wheeled robot locates and navigates the humanoid, it also simultaneously calculates its own location and maps the environment (SLAM). The navigation is done through heuristic algorithms based on errors between the actual and desired pose for each robot. The main contribution of this work was the implementation of a cooperative navigation system for two robots based on visual information, which can be extended to other robotic applications, as the ability to control robots without interfering on its hardware, or attaching communication devices / Este trabalho apresenta um sistema de navega??o cooperativa de um rob? human?ide e um rob? com rodas usando informa??o visual, com o objetivo de efetuar a navega??o do rob? human?ide n?o instrumentado utilizando-se das informa??es obtidas do rob? com rodas instrumentado. Apesar do human?ide n?o possuir sensores para sua navega??o, pode ser remotamente controlado por sinal infravermelho. Assim, o rob? com rodas pode controlar o human?ide posicionando-se atr?s dele e, atrav?s de informa??o visual, localiz?-lo e naveg?-lo. A localiza??o do rob? com rodas ? obtida fundindo-se informa??es de odometria e detec??o de marcos utilizando o filtro de Kalman estendido. Os marcos s?o detectados visualmente, e suas caracter?sticas s?o extra?das pelo o processamento da imagem. As informa??es das caracter?sticas da imagem s?o utilizadas diretamente no filtro de Kalman estendido. Assim, enquanto o rob? com rodas localiza e navega o human?ide, realiza tamb?m sua localiza??o e o mapeamento do ambiente simultaneamente (SLAM). A navega??o ? realizada atrav?s de algoritmos heur?sticos baseados nos erros de pose entre a pose dos rob?s e a pose desejada para cada rob?. A principal contribui??o desse trabalho foi a implementa??o de um sistema de navega??o cooperativa entre dois rob?s baseados em informa??o visual, que pode ser estendido para outras aplica??es rob?ticas, dado a possibilidade de se controlar rob?s sem interferir em seu hardware, ou acoplar dispositivos de comunica??o

Made available in DSpace on 2014-12-17T14:55:48Z (GMT). No. of bitstreams: 1 MarceloBN.pdf: 1368278 bytes, checksum: e9f6ea9d9353cb33144a3fc036bd57dc (MD5) Previous issue date: 2005-12-20 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / This work proposes a method to localize a simple humanoid robot, without embedded sensors, using images taken from an extern camera and image processing techniques. Once the robot is localized relative to the camera, supposing we know the position of the camera relative to the world, we can compute the position of the robot relative to the world. To make the camera move in the work space, we will use another mobile robot with wheels, which has a precise locating system, and will place the camera on it. Once the humanoid is localized in the work space, we can take the necessary actions to move it. Simultaneously, we will move the camera robot, so it will take good images of the humanoid. The mainly contributions of this work are: the idea of using another mobile robot to aid the navigation of a humanoid robot without and advanced embedded electronics; chosing of the intrinsic and extrinsic calibration methods appropriated to the task, especially in the real time part; and the collaborative algorithm of simultaneous navigation of the robots / Este trabalho prop?e um m?todo para localizar um rob? human?ide simples, sem sensores embarcados, utilizando imagens obtidas por uma c?mera externa e t?cnicas de processamento de imagens. Localizando o rob? em rela??o ? c?mera, e supondo conhecida a posi??o da c?mera em rela??o ao mundo, podemos determinar a posi??o do rob? human?ide em rela??o ao mundo. Para que a posi??o da c?mera n?o seja fixa, utilizamos um outro rob? m?vel com rodas, dotado de um sistema de localiza??o preciso, sobre o qual ser? colocada a c?mera. Uma vez que o human?ide seja localizado no ambiente de trabalho, podemos tomar as a??es necess?rias para realizar a sua movimenta??o. Simultaneamente, movimentamos o rob? que cont?m a c?mera, de forma que este tenha uma boa visada do human?ide. As principais contribui??es deste trabalho s?o: a id?ia de utilizar um segundo rob? m?vel para auxiliar a movimenta??o de um rob? human?ide sem eletr?nica embarcada avan?ada; a escolha de m?todos de calibra??o dos par?metros intr?nsecos e extr?nsecos da c?mera apropriados para a aplica??o em quest?o, especialmente na parte em tempo real; e o algoritmo colaborativo de movimenta??o simult?nea dos dois rob?s

Este trabalho apresenta um sistema de auxilio à navegação autônoma para veículos terrestres com foco em ambientes estruturados em um cenário agrícola. É gerada a estimativa das posições dos obstáculos baseado na fusão das detecções provenientes do processamento dos dados de duas câmeras, uma estéreo e outra térmica. Foram desenvolvidos três módulos de detecção de obstáculos. O primeiro módulo utiliza imagens monoculares da câmera estéreo para detectar novidades no ambiente através da comparação do estado atual com o estado anterior. O segundo módulo utiliza a técnica Stixel para delimitar os obstáculos acima do plano do chão. Por fim, o terceiro módulo utiliza as imagens térmicas para encontrar assinaturas que evidenciem a presença de obstáculo. Os módulos de detecção são fundidos utilizando a Teoria de Dempster-Shafer que fornece a estimativa da presença de obstáculos no ambiente. Os experimentos foram executados em ambiente agrícola real. Foi executada a validação do sistema em cenários bem iluminados, com terreno irregular e com obstáculos diversos. O sistema apresentou um desempenho satisfatório tendo em vista a utilização de uma abordagem baseada em apenas três módulos de detecção com metodologias que não tem por objetivo priorizar a confirmação de obstáculos, mas sim a busca de novos obstáculos. Nesta dissertação são apresentados os principais componentes de um sistema de detecção de obstáculos e as etapas necessárias para a sua concepção, assim como resultados de experimentos com o uso de um veículo real. / This work presents a support system to the autonomous navigation for ground vehicles with focus on structured environments in an agricultural scenario. The estimated obstacle positions are generated based on the fusion of the detections from the processing of data from two cameras, one stereo and other thermal. Three modules obstacle detection have been developed. The first module uses monocular images of the stereo camera to detect novelties in the environment by comparing the current state with the previous state. The second module uses Stixel technique to delimit the obstacles above the ground plane. Finally, the third module uses thermal images to find signatures that reveal the presence of obstacle. The detection modules are fused using the Dempster-Shafer theory that provides an estimate of the presence of obstacles in the environment. The experiments were executed in real agricultural environment. System validation was performed in well-lit scenarios, with uneven terrain and different obstacles. The system showed satisfactory performance considering the use of an approach based on only three detection modules with methods that do not prioritize obstacle confirmation, but the search for new ones. This dissertation presents the main components of an obstacle detection system and the necessary steps for its design as well as results of experiments with the use of a real vehicle.

This thesis presents an approach for configuring and calibrating a network of RGB-D sensors used to guide a robotic arm to interact with objects that get rapidly modeled in 3D. The system is based on Microsoft Kinect sensors for 3D data acquisition. The work presented here also details an analysis and experimental study of the Kinect’s depth sensor capabilities and performance. The study comprises examination of the resolution, quantization error, and random distribution of depth data. In addition, the effects of color and reflectance characteristics of an object are also analyzed. The study examines two versions of Kinect sensors, one dedicated to operate with the Xbox 360 video game console and the more recent Microsoft Kinect for Windows version. The study of the Kinect sensor is extended to the design of a rapid acquisition system dedicated to large workspaces by the linkage of multiple Kinect units to collect 3D data over a large object, such as an automotive vehicle. A customized calibration method for this large workspace is proposed which takes advantage of the rapid 3D measurement technology embedded in the Kinect sensor and provides registration accuracy between local sections of point clouds that is within the range of the depth measurements accuracy permitted by the Kinect technology. The method is developed to calibrate all Kinect units with respect to a reference Kinect. The internal calibration of the sensor in between the color and depth measurements is also performed to optimize the alignment between the modalities. The calibration of the 3D vision system is also extended to formally estimate its configuration with respect to the base of a manipulator robot, therefore allowing for seamless integration between the proposed vision platform and the kinematic control of the robot. The resulting vision-robotic system defines the comprehensive calibration of reference Kinect with the robot. The latter can then be used to interact under visual guidance with large objects, such as vehicles, that are positioned within a significantly enlarged field of view created by the network of RGB-D sensors. The proposed design and calibration method is validated in a real world scenario where five Kinect sensors operate collaboratively to rapidly and accurately reconstruct a 180 degrees coverage of the surface shape of various types of vehicles from a set of individual acquisitions performed in a semi-controlled environment, that is an underground parking garage. The vehicle geometrical properties generated from the acquired 3D data are compared with the original dimensions of the vehicle.

No description available.

Tato práce se snaží najít odpověď na otázku, zda je v současnosti možné autonomně měřit rychlost vozidel pomocí stereoskopické měřící metody s průměrnou chybou v rozmezí 1 km/h, maximální chybou v rozmezí 3 km/h a směrodatnou odchylkou v rozmezí 1 km/h. Tyto rozsahy chyb jsou založené na požadavcích organizace OIML, jejichž doporučení jsou základem metrologických legislativ mnoha zemí. Pro zodpovězení této otázky je zformulována hypotéza, která je následně testována. Metoda, která využívá stereo kameru pro měření rychlosti vozidel je navržena a experimentálně vyhodnocena. Výsledky pokusů ukazují, že navržená metoda překonává výsledky dosavadních metod. Průměrná chyba měření je přibližně 0.05 km/h, směrodatná odchylka chyby je menší než 0.20 km/h a maximální absolutní hodnota chyby je menší než 0.75 km/h. Tyto výsledky jsou v požadovaném rozmezí a potvrzují tedy testovanou hypotézu.

This master's thesis is focused on fully automatic calibration of traffic surveillance camera, which is used for speed measurement of passing vehicles. Thesis contains and describes theoretical information and algorithms related to this issue. Based on this information and algorithms, a comprehensive system design for automatic calibration and speed measurement was built. The proposed system has been successfully implemented. The implemented system is optimized to process the smallest portion of the video input for the automatic calibration of the camera. Calibration parameters are obtained after processing only two and half minutes of input video. The accuracy of the implemented system was evaluated on the dataset BrnoCompSpeed. The speed measurement error using the automatic calibration system is 8.15 km/h. The error is mainly caused by inaccurate scale acquisition, and when it is replaced by manually obtained scale, the error is reduced to 2.45 km/h. The speed measuring system itself has an error of only 1.62 km/h (evaluated using manual calibration parameters).

This work is concerned by the issue of calibrating a robotic workplace, including the localization of a calibration object for the purpose of calibrating a 2D or 3D camera, a robotic arm and a scene of robotic workplace. At first, the problems related to the calibration of the aforementioned elements were studied. Further, an analysis of suitable methods for performing these calibrations was performed. The result of this work is application of ROS robotic system providing methods for three different types of calibration programs, whose functionality is experimentally verified at the end of this work.

The result of the diploma thesis is a photogrammetrically evaluated georeferenced 3D model of an object with its environment, located in the AdMaS complex. The work describes in detail all phases of creating a 3D model of the object from the selection and calibration of the camera to editing the 3D model. Discuss about software and methods for evaluating 3D models. The thesis deals with the optimal setting of ContectCapture software. The accuracy of the resulting 3D model is tested by the methodology according to ČSN 013410 on the basis of control measurements.