<p>The first objective of this research has always been carry out a study of visual techniques SLAM (Simultaneous localization and mapping), specifically the type monovisual, less studied than the stereo. These techniques have been well studied in the world of robotics. These techniques are focused on reconstruct a map of the robot enviroment while maintaining its position information in that map. We chose to investigate a method to encode the points by the inverse of its depth, from the first time that the feature was observed. This method permits efficient and accurate representation of uncertainty during undelayed initialization and beyond, all within the standard extended Kalman filter (EKF).At first, the study mentioned it should be consolidated developing an application that implements this method. After suffering various difficulties, it was decided to make use of a platform developed by the same author of Slam method mentioned in MATLAB. Until then it had developed the tasks of calibration, feature extraction and matching. From that point, that application was adapted to the characteristics of our camera and our video to work. We recorded a video with our camera following a known trajectory to check the calculated path shown in the application. Corroborating works and studying the limitations and advantages of this method.</p>

The first objective of this research has always been carry out a study of visual techniques SLAM (Simultaneous localization and mapping), specifically the type monovisual, less studied than the stereo. These techniques have been well studied in the world of robotics. These techniques are focused on reconstruct a map of the robot enviroment while maintaining its position information in that map. We chose to investigate a method to encode the points by the inverse of its depth, from the first time that the feature was observed. This method permits efficient and accurate representation of uncertainty during undelayed initialization and beyond, all within the standard extended Kalman filter (EKF).At first, the study mentioned it should be consolidated developing an application that implements this method. After suffering various difficulties, it was decided to make use of a platform developed by the same author of Slam method mentioned in MATLAB. Until then it had developed the tasks of calibration, feature extraction and matching. From that point, that application was adapted to the characteristics of our camera and our video to work. We recorded a video with our camera following a known trajectory to check the calculated path shown in the application. Corroborating works and studying the limitations and advantages of this method.

"The use of cameras and computer vision algorithms to provide state estimation for robotic systems has become increasingly popular, particularly for small mobile robots and unmanned aerial vehicles (UAVs). These algorithms extract information from the camera images and perform simultaneous localization and mapping (SLAM) to provide state estimation for path planning, obstacle avoidance, or 3D reconstruction of the environment. High resolution cameras have become inexpensive and are a lightweight and smaller alternative to laser scanners. UAVs often have monocular camera or stereo camera setups since payload and size impose the greatest restrictions on their flight time and maneuverability. This thesis explores ORB-SLAM, a popular Visual SLAM method that is appropriate for UAVs. Visual SLAM is computationally expensive and normally offloaded to computers in research environments. However, large UAVs with greater payload capacity may carry the necessary hardware for performing the algorithms. The inclusion of general-purpose GPUs on many of the newer single board computers allows for the potential of GPU-accelerated computation within a small board profile. For this reason, an NVidia Jetson board containing an NVidia Pascal GPU was used. CUDA, NVidia’s parallel computing platform, was used to accelerate monocular ORB-SLAM, achieving onboard Visual SLAM on a small UAV. Committee members:"

Extrair informação de profundidade a partir de imagens bidimensionais é um importante problema na área de visão computacional. Diversas aplicações se beneficiam desta classe de algoritmos tais como: robótica, a indústria de entretenimento, aplicações médicas para diagnóstico e confecção de próteses e até mesmo exploração interplanetária. Esta aplicação pode ser dividida em duas etapas interdependentes: a estimação da posição e orientação da câmera no momento em que a imagem foi gerada, e a estimativa da estrutura tridimensional da cena. Este trabalho foca em técnicas de visão computacional usadas para estimar a trajetória de um veículo equipado com uma câmera, problema conhecido como odometria visual. Para obter medidas objetivas de eficiência e precisão, e poder comparar os resultados obtidos com o estado da arte, uma base de dados de alta precisão, bastante utilizada pela comunidade científica foi utilizada. No curso deste trabalho novas técnicas para rastreamento de detalhes, estimativa de posição de câmera, cálculo de posição 3D de pontos e recuperação de escala são propostos. Os resultados alcançados superam os mais bem ranqueados trabalhos na base de dados escolhida até o momento da publicação desta tese. / Recovering three-dimensional information from bi-dimensional images is an important problem in computer vision that finds several applications in our society. Robotics, entertainment industry, medical diagnose and prosthesis, and even interplanetary exploration benefit from vision based 3D estimation. The problem can be divided in two interdependent operations: estimating the camera position and orientation when each image was produced, and estimating the 3D scene structure. This work focuses on computer vision techniques, used to estimate the trajectory of a vehicle equipped camera, a problem known as visual odometry. In order to provide an objective measure of estimation efficiency and to compare the achieved results to the state-of-the-art works in visual odometry a high precision popular dataset was selected and used. In the course of this work new techniques for image feature tracking, camera pose estimation, point 3D position calculation and scale recovery are proposed. The achieved results outperform the best ranked results in the popular chosen dataset.

Methodologies are proposed for combining carrier-phase differential GPS (CDGPS), visual simultaneous localization and mapping (SLAM), and inertial measurements to obtain precise and globally-referenced position and attitude estimates of a rigid structure connecting a GPS receiver, a camera, and an inertial measurement unit (IMU). As part of developing these methodologies, observability of globally-referenced attitude based solely on GPS-based position estimates and visual feature measurements is proven. Determination of attitude in this manner eliminates the need for attitude estimates based on magnetometer and accelerometer measurements, which are notoriously susceptible to magnetic disturbances. This combination of navigation techniques, if coupled properly, is capable of attaining centimeter-level or better absolute positioning and degree-level or better absolute attitude accuracies in any space, both indoors and out. Such a navigation system is ideally suited for application to augmented reality (AR), which often employs a GPS receiver, a camera, and an IMU, and would result in tight registration of virtual elements to the real world. A prototype AR system is presented that represents a first step towards coupling CDGPS, visual SLAM, and inertial navigation. While this prototype AR system does not couple CDGPS and visual SLAM tightly enough to obtain some of the benefit of the proposed methodologies, the system is capable of demonstrating an upper bound on the precision that such a combination of navigation techniques could attain. Test results for the prototype AR system are presented for a dynamic scenario that demonstrate sub-centimeter-level positioning precision and sub-degree-level attitude precision. This level of precision would enable convincing augmented visuals. / text

Orientador: Suely Cunha Amaro Mantovani / Resumo: A criação de robôs que podem operar autonomamente em ambientes controlados e não controlados tem sido, um dos principais objetivos da robótica móvel. Para que um robô possa navegar em um ambiente interno desconhecido, ele deve se localizar e ao mesmo tempo construir um mapa do ambiente que o rodeia, a este problema dá-se o nome de Localização e Mapeamento Simultâneos- SLAM. Tem-se como proposta neste trabalho para solucionar o problema do SLAM, o uso de um sensor RGB-D, com 6 graus de liberdade para perceber o ambiente, o qual é embarcado em um robô. O problema do SLAM pode ser solucionado estimando a pose - posição e orientação, e a trajetória do sensor no ambiente, de forma precisa, justificando a construção de um mapa em três dimensões (3D). Esta estimação envolve a captura consecutiva de frames do ambiente fornecidos pelo sensor RGB-D, onde são determinados os pontos mais acentuados das imagens através do uso de características visuais dadas pelo algoritmo ORB. Em seguida, a comparação entre frames consecutivos e o cálculo das transformações geométricas são realizadas, mediante o algoritmo de eliminação de correspondências atípicas, bPROSAC. Por fim, uma correção de inconsistências é efetuada para a reconstrução do mapa 3D e a estimação mais precisa da trajetória do robô, utilizando técnicas de otimização não lineares. Experimentos são realizados para mostrar a construção do mapa e o desempenho da proposta. / Doutor

Extrair informação de profundidade a partir de imagens bidimensionais é um importante problema na área de visão computacional. Diversas aplicações se beneficiam desta classe de algoritmos tais como: robótica, a indústria de entretenimento, aplicações médicas para diagnóstico e confecção de próteses e até mesmo exploração interplanetária. Esta aplicação pode ser dividida em duas etapas interdependentes: a estimação da posição e orientação da câmera no momento em que a imagem foi gerada, e a estimativa da estrutura tridimensional da cena. Este trabalho foca em técnicas de visão computacional usadas para estimar a trajetória de um veículo equipado com uma câmera, problema conhecido como odometria visual. Para obter medidas objetivas de eficiência e precisão, e poder comparar os resultados obtidos com o estado da arte, uma base de dados de alta precisão, bastante utilizada pela comunidade científica foi utilizada. No curso deste trabalho novas técnicas para rastreamento de detalhes, estimativa de posição de câmera, cálculo de posição 3D de pontos e recuperação de escala são propostos. Os resultados alcançados superam os mais bem ranqueados trabalhos na base de dados escolhida até o momento da publicação desta tese. / Recovering three-dimensional information from bi-dimensional images is an important problem in computer vision that finds several applications in our society. Robotics, entertainment industry, medical diagnose and prosthesis, and even interplanetary exploration benefit from vision based 3D estimation. The problem can be divided in two interdependent operations: estimating the camera position and orientation when each image was produced, and estimating the 3D scene structure. This work focuses on computer vision techniques, used to estimate the trajectory of a vehicle equipped camera, a problem known as visual odometry. In order to provide an objective measure of estimation efficiency and to compare the achieved results to the state-of-the-art works in visual odometry a high precision popular dataset was selected and used. In the course of this work new techniques for image feature tracking, camera pose estimation, point 3D position calculation and scale recovery are proposed. The achieved results outperform the best ranked results in the popular chosen dataset.

Submitted by JOVANNY BEDOYA GUAPACHA null (jovan@utp.edu.co) on 2017-11-02T14:40:57Z No. of bitstreams: 1 TESE _JBG_verf__02_11_2017_repositorio.pdf: 4463035 bytes, checksum: a4e99464884d8580fc971b9f062337d4 (MD5) / Approved for entry into archive by LUIZA DE MENEZES ROMANETTO (luizamenezes@reitoria.unesp.br) on 2017-11-13T16:46:44Z (GMT) No. of bitstreams: 1 guapacha_jb_dr_ilha.pdf: 4463035 bytes, checksum: a4e99464884d8580fc971b9f062337d4 (MD5) / Made available in DSpace on 2017-11-13T16:46:44Z (GMT). No. of bitstreams: 1 guapacha_jb_dr_ilha.pdf: 4463035 bytes, checksum: a4e99464884d8580fc971b9f062337d4 (MD5) Previous issue date: 2017-09-04 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / A criação de robôs que podem operar autonomamente em ambientes controlados e não controlados tem sido, um dos principais objetivos da robótica móvel. Para que um robô possa navegar em um ambiente interno desconhecido, ele deve se localizar e ao mesmo tempo construir um mapa do ambiente que o rodeia, a este problema dá-se o nome de Localização e Mapeamento Simultâneos- SLAM. Tem-se como proposta neste trabalho para solucionar o problema do SLAM, o uso de um sensor RGB-D, com 6 graus de liberdade para perceber o ambiente, o qual é embarcado em um robô. O problema do SLAM pode ser solucionado estimando a pose - posição e orientação, e a trajetória do sensor no ambiente, de forma precisa, justificando a construção de um mapa em três dimensões (3D). Esta estimação envolve a captura consecutiva de frames do ambiente fornecidos pelo sensor RGB-D, onde são determinados os pontos mais acentuados das imagens através do uso de características visuais dadas pelo algoritmo ORB. Em seguida, a comparação entre frames consecutivos e o cálculo das transformações geométricas são realizadas, mediante o algoritmo de eliminação de correspondências atípicas, bPROSAC. Por fim, uma correção de inconsistências é efetuada para a reconstrução do mapa 3D e a estimação mais precisa da trajetória do robô, utilizando técnicas de otimização não lineares. Experimentos são realizados para mostrar a construção do mapa e o desempenho da proposta. / The robots creation that can operate autonomously in controlled and uncontrolled environments has been, one of the main objectives of mobile robotics. In order for a robot to navigate in an unknown internal environment, it must locate yourself and at the same time construct a map of the surrounding environment this problem is called Simultaneous Location and Mapping - SLAM. The purpose of this work for solution to SLAM’s problem is to use an RGB-D sensor with 6 degrees of freedom to perceive the environment, which is embedded onto a robot.The SLAM's problem can be solved by estimating the position and orientation, and the path of the sensor/robot in the environment, in precise form, justifying the construction of a 3D map. This estimation involves the consecutive capture of the environment's frames provided by the RGB-D sensor, where the pronounced points of the images are determined through the use of visual characteristics given by the ORB algorithm. Then, the comparison between consecutive frames and the calculation of the geometric transformations are performed using the algorithm of elimination of atypical correspondences, bPROSAC. Finally, a correction of inconsistencies is made for the reconstruction of the 3D map and the more accurate estimation of the robot trajectory, using non-linear optimization techniques. Experiments are carried out to show the construction of the map and the performance of the proposal.

Made available in DSpace on 2014-12-17T14:55:46Z (GMT). No. of bitstreams: 1 GuilhermeLS_DISSERT.pdf: 861871 bytes, checksum: 8461d130e59e8fb9ac951602b094fd18 (MD5) Previous issue date: 2010-05-07 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / The development and refinement of techniques that make simultaneous localization and mapping (SLAM) for an autonomous mobile robot and the building of local 3-D maps from a sequence of images, is widely studied in scientific circles. This work presents a monocular visual SLAM technique based on extended Kalman filter, which uses features found in a sequence of images using the SURF descriptor (Speeded Up Robust Features) and determines which features can be used as marks by a technique based on delayed initialization from 3-D straight lines. For this, only the coordinates of the features found in the image and the intrinsic and extrinsic camera parameters are avaliable. Its possible to determine the position of the marks only on the availability of information of depth. Tests have shown that during the route, the mobile robot detects the presence of characteristics in the images and through a proposed technique for delayed initialization of marks, adds new marks to the state vector of the extended Kalman filter (EKF), after estimating the depth of features. With the estimated position of the marks, it was possible to estimate the updated position of the robot at each step, obtaining good results that demonstrate the effectiveness of monocular visual SLAM system proposed in this paper / O desenvolvimento e aperfei?oamento de t?cnicas que fa?am simultaneamente o mapeamento e a localiza??o (Simultaneous Localization and Mapping - SLAM) de um rob? m?vel aut?nomo e a cria??o de mapas locais 3-D, a partir de uma sequ?ncia de imagens, ? bastante estudada no meio cient?fico. Neste trabalho ? apresentado uma t?cnica de SLAM visual monocular baseada no filtro de Kalman estendido, que utiliza caracter?sticas encontradas em uma sequ?ncia de imagens atrav?s do descritor SURF (Speeded Up Robust Features) e determina quais caracter?sticas podem ser utilizadas como marcas atrav?s de uma t?cnica de inicializa??o atrasada baseada em retas 3-D. Para isso, tem-se dispon?vel apenas as coordenadas das caracter?sticas detectadas na imagem e os par?metros intr?nsecos e extr?nsecos da c?mera. ? poss?vel determinar a posi??o das marcas somente com a disponibilidade da informa??o de profundidade. Os experimentos realizados mostraram que durante o percurso, o rob? m?vel detecta a presen?a de caracter?sticas nas imagens e, atrav?s de uma t?cnica proposta para inicializa??o atrasada de marcas, adiciona novas marcas ao vetor de estados do filtro de Kalman estendido (FKE) ap?s estimar a profundidade das caracter?sticas. Com a posi??o estimada das marcas, foi poss?vel estimar a posi??o atualizada do rob? a cada passo; obtendo resultados satisfat?rios que comprovam a efici?ncia do sistema de SLAM visual monocular proposto neste trabalho

Tato diplomová práce se zabývá tvorbou fúze pozičních dat z existující realtimové im- plementace vizuálního SLAMu a kolové odometrie. Výsledkem spojení dat je potlačení nežádoucích chyb u každé ze zmíněných metod měření, díky čemuž je možné vytvořit přesnější 3D model zkoumaného prostředí. Práce nejprve uvádí teorií potřebnou pro zvládnutí problematiky 3D SLAMu. Dále popisuje vlastnosti použitého open source SLAM projektu a jeho jednotlivé softwarové úpravy. Následně popisuje principy spo- jení pozičních informací získaných vizuálními a odometrickými snímači, dále uvádí popis diferenciálního podvozku, který byl použit pro tvorbu kolové odometrie. Na závěr práce shrnuje výsledky dosažené datovou fúzí a srovnává je s původní přesností vizuálního SLAMu.