L'acquisition de modèles 3D des scènes réelles trouve son utilité dans de nombreuses applications pratiques, comme l'archivage numérique, les jeux vidéo, l'ingénierie, la publicité. Il existe principalement deux méthodes pour acquérir un modèle 3D: la reconstruction avec un scanner laser (méthode active) et la reconstruction à partir de plusieurs photographies d'une même scène prise dans des points de vues différentes (méthode passive). Si la méthode active permet d'acquérir des modèles avec une grande précision, il est cependant coûteux et difficile à mettre en place pour de grandes scènes extérieures. La méthode passive, ou la stéréo multi-vues est en revanche plus flexible, facile à mettre en oeuvre et surtout moins coûteuse que la méthode active. Cette thèse s'attaque au problème de la reconstruction de stéréo multi-vues à grande échelle et précise pour les scènes extérieures. Nous améliorons des méthodes précédentes et les assemblons pour créer une chaîne de stéréo multi-vues efficace tirant parti de l'accélération de cartes graphiques. La chaîne produit des maillages de qualité à partir d'images de haute résolution, ce qui permet d'atteindre les meilleurs scores dans de nombreuses évaluations. Aux plus grandes échelles, nous développons d'une part des techniques de type diviser-pour-régner pour reconstruire des morceaux partiaux de la scène. D'autre part, pour combiner ces résultats séparés, nous créons une nouvelle méthode qui fusionne rapidement des centaines de maillages. Nous réussissons à reconstruire de beaux maillages urbains et des monuments historiques précis à partir de grandes collections d'images (environ 1600 images de 5M Pixel) / Acquisition of 3D model of real objects and scenes is indispensable and useful in many practical applications, such as digital archives, game and entertainment industries, engineering, advertisement. There are 2 main methods for 3D acquisition : laser-based reconstruction (active method) and image-based reconstruction from multiple images of the scene in different points of view (passive method). While laser-based reconstruction achieves high accuracy, it is complex, expensive and difficult to set up for large-scale outdoor reconstruction. Image-based, or multi-view stereo methods are more versatile, easier, faster and cheaper. By the time we begin this thesis, most multi-view methods could handle only low resolution images under controlled environment. This thesis targets multi-view stereo both both in large scale and high accuracy issues. We significantly improve some previous methods and combine them into a remarkably effective multi-view pipeline with GPU acceleration. From high-resolution images, we produce highly complete and accurate meshes that achieve best scores in many international recognized benchmarks. Aiming even larger scale, on one hand, we develop Divide and Conquer approaches in order to reconstruct many small parts of a big scene. On the other hand, to combine separate partial results, we create a new merging method, which can merge automatically and quickly hundreds of meshes. With all these components, we are successful to reconstruct highly accurate water-tight meshes for cities and historical monuments from large collections of high-resolution images (around 1600 images of 5 M Pixel images)

La thèse est dédiée au problème de la stéréophotométrie non-Lambertienne sans connaissance a priori sur les conditions d’illumination et son application aux images de boîte de Pétri. Pour obtenir une bonne reconstruction de surfaces non-Lambertiennes, il est proposé de traiter une séquence d’entrée en deux étapes: premièrement il faut supprimer les effets spéculaires et obtenir ainsi des images de surface ’pseudo-Lambertienne’. Ensuite dans une deuxième étape à partir de ces images une reconstruction stéréophotométrique Lambertienne sans aucune information préalable sur les directions d’illumination est effectuée. Dans ce travail nous proposons deux méthodes originales respectivement pour la suppression de spécularités et la reconstruction de surface sans information a priori. Les méthodes proposées sont appliquées pour la caractérisation des colonies microbiennes.La spécularités est un effet optique lié à la nature physique complexe des objets. Il est utile pour la perception humaine des objets 3D mais il gêne le processus de traitement automatique d’images. Pour pouvoir appliquer le modèle Lambertien à la stéréophotométrie, les spécularités doivent être supprimées des images d’entrée. Nous proposons donc une méthode originale pour la correction des zones spéculaires adaptée pour une reconstruction ultérieure. L’algorithme proposé est capable de détecter les spécularités comme des valeurs anormalement élevées d’intensité dans une image de la séquence d’entrée, et de les corriger en utilisant les informations des autres images de la séquence et une fonction de correction continue. Cette méthode permet de faire la suppression des spécularités en préservant toutes les autres particularités de distribution de lumière qui sont importantes pour la reconstruction de surface.Après nous proposons une technique de reconstruction stéréophotométrique de surface Lambertienne sans connaissance a priori sur l’illumination. Le modèle mis en œuvre consiste en quatre composantes, deux composantes (albédo et normales) permettent de d´écrire des propriétés de surface et deux autres (intensités des sources de lumière et leurs directions) décrivent illumination. L’algorithme proposé de reconstruction utilise le principe de l’optimisation alternée. Chaque composante du modèle est trouvée itérativement en fixant toutes les variables sauf une et en appliquant des contraintes de structures, valeurs et qualité pour la fonction d’optimisation. Un schéma original de résolution permet de séparer les différents types d’information inclus dans les images d’entrée. Grâce à cette factorisation de matrices, la reconstruction de surface est faite sans connaissance préalable sur les directions de lumière et les propriétés de l’objet reconstruit. L’applicabilité de l’algorithme est prouvée pour des donnés artificielles et des images de bases publiques pour lesquelles la vérité terrain sur les surfaces des objets est disponible.La dernière partie de la thèse est dédiée à l’application de la chaine complète proposée pour le traitement d’images de boîte de Pétri. Ces images sont obtenues en utilisant les sources de lumières complexes qui sont supposées être inconnues pour le processus de reconstruction. L’évaluation de surfaces de colonies microbiennes s’est révélée être une étape importante pour l'analyse visuelle et automatique des colonies. La chaine proposée est efficace pour ce type de données et permet de compléter les informations d'images par de la surface 3D. / The PhD thesis work is dedicated to the problem of uncalibrated non-Lambertian photometric stereo surface reconstruction. The proposed approach consists in two phases: first we correct images of the input sequence from specularities in order to obtain images of pseudo-Lambertian surfaces, and then realize Lambertian photometric stereo reconstruction. In this work we proposed two original methods, respectively, for specularity correction and surface reconstruction with no prior information neither on light sources nor on surface properties. We apply the novel processing to Petri dish images for microbial colonies surface reconstruction.Specularity is an optical effect of a complex physical nature. This effect is useful for human 3D objects perception but it affects automated image processing. In order to be able to apply the Lambertian photometric stereo model, specularities should be removed from the input images. We propose an original method for specular zones correction adapted to estimation of pseudo-Lambertian surface images and further reconstruction. This algorithm is able to detect specularities as abnormally elevated pixel intensity values in an image of the input sequence and to correct the found zones using information from all other images of the sequence and a specific continuous correcting function. This method allows removing specularities while still preserving all other particularities of shading important for the further surface reconstruction.We then propose an original stereo photometric method for Lambertian surface reconstruction with no prior on illuminations. The implemented photometric stereo model consists of four components, two of them (albedo and normals) describe surface properties and the others (light sources intensities and directions) describe illumination. The proposed algorithm of the photometric stereo reconstruction uses the alternating optimization principle. Each model component is found iteratively fixing all variables but one and applying value and quality constraints for the optimization function. The original scheme of resolution allows separating of different information types included in input images. Thanks to such matrix factorization, the surface reconstruction is made with no prior information on lighting directions and the reconstructed objects properties. The applicability of the algorithm is proved using artificially created and open data-sets for which the ground truth information is available.The last part of the thesis is dedicated to the application of the proposed uncalibrated non- Lambertian photometric stereo approach to the Petri dish images. Images are obtained using illuminating sources which are supposed to be unknown for the reconstruction process. Moreover, the reconstructed microbial colonies are very diverse, generally have small size, can be Lambertian or not, and their surface properties are not defined in advance. The results of reconstruction for such complex real-world data add value and importance to the developed approach.

Cette thèse CIFRE est le fruit d’une collaboration entre Renault Trucks et le LMFA dans la perspective d’une évaluation de la pertinence du contrôle actif pour la réduction de traînée de véhicule industriel. Les deux principaux objectifs de ces travaux expérimentaux consistent à l’analyse de l’influence de l’écoulement de soubassement sur la dynamique du sillage et l’étude d’une stratégie de contrôle d’écoulement combinant des volets déflecteurs (positionnés sur les bords supérieurs et latéraux du culot) à des actionneurs de type jets pulsés dans l’optique d’une réduction de la traînée aérodynamique d’un corps non profilé à culot droit. Le développement du sillage pour différentes vitesses de soubassement évoluant de 10% à plus de 80% de la vitesse de l’écoulement infini amont est étudié sur une maquette simplifiée de véhicule poids lourd à l’échelle 1/43e. Des mesures de pression au culot permettent d’identifier quatre classes d’écoulement associées à des structures de sillage différentes mises en évidence par des mesures PIV 2D-3C. Le sillage de la première classe d’écoulement obtenu pour les très faibles vitesses de soubassement ressemble au sillage derrière une marche 3D. Pour des vitesses de soubassement plus élevées, l’écoulement de soubassement décolle au niveau du sol et impacte soit le culot ou soit la couche de cisaillement supérieure favorisant le développement des instabilités de type Kelvin-Helmoltz dans ce dernier cas. Enfin, la dernière classe est caractérisée par un sillage comparable à celui d’un corps d’Ahmed. L’ajout de volets déflecteurs à l’arrière du culot engendre une augmentation de la pression au culot pour l’ensemble des classes d’écoulement. Cette augmentation réside principalement dans l’effet de vectorisation de l’écoulement. Un système de contrôle actif est intégré sur une maquette 1/8e géométriquement identique à celle à l’échelle 1/43e et équipée de volets déflecteurs. Deux angles de volet supérieur sont testés afin d’obtenir en moyenne (i) un écoulement naturel attaché à la paroi du volet et (ii) un écoulement naturel détaché du volet. Par rapport au cas sans contrôle actif, des gains sur la traînée sont obtenus pour une certaine gamme de fréquence d’actionnement uniquement dans le cas (ii). Ces gains sont obtenus suite au recollement de l’écoulement sur le volet. Enfin, la robustesse des gains sur la pression au culot est testée avec succès en mettant la maquette en dérapage pour simuler un vent de travers. / This PhD thesis was realized in the scope of a collaboration with Renault Trucks and the LMFA in view of an evaluation of the relevance of active flow control for the drag reduction industrial vehicle. The two main objectives of this experimental work are to analyze the impact of the underbody flow on the wake dynamics and to study a flow control strategy combining inclined flaps (located on the upper and lateral edges of the rear base) with pulsed jet actuators for reducing the aerodynamic drag of a square-back bluff body. The wake development for several underbody velocities ranging from 10% to more than 80% of the free-stream velocity is studied on a simplified truck model at scale 1 :43. Rear base pressure measurements lead to the identification of four flow classes associated with different wake structures highlighted by 2D-3C PIV measurements. The wake of the first flow class obtained for very low underbody velocities looks like that of the wake of a 3D backward facing step. For higher underbody velocities, the underbody flow is separated from the ground impaging either the rear base or the upper shear layer triggering Kelvin-Helmoltz instabilities for this last case. Finally, the fourth class is characterized by a wake comparable to that of the Ahmed body. The implementation of inclined flaps at the rear base increases the base pressure for all classes. This increase is mainly due to the vectoring effect of the flow. An active control system is integrated to a 1 :8 scale model geometrically identical to that of the 1 :43 scale model with flaps. Two upper flap angles are tested to have (i) a natural flow attached to the flap and (ii) a natural flow detached from the flap. In comparison to the case without active flow control, drag reductions are obtained only for a specific range of actuation frequencies only in case (ii). These gains are associated with the reattachment of the flow on the flap. Finally, the robustness of the pressure gains is successfully tested in crosswind conditions.

Die Stixel-Welt ist eine neuartige und vielseitig einsetzbare Zwischenrepräsentation zur effizienten Beschreibung dreidimensionaler Szenen. Heutige stereobasierte Sehsysteme ermöglichen die Bestimmung einer Tiefenmessung für nahezu jeden Bildpunkt in Echtzeit. Das erlaubt zum einen die Anwendung neuer leistungsfähiger Algorithmen, doch gleichzeitig steigt die zu verarbeitende Datenmenge und der dadurch notwendig werdende Aufwand massiv an. Gerade im Hinblick auf die limitierte Rechenleistung jener Systeme, wie sie in der videobasierten Fahrerassistenz zum Einsatz kommen, ist dies eine große Herausforderung. Um dieses Problem zu lösen, bietet die Stixel-Welt eine generische Abstraktion der Rohdaten des Sensors. Jeder Stixel repräsentiert individuell einen Teil eines Objektes im Raum und segmentiert so die Umgebung in Freiraum und Objekte. Die Arbeit stellt die notwendigen Verfahren vor, um die Stixel-Welt mittels dynamischer Programmierung in einem einzigen globalen Optimierungsschritt in Echtzeit zu extrahieren. Dieser Prozess wird durch eine Vielzahl unterschiedlicher Annahmen über unsere von Menschenhand geschaffene Umgebung gestützt. Darauf aufbauend wird ein Kalmanfilter-basiertes Verfahren zur präzisen Bewegungsschätzung anderer Objekte vorgestellt. Die Arbeit stellt umfangreiche Bewertungen der zu erwartenden Leistungsfähigkeit aller vorgestellten Verfahren an. Dafür kommen sowohl vergleichende Ansätze als auch diverse Referenzsensoren, wie beispielsweise LIDAR, RADAR oder hochpräzise Inertialmesssysteme, zur Anwendung. Die Stixel-Welt ist eine extrem kompakte Abstraktion der dreidimensionalen Umgebung und bietet gleichzeitig einfachsten Zugriff auf alle essentiellen Informationen der Szene. Infolge dieser Arbeit war es möglich, die Effizienz vieler auf der Stixel-Welt aufbauender Algorithmen deutlich zu verbessern. / The Stixel World is a novel and versatile medium-level representation to efficiently bridge the gap between pixel-based processing and high-level vision. Modern stereo matching schemes allow to obtain a depth measurement for almost every pixel of an image in real-time, thus allowing the application of new and powerful algorithms. However, it also results in a large amount of measurement data that has to be processed and evaluated. With respect to vision-based driver assistance, these algorithms are executed on highly integrated low-power processing units that leave no room for algorithms with an intense calculation effort. At the same time, the growing number of independently executed vision tasks asks for new concepts to manage the resulting system complexity. These challenges are tackled by introducing a pre-processing step to extract all required information in advance. Each Stixel approximates a part of an object along with its distance and height. The Stixel World is computed in a single unified optimization scheme. Strong use is made of physically motivated a priori knowledge about our man-made three-dimensional environment. Relying on dynamic programming guarantees to extract the globally optimal segmentation for the entire scenario. Kalman filtering techniques are used to precisely estimate the motion state of all tracked objects. Particular emphasis is put on a thorough performance evaluation. Different comparative strategies are followed which include LIDAR, RADAR, and IMU reference sensors, manually created ground truth data, and real-world tests. Altogether, the Stixel World is ideally suited to serve as the basic building block for today''s increasingly complex vision systems. It is an extremely compact abstraction of the actual world giving access to the most essential information about the current scenario. Thanks to this thesis, the efficiency of subsequently executed vision algorithms and applications has improved significantly.

[pt] Há uma crescente demanda pela criação de modelos computacionais representativos de objetos reais para projetos de engenharia. Uma alternativa barata e eficaz consiste na utilização de técnicas de Visão Computacional baseada em câmeras e projetores disponíveis no mercado de computadores pessoais. Este trabalho avalia um sistema óptico estéreo ativo para capturar formas geométricas de objetos utilizando um par de câmeras e um projetor digital. O sistema se baseia em idéias de trabalhos anteriores, com duas contribuições nesta dissertação. A primeira é uma técnica mais robusta de detecção de pontos notáveis em padrões de calibração das câmeras. A segunda contribuição consiste num novo método de ajuste de cilindros que visa aplicar o sistema estudado na inspeção de instalações de dutos industriais. As conclusões apresentadas procuram avaliar a robustez e precisão do sistema proposto como um instrumento de medidas em Engenharia. / [en] There has been a growing demand for creation of computer models based on real models for engineering projects. A cheap and effective alternative consists in using Computer Vision techniques based on cameras and projectors available at the personal computer market. This work evaluates a stereo optic system for capturing geometric shapes from objects using a pair of cameras and a single digital projector. The system is based on former works and a pair of contributions is obtained at this dissertation. The first contribution is a more robust technique for finding corners and points at cameras calibration patterns. And the second one consists on a new method for cylinder fit for inspecting industrial piping facilities with the studied system. The final conclusions evaluate the robustness and precision from the proposed system as a measurement tool for Engineering.

Les formulations et modèles de vagues stochastiques sont les outils les plus traditionnels pour l’évaluation et la prévision des états de mer. Cependant, la prise en compte de nombreux processus physiques essentiels à l’évolution des vagues reste souvent lacunaire dans ces types d’approches. Une des raisons possible est notamment que peu d’observations viennent documenter ces processus. La dissipation des ondes est ainsi mal quantifiée par les méthodes d'observation traditionnelles dans tout l’éventail des conditions océaniques. Dans ce contexte, le travail présenté dans cette thèse explore plus avant les conditions menant au déferlement à travers la modulation de l'énergie des ondes courtes par de fort courants de marée et par des ondes plus longues.Dans cette étude, nous avons profité des campagnes de mesure BBWAVES, spécialement conçues pour acquérir de la donnée dans des zones d’interactions vagues courants.Ces campagnes ont notamment permis de tester une nouvelle bouée dérivante conçue pour la mesure des vagues dans des zones à forts courants de marées. Grâce à des mesures simultanées en zones de forts courants, il a été possible de mettre en évidence des lacunes dans la modélisation des états de mer, et l’influence vraisemblable des erreurs dans la modélisation atmosphérique pour ces conditions. Cette thèse a également tiré parti d’une campagne de mesure stéréo-vidéo d’états de mer en Mer Noire afin d’étudier différents aspects du déferlement des vagues dans une grande variété de conditions d'état de mer bimodales. Ces mesures ont permis de mettre en évidence une modulation des ondes courtes par des longues et une incidence sur les propriétés de déferlement. / Stochastic wave formulations and models are the most common tools for the assessment and forecast of sea surface conditions. Their ability to account for some of the processes encountered by waves during their evolution remains however a central question. Among other processes, the wave dissipation is for instance still poorly quantified and traditional methods for wave measurements fail to proper insight into its physics in a wide range of conditions. In this context, the work presented in this PhD aims to explore available observation techniques for their application to several quantitative aspects of the dissipation of wave energy, and particularly for short wave modulated by strong tidal currents, for short wave modulated by longer waves. This work takes advantage of the BBWAVES oceanic campaigns, especially planned to explore questions related to wave and current interactions. Data from a large variety of sensors are analyzed. The campaign provides the ground for the test of a new design of drifting buoy aimed at measuring waves in areas of strong tidal current. Its performances are verified and the description it provides of the area is explored. From simultaneous measurements, it was possible to highlight the actual inaccuracies in wave model capabilities as well as the contribution of the error contained in the atmospheric modeling over strong tidal currents to the misevaluation of sea states. This work also used an extensive dataset from a stereo video experiment in the Black Sea to investigate wave breaking in bimodal sea state conditions. These measurements have revealed the influence of long wave modulation over short wave breaking.

Les mesures optiques dimensionnelles sont des techniques en plein essor dont la maîtrise et l'exploitation soulèvent encore de nombreuses questions. Pour une meilleure compréhension d'un système de mesure par stéréo-corrélation d'images, des études de caractérisation et d'évaluation de l'erreur de mesure en corrélation à partir d'images synthétiques et en stéréovision à partir d'images réelles ont été réalisées. Les résultats mettent en avant l'influence de plusieurs paramètres : fenêtre de corrélation, déformation et gradient de déformation. La dernière partie de l'étude est consacrée à l'identification de comportements constitutifs à partir des mesures de champs. Deux méthodes sont mises en œuvre : la méthode des champs virtuel pour l'identification des paramètres élastiques d'un matériau et l'identification paramétrique par recalage éléments finis pour le cas des comportements élasto-plastiques. / The optical dimensional measurements are emergent techniques whose control and exploitation still address many questions. For a better understanding of the stereo-correlation measurement systems, studies are made to characterize and assess the digital image correlation measurement error by the way of synthetic images. The stereovision characterization is made using real images. The results highlight the influence of several parameters : subset size, strain and strain gradient. The last part of this study is devoted to the identification of constitutive behaviour law using full-field measurements. Two identification methods are used : the virtual fields method to determine the elastic parameters of a material and the finite element model updating method to identify the elasto-plastic behaviour law.

Submitted by Geyciane Santos (geyciane_thamires@hotmail.com) on 2015-06-18T14:37:14Z No. of bitstreams: 1 Dissertação - Felipe Gomes de Oliveira.pdf: 8063130 bytes, checksum: c3a3271d66779ae934aca4f3e28b999b (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-19T21:07:20Z (GMT) No. of bitstreams: 1 Dissertação - Felipe Gomes de Oliveira.pdf: 8063130 bytes, checksum: c3a3271d66779ae934aca4f3e28b999b (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2015-06-19T21:10:24Z (GMT) No. of bitstreams: 1 Dissertação - Felipe Gomes de Oliveira.pdf: 8063130 bytes, checksum: c3a3271d66779ae934aca4f3e28b999b (MD5) / Made available in DSpace on 2015-06-19T21:10:24Z (GMT). No. of bitstreams: 1 Dissertação - Felipe Gomes de Oliveira.pdf: 8063130 bytes, checksum: c3a3271d66779ae934aca4f3e28b999b (MD5) Previous issue date: 2011-07-25 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This research presents a visual data fusion approach to recover dense depth map from sequences of images. The conventional methods to estimate depth map have many drawbacks with respect to environment illumination changes and camera positioning. We propose a Global optimization data fusion strategy to improve the measurements from stereo and focus depth maps. Di erent from typical stereo and focus fusion techniques, we use a single pair of stereo cameras to acquire series of images scenes without occlusion and illumination constraints. Then, we use Energy Functional fusion to associate the geometric coherence with multiple frames. In order to evaluate the results we de ned a metric using similarity measurements between traditional stereo and the proposed approach. The experiments are performed in real scene images, and the estimated mapping was superior than those found using traditional stereo methods, which demonstrates the good performance and robustness of our approach. / Este trabalho propõe uma abordagem de Fusão de Dados Visuais para estimar a estrutura tridimensional de uma cena a partir de sequências de imagens obtidas por meio de duas ou mais câmeras. Os métodos convencionais para estimar mapas de profundidade apresentam desvantagens relacionadas a mudanças na iluminação do ambiente e posicionamento de câmeras. Por essa razão, foi proposta uma estrategia de Fusão de Dados baseada em minimiza c~ao de energia para aprimorar as medições proporcionadas pela disparidade entre pixels de uma imagem e pela variação de foco. A abordagem proposta faz uso de uma rede distribuída de sensores visuais utilizando um par de câmeras estéreo sem restrições de oclusão ou iluminação no processo de captura de imagens. A função de energia foi usada para integrar múltiplos frames e inferir a coerência geométrica contida na cena. Para avaliar os resultados obtidos foram utilizadas métricas da literatura através de medições de similaridade entre técnicas de estéreo tradicionais e a estrategia desenvolvida. Os experimentos foram conduzidos a partir de imagens de cenas reais, e as informações de profundidade estimadas foram qualitativamente superior que os resultados obtidos pelos métodos tradicionais. Tais informações demonstram a qualidade dos resultados alcançados pela técnica proposta.

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

Curbs and road markings were designed to provide a visual low-level spatial perception of road environments. In this sense, a perception system capable of detecting those road features is of utmost importance for an autonomous vehicle. In vision-based approaches, few works have been developed for curb detection, and most of the advances on road marking detection have aimed lane markings only. Therefore, to detect all these road features, multiple algorithms running simultaneously would be necessary. Alternatively, as the main contribution of this work, it was proposed to employ an architecture of Fully Convolutional Neural Network (FCNN), denominated as 3CSeg-Multinet, to detect curbs and road markings in a single inference. Since there was no labeled dataset available for training and validation, a new one was generated with Brazilian urban scenes, and they were manually labeled. By visually analyzing experimental results, the proposed approach has shown to be effective and robust against most of the clutter present on images, running at around 10 fps in a Graphics Processing Unit (GPU). Moreover, with the intention of granting spatial perception, stereo vision techniques were used to project the detected road features in a point cloud. Finally, as a way to validate the applicability of the proposed perception system on a vehicle, it was also introduced a vision-based metric localization model for the urban scenario. In an experiment, compared to the ground truth, this localization method has revealed consistency on its pose estimations in a map generated by LIDAR. / Guias e sinalizações horizontais foram projetados para fornecer a percepção visual de baixo nível do espaço das vias urbanas. Deste modo, seria de extrema importância para um veículo autônomo ter um sistema de percepção capaz de detectar tais características visuais. Em abordagens baseadas em visão, poucos trabalhos foram desenvolvidos para detecção de guias, e a maioria dos avanços em detecção de sinalizações horizontais foi focada na detecção de faixas apenas. Portanto, para que fosse possível detectar todas essas características visuais, seria necessário executar diversos algoritmos simultaneamente. Alternativamente, como sendo a principal contribuição deste trabalho, foi proposto a adoção de uma Rede Neural Totalmente Convolutiva, denominado 3CSeg-Multinet, para detectar guias e sinalizações horizontais em apenas uma inferência. Como não havia um conjunto de dados rotulados disponível para treinar e validar a rede, foi gerado um novo conjunto com imagens capturadas em ambiente urbano brasileiro, e foi realizado a rotulação manual. Através de uma análise visual dos resultados experimentais obtidos, o método proposto mostrou-se eficaz e robusto contra a maioria dos fatores que causam confusão nas imagens, executando a aproximadamente 10 fps em uma GPU. Ainda, com o intuito de garantir a percepção espacial, foram usados métodos de visão estéreo para projetar as características detectadas em núvem de pontos. Finalmente, foi apresentado também um modelo de localização métrica baseado em visão para validar a aplicabilidade do sistema de percepção proposto em um veículo. Em um experimento, este método de localização revelou-se capaz de manter as estimativas consistentes com a verdadeira pose do veículo em um mapa gerado a partir de um sensor LIDAR.