Tese de mestrado. Mestrado integrado em Engenharia Civil - Especialização em Vias de Comunicação. Faculdade de Engenharia. Universidade do Porto. 2012

Curbs and road markings were designed to provide a visual low-level spatial perception of road environments. In this sense, a perception system capable of detecting those road features is of utmost importance for an autonomous vehicle. In vision-based approaches, few works have been developed for curb detection, and most of the advances on road marking detection have aimed lane markings only. Therefore, to detect all these road features, multiple algorithms running simultaneously would be necessary. Alternatively, as the main contribution of this work, it was proposed to employ an architecture of Fully Convolutional Neural Network (FCNN), denominated as 3CSeg-Multinet, to detect curbs and road markings in a single inference. Since there was no labeled dataset available for training and validation, a new one was generated with Brazilian urban scenes, and they were manually labeled. By visually analyzing experimental results, the proposed approach has shown to be effective and robust against most of the clutter present on images, running at around 10 fps in a Graphics Processing Unit (GPU). Moreover, with the intention of granting spatial perception, stereo vision techniques were used to project the detected road features in a point cloud. Finally, as a way to validate the applicability of the proposed perception system on a vehicle, it was also introduced a vision-based metric localization model for the urban scenario. In an experiment, compared to the ground truth, this localization method has revealed consistency on its pose estimations in a map generated by LIDAR. / Guias e sinalizações horizontais foram projetados para fornecer a percepção visual de baixo nível do espaço das vias urbanas. Deste modo, seria de extrema importância para um veículo autônomo ter um sistema de percepção capaz de detectar tais características visuais. Em abordagens baseadas em visão, poucos trabalhos foram desenvolvidos para detecção de guias, e a maioria dos avanços em detecção de sinalizações horizontais foi focada na detecção de faixas apenas. Portanto, para que fosse possível detectar todas essas características visuais, seria necessário executar diversos algoritmos simultaneamente. Alternativamente, como sendo a principal contribuição deste trabalho, foi proposto a adoção de uma Rede Neural Totalmente Convolutiva, denominado 3CSeg-Multinet, para detectar guias e sinalizações horizontais em apenas uma inferência. Como não havia um conjunto de dados rotulados disponível para treinar e validar a rede, foi gerado um novo conjunto com imagens capturadas em ambiente urbano brasileiro, e foi realizado a rotulação manual. Através de uma análise visual dos resultados experimentais obtidos, o método proposto mostrou-se eficaz e robusto contra a maioria dos fatores que causam confusão nas imagens, executando a aproximadamente 10 fps em uma GPU. Ainda, com o intuito de garantir a percepção espacial, foram usados métodos de visão estéreo para projetar as características detectadas em núvem de pontos. Finalmente, foi apresentado também um modelo de localização métrica baseado em visão para validar a aplicabilidade do sistema de percepção proposto em um veículo. Em um experimento, este método de localização revelou-se capaz de manter as estimativas consistentes com a verdadeira pose do veículo em um mapa gerado a partir de um sensor LIDAR.

Submitted by Claudemilson dos Santos (claudemilson.unesp@gmail.com) on 2018-05-04T19:29:04Z No. of bitstreams: 1 TESE CLAUDEMILSON 2018 PUBLICADA.pdf: 5622961 bytes, checksum: 79c0398762c5c1699e1955254be82faf (MD5) / Approved for entry into archive by Lucilene Cordeiro da Silva Messias null (lubiblio@bauru.unesp.br) on 2018-05-07T17:46:48Z (GMT) No. of bitstreams: 1 santos_ c_ dr_bauru.pdf: 5611478 bytes, checksum: 24a4edf7aac9b1a4496e22587ac9e2e3 (MD5) / Made available in DSpace on 2018-05-07T17:46:48Z (GMT). No. of bitstreams: 1 santos_ c_ dr_bauru.pdf: 5611478 bytes, checksum: 24a4edf7aac9b1a4496e22587ac9e2e3 (MD5) Previous issue date: 2018-03-14 / Esta tese consiste num estudo que visou avaliar o impacto da aplicação da anamorfose no redesenho da sinalização de trânsito horizontal, cuja hipótese supõe que pode melhorar a percepção dos motoristas para essa categoria de sinalização de trânsito. Anamorfose é o nome que se dá para o desenho em perspectiva cônica cujo plano de projeção não é perpendicular à linha de visada. O plano de projeção pode se dividir em várias superfícies e formas, a imagem projetada se distorce até ficar irreconhecível; mas quando observado do ponto de vista pré-determinado, a imagem se forma novamente. Na sinalização de trânsito horizontal a anamorfose é utilizada para simular uma aparência tridimensional aos sinais de trânsito horizontais, denominada como Sinalização Horizontal Anamórfica (SHA). A base teórica, que se fundamentou nos princípios do design ergonômico e nas teorias da percepção e do comportamento humano; está expressa numa revisão que buscou compilar e discutir a relação entre as diversas áreas do conhecimento humano e o sistema de percepção visual no trânsito, e analisando-se o problema de pesquisa de diversos pontos de vista, buscando-se concordâncias, discordâncias e avanços nas ciências que estudam o comportamento humano. Para encontrar evidências que pudessem comprovar ou refutar a hipótese, foi realizado um experimento de desenvolvimento e aplicação de uma SHA em um trecho urbano simulado e comparou-se a taxa de percepção dos motoristas que por ela passaram com os que passaram por uma sinalização convencional. A sinalização horizontal utilizada para a pesquisa foi a legenda DEVAGAR, pois há estudos anteriores que detectaram índices de percepção muito baixos. Os resultados do teste revelou haver diferença significativa na taxa de percepção dos dois grupos. A discrepância entre os dois grupos pode significar que a SHA exerce algum efeito sobre a percepção visual do motorista. Os resultados revelaram que os motoristas que utilizarem o trecho contendo a SHA terão possibiidade maior de perceberem a sinalização do que os grupos que não continham a SHA, pois os testes estatísticos realizados comprovaram o aumento significativo de motoristas que perceberam a sinalização horizontal anamórfica em relação à sinalização convencional. / This thesis consists of a study that aimed to evaluate the impact of the application of anamorphosis on the redesign of horizontal traffic signs, whose hypothesis supposes that it can improve the perception of the drivers for this category of traffic signaling. Anamorphosis is the name given to the conical perspective drawing whose projection plane is not perpendicular to the line of sight. The projection plane can divide into several surfaces and shapes, the projected image distorts until it is unrecognizable; but when viewed from the predetermined point of view, the image is formed again. In horizontal traffic signaling the anamorphosis is used to simulate a three-dimensional appearance to the horizontal traffic signals, denominated Horizontal Anamorphic Signaling (SHA - from potuguese "Sinalização Horizontal Anamórfica). The theoretical basis, which was based on the principles of ergonomic design and theories of human perception and behavior; is expressed in a review that sought to compile and discuss the relationship between the various areas of human knowledge and the system of visual perception in traffic, and analyzing the research problem from different points of view, seeking concordances, disagreements and advances in sciences that study human behavior. To find evidence that could prove or disprove the hypothesis, an experiment was carried out to develop and apply an SHA in a simulated urban stretch, comparing the perception rate of the drivers that passed with those who passed through a conventional signaling. The horizontal signaling used for the research was the legend DEVAGAR, since there have been previous studies that detected very low indices of perception. The results of the test revealed that there was a significant difference in the perception rate of the two groups. The discrepancy between the two groups may mean that SHA has some effect on the driver's visual perception. The results showed that drivers using the SHA stretch will have a greater possibility of perceiving the signaling than the groups that did not contain SHA, since the statistical tests performed showed a significant increase in drivers who perceived the anamorphic horizontal signaling in relation to the conventional signaling.

Localization is one of the fundamental components of autonomous vehicles by enabling tasks as overtaking, lane keeping and self-navigation. Urban canyons and bad weather interfere with the reception of GPS satellite signal which prohibits the exclusive use of such technology for vehicle localization in urban places. Alternatively, map-aided localization methods have been employed to enable position estimation without the dependence on GPS devices. In this solution, the vehicle position is given as the place that best matches the sensor measurement to the environment map. Before building the maps, feature sof the environment must be extracted from sensor measurements. In vehicle localization, curbs and road markings have been extensively employed as mapping features. However, most of the urban mapping methods rely on a street free of obstacles or require repetitive measurements of the same place to avoid occlusions. The construction of an accurate representation of the environment is necessary for a proper match of sensor measurements to the map during localization. To prevent the necessity of a manual process to remove occluding obstacles and unobserved areas, a vehicle localization method that supports maps built from partial observations of the environment is proposed. In this localization system,maps are formed by curb and road markings extracted from multilayer laser sensor measurements. Curb structures are detected even in the presence of vehicles that occlude the roadsides, thanks to the use of robust regression. Road markings detector employs Otsu thresholding to analyze infrared remittance data which makes the method insensitive to illumination. Detected road features are stored in two map representations: occupancy grid map (OGM) and Gaussian process occupancy map (GPOM). The first approach is a popular map structure that represents the environment through fine-grained grids. The second approach is a continuous representation that can estimate the occupancy of unseen areas. The Monte Carlo localization (MCL) method was adapted to support the obtained maps of the urban environment. In this sense, vehicle localization was tested in an MCL that supports OGM and an MCL that supports GPOM. Precisely, for MCL based on GPOM, a new measurement likelihood based on multivariate normal probability density function is formulated. Experiments were performed in real urban environments. Maps were built using sparse laser data to verify there ronstruction of non-observed areas. The localization system was evaluated by comparing the results with a high precision GPS device. Results were also compared with localization based on OGM. / No contexto de veículos autônomos, a localização é um dos componentes fundamentais, pois possibilita tarefas como ultrapassagem, direção assistida e navegação autônoma. A presença de edifícios e o mau tempo interferem na recepção do sinal de GPS que consequentemente dificulta o uso de tal tecnologia para a localização de veículos dentro das cidades. Alternativamente, a localização com suporte aos mapas vem sendo empregada para estimar a posição sem a dependência do GPS. Nesta solução, a posição do veículo é dada pela região em que ocorre a melhor correspondência entre o mapa do ambiente e a leitura do sensor. Antes da criação dos mapas, características dos ambientes devem ser extraídas a partir das leituras dos sensores. Dessa forma, guias e sinalizações horizontais têm sido largamente utilizados para o mapeamento. Entretanto, métodos de mapeamento urbano geralmente necessitam de repetidas leituras do mesmo lugar para compensar as oclusões. A construção de representações precisas dos ambientes é essencial para uma adequada associação dos dados dos sensores como mapa durante a localização. De forma a evitar a necessidade de um processo manual para remover obstáculos que causam oclusão e áreas não observadas, propõe-se um método de localização de veículos com suporte aos mapas construídos a partir de observações parciais do ambiente. No sistema de localização proposto, os mapas são construídos a partir de guias e sinalizações horizontais extraídas a partir de leituras de um sensor multicamadas. As guias podem ser detectadas mesmo na presença de veículos que obstruem a percepção das ruas, por meio do uso de regressão robusta. Na detecção de sinalizações horizontais é empregado o método de limiarização por Otsu que analisa dados de reflexão infravermelho, o que torna o método insensível à variação de luminosidade. Dois tipos de mapas são empregados para a representação das guias e das sinalizações horizontais: mapa de grade de ocupação (OGM) e mapa de ocupação por processo Gaussiano (GPOM). O OGM é uma estrutura que representa o ambiente por meio de uma grade reticulada. OGPOM é uma representação contínua que possibilita a estimação de áreas não observadas. O método de localização por Monte Carlo (MCL) foi adaptado para suportar os mapas construídos. Dessa forma, a localização de veículos foi testada em MCL com suporte ao OGM e MCL com suporte ao GPOM. No caso do MCL baseado em GPOM, um novo modelo de verossimilhança baseado em função densidade probabilidade de distribuição multi-normal é proposto. Experimentos foram realizados em ambientes urbanos reais. Mapas do ambiente foram gerados a partir de dados de laser esparsos de forma a verificar a reconstrução de áreas não observadas. O sistema de localização foi avaliado por meio da comparação das posições estimadas comum GPS de alta precisão. Comparou-se também o MCL baseado em OGM com o MCL baseado em GPOM, de forma a verificar qual abordagem apresenta melhores resultados.

Localization is one of the fundamental components of autonomous vehicles by enabling tasks as overtaking, lane keeping and self-navigation. Urban canyons and bad weather interfere with the reception of GPS satellite signal which prohibits the exclusive use of such technology for vehicle localization in urban places. Alternatively, map-aided localization methods have been employed to enable position estimation without the dependence on GPS devices. In this solution, the vehicle position is given as the place that best matches the sensor measurement to the environment map. Before building the maps, feature sof the environment must be extracted from sensor measurements. In vehicle localization, curbs and road markings have been extensively employed as mapping features. However, most of the urban mapping methods rely on a street free of obstacles or require repetitive measurements of the same place to avoid occlusions. The construction of an accurate representation of the environment is necessary for a proper match of sensor measurements to the map during localization. To prevent the necessity of a manual process to remove occluding obstacles and unobserved areas, a vehicle localization method that supports maps built from partial observations of the environment is proposed. In this localization system,maps are formed by curb and road markings extracted from multilayer laser sensor measurements. Curb structures are detected even in the presence of vehicles that occlude the roadsides, thanks to the use of robust regression. Road markings detector employs Otsu thresholding to analyze infrared remittance data which makes the method insensitive to illumination. Detected road features are stored in two map representations: occupancy grid map (OGM) and Gaussian process occupancy map (GPOM). The first approach is a popular map structure that represents the environment through fine-grained grids. The second approach is a continuous representation that can estimate the occupancy of unseen areas. The Monte Carlo localization (MCL) method was adapted to support the obtained maps of the urban environment. In this sense, vehicle localization was tested in an MCL that supports OGM and an MCL that supports GPOM. Precisely, for MCL based on GPOM, a new measurement likelihood based on multivariate normal probability density function is formulated. Experiments were performed in real urban environments. Maps were built using sparse laser data to verify there ronstruction of non-observed areas. The localization system was evaluated by comparing the results with a high precision GPS device. Results were also compared with localization based on OGM. / No contexto de veículos autônomos, a localização é um dos componentes fundamentais, pois possibilita tarefas como ultrapassagem, direção assistida e navegação autônoma. A presença de edifícios e o mau tempo interferem na recepção do sinal de GPS que consequentemente dificulta o uso de tal tecnologia para a localização de veículos dentro das cidades. Alternativamente, a localização com suporte aos mapas vem sendo empregada para estimar a posição sem a dependência do GPS. Nesta solução, a posição do veículo é dada pela região em que ocorre a melhor correspondência entre o mapa do ambiente e a leitura do sensor. Antes da criação dos mapas, características dos ambientes devem ser extraídas a partir das leituras dos sensores. Dessa forma, guias e sinalizações horizontais têm sido largamente utilizados para o mapeamento. Entretanto, métodos de mapeamento urbano geralmente necessitam de repetidas leituras do mesmo lugar para compensar as oclusões. A construção de representações precisas dos ambientes é essencial para uma adequada associação dos dados dos sensores como mapa durante a localização. De forma a evitar a necessidade de um processo manual para remover obstáculos que causam oclusão e áreas não observadas, propõe-se um método de localização de veículos com suporte aos mapas construídos a partir de observações parciais do ambiente. No sistema de localização proposto, os mapas são construídos a partir de guias e sinalizações horizontais extraídas a partir de leituras de um sensor multicamadas. As guias podem ser detectadas mesmo na presença de veículos que obstruem a percepção das ruas, por meio do uso de regressão robusta. Na detecção de sinalizações horizontais é empregado o método de limiarização por Otsu que analisa dados de reflexão infravermelho, o que torna o método insensível à variação de luminosidade. Dois tipos de mapas são empregados para a representação das guias e das sinalizações horizontais: mapa de grade de ocupação (OGM) e mapa de ocupação por processo Gaussiano (GPOM). O OGM é uma estrutura que representa o ambiente por meio de uma grade reticulada. OGPOM é uma representação contínua que possibilita a estimação de áreas não observadas. O método de localização por Monte Carlo (MCL) foi adaptado para suportar os mapas construídos. Dessa forma, a localização de veículos foi testada em MCL com suporte ao OGM e MCL com suporte ao GPOM. No caso do MCL baseado em GPOM, um novo modelo de verossimilhança baseado em função densidade probabilidade de distribuição multi-normal é proposto. Experimentos foram realizados em ambientes urbanos reais. Mapas do ambiente foram gerados a partir de dados de laser esparsos de forma a verificar a reconstrução de áreas não observadas. O sistema de localização foi avaliado por meio da comparação das posições estimadas comum GPS de alta precisão. Comparou-se também o MCL baseado em OGM com o MCL baseado em GPOM, de forma a verificar qual abordagem apresenta melhores resultados.