Este trabalho apresenta um novo método de detecção de obstáculos usados para navegação de um barco autônomo. O método desenvolvido é baseado em visão computacional e permite medir a distância e direção do obstáculo à câmera de video. A distância do possível obstáculo à câmera de vídeo, e o vetor de contorno predominante da imagem são os parâmetros usados para identificar os obstáculos. Imagens estereoscópicas adquiridas nas margens da lago do clube Náutico de Araraquara, usando bóias de navegação como obstáculos, foram usadas para extrair as características significantes das experiências. Para validar a experiência, foram utilizadas imagens do Reservatório do Broa (Itirapina, SP). A proposta desenvolvida mostrou ser mais eficiente que o método tradicional usando a teoria de Campos Potenciais. As imagens foram propositadamente tomadas contra o sol, onde o brilho das ondas são erroneamente indicadas como obstáculos pelo método de campos potenciais. Esta proposta filtra as ondas de forma a diminuir sua interferência no diagnóstico. / This work presents the results of new obstacle detection methods used for an autonomous boat navigation. The developed method is based on computer vision and allows to measure the distance and direction of the obstacle to the boat. The distance of the possible obstacle to the camera, and the obstacle outline predominant vector are the parameters used to identify the obstacles. Stereo images acquired from the margins of the Nautical Araraquara lake, using navigation buoys as obstacles, were used to extract the meaningful characteristics of the experiments. To validate the experiment, images from the Broa Reservoir (Itirapina, SP) where used. The developed proposal showed to be more efficient than the traditional method using the potential fields theory. The images were taken willfully against the sun, where the brightness of the waves are erroneously identified as obstacles by the method of potential fields. This method filters the waves so as to reduce its interference in the diagnosis.

Autonomous navigation in outdoor, unstructured environments is one of the major challenges presents in the robotics field. One of its applications, intelligent autonomous vehicles, has the potential to decrease the number of accidents on roads and highways, increase the efficiency of traffic on major cities and contribute to the mobility of the disabled and elderly. For a robot/vehicle to safely navigate, accurate detection of navigable areas is essential. In this work, we address the task of visual road detection where, given an image, the objective is to classify its pixels into road or non-road. Instead of trying to manually derive an analytical solution for the task, we have used machine learning (ML) to learn it from a set of manually created samples. We have applied both traditional (shallow) and deep ML models to the task. Our main contribution regarding traditional ML models is an efficient and versatile way to aggregate spatially distant features, effectively providing a spatial context to such models. As for deep learning models, we have proposed a new neural network architecture focused on processing time and a new neural network layer called the semi-global layer, which efficiently provides a global context for the model. All the proposed methodology has been evaluated in the Karlsruhe Institute of Technology (KIT) road detection benchmark, achieving, in all cases, competitive results. / A navegação autônoma em ambientes externos não estruturados é um dos maiores desafios no campo da robótica. Uma das suas aplicações, os veículos inteligentes autônomos, tem o potencial de diminuir o número de acidentes nas estradas e rodovias, aumentar a eficiência do tráfego nas grandes cidades e contribuir para melhoria da mobilidade de deficientes e idosos. Para que um robô/veículo navegue com segurança, uma detecção precisa de áreas navegáveis é essencial. Neste trabalho, abordamos a tarefa de detecção visual de ruas onde, dada uma imagem, o objetivo é classificar cada um de seus pixels em rua ou não-rua. Ao invés de tentar derivar manualmente uma solução analítica para a tarefa, usamos aprendizado de máquina (AM) para aprendê-la a partir de um conjunto de amostras criadas manualmente. Nós utilizamos tanto modelos tradicionais (superficiais) quanto modelos profundos para a tarefa. A nossa principal contribuição em relação aos modelos tradicionais é uma forma eficiente e versátil de agregar características espacialmente distantes, fornecendo efetivamente um contexto espacial para esses modelos. Quanto aos modelos de aprendizagem profunda, propusemos uma nova arquitetura de rede neural focada no tempo de processamento e uma nova camada de rede neural, chamada camada semi-global, que fornece eficientemente um contexto global ao modelo. Toda a metodologia proposta foi avaliada no benchmark de detecção de ruas do Instituto de Tecnologia de Karlsruhe, alcançando, em todos os casos, resultados competitivos.

Autonomous navigation in outdoor, unstructured environments is one of the major challenges presents in the robotics field. One of its applications, intelligent autonomous vehicles, has the potential to decrease the number of accidents on roads and highways, increase the efficiency of traffic on major cities and contribute to the mobility of the disabled and elderly. For a robot/vehicle to safely navigate, accurate detection of navigable areas is essential. In this work, we address the task of visual road detection where, given an image, the objective is to classify its pixels into road or non-road. Instead of trying to manually derive an analytical solution for the task, we have used machine learning (ML) to learn it from a set of manually created samples. We have applied both traditional (shallow) and deep ML models to the task. Our main contribution regarding traditional ML models is an efficient and versatile way to aggregate spatially distant features, effectively providing a spatial context to such models. As for deep learning models, we have proposed a new neural network architecture focused on processing time and a new neural network layer called the semi-global layer, which efficiently provides a global context for the model. All the proposed methodology has been evaluated in the Karlsruhe Institute of Technology (KIT) road detection benchmark, achieving, in all cases, competitive results. / A navegação autônoma em ambientes externos não estruturados é um dos maiores desafios no campo da robótica. Uma das suas aplicações, os veículos inteligentes autônomos, tem o potencial de diminuir o número de acidentes nas estradas e rodovias, aumentar a eficiência do tráfego nas grandes cidades e contribuir para melhoria da mobilidade de deficientes e idosos. Para que um robô/veículo navegue com segurança, uma detecção precisa de áreas navegáveis é essencial. Neste trabalho, abordamos a tarefa de detecção visual de ruas onde, dada uma imagem, o objetivo é classificar cada um de seus pixels em rua ou não-rua. Ao invés de tentar derivar manualmente uma solução analítica para a tarefa, usamos aprendizado de máquina (AM) para aprendê-la a partir de um conjunto de amostras criadas manualmente. Nós utilizamos tanto modelos tradicionais (superficiais) quanto modelos profundos para a tarefa. A nossa principal contribuição em relação aos modelos tradicionais é uma forma eficiente e versátil de agregar características espacialmente distantes, fornecendo efetivamente um contexto espacial para esses modelos. Quanto aos modelos de aprendizagem profunda, propusemos uma nova arquitetura de rede neural focada no tempo de processamento e uma nova camada de rede neural, chamada camada semi-global, que fornece eficientemente um contexto global ao modelo. Toda a metodologia proposta foi avaliada no benchmark de detecção de ruas do Instituto de Tecnologia de Karlsruhe, alcançando, em todos os casos, resultados competitivos.

Este trabalho apresenta um novo método de detecção de obstáculos usados para navegação de um barco autônomo. O método desenvolvido é baseado em visão computacional e permite medir a distância e direção do obstáculo à câmera de video. A distância do possível obstáculo à câmera de vídeo, e o vetor de contorno predominante da imagem são os parâmetros usados para identificar os obstáculos. Imagens estereoscópicas adquiridas nas margens da lago do clube Náutico de Araraquara, usando bóias de navegação como obstáculos, foram usadas para extrair as características significantes das experiências. Para validar a experiência, foram utilizadas imagens do Reservatório do Broa (Itirapina, SP). A proposta desenvolvida mostrou ser mais eficiente que o método tradicional usando a teoria de Campos Potenciais. As imagens foram propositadamente tomadas contra o sol, onde o brilho das ondas são erroneamente indicadas como obstáculos pelo método de campos potenciais. Esta proposta filtra as ondas de forma a diminuir sua interferência no diagnóstico. / This work presents the results of new obstacle detection methods used for an autonomous boat navigation. The developed method is based on computer vision and allows to measure the distance and direction of the obstacle to the boat. The distance of the possible obstacle to the camera, and the obstacle outline predominant vector are the parameters used to identify the obstacles. Stereo images acquired from the margins of the Nautical Araraquara lake, using navigation buoys as obstacles, were used to extract the meaningful characteristics of the experiments. To validate the experiment, images from the Broa Reservoir (Itirapina, SP) where used. The developed proposal showed to be more efficient than the traditional method using the potential fields theory. The images were taken willfully against the sun, where the brightness of the waves are erroneously identified as obstacles by the method of potential fields. This method filters the waves so as to reduce its interference in the diagnosis.

Este projeto de mestrado visa a pesquisa e o desenvolvimento de métodos e algoritmos, relacionados ao uso de radares, visão computacional, calibração e fusão de sensores em veículos autônomos/inteligentes para fazer a detecção de obstáculos. O processo de detecção de obstáculos se divide em três etapas, a primeira é a leitura de sinais de Radar, do LiDAR e a captura de dados da câmera estéreo devidamente calibrados, a segunda etapa é a fusão de dados obtidos na etapa anterior (Radar+câmera, Radar+LIDAR 3D), a terceira etapa é a extração de características das informações obtidas, identificando e diferenciando o plano de suporte (chão) dos obstáculos, e finalmente realizando a detecção dos obstáculos resultantes da fusão dos dados. Assim é possível diferenciar os diversos tipos de elementos identificados pelo Radar e que são confirmados e unidos aos dados obtidos por visão computacional ou LIDAR (nuvens de pontos), obtendo uma descrição mais precisa do contorno, formato, tamanho e posicionamento destes. Na tarefa de detecção é importante localizar e segmentar os obstáculos para posteriormente tomar decisões referentes ao controle do veículo autônomo/inteligente. É importante destacar que o Radar opera em condições adversas (pouca ou nenhuma iluminação, com poeira ou neblina), porém permite obter apenas pontos isolados representando os obstáculos (esparsos). Por outro lado, a câmera estéreo e o LIDAR 3D permitem definir os contornos dos objetos representando mais adequadamente seu volume, porém no caso da câmera esta é mais suscetível a variações na iluminação e a condições restritas ambientais e de visibilidade (p.ex. poeira, neblina, chuva). Também devemos destacar que antes do processo de fusão é importante alinhar espacialmente os dados dos sensores, isto e calibrar adequadamente os sensores para poder transladar dados fornecidos por um sensor referenciado no próprio sistema de coordenadas para um outro sistema de coordenadas de outro sensor ou para um sistema de coordenadas global. Este projeto foi desenvolvido usando a plataforma CaRINA II desenvolvida junto ao Laboratório LRM do ICMC/USP São Carlos. Por fim, o projeto foi implementado usando o ambiente ROS, OpenCV e PCL, permitindo a realização de experimentos com dados reais de Radar, LIDAR e câmera estéreo, bem como realizando uma avaliação da qualidade da fusão dos dados e detecção de obstáculos comestes sensores. / This masters project aims to research and develop methods and algorithms related to the use of radars, computer vision, calibration and sensor data fusion in autonomous / intelligent vehicles to detect obstacles. The obstacle detection process is divided into three stages, the first one is the reading of Radar, LiDAR signals and the data capture of the stereo camera properly calibrated, the second stage is the fusion of data obtained in the previous stage(Radar + Camera, Radar + 3D LIDAR), the third step is the extraction of characteristics of the information obtained, identifying and differentiating the support plane(ground) of the obstacles, and finally realizing the detection of the obstacles resulting from the fusion of the data. Thus it is possible to differentiate types of elements identified by the Radar and that are confirmed and united to the data obtained by computational vision or LIDAR (point cloud), obtaining amore precise description of the contour, format, size and positioning of these. During the detection task it is important to locate and segment the obstacles to later make decisions regarding the control of the autonomous / intelligent vehicle. It is important to note that Radar operates in adverse conditions (little or no light, with dust or fog), but allows only isolated points representing obstacles (sparse), where on the other hand, the stereo camera and LIDAR 3D allow to define the shapeand size of objects. As for the camera, this is more susceptible to variations in lighting and to environmental and visibility restricted conditions (eg dust, haze, rain). It is important to spatially align the sensor data, calibrating the sensors appropriately, to be able to translate data provided by a sensor referenced in the coordinate system itself to another coordinate system of another sensor or to a global coordinate system. This project was developed using the CaRINA II platform developed by the LRM Laboratory ICMC / USP São Carlos. Finally, the project was implemented using the ROS, OpenCV and PCL environments, allowing experiments with real data from Radar, LIDAR and stereo camera, as well as performing an evaluation of the quality of the data fusion and detection of obstacles with these sensors .

Submitted by William Justo Figueiro (williamjf) on 2015-07-28T22:40:52Z No. of bitstreams: 1 36d.pdf: 3256209 bytes, checksum: 5eb35739b38219bacee9f707cf78f91b (MD5) / Made available in DSpace on 2015-07-28T22:40:52Z (GMT). No. of bitstreams: 1 36d.pdf: 3256209 bytes, checksum: 5eb35739b38219bacee9f707cf78f91b (MD5) Previous issue date: 2010 / Nenhuma / A preocupação com a segurança no trânsito é tão antiga quanto a história do automóvel e muitos são os esforços das montadoras, dos órgãos públicos e de pesquisa, visando diminuir o número de acidentes e de vítimas do trânsito. Muitos dos acidentes que acontecem são atribuídos a falha humana dos motoristas, que por imprudência e/ou imperícia, não conseguem perceber obstáculos a tempo de evitar uma colisão. Entenda-se por obstáculo outro veículo, um pedestre na pista, e até mesmo uma árvore, animal ou qualquer objeto que obstrua a passagem do condutor e que poderá causar um acidente. De fato, este trabalho esta focado na identificação de outros veículos. O presente trabalho apresenta um algoritmo capaz de detectar obstáculos na pista por visão computacional. Trata-se de um veículo equipado com uma câmera monocular embarcada, com processamento e identificação de obstáculos em tempo real, apoiando o motorista sobre a presença destes obstáculos no campo de visão da câmera, e sobre a aproximação destes com risco de colisão. Outros sensores, como radar, infra-vermelho, sonar poderiam apoiar na detecção de obstáculos, porém, é premissa deste estudo, desenvolver o algoritmo utilizando recursos de baixo custo e focada no processamento de imagens. Inicialmente, procurar-se-á a delimitação da região de busca por obstáculos, também chamada de região de interesse, através da detecção das bordas da pista. Na sequência o detector trabalhará na geração de hipóteses (HG), com a identificação de candidatos a obstáculos, para sobre eles processar a etapa de verificação da hipótese e assim confirmar ou negar a presença de obstáculos reais. São considerados atributos da imagem como cor/intensidade, simetria, quinas, bordas, linhas horizontais e verticais, e calibração de câmera. Além disso, treinou-se um classificador de cascata considerando um conjunto de características Haar. / The concern for traffic safety is as old as the automobile history, and many are the efforts of carmakers, public agencies and research in order to decrease the number of accidents and victims of traffic accidents. Many of the accidents that happen are attributed to human failure. Because of reckless driving and / or malpractice, they can not see obstacles with enough time to avoid a collision. There are many types of obstacles: a vehicle, a pedestrian, a tree, or even an animal. Any object that obstructs the passage of the driver can cause an accident. This work is focused on identifying only other vehicles as obstacles. This work presents an algorithm capable of detecting an obstacle on the track by computer vision. The project uses a vehicle equipped with a monocular camera, for processing and identification of obstacles in real time, supporting the driver about the presence of them on the road, and alarting him about collision risks. Other sensors, such as radar, infrared, or sonar could assist in obstacle detecting, however, the premise of this study is to develop an algorithm using low-cost resources and focused on image processing. Initially, we will start with the delineation of the region for obstacles search, also called the region of interest (ROI), by detecting the runway lanes. Next, the detector will work on hypothesis generation (HG), identifying candidates for obstacles, and then processing them on the hypothesis verification stage, to confirm or deny the presence of real obstacles. The main attributes considered are image color / intensity, symmetry, edges, borders, horizontal and vertical lines and camera calibration. Also, using Haar Like Features, the classifier cascade was trained.

Submitted by Lucienne Costa (lucienneferreira@ufcg.edu.br) on 2018-08-30T17:53:33Z No. of bitstreams: 1 IGOR GOMES DE MENESES CRUZ – DISSERTAÇÃO (PPGCC) 2017.pdf: 3611712 bytes, checksum: 52e214b1e983514ff07991410708e671 (MD5) / Made available in DSpace on 2018-08-30T17:53:33Z (GMT). No. of bitstreams: 1 IGOR GOMES DE MENESES CRUZ – DISSERTAÇÃO (PPGCC) 2017.pdf: 3611712 bytes, checksum: 52e214b1e983514ff07991410708e671 (MD5) Previous issue date: 2017-07 / Indivíduos deficientes visuais, apesar de possuírem grande capacidade de adaptação por meio de outros sentidos, ainda apresentam algumas limitações, como, por exemplo, a locomoção segura. A navegação humana é um comportamento muito complexo, que depende principalmente da visão. Portanto, para uma pessoa com deficiência visual, a locomoção se torna uma tarefa muito difícil, especialmente em algumas situações, como em ambientes desconhecidos ou próximo ao tráfego urbano. Aplicativos de navegação, baseados em mapas, proporcionam uma ajuda significativa em questões de orientação, mobilidade e apoio à localização, bem como a estimativa das direções e distâncias. Porém, estes usuários ainda encontram grandes dificuldades no acesso à informação espacial, já que a interação com este tipo de aplicação é realizada, principalmente, por meio da visão. Assim, na presente pesquisa, foi realizado um estudo com deficientes visuais, visando desenvolver uma solução acessível colaborativa de mobilidade para entender as principais necessidades, em termos de locomoção, desses usuários. A solução proposta inclui uma aplicação móvel com mapas acessíveis e com efeitos sonoros, capaz de ajudar na mobilidade deste tipo de usuário, levando em consideração possíveis obstáculos em seus trajetos e descrevendo o ambiente, em termos de Pontos de Interesse (POI), ao seu redor e em torno de uma direção específica indicada pelo usuário. Para alcançar este objetivo, foi utilizada a técnica de Informação Geográfica Voluntária (Volunteered Geographic Information - VGI), que tem se mostrado eficaz e de baixo custo para obtenção de informação geográfica. Foi conduzida uma avaliação experimental para avaliar a qualidade dos dados obtidos de forma colaborativa, bem como experimentos envolvendo participantes voluntários, a fim de avaliar se a solução proposta é satisfatória para mitigar os problemas relacionados à navegação da população deficiente visual. Por fim, os resultados obtidos nos experimentos se mostraram encorajadores, demonstrando que a solução proposta pode ser satisfatória para usuários deficientes visuais. / Although visually impaired individuals have great ability to adapt to a variety of situations through other senses, they still face some limitations, such as safe locomotion. Human navigation is a complex behavior, which depends mainly on vision. Therefore, for a visually impaired person, locomotion is a difficult task, especially in some situations, such as in unfamiliar surroundings or close to urban traffic. Map-based navigation applications provide significant help with guidance, mobility and location support, as well as with estimation of directions and distances. However, this kind of users still find great difficulties in accessing spatial information, since the interaction with this type of application is performed, mainly, through the vision. Thus, a study was carried out with the visually impaired to understand their main mobility needs, aiming at developing an accessible and collaborative mobility solution. The proposed solution includes a mobile application with accessible maps and sound effects, able to help the mobility of this type of users, taking into account possible obstacles in their paths and describing the environment in terms of Points of Interest (POI) around them and around a specific direction indicated by the user. In order to reach this goal, the Volunteered Geographic Information (VGI) technique was used, since it has been shown to be efficient and low cost in obtaining geographic information. An experimental evaluation was conducted to evaluate the quality of the data obtained collaboratively, as well as experiments involving volunteer participants, in order to evaluate whether the proposed solution is satisfactory to mitigate the problems related to navigation of the visually impaired population. Finally, the results obtained in the experiments were encouraging, demonstrating that the proposed solution may be satisfactory for visually impaired users.

Este projeto de mestrado visa a pesquisa e o desenvolvimento de métodos e algoritmos, relacionados ao uso de radares, visão computacional, calibração e fusão de sensores em veículos autônomos/inteligentes para fazer a detecção de obstáculos. O processo de detecção de obstáculos se divide em três etapas, a primeira é a leitura de sinais de Radar, do LiDAR e a captura de dados da câmera estéreo devidamente calibrados, a segunda etapa é a fusão de dados obtidos na etapa anterior (Radar+câmera, Radar+LIDAR 3D), a terceira etapa é a extração de características das informações obtidas, identificando e diferenciando o plano de suporte (chão) dos obstáculos, e finalmente realizando a detecção dos obstáculos resultantes da fusão dos dados. Assim é possível diferenciar os diversos tipos de elementos identificados pelo Radar e que são confirmados e unidos aos dados obtidos por visão computacional ou LIDAR (nuvens de pontos), obtendo uma descrição mais precisa do contorno, formato, tamanho e posicionamento destes. Na tarefa de detecção é importante localizar e segmentar os obstáculos para posteriormente tomar decisões referentes ao controle do veículo autônomo/inteligente. É importante destacar que o Radar opera em condições adversas (pouca ou nenhuma iluminação, com poeira ou neblina), porém permite obter apenas pontos isolados representando os obstáculos (esparsos). Por outro lado, a câmera estéreo e o LIDAR 3D permitem definir os contornos dos objetos representando mais adequadamente seu volume, porém no caso da câmera esta é mais suscetível a variações na iluminação e a condições restritas ambientais e de visibilidade (p.ex. poeira, neblina, chuva). Também devemos destacar que antes do processo de fusão é importante alinhar espacialmente os dados dos sensores, isto e calibrar adequadamente os sensores para poder transladar dados fornecidos por um sensor referenciado no próprio sistema de coordenadas para um outro sistema de coordenadas de outro sensor ou para um sistema de coordenadas global. Este projeto foi desenvolvido usando a plataforma CaRINA II desenvolvida junto ao Laboratório LRM do ICMC/USP São Carlos. Por fim, o projeto foi implementado usando o ambiente ROS, OpenCV e PCL, permitindo a realização de experimentos com dados reais de Radar, LIDAR e câmera estéreo, bem como realizando uma avaliação da qualidade da fusão dos dados e detecção de obstáculos comestes sensores. / This masters project aims to research and develop methods and algorithms related to the use of radars, computer vision, calibration and sensor data fusion in autonomous / intelligent vehicles to detect obstacles. The obstacle detection process is divided into three stages, the first one is the reading of Radar, LiDAR signals and the data capture of the stereo camera properly calibrated, the second stage is the fusion of data obtained in the previous stage(Radar + Camera, Radar + 3D LIDAR), the third step is the extraction of characteristics of the information obtained, identifying and differentiating the support plane(ground) of the obstacles, and finally realizing the detection of the obstacles resulting from the fusion of the data. Thus it is possible to differentiate types of elements identified by the Radar and that are confirmed and united to the data obtained by computational vision or LIDAR (point cloud), obtaining amore precise description of the contour, format, size and positioning of these. During the detection task it is important to locate and segment the obstacles to later make decisions regarding the control of the autonomous / intelligent vehicle. It is important to note that Radar operates in adverse conditions (little or no light, with dust or fog), but allows only isolated points representing obstacles (sparse), where on the other hand, the stereo camera and LIDAR 3D allow to define the shapeand size of objects. As for the camera, this is more susceptible to variations in lighting and to environmental and visibility restricted conditions (eg dust, haze, rain). It is important to spatially align the sensor data, calibrating the sensors appropriately, to be able to translate data provided by a sensor referenced in the coordinate system itself to another coordinate system of another sensor or to a global coordinate system. This project was developed using the CaRINA II platform developed by the LRM Laboratory ICMC / USP São Carlos. Finally, the project was implemented using the ROS, OpenCV and PCL environments, allowing experiments with real data from Radar, LIDAR and stereo camera, as well as performing an evaluation of the quality of the data fusion and detection of obstacles with these sensors .

Este trabalho apresenta um sistema de auxilio à navegação autônoma para veículos terrestres com foco em ambientes estruturados em um cenário agrícola. É gerada a estimativa das posições dos obstáculos baseado na fusão das detecções provenientes do processamento dos dados de duas câmeras, uma estéreo e outra térmica. Foram desenvolvidos três módulos de detecção de obstáculos. O primeiro módulo utiliza imagens monoculares da câmera estéreo para detectar novidades no ambiente através da comparação do estado atual com o estado anterior. O segundo módulo utiliza a técnica Stixel para delimitar os obstáculos acima do plano do chão. Por fim, o terceiro módulo utiliza as imagens térmicas para encontrar assinaturas que evidenciem a presença de obstáculo. Os módulos de detecção são fundidos utilizando a Teoria de Dempster-Shafer que fornece a estimativa da presença de obstáculos no ambiente. Os experimentos foram executados em ambiente agrícola real. Foi executada a validação do sistema em cenários bem iluminados, com terreno irregular e com obstáculos diversos. O sistema apresentou um desempenho satisfatório tendo em vista a utilização de uma abordagem baseada em apenas três módulos de detecção com metodologias que não tem por objetivo priorizar a confirmação de obstáculos, mas sim a busca de novos obstáculos. Nesta dissertação são apresentados os principais componentes de um sistema de detecção de obstáculos e as etapas necessárias para a sua concepção, assim como resultados de experimentos com o uso de um veículo real. / This work presents a support system to the autonomous navigation for ground vehicles with focus on structured environments in an agricultural scenario. The estimated obstacle positions are generated based on the fusion of the detections from the processing of data from two cameras, one stereo and other thermal. Three modules obstacle detection have been developed. The first module uses monocular images of the stereo camera to detect novelties in the environment by comparing the current state with the previous state. The second module uses Stixel technique to delimit the obstacles above the ground plane. Finally, the third module uses thermal images to find signatures that reveal the presence of obstacle. The detection modules are fused using the Dempster-Shafer theory that provides an estimate of the presence of obstacles in the environment. The experiments were executed in real agricultural environment. System validation was performed in well-lit scenarios, with uneven terrain and different obstacles. The system showed satisfactory performance considering the use of an approach based on only three detection modules with methods that do not prioritize obstacle confirmation, but the search for new ones. This dissertation presents the main components of an obstacle detection system and the necessary steps for its design as well as results of experiments with the use of a real vehicle.

Este trabalho apresenta um sistema de auxilio à navegação autônoma para veículos terrestres com foco em ambientes estruturados em um cenário agrícola. É gerada a estimativa das posições dos obstáculos baseado na fusão das detecções provenientes do processamento dos dados de duas câmeras, uma estéreo e outra térmica. Foram desenvolvidos três módulos de detecção de obstáculos. O primeiro módulo utiliza imagens monoculares da câmera estéreo para detectar novidades no ambiente através da comparação do estado atual com o estado anterior. O segundo módulo utiliza a técnica Stixel para delimitar os obstáculos acima do plano do chão. Por fim, o terceiro módulo utiliza as imagens térmicas para encontrar assinaturas que evidenciem a presença de obstáculo. Os módulos de detecção são fundidos utilizando a Teoria de Dempster-Shafer que fornece a estimativa da presença de obstáculos no ambiente. Os experimentos foram executados em ambiente agrícola real. Foi executada a validação do sistema em cenários bem iluminados, com terreno irregular e com obstáculos diversos. O sistema apresentou um desempenho satisfatório tendo em vista a utilização de uma abordagem baseada em apenas três módulos de detecção com metodologias que não tem por objetivo priorizar a confirmação de obstáculos, mas sim a busca de novos obstáculos. Nesta dissertação são apresentados os principais componentes de um sistema de detecção de obstáculos e as etapas necessárias para a sua concepção, assim como resultados de experimentos com o uso de um veículo real. / This work presents a support system to the autonomous navigation for ground vehicles with focus on structured environments in an agricultural scenario. The estimated obstacle positions are generated based on the fusion of the detections from the processing of data from two cameras, one stereo and other thermal. Three modules obstacle detection have been developed. The first module uses monocular images of the stereo camera to detect novelties in the environment by comparing the current state with the previous state. The second module uses Stixel technique to delimit the obstacles above the ground plane. Finally, the third module uses thermal images to find signatures that reveal the presence of obstacle. The detection modules are fused using the Dempster-Shafer theory that provides an estimate of the presence of obstacles in the environment. The experiments were executed in real agricultural environment. System validation was performed in well-lit scenarios, with uneven terrain and different obstacles. The system showed satisfactory performance considering the use of an approach based on only three detection modules with methods that do not prioritize obstacle confirmation, but the search for new ones. This dissertation presents the main components of an obstacle detection system and the necessary steps for its design as well as results of experiments with the use of a real vehicle.