No contexto do mundo contemporâneo, os veículos automotores estão cada vez mais integrados ao cotidiano das pessoas, sendo mais de 1 bilhão deles circulando pelo mundo. Por serem controlados por motoristas, estão sujeitos a falhas decorrentes da inerente condição humana, ocasionando acidentes, mortes e outros prejuízos. O controle autônomo de veículos tem se apresentado como alternativa na busca de redução desses prejuízos, sendo utilizado nas mais diferentes abordagens, por distintas instituições ao redor do planeta. Deste modo, torna-se uma pauta fundamental para o estudo de sistemas de controle. Este trabalho, valendo-se da descrição matemática do comportamento veicular, busca o desenvolvimento e a implementação de um método eficiente de controle autônomo de veículos voltado, principalmente, para a modelagem em espaço de estados. Considerando que mudanças de marchas, principalmente em um cenário de dirigibilidade autônoma, são ações aleatórias, o objetivo desta dissertação é utilizar estratégias de controle baseadas em sistemas lineares sujeitos a saltos Markovianos. / In nowadays society, automobile vehicles are getting more and more integrated to people\'s daily activities, as there are more than 1 billion of them on the streets around the world. As they are controlled by drivers, vehicles are subjected to failures caused by human mistakes that lead to accidents, injuries and others. Autonomous vehicle control has shown itself to be an alternative in the pursuit of damage reduction, and it is applied by different institutions in many countries. Therefore, it is a main subject in the area of control systems. This paper, relying on mathematical descriptions of vehicle behavior, aims to develop and apply an efficient autonomous control method that takes into account state-space formulation. This goal will be achieved by the use of control strategies based on Markovian Jump Linear Systems that will describe the highly non-linear dynamics of the vehicle in different operation points.

Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

O número de acidentes veiculares têm aumentado mundialmente e a principal causa associada a estes acidentes é a falha humana. O desenvolvimento de veículos autônomos é uma área que ganhou destaque em vários grupos de pesquisa do mundo, e um dos principais objetivos é proporcionar um meio de evitar estes acidentes. Os sistemas de navegação utilizados nestes veículos precisam ser extremamente confiáveis e robustos o que exige o desenvolvimento de soluções específicas para solucionar o problema. Devido ao baixo custo e a riqueza de informações, um dos sensores mais utilizados para executar navegação autônoma (e nos sistemas de auxílio ao motorista) são as câmeras. Informações sobre o ambiente são extraídas por meio do processamento das imagens obtidas pela câmera, e em seguida são utilizadas pelo sistema de navegação. O objetivo principal desta tese consiste do projeto, implementação, teste e otimização de um comitê de Redes Neurais Artificiais utilizadas em Sistemas de Visão Computacional para Veículos Autônomos (considerando em específico o modelo proposto e desenvolvido no Laboratório de Robótica Móvel (LRM)), em hardware, buscando acelerar seu tempo de execução, para utilização como classificadores de imagens nos veículos autônomos desenvolvidos pelo grupo de pesquisa do LRM. Dentre as contribuições deste trabalho, as principais são: um hardware configurado em um FPGA que executa a propagação do sinal em um comitê de redes neurais artificiais de forma rápida com baixo consumo de energia, comparado a um computador de propósito geral; resultados práticos avaliando precisão, consumo de hardware e temporização da estrutura para a classe de aplicações em questão que utiliza a representação de ponto-fixo; um gerador automático de look-up tables utilizadas para substituir o cálculo exato de funções de ativação em redes MLP; um co-projeto de hardware/software que obteve resultados relevantes para implementação do algoritmo de treinamento Backpropagation e, considerando todos os resultados, uma estrutura que permite uma grande diversidade de trabalhos futuros de hardware para robótica por implementar um sistema de processamento de imagens em hardware. / The number of vehicular accidents have increased worldwide and the leading associated cause is the human failure. Autonomous vehicles design is gathering attention throughout the world in industry and universities. Several research groups in the world are designing autonomous vehicles or driving assistance systems with the main goal of providing means to avoid these accidents. Autonomous vehicles navigation systems need to be reliable with real-time performance which requires the design of specific solutions to solve the problem. Due to the low cost and high amount of collected information, one of the most used sensors to perform autonomous navigation (and driving assistance systems) are the cameras.Information from the environment is extracted through obtained images and then used by navigation systems. The main goal of this thesis is the design, implementation, testing and optimization of an Artificial Neural Network ensemble used in an autonomous vehicle navigation system (considering the navigation system proposed and designed in Mobile Robotics Lab (LRM)) in hardware, in order to increase its capabilites, to be used as image classifiers for robot visual navigation. The main contributions of this work are: a reconfigurable hardware that performs a fast signal propagation in a neural network ensemble consuming less energy when compared to a general purpose computer, due to the nature of the hardware device; practical results on the tradeoff between precision, hardware consumption and timing for the class of applications in question using the fixed-point representation; a automatic generator of look-up tables widely used in hardware neural networks to replace the exact calculation of activation functions; a hardware/software co-design that achieve significant results for backpropagation training algorithm implementation, and considering all presented results, a structure which allows a considerable number of future works on hardware image processing for robotics applications by implementing a functional image processing hardware system.

A navegação autônoma é um dos problemas fundamentais na área de robótica móvel. Esse problema vem sendo pesquisado nessa área por décadas e ainda apresenta um grande potencial para pesquisas científicas. A maior parte dos algoritmos e soluções desenvolvidas nessa área foi concebida para que robôs operem em ambientes estruturados. No entanto, outra questão de grande interesse para pesquisadores da área é a navegação em ambientes externos. Em ambientes não estruturado os veículos autônomos (robôs de grande porte) devem ser capazes de desviar de obstáculos, que eventualmente apareçam no caminho. Esta dissertação aborda o desenvolvimento de um sistema inteligente capaz de gerar e executar um planejamento de caminho para o estacionamento de veículos autônomos em ambientes semi-estruturados. O sistema é capaz de reconhecer vagas de estacionamento por meio de sensores instalados no veículo, gerar uma trajetória válida que o conduza até a vaga e enviar os comandos de esterçamento e aceleração que guiam o veículo pelo caminho gerado / Autonomous navigation is one of the fundamental problems in mobile robotics. This problem has been addressed for decades and still has great potential for scientific research. Most solutions and algorithms developed in this field is designed for robots that operate in structured environments. However, another issue of great interest to researchers in this area is autonomous navigation in outdoor environments. In partially structured environments autonomous vehicles (large robots) must be able to avoid obstacles that may arise along the way. This dissertation addresses the development of an intelligent system able to generate and run a path planning for parking of autonomous vehicles in semi-structured environments. The system is able to recognize parking lots using sensors installed in the vehicle, generate a valid path that leads up to the parking lot and send the steering commands and acceleration that to guide the vehicle to its goal point

Este projeto de mestrado visa a pesquisa e o desenvolvimento de métodos e algoritmos, relacionados ao uso de radares, visão computacional, calibração e fusão de sensores em veículos autônomos/inteligentes para fazer a detecção de obstáculos. O processo de detecção de obstáculos se divide em três etapas, a primeira é a leitura de sinais de Radar, do LiDAR e a captura de dados da câmera estéreo devidamente calibrados, a segunda etapa é a fusão de dados obtidos na etapa anterior (Radar+câmera, Radar+LIDAR 3D), a terceira etapa é a extração de características das informações obtidas, identificando e diferenciando o plano de suporte (chão) dos obstáculos, e finalmente realizando a detecção dos obstáculos resultantes da fusão dos dados. Assim é possível diferenciar os diversos tipos de elementos identificados pelo Radar e que são confirmados e unidos aos dados obtidos por visão computacional ou LIDAR (nuvens de pontos), obtendo uma descrição mais precisa do contorno, formato, tamanho e posicionamento destes. Na tarefa de detecção é importante localizar e segmentar os obstáculos para posteriormente tomar decisões referentes ao controle do veículo autônomo/inteligente. É importante destacar que o Radar opera em condições adversas (pouca ou nenhuma iluminação, com poeira ou neblina), porém permite obter apenas pontos isolados representando os obstáculos (esparsos). Por outro lado, a câmera estéreo e o LIDAR 3D permitem definir os contornos dos objetos representando mais adequadamente seu volume, porém no caso da câmera esta é mais suscetível a variações na iluminação e a condições restritas ambientais e de visibilidade (p.ex. poeira, neblina, chuva). Também devemos destacar que antes do processo de fusão é importante alinhar espacialmente os dados dos sensores, isto e calibrar adequadamente os sensores para poder transladar dados fornecidos por um sensor referenciado no próprio sistema de coordenadas para um outro sistema de coordenadas de outro sensor ou para um sistema de coordenadas global. Este projeto foi desenvolvido usando a plataforma CaRINA II desenvolvida junto ao Laboratório LRM do ICMC/USP São Carlos. Por fim, o projeto foi implementado usando o ambiente ROS, OpenCV e PCL, permitindo a realização de experimentos com dados reais de Radar, LIDAR e câmera estéreo, bem como realizando uma avaliação da qualidade da fusão dos dados e detecção de obstáculos comestes sensores. / This masters project aims to research and develop methods and algorithms related to the use of radars, computer vision, calibration and sensor data fusion in autonomous / intelligent vehicles to detect obstacles. The obstacle detection process is divided into three stages, the first one is the reading of Radar, LiDAR signals and the data capture of the stereo camera properly calibrated, the second stage is the fusion of data obtained in the previous stage(Radar + Camera, Radar + 3D LIDAR), the third step is the extraction of characteristics of the information obtained, identifying and differentiating the support plane(ground) of the obstacles, and finally realizing the detection of the obstacles resulting from the fusion of the data. Thus it is possible to differentiate types of elements identified by the Radar and that are confirmed and united to the data obtained by computational vision or LIDAR (point cloud), obtaining amore precise description of the contour, format, size and positioning of these. During the detection task it is important to locate and segment the obstacles to later make decisions regarding the control of the autonomous / intelligent vehicle. It is important to note that Radar operates in adverse conditions (little or no light, with dust or fog), but allows only isolated points representing obstacles (sparse), where on the other hand, the stereo camera and LIDAR 3D allow to define the shapeand size of objects. As for the camera, this is more susceptible to variations in lighting and to environmental and visibility restricted conditions (eg dust, haze, rain). It is important to spatially align the sensor data, calibrating the sensors appropriately, to be able to translate data provided by a sensor referenced in the coordinate system itself to another coordinate system of another sensor or to a global coordinate system. This project was developed using the CaRINA II platform developed by the LRM Laboratory ICMC / USP São Carlos. Finally, the project was implemented using the ROS, OpenCV and PCL environments, allowing experiments with real data from Radar, LIDAR and stereo camera, as well as performing an evaluation of the quality of the data fusion and detection of obstacles with these sensors .

Graças aos avanços tecnológicos nas áreas da computação, eletrônica embarcada e mecatrônica a robótica está cada vez mais presente no cotidiano da pessoas. Nessas últimas décadas, uma infinidade de ferramentas e métodos foram desenvolvidos no campo da Robótica Móvel. Um exemplo disso são os sistemas inteligentes embarcados nos veículos de passeio. Tais sistemas auxiliam na condução através de sensores que recebem informações do ambiente e algoritmos que analisam os dados e tomam decisões para realizar uma determinada tarefa, como por exemplo estacionar um carro. Este trabalho tem por objetivo apresentar estudos realizados no desenvolvimento de um controlador inteligente capaz de estacionar um veículo simulado em vagas paralelas, na qual seja possível entrar com uma única manobra. Para isso, foi necessário realizar estudos envolvendo a modelagem de ambientes, cinemática veicular e sensores, os quais foram implementados em um ambiente de simulação desenvolvido em C# com o Visual Studio 2008. Em seguida é realizado um estudo sobre as três etapas do estacionamento, que consistem em procurar uma vaga, posicionar o veículo e manobrá-lo. Para realizar a manobra foi adotada a trajetória em S desenvolvida e muito utilizada em outros trabalhos encontrados na literatura da área. A manobra consiste em posicionar corretamente duas circunferências com um raio de esterçamento do veículo. Sendo assim, foi utilizado um controlador robusto baseado em aprendizado supervisionado utilizando Redes Neurais Artificiais (RNA), pois esta abordagem apresenta grande robustez com relação à presença de ruídos no sistema. Este controlador recebe dados de dois sensores laser (um fixado na frente do veículo e o outro na parte traseira), da odometria e de orientação de um sensor inercial. Os dados adquiridos desses sensores e a etapa da manobra em que o veículo está, servem de entrada para o controlador. Este é capaz de interpretar tais dados e responder a esses estímulos de forma correta em aproximadamente 99% dos casos. Os resultados de treinamento e de simulação se mostraram muito satisfatórios, permitindo que o carro controlador pela RNA pudesse estacionar corretamente em uma vaga paralela. / Thanks to technological advances in the fields of computer science, embedded electronics and mechatronics, robotics is increasingly more present in people\'s lives. On the past few decades a great variety of tools and methods were developed in the Mobile Robotics field, e.g. the passenger vehicles with smart embedded systems. Such systems help drivers through sensors that acquire information from the surrounding environment and algorithms which process this data and make decisions to perform a task, like parking a car. This work aims to present the studies performed on the development of a smart controller able to park a simulated vehicle in parallel parking spaces, where a single maneuver is enough to enter. To accomplish this, studies involving the modeling of environments, vehicle kinematics and sensors were conducted, which were implemented in a simulated environment developed in C# with Visual Studio 2008. Next, a study about the three stages of parking was carried out, which consists in looking for a slot, positioning the vehicle and maneuvering it. The \"S\" trajectory was adopted and developed to maneuver the vehicle, since it is well known and highly used in related works found in the literature of this field. The maneuver consists in the correct positioning of two circumferences with the possible steering radius of the vehicle. For this task, a robust controller based on supervised learning using Artificial Neural Networks (ANN) was employed, since this approach has great robustness regarding the presence of noise in the system. This controller receives data from two laser sensors (one attached on the front of the vehicle and the other on the rear), from the odometry and from the inertial orientation sensor. The data acquired from these sensors and the current maneuver stage of the vehicle are the inputs of the controller, which interprets these data and responds to these stimuli in a correct way in approximately 99% of the cases. The results of the training and simulation were satisfactory, allowing the car controlled by the ANN to correctly park in a parallel slot.

Este trabalho trata do estudo de concepções de arquitetura do controle aplicadas aos robôs móveis autônomos e da proposição de um delas à instrumentação e controle em tempo real de um modelo de embarcação naval de alto desempenho. Tal veículo remotamente operado foi desenvolvido como parte das atividades do projeto temático "Comportamento em Ondas de Embarcações de Alto Desempenho" (proc.Fapesp 1997/13090-3). Realizou-se uma investigação dos diversos paradigmas de inteligência artificial que orientaram a evolução dos robôs móveis autônomos até o presente momento e, em particular, as concepções baseadas em modelos sócio-antropológicos e computacionais (teoria de agentes e orientação a objetos) através de sua aplicação à implementação de um sistema de aquisição e controle orientado a objetos, modelado através da UML (Unified Modeling Language), para o veículo mencionado. Testes de validação da arquitetura do controle foram realizados, sendo obtidos resultados experimentais que permitiram análises a respeito da dinâmica, manobrabilidade e navegação do veículo, as quais sugerem vários aperfeiçoamentos para o sistema de hardware e software em trabalhos futuros. / This work deals with the study of control architecture approaches applied to autonomous mobile robots, and proposes one of them for the control system of a self-propelled high speed ship model. Such unmanned vehicle was developed for the research project “Comportamento em Ondas de Embarcações de Alto Desempenho” (proc. FAPESP 1997/13090-3). A number of artificial intelligence paradigms, related to the autonomous robot evolution up to now, were investigated. Models based on the socio-anthropological paradigm and the corresponding computer science approaches, i.e. agent theory and object-oriented modeling, were emphasized. Object-oriented control software based on the UML (Unified Modeling Language) was designed for the real-time embedded system of the ship model. Validation tests of the control architecture were carried out. Experimental results, related to vehicle dynamics, maneuverability and navigation were acquired by the embedded system and analyzed in this work. These results suggest a number of improvements for future works on the software and hardware systems.

Este trabalho trata do estudo de concepções de arquitetura do controle aplicadas aos robôs móveis autônomos e da proposição de um delas à instrumentação e controle em tempo real de um modelo de embarcação naval de alto desempenho. Tal veículo remotamente operado foi desenvolvido como parte das atividades do projeto temático "Comportamento em Ondas de Embarcações de Alto Desempenho" (proc.Fapesp 1997/13090-3). Realizou-se uma investigação dos diversos paradigmas de inteligência artificial que orientaram a evolução dos robôs móveis autônomos até o presente momento e, em particular, as concepções baseadas em modelos sócio-antropológicos e computacionais (teoria de agentes e orientação a objetos) através de sua aplicação à implementação de um sistema de aquisição e controle orientado a objetos, modelado através da UML (Unified Modeling Language), para o veículo mencionado. Testes de validação da arquitetura do controle foram realizados, sendo obtidos resultados experimentais que permitiram análises a respeito da dinâmica, manobrabilidade e navegação do veículo, as quais sugerem vários aperfeiçoamentos para o sistema de hardware e software em trabalhos futuros. / This work deals with the study of control architecture approaches applied to autonomous mobile robots, and proposes one of them for the control system of a self-propelled high speed ship model. Such unmanned vehicle was developed for the research project “Comportamento em Ondas de Embarcações de Alto Desempenho" (proc. FAPESP 1997/13090-3). A number of artificial intelligence paradigms, related to the autonomous robot evolution up to now, were investigated. Models based on the socio-anthropological paradigm and the corresponding computer science approaches, i.e. agent theory and object-oriented modeling, were emphasized. Object-oriented control software based on the UML (Unified Modeling Language) was designed for the real-time embedded system of the ship model. Validation tests of the control architecture were carried out. Experimental results, related to vehicle dynamics, maneuverability and navigation were acquired by the embedded system and analyzed in this work. These results suggest a number of improvements for future works on the software and hardware systems.

O número de acidentes veiculares têm aumentado mundialmente e a principal causa associada a estes acidentes é a falha humana. O desenvolvimento de veículos autônomos é uma área que ganhou destaque em vários grupos de pesquisa do mundo, e um dos principais objetivos é proporcionar um meio de evitar estes acidentes. Os sistemas de navegação utilizados nestes veículos precisam ser extremamente confiáveis e robustos o que exige o desenvolvimento de soluções específicas para solucionar o problema. Devido ao baixo custo e a riqueza de informações, um dos sensores mais utilizados para executar navegação autônoma (e nos sistemas de auxílio ao motorista) são as câmeras. Informações sobre o ambiente são extraídas por meio do processamento das imagens obtidas pela câmera, e em seguida são utilizadas pelo sistema de navegação. O objetivo principal desta tese consiste do projeto, implementação, teste e otimização de um comitê de Redes Neurais Artificiais utilizadas em Sistemas de Visão Computacional para Veículos Autônomos (considerando em específico o modelo proposto e desenvolvido no Laboratório de Robótica Móvel (LRM)), em hardware, buscando acelerar seu tempo de execução, para utilização como classificadores de imagens nos veículos autônomos desenvolvidos pelo grupo de pesquisa do LRM. Dentre as contribuições deste trabalho, as principais são: um hardware configurado em um FPGA que executa a propagação do sinal em um comitê de redes neurais artificiais de forma rápida com baixo consumo de energia, comparado a um computador de propósito geral; resultados práticos avaliando precisão, consumo de hardware e temporização da estrutura para a classe de aplicações em questão que utiliza a representação de ponto-fixo; um gerador automático de look-up tables utilizadas para substituir o cálculo exato de funções de ativação em redes MLP; um co-projeto de hardware/software que obteve resultados relevantes para implementação do algoritmo de treinamento Backpropagation e, considerando todos os resultados, uma estrutura que permite uma grande diversidade de trabalhos futuros de hardware para robótica por implementar um sistema de processamento de imagens em hardware. / The number of vehicular accidents have increased worldwide and the leading associated cause is the human failure. Autonomous vehicles design is gathering attention throughout the world in industry and universities. Several research groups in the world are designing autonomous vehicles or driving assistance systems with the main goal of providing means to avoid these accidents. Autonomous vehicles navigation systems need to be reliable with real-time performance which requires the design of specific solutions to solve the problem. Due to the low cost and high amount of collected information, one of the most used sensors to perform autonomous navigation (and driving assistance systems) are the cameras.Information from the environment is extracted through obtained images and then used by navigation systems. The main goal of this thesis is the design, implementation, testing and optimization of an Artificial Neural Network ensemble used in an autonomous vehicle navigation system (considering the navigation system proposed and designed in Mobile Robotics Lab (LRM)) in hardware, in order to increase its capabilites, to be used as image classifiers for robot visual navigation. The main contributions of this work are: a reconfigurable hardware that performs a fast signal propagation in a neural network ensemble consuming less energy when compared to a general purpose computer, due to the nature of the hardware device; practical results on the tradeoff between precision, hardware consumption and timing for the class of applications in question using the fixed-point representation; a automatic generator of look-up tables widely used in hardware neural networks to replace the exact calculation of activation functions; a hardware/software co-design that achieve significant results for backpropagation training algorithm implementation, and considering all presented results, a structure which allows a considerable number of future works on hardware image processing for robotics applications by implementing a functional image processing hardware system.

Este projeto de mestrado visa a pesquisa e o desenvolvimento de métodos e algoritmos, relacionados ao uso de radares, visão computacional, calibração e fusão de sensores em veículos autônomos/inteligentes para fazer a detecção de obstáculos. O processo de detecção de obstáculos se divide em três etapas, a primeira é a leitura de sinais de Radar, do LiDAR e a captura de dados da câmera estéreo devidamente calibrados, a segunda etapa é a fusão de dados obtidos na etapa anterior (Radar+câmera, Radar+LIDAR 3D), a terceira etapa é a extração de características das informações obtidas, identificando e diferenciando o plano de suporte (chão) dos obstáculos, e finalmente realizando a detecção dos obstáculos resultantes da fusão dos dados. Assim é possível diferenciar os diversos tipos de elementos identificados pelo Radar e que são confirmados e unidos aos dados obtidos por visão computacional ou LIDAR (nuvens de pontos), obtendo uma descrição mais precisa do contorno, formato, tamanho e posicionamento destes. Na tarefa de detecção é importante localizar e segmentar os obstáculos para posteriormente tomar decisões referentes ao controle do veículo autônomo/inteligente. É importante destacar que o Radar opera em condições adversas (pouca ou nenhuma iluminação, com poeira ou neblina), porém permite obter apenas pontos isolados representando os obstáculos (esparsos). Por outro lado, a câmera estéreo e o LIDAR 3D permitem definir os contornos dos objetos representando mais adequadamente seu volume, porém no caso da câmera esta é mais suscetível a variações na iluminação e a condições restritas ambientais e de visibilidade (p.ex. poeira, neblina, chuva). Também devemos destacar que antes do processo de fusão é importante alinhar espacialmente os dados dos sensores, isto e calibrar adequadamente os sensores para poder transladar dados fornecidos por um sensor referenciado no próprio sistema de coordenadas para um outro sistema de coordenadas de outro sensor ou para um sistema de coordenadas global. Este projeto foi desenvolvido usando a plataforma CaRINA II desenvolvida junto ao Laboratório LRM do ICMC/USP São Carlos. Por fim, o projeto foi implementado usando o ambiente ROS, OpenCV e PCL, permitindo a realização de experimentos com dados reais de Radar, LIDAR e câmera estéreo, bem como realizando uma avaliação da qualidade da fusão dos dados e detecção de obstáculos comestes sensores. / This masters project aims to research and develop methods and algorithms related to the use of radars, computer vision, calibration and sensor data fusion in autonomous / intelligent vehicles to detect obstacles. The obstacle detection process is divided into three stages, the first one is the reading of Radar, LiDAR signals and the data capture of the stereo camera properly calibrated, the second stage is the fusion of data obtained in the previous stage(Radar + Camera, Radar + 3D LIDAR), the third step is the extraction of characteristics of the information obtained, identifying and differentiating the support plane(ground) of the obstacles, and finally realizing the detection of the obstacles resulting from the fusion of the data. Thus it is possible to differentiate types of elements identified by the Radar and that are confirmed and united to the data obtained by computational vision or LIDAR (point cloud), obtaining amore precise description of the contour, format, size and positioning of these. During the detection task it is important to locate and segment the obstacles to later make decisions regarding the control of the autonomous / intelligent vehicle. It is important to note that Radar operates in adverse conditions (little or no light, with dust or fog), but allows only isolated points representing obstacles (sparse), where on the other hand, the stereo camera and LIDAR 3D allow to define the shapeand size of objects. As for the camera, this is more susceptible to variations in lighting and to environmental and visibility restricted conditions (eg dust, haze, rain). It is important to spatially align the sensor data, calibrating the sensors appropriately, to be able to translate data provided by a sensor referenced in the coordinate system itself to another coordinate system of another sensor or to a global coordinate system. This project was developed using the CaRINA II platform developed by the LRM Laboratory ICMC / USP São Carlos. Finally, the project was implemented using the ROS, OpenCV and PCL environments, allowing experiments with real data from Radar, LIDAR and stereo camera, as well as performing an evaluation of the quality of the data fusion and detection of obstacles with these sensors .