Submitted by Patricia Barros (patricia.barros@ufes.br) on 2017-04-13T13:58:14Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) dissertacao Rodrigo Ferreira Berriel.pdf: 18168750 bytes, checksum: 52805e1f943170ef4d6cc96046ea48ec (MD5) / Approved for entry into archive by Patricia Barros (patricia.barros@ufes.br) on 2017-04-13T14:00:19Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) dissertacao Rodrigo Ferreira Berriel.pdf: 18168750 bytes, checksum: 52805e1f943170ef4d6cc96046ea48ec (MD5) / Made available in DSpace on 2017-04-13T14:00:19Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) dissertacao Rodrigo Ferreira Berriel.pdf: 18168750 bytes, checksum: 52805e1f943170ef4d6cc96046ea48ec (MD5) / FAPES / A detecção e análise da faixa de trânsito são tarefas importantes e desafiadoras em sistemas avançados de assistência ao motorista e direção autônoma. Essas tarefas são necessárias para auxiliar veículos autônomos e semi-autônomos a operarem com segurança. A queda no custo dos sensores de visão e os avanços em hardware embarcado impulsionaram as pesquisas relacionadas a faixa de trânsito –detecção, estimativa, rastreamento, etc. – nas últimas duas décadas. O interesse nesse tópico aumentou ainda mais com a demanda por sistemas avançados de assistência ao motorista (ADAS) e carros autônomos. Embora amplamente estudado de forma independente, ainda há necessidade de estudos que propõem uma solução combinada para os vários problemas relacionados a faixa do veículo, tal como aviso de saída de faixa (LDW), detecção de troca de faixa, classificação do tipo de linhas de divisão de fluxo (LMT), detecção e classificação de inscrições no pavimento, e detecção da presença de faixas ajdacentes. Esse trabalho propõe um sistema de análise da faixa do veículo (ELAS) em tempo real capaz de estimar a posição da faixa do veículo, classificar as linhas de divisão de fluxo e inscrições na faixa, realizar aviso de saída de faixa e detectar eventos de troca de faixa. O sistema proposto, baseado em visão, funciona em uma sequência temporal de imagens. Características das marcações de faixa são extraídas tanto na perspectiva original quanto em images mapeadas para a vista aérea, que então são combinadas para aumentar a robustez. A estimativa final da faixa é modelada como uma spline usando uma combinação de métodos (linhas de Hough, filtro de Kalman e filtro de partículas). Baseado na faixa estimada, todos os outros eventos são detectados. Além disso, o sistema proposto foi integrado para experimentação em um sistema para carros autônomos que está sendo desenvolvido pelo Laboratório de Computação de Alto Desempenho (LCAD) da Universidade Federal do Espírito Santo (UFES). Para validar os algorítmos propostos e cobrir a falta de base de dados para essas tarefas na literatura, uma nova base dados com mais de 20 cenas diferentes (com mais de 15.000 imagens) e considerando uma variedade de cenários (estrada urbana, rodovias, tráfego, sombras, etc.) foi criada. Essa base de dados foi manualmente anotada e disponilizada publicamente para possibilitar a avaliação de diversos eventos que são de interesse para a comunidade de pesquisa (i.e. estimativa, mudança e centralização da faixa; inscrições no pavimento; cruzamentos; tipos de linhas de divisão de fluxo; faixas de pedestre e faixas adjacentes). Além disso, o sistema também foi validado qualitativamente com base na integração com o veículo autônomo. O sistema alcançou altas taxas de detecção em todos os eventos do mundo real e provou estar pronto para aplicações em tempo real. / Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications.

Submitted by JÚLIO HEBER SILVA (julioheber@yahoo.com.br) on 2016-11-10T13:48:13Z No. of bitstreams: 2 Dissertação - Rômulo Muriel Mesquita de Oliveira - 2015.pdf: 7641184 bytes, checksum: b650ba6efa2c0aba74125271f293ebcc (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Jaqueline Silva (jtas29@gmail.com) on 2016-11-10T17:42:47Z (GMT) No. of bitstreams: 2 Dissertação - Rômulo Muriel Mesquita de Oliveira - 2015.pdf: 7641184 bytes, checksum: b650ba6efa2c0aba74125271f293ebcc (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2016-11-10T17:42:47Z (GMT). No. of bitstreams: 2 Dissertação - Rômulo Muriel Mesquita de Oliveira - 2015.pdf: 7641184 bytes, checksum: b650ba6efa2c0aba74125271f293ebcc (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2015-02-20 / The increasing number of accidents on roads and highways around the world is causing concern in many government agencies. Because of that, actions have been proposed to eradicate this reality, which claims the lives of millions annually. Within the different types of traffic accidents occurring, one specific has gained space in the media, which involves the door of a vehicle, improperly opened, causing collision with a cyclist, motorcyclist or other vehicle. The law states to be responsible for the accident the one who opened the door without taking proper precautions, however, due to physical and emotional factors that disturb each day more the society, lives in traffic can?t be under the responsibility of a person. Many assistive technologies that helps in decision making or even contributing to road safety, have been submitted to the automotive market, which once included in vehicles would save the lives of thousands. Aware of this, this paper proposes a technology that, through low cost ultrasonic sensor detects possibility of collision on the side of the vehicle and sends alerts to the driver so he or she does not open the door during the moment of risk. For development of this security system was necessary to define which ultrasonic sensor to use, to prepare the case for the hardware accommodation, to build the computer program, to analyze the positioning of the system in the vehicle and to execute experimental tests to validate the ADS (Avoiding Doored System), name given to the collision avoidance system / A elevação do número de acidentes em estradas e rodovias ao redor do mundo vem causando preocupação em muitos órgãos governamentais. Em função disso, ações vêm sendo propostas para erradicação dessa realidade, que tira a vida de milhões anualmente. Dentro os vários tipos de acidentes que ocorrem no trânsito, um muito específico vem ganhando espaço na mídia, aquele envolvendo a porta de um veículo, aberta indevidamente, causando colisão com um ciclista, motociclista ou mesmo outro veículo. A legislação determina ser responsável pelo acidente àquele que abriu a porta sem tomar as devidas precauções, no entanto, devido a fatores físicos e emocionais, que perturbam cada dia mais a sociedade, deixar vidas no trânsito sob responsabilidade de terceiros não é uma escolha prudente. Inúmeras tecnologias assistivas, que auxiliam na tomada de decisão ou mesmo que contribuem para segurança no trânsito, vêm sendo apresentadas ao mercado automobilístico, as quais, uma vez inclusa nos veículos, pouparia a vida de milhares. Nesse contexto, este trabalho apresenta uma proposta de tecnologia que, por meio de sensor ultrassônico de baixo custo, detecta possibilidade de colisão na lateral do veículo devido à abertura da porta e emite alerta ao condutor, de forma que este não abra a porta durante o instante de risco. Para tanto, foi necessário desenvolver um sistema de mapeamento do campo de atuação do sensor, de modo que fosse possível determinar o mais adequado para o desenvolvimento do sistema. Além disso, foi projetado e construído um “case” para acomodação dos periféricos do sistema, desenvolvido o software de controle do sistema e posteriormente foi analisado o posicionamento do sistema no veículo e aplicação de testes experimentais para avaliação funcional do ADS (Avoiding Doored System), assim nomeado o sistema que evita colisões por abertura da porta.

This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.

Neste trabalho, é desenvolvido um estudo sobre o uso de alertas auditivos e hápticos dentro do ambiente veicular. É proposto um sistema de assistência ao motorista para alertá-lo de que uma colisão lateral com outros veículos pode ser iminente, quando a observação do espelho retrovisor é insuficiente ou o motorista está desatento. O sistema é composto por um módulo de ativação e um módulo de alerta. O módulo de ativação detecta a condição de perigo por sensores posicionados ao redor do veículo e na tendência de abandono de faixa. Esse trabalho enfoca o módulo de alerta, para o qual se propõe o uso de som tridimensional juntamente com estímulo de vibração. Um ambiente de simulação é proposto para se reproduzir em laboratório o ambiente em que o motorista atua. Nesse ambiente, o sujeito deve utilizar um jogo de corrida projetado na parede à sua frente usando um volante e pedais para acelerar e frear. O motorista se mantém ocupado na tarefa de conduzir o veículo pela trajetória do jogo enquanto é submetido a situações em que um outro veículo se aproxima pela região lateral-traseira velozmente. O assento utilizado é equipado com os elementos geradores dos estímulos vibratórios e auditivos. No primeiro experimento, estuda-se o comportamento de 12 participantes na situação crítica sem o uso do sistema de alerta e conclui-se que a reação preferencial em tal situação é o esterçamento do volante. No segundo experimento, 23 participantes são submetidos ao mesmo cenário adicionando-se o sistema de alertas auditivo e háptico. São coletados os dados de tempo de reação, esterçamento do volante, pressionamento dos pedais e distância entre os carros. Também são registradas as percepções dos participantes sobre o sistema de alerta utilizado. A análise dos dados indica que o sistema de alerta é elegível para uso e pode auxiliar em termos de tempo de reação, devendo-se, entretanto, revisar as características dos alertas utilizados, especialmente o auditivo, para se reduzir o desconforto e evitar prejuízo significativo no controle do veículo. / In this work, we develop a study about the usage of auditive and haptic alerts in the vehicular environment. It is proposed a driver assistance system to warn the driver that a lateral collision with other vehicle may be imminent, when the rear mirror observation is insufficient or the driver is distracted. The system is composed by an activation module and a warning module. The activation module detects the dangerous condition using sensors placed around the vehicle and on the identification of a lane departure tendency. This work focuses on the warning module, which proposes the usage of three-dimensional sound together with vibration stimulus. A simulation environment is proposed to reproduce in laboratory the environment where the driver actuates. In this environment, the subject is requested to play a driving game projected in the frontal wall using a steering wheel and pedals to accelerate and brake. While the driver conducts the vehicle over the game route, he is submitted to the situation where another vehicle approaches very fastly from behind. The seat is equipped with the vibration and auditory stimuli generator elements. In the first experiment, it is assessed the behavior of 12 subjects in the critical situation without the usage of the warning system and it is concluded that the major reaction in such situation is the steering of the wheel. In the second experiment, 23 subjects are submitted to the same scenario adding the auditory and haptic warning system. The following data are collected: reaction time, wheel steering, pedal pressing and distance between the vehicles. The perception of the participants about the used warning system is registered. The analysis of all data indicates that the system is eligible to be used and is able to help regarding reaction times. Nevertheless, it is still necessary to review the characteristics of the used warnings, specially the auditory, to reduce discomfort and avoid loss of control during driving.

Neste trabalho, é desenvolvido um estudo sobre o uso de alertas auditivos e hápticos dentro do ambiente veicular. É proposto um sistema de assistência ao motorista para alertá-lo de que uma colisão lateral com outros veículos pode ser iminente, quando a observação do espelho retrovisor é insuficiente ou o motorista está desatento. O sistema é composto por um módulo de ativação e um módulo de alerta. O módulo de ativação detecta a condição de perigo por sensores posicionados ao redor do veículo e na tendência de abandono de faixa. Esse trabalho enfoca o módulo de alerta, para o qual se propõe o uso de som tridimensional juntamente com estímulo de vibração. Um ambiente de simulação é proposto para se reproduzir em laboratório o ambiente em que o motorista atua. Nesse ambiente, o sujeito deve utilizar um jogo de corrida projetado na parede à sua frente usando um volante e pedais para acelerar e frear. O motorista se mantém ocupado na tarefa de conduzir o veículo pela trajetória do jogo enquanto é submetido a situações em que um outro veículo se aproxima pela região lateral-traseira velozmente. O assento utilizado é equipado com os elementos geradores dos estímulos vibratórios e auditivos. No primeiro experimento, estuda-se o comportamento de 12 participantes na situação crítica sem o uso do sistema de alerta e conclui-se que a reação preferencial em tal situação é o esterçamento do volante. No segundo experimento, 23 participantes são submetidos ao mesmo cenário adicionando-se o sistema de alertas auditivo e háptico. São coletados os dados de tempo de reação, esterçamento do volante, pressionamento dos pedais e distância entre os carros. Também são registradas as percepções dos participantes sobre o sistema de alerta utilizado. A análise dos dados indica que o sistema de alerta é elegível para uso e pode auxiliar em termos de tempo de reação, devendo-se, entretanto, revisar as características dos alertas utilizados, especialmente o auditivo, para se reduzir o desconforto e evitar prejuízo significativo no controle do veículo. / In this work, we develop a study about the usage of auditive and haptic alerts in the vehicular environment. It is proposed a driver assistance system to warn the driver that a lateral collision with other vehicle may be imminent, when the rear mirror observation is insufficient or the driver is distracted. The system is composed by an activation module and a warning module. The activation module detects the dangerous condition using sensors placed around the vehicle and on the identification of a lane departure tendency. This work focuses on the warning module, which proposes the usage of three-dimensional sound together with vibration stimulus. A simulation environment is proposed to reproduce in laboratory the environment where the driver actuates. In this environment, the subject is requested to play a driving game projected in the frontal wall using a steering wheel and pedals to accelerate and brake. While the driver conducts the vehicle over the game route, he is submitted to the situation where another vehicle approaches very fastly from behind. The seat is equipped with the vibration and auditory stimuli generator elements. In the first experiment, it is assessed the behavior of 12 subjects in the critical situation without the usage of the warning system and it is concluded that the major reaction in such situation is the steering of the wheel. In the second experiment, 23 subjects are submitted to the same scenario adding the auditory and haptic warning system. The following data are collected: reaction time, wheel steering, pedal pressing and distance between the vehicles. The perception of the participants about the used warning system is registered. The analysis of all data indicates that the system is eligible to be used and is able to help regarding reaction times. Nevertheless, it is still necessary to review the characteristics of the used warnings, specially the auditory, to reduce discomfort and avoid loss of control during driving.

This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.