The purpose of this thesis is to develop the architecture to use the Car2X for observation the local traffic sign and displays it on the OpenStreetMap to provide more information of the road side to the driver. The proposed architecture of this thesis is to convert the traffic sign into the barcode and to be scanned by the barcode scanner and then wirelessly transfers the data to the web server to store the data and displays the traffic sign on the OpenStreetMap in the web browser. It uses two Raspberry Pi boards with CAN-Bus shields for transmitting the data on the CAN-Bus system in the car, a barcode scanner to scan the barcode, a GPS module to get its location, and a WiFi dongle to wirelessly send the data. The thesis also includes the camera to detect the traffic light using OpenCV and sends the GO or STOP command to the car. The results provide the OpenStreetMap with the traffic sign which helps the driver to realize the traffic sign on the road of the desired destination. However, the accuracy of GPS is not satisfied as well as the distance of the barcode scanning, therefore, this thesis suggests that includes the gps position in the barcode and uses the camera to detect the barcode for the improvement in the future.

O aprendizado profundo tem inúmeras aplicações na visão computacional, reconhecimento de fala, processamento de linguagem natural e outras aplicações de interesse comercial. A visão computacional, por sua vez, possui muitas aplicações em áreas distintas, indo desde o entretenimento à aplicações relevantes e críticas. O reconhecimento e manipulação de faces (Snapchat), e a descrição de objetos em fotos (OneDrive) são exemplos de aplicações no entretenimento. Ao passo que, a inspeção industrial, o diagnóstico médico, o reconhecimento de objetos em imagens capturadas por satélites (usadas em missões de resgate e defesa), os carros autônomos e o Sistema Avançado de Auxílio ao Motorista (SAAM) são exemplos de aplicações relevantes e críticas. Algumas das empresas de circuitos integrados mais importantes do mundo, como Xilinx, Intel e Nvidia estão apostando em plataformas dedicadas para acelerar o treinamento e a implementação de algoritmos de aprendizado profundo e outras alternativas de visão computacional para carros autônomos e SAAM devido às suas altas necessidades computacionais. Assim, implementar sistemas de aprendizado profundo que alcançam alto desempenho com o custo de baixa utilização de área e dissipação de potência é um grande desafio. Além do mais, os circuitos eletrônicos para a indústria automotiva devem ser confiáveis mesmo sob efeitos da radiação, defeitos de fabricação e efeitos do envelhecimento. Assim, um gerador automático de VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) para Redes Neurais Convolucionais (RNC) foi desenvolvido para reduzir o tempo associado a implementação de algoritmos de aprendizado profundo em hardware. Como estudo de caso, uma RNC foi treinada pela ferramenta Convolutional Architecture for Fast Feature Embedding (Caffe), de modo a classificar 6 classes de placas de trânsito, alcançando uma precisão de cerca de 89,8% no conjunto de dados German Traffic-Sign Recognition Benchmark (GTSRB), que contém imagens de placas de trânsito em cenários complexos. Essa RNC foi implementada num All-Programmable System-on- Chip (APSoC) Zynq-7000, resultando em 313 Frames Por Segundo (FPS) em imagens normalizadas para 32x32, com o APSoC dissipando uma potência de somente 2.057 W, enquanto uma Graphics Processing Unit (GPU) embarcada, em seu modo de operação mínimo, dissipa 10 W. A confiabilidade da RNC proposta foi investigada por injeções de falhas acumuladas e aleatórias por emulação nos bits de configuração da Lógica Programável (LP) do APSoC, alcançando uma confiabilidade de 80,5% sob Single-Bit-Upset (SBU) onde foram considerados ambos os Dados Corrompidos Silenciosos (DCSs) críticos e os casos em que o sistema não respondeu no tempo esperado (time-outs). Em relação às falhas múltiplas, a confiabilidade da RNC decresce exponencialmente com o número de falhas acumuladas. Em vista disso, a confiabilidade da RNC proposta deve ser aumentada através do uso de técnicas de proteção durante o fluxo de projeto. / Deep learning has a plethora of applications in computer vision, speech recognition, natural language processing and other applications of commercial interest. Computer vision, in turn, has many applications in distinct areas, ranging from entertainment applications to relevant and critical applications. Face recognition and manipulation (Snapchat), and object description in pictures (OneDrive) are examples of entertainment applications. Industrial inspection, medical diagnostics, object recognition in images captured by satellites (used in rescue and defense missions), autonomous cars and Advanced Driver-Assistance System (ADAS) are examples of relevant and critical applications. Some of the most important integrated circuit companies around the world, such as Xilinx, Intel and Nvidia are waging in dedicated platforms for accelerating the training and deployment of deep learning and other computer vision algorithms for autonomous cars and ADAS due to their high computational requirement. Thus, implementing a deep learning system that achieves high performance with low area utilization and power consumption costs is a big challenge. Besides, electronic equipment for automotive industry must be reliable even under radiation effects, manufacturing defects and aging effects, inasmuch as if a system failure occurs, a car accident can happen. Thus, a Convolutional Neural Network (CNN) VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) automatic generator was developed to reduce the design time associated to the implementation of deep learning algorithms in hardware. As a case study, a CNN was trained by the Convolutional Architecture for Fast Feature Embedding (Caffe) framework, in order to classify 6 traffic-sign classes, achieving an average accuracy of about 89.8% on the German Traffic-Sign Recognition Benchmark (GTSRB) dataset, which contains trafficsigns images in complex scenarios. This CNN was implemented on a Zynq-7000 All- Programmable System-on-Chip (APSoC), achieving about 313 Frames Per Second (FPS) on 32x32-normalized images, with the APSoC consuming only 2.057W, while an embedded Graphics Processing Unit (GPU), in its minimum operation mode, consumes 10W. The proposed CNN reliability was investigated by random piled-up fault injection by emulation in the Programming Logic (PL) configuration bits of the APSoC, achieving 80.5% of reliability under Single-Bit-Upset (SBU) where both critical Silent Data Corruptions (SDCs) and time-outs were considered. Regarding the multiple faults, the proposed CNN reliability exponentially decreases with the number of piled-up faults. Hence, the proposed CNN reliability must be increased by using hardening techniques during the design flow.

Neste trabalho são propostas pequenas alterações nos principais sinais de trânsito ( Parada Obrigatória – PO e Sentido de Circulação da Via – SCV) para melhorar a percepção dos mesmos por parte dos usuários. As alterações propostas são as seguintes: eliminação da orla externa vermelha do sinal de PO, aumento da orla branca do sinal de PO e da orla vermelha do sinal de SCV e emprego de suportes das placas com espessura significativa e coloridos. Além desses, também são parâmetros, dimensão das placas e dos suportes, bem como a cor e o formato do suporte. Para avaliação das diferentes parâmetros foi utilizada a técnica da psicofísica denominada de Método de Ordenação - Rank Order. As principais conclusões do estudo são as seguintes: a eliminação da orla vermelha das placas de PO melhora a percepção do sinal; o aumento da orla branca da placa de PO e da orla vermelha da placa de SCV contribuem para aumentar o impacto visual (os valores indicados situam-se entre 10 e 12,5% da largura da placa); as dimensões indicadas para as placas são de 70 e 80 cm de largura para placa de PO e de 60 e 70cm para placa de SCV. Os suportes devem ter dimensões entre 10 e 15 cm e devem ser pintados nas cores amarela ou vermelha. Uma observação relevante com relação à pesquisa: na definição das cores dos suportes, a questão estética-harmonia dos conjuntos não foi levada em consideração. / In this work there are proposed small alterations in the principal traffic signs (Stop Sign – SS and One Way Sign – OWS) in order to improve the perception of the same by a part of the usuaries. The alterations proposed are: the elimination of the external red border of the SS sign, the enlargement of the white border of the SS sign and of the red border of the OWS sign and the application of colored sign posts with a significant thickness. In addition to these, the signs and posts dimensions are parameters too, as well as the posts colors and shape. For the assessment of the different parameters a psychophysic technique named Rank Order was utilized. The principal conclusions of the study are the following: the elimination of the red border of the SS sign improve the perception of the sign; the enlargement of the white border of the SS and of the red border of the OWS sign contribute to improve the visual impact (the indicated values situate between 10 and 12,5% of the sign width); the indicated dimensions for the sings are 70 and 80cm of its width for the SS sign and 60 and 70cm for the OWS sign. The posts should have its dimensions between 10 and 15cm e should be painted in the yellow or red colors. An relevant observation related to the research: in the definition of the posts colors, the matter esthetics-harmony of the groups was not considered.

Neste trabalho são propostas pequenas alterações nos principais sinais de trânsito ( Parada Obrigatória – PO e Sentido de Circulação da Via – SCV) para melhorar a percepção dos mesmos por parte dos usuários. As alterações propostas são as seguintes: eliminação da orla externa vermelha do sinal de PO, aumento da orla branca do sinal de PO e da orla vermelha do sinal de SCV e emprego de suportes das placas com espessura significativa e coloridos. Além desses, também são parâmetros, dimensão das placas e dos suportes, bem como a cor e o formato do suporte. Para avaliação das diferentes parâmetros foi utilizada a técnica da psicofísica denominada de Método de Ordenação - Rank Order. As principais conclusões do estudo são as seguintes: a eliminação da orla vermelha das placas de PO melhora a percepção do sinal; o aumento da orla branca da placa de PO e da orla vermelha da placa de SCV contribuem para aumentar o impacto visual (os valores indicados situam-se entre 10 e 12,5% da largura da placa); as dimensões indicadas para as placas são de 70 e 80 cm de largura para placa de PO e de 60 e 70cm para placa de SCV. Os suportes devem ter dimensões entre 10 e 15 cm e devem ser pintados nas cores amarela ou vermelha. Uma observação relevante com relação à pesquisa: na definição das cores dos suportes, a questão estética-harmonia dos conjuntos não foi levada em consideração. / In this work there are proposed small alterations in the principal traffic signs (Stop Sign – SS and One Way Sign – OWS) in order to improve the perception of the same by a part of the usuaries. The alterations proposed are: the elimination of the external red border of the SS sign, the enlargement of the white border of the SS sign and of the red border of the OWS sign and the application of colored sign posts with a significant thickness. In addition to these, the signs and posts dimensions are parameters too, as well as the posts colors and shape. For the assessment of the different parameters a psychophysic technique named Rank Order was utilized. The principal conclusions of the study are the following: the elimination of the red border of the SS sign improve the perception of the sign; the enlargement of the white border of the SS and of the red border of the OWS sign contribute to improve the visual impact (the indicated values situate between 10 and 12,5% of the sign width); the indicated dimensions for the sings are 70 and 80cm of its width for the SS sign and 60 and 70cm for the OWS sign. The posts should have its dimensions between 10 and 15cm e should be painted in the yellow or red colors. An relevant observation related to the research: in the definition of the posts colors, the matter esthetics-harmony of the groups was not considered.

No description available.

Designing smarter vehicles, aiming to minimize the number of driverbased wrong decisions or accidents, which can be faced with during the drive, is one of hot topics of today&rsquo / s automotive technology. In the design of smarter vehicles, several research issues can be addressed / one of which is Traffic Sign Recognition (TSR). In TSR systems, the aim is to remind or warn drivers about the restrictions, dangers or other information imparted by traffic signs, beforehand. Since the existing signs are designed to draw drivers&rsquo / attention by their colors and shapes, processing of these features is one of the crucial parts in these systems. In this thesis, a Traffic Sign Recognition System, having ability of detection and identification of traffic signs even with bad visual artifacts those originate from some weather conditions or other circumstances, is developed. The developed algorithm in this thesis, segments the required color influenced by the illumination of the environment, then reconstructs the shape of partially occluded traffic sign by its remaining segments and finally, identifies it. These three stages are called as &ldquo / Segmentation&rdquo / , &ldquo / Reconstruction&rdquo / and &ldquo / Identification&rdquo / respectively, within this thesis. Due to the difficulty of analyzing partial segments to construct the main frame (a whole sign), the main complexity of the algorithm takes place in the &ldquo / Reconstruction&rdquo / stage.

In this thesis, real time detection of traffic signs using FPGA hardware is presented. Traffic signs have distinctive color and shape properties. Therefore, color and shape based algorithms are chosen to implemented on FPGA. FPGA supports sufficient logic to implement complete systems and sub-systems. Color information of images/frames is used to minimize the search domain of detection process. Using FPGA, real time conversion of YUV space to RGB space is performed. Furthermore, color thresholding algorithm is used to localize the sign in the image/video depending on the color. Edges are the most important image/frame attributes that provide valuable information about the shape of the objects. Sobel edge detection algorithm is implemented on FPGA. After color segmentation, FPGA implementation of Sobel algorithm is used to find the edges of candidate traffic signs in real time. Later, radial symmetry based shape detection algorithm is used to determine circular traffic signs. Each FPGA implemented algorithm is tested by using video sequences and static images. In addition, combined implementation of color based and shape based algorithms are tested. Joint application of color and shape based algorithms are used in order to reduce search domain and the processing time of detection process. Designing architecture on FPGA makes traffic sign detection system portable as a final product and relatively more efficient than the computer based detection systems. The resulting hardware is suitable where cost and compactness constraints are important.

O aprendizado profundo tem inúmeras aplicações na visão computacional, reconhecimento de fala, processamento de linguagem natural e outras aplicações de interesse comercial. A visão computacional, por sua vez, possui muitas aplicações em áreas distintas, indo desde o entretenimento à aplicações relevantes e críticas. O reconhecimento e manipulação de faces (Snapchat), e a descrição de objetos em fotos (OneDrive) são exemplos de aplicações no entretenimento. Ao passo que, a inspeção industrial, o diagnóstico médico, o reconhecimento de objetos em imagens capturadas por satélites (usadas em missões de resgate e defesa), os carros autônomos e o Sistema Avançado de Auxílio ao Motorista (SAAM) são exemplos de aplicações relevantes e críticas. Algumas das empresas de circuitos integrados mais importantes do mundo, como Xilinx, Intel e Nvidia estão apostando em plataformas dedicadas para acelerar o treinamento e a implementação de algoritmos de aprendizado profundo e outras alternativas de visão computacional para carros autônomos e SAAM devido às suas altas necessidades computacionais. Assim, implementar sistemas de aprendizado profundo que alcançam alto desempenho com o custo de baixa utilização de área e dissipação de potência é um grande desafio. Além do mais, os circuitos eletrônicos para a indústria automotiva devem ser confiáveis mesmo sob efeitos da radiação, defeitos de fabricação e efeitos do envelhecimento. Assim, um gerador automático de VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) para Redes Neurais Convolucionais (RNC) foi desenvolvido para reduzir o tempo associado a implementação de algoritmos de aprendizado profundo em hardware. Como estudo de caso, uma RNC foi treinada pela ferramenta Convolutional Architecture for Fast Feature Embedding (Caffe), de modo a classificar 6 classes de placas de trânsito, alcançando uma precisão de cerca de 89,8% no conjunto de dados German Traffic-Sign Recognition Benchmark (GTSRB), que contém imagens de placas de trânsito em cenários complexos. Essa RNC foi implementada num All-Programmable System-on- Chip (APSoC) Zynq-7000, resultando em 313 Frames Por Segundo (FPS) em imagens normalizadas para 32x32, com o APSoC dissipando uma potência de somente 2.057 W, enquanto uma Graphics Processing Unit (GPU) embarcada, em seu modo de operação mínimo, dissipa 10 W. A confiabilidade da RNC proposta foi investigada por injeções de falhas acumuladas e aleatórias por emulação nos bits de configuração da Lógica Programável (LP) do APSoC, alcançando uma confiabilidade de 80,5% sob Single-Bit-Upset (SBU) onde foram considerados ambos os Dados Corrompidos Silenciosos (DCSs) críticos e os casos em que o sistema não respondeu no tempo esperado (time-outs). Em relação às falhas múltiplas, a confiabilidade da RNC decresce exponencialmente com o número de falhas acumuladas. Em vista disso, a confiabilidade da RNC proposta deve ser aumentada através do uso de técnicas de proteção durante o fluxo de projeto. / Deep learning has a plethora of applications in computer vision, speech recognition, natural language processing and other applications of commercial interest. Computer vision, in turn, has many applications in distinct areas, ranging from entertainment applications to relevant and critical applications. Face recognition and manipulation (Snapchat), and object description in pictures (OneDrive) are examples of entertainment applications. Industrial inspection, medical diagnostics, object recognition in images captured by satellites (used in rescue and defense missions), autonomous cars and Advanced Driver-Assistance System (ADAS) are examples of relevant and critical applications. Some of the most important integrated circuit companies around the world, such as Xilinx, Intel and Nvidia are waging in dedicated platforms for accelerating the training and deployment of deep learning and other computer vision algorithms for autonomous cars and ADAS due to their high computational requirement. Thus, implementing a deep learning system that achieves high performance with low area utilization and power consumption costs is a big challenge. Besides, electronic equipment for automotive industry must be reliable even under radiation effects, manufacturing defects and aging effects, inasmuch as if a system failure occurs, a car accident can happen. Thus, a Convolutional Neural Network (CNN) VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) automatic generator was developed to reduce the design time associated to the implementation of deep learning algorithms in hardware. As a case study, a CNN was trained by the Convolutional Architecture for Fast Feature Embedding (Caffe) framework, in order to classify 6 traffic-sign classes, achieving an average accuracy of about 89.8% on the German Traffic-Sign Recognition Benchmark (GTSRB) dataset, which contains trafficsigns images in complex scenarios. This CNN was implemented on a Zynq-7000 All- Programmable System-on-Chip (APSoC), achieving about 313 Frames Per Second (FPS) on 32x32-normalized images, with the APSoC consuming only 2.057W, while an embedded Graphics Processing Unit (GPU), in its minimum operation mode, consumes 10W. The proposed CNN reliability was investigated by random piled-up fault injection by emulation in the Programming Logic (PL) configuration bits of the APSoC, achieving 80.5% of reliability under Single-Bit-Upset (SBU) where both critical Silent Data Corruptions (SDCs) and time-outs were considered. Regarding the multiple faults, the proposed CNN reliability exponentially decreases with the number of piled-up faults. Hence, the proposed CNN reliability must be increased by using hardening techniques during the design flow.

O aprendizado profundo tem inúmeras aplicações na visão computacional, reconhecimento de fala, processamento de linguagem natural e outras aplicações de interesse comercial. A visão computacional, por sua vez, possui muitas aplicações em áreas distintas, indo desde o entretenimento à aplicações relevantes e críticas. O reconhecimento e manipulação de faces (Snapchat), e a descrição de objetos em fotos (OneDrive) são exemplos de aplicações no entretenimento. Ao passo que, a inspeção industrial, o diagnóstico médico, o reconhecimento de objetos em imagens capturadas por satélites (usadas em missões de resgate e defesa), os carros autônomos e o Sistema Avançado de Auxílio ao Motorista (SAAM) são exemplos de aplicações relevantes e críticas. Algumas das empresas de circuitos integrados mais importantes do mundo, como Xilinx, Intel e Nvidia estão apostando em plataformas dedicadas para acelerar o treinamento e a implementação de algoritmos de aprendizado profundo e outras alternativas de visão computacional para carros autônomos e SAAM devido às suas altas necessidades computacionais. Assim, implementar sistemas de aprendizado profundo que alcançam alto desempenho com o custo de baixa utilização de área e dissipação de potência é um grande desafio. Além do mais, os circuitos eletrônicos para a indústria automotiva devem ser confiáveis mesmo sob efeitos da radiação, defeitos de fabricação e efeitos do envelhecimento. Assim, um gerador automático de VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) para Redes Neurais Convolucionais (RNC) foi desenvolvido para reduzir o tempo associado a implementação de algoritmos de aprendizado profundo em hardware. Como estudo de caso, uma RNC foi treinada pela ferramenta Convolutional Architecture for Fast Feature Embedding (Caffe), de modo a classificar 6 classes de placas de trânsito, alcançando uma precisão de cerca de 89,8% no conjunto de dados German Traffic-Sign Recognition Benchmark (GTSRB), que contém imagens de placas de trânsito em cenários complexos. Essa RNC foi implementada num All-Programmable System-on- Chip (APSoC) Zynq-7000, resultando em 313 Frames Por Segundo (FPS) em imagens normalizadas para 32x32, com o APSoC dissipando uma potência de somente 2.057 W, enquanto uma Graphics Processing Unit (GPU) embarcada, em seu modo de operação mínimo, dissipa 10 W. A confiabilidade da RNC proposta foi investigada por injeções de falhas acumuladas e aleatórias por emulação nos bits de configuração da Lógica Programável (LP) do APSoC, alcançando uma confiabilidade de 80,5% sob Single-Bit-Upset (SBU) onde foram considerados ambos os Dados Corrompidos Silenciosos (DCSs) críticos e os casos em que o sistema não respondeu no tempo esperado (time-outs). Em relação às falhas múltiplas, a confiabilidade da RNC decresce exponencialmente com o número de falhas acumuladas. Em vista disso, a confiabilidade da RNC proposta deve ser aumentada através do uso de técnicas de proteção durante o fluxo de projeto. / Deep learning has a plethora of applications in computer vision, speech recognition, natural language processing and other applications of commercial interest. Computer vision, in turn, has many applications in distinct areas, ranging from entertainment applications to relevant and critical applications. Face recognition and manipulation (Snapchat), and object description in pictures (OneDrive) are examples of entertainment applications. Industrial inspection, medical diagnostics, object recognition in images captured by satellites (used in rescue and defense missions), autonomous cars and Advanced Driver-Assistance System (ADAS) are examples of relevant and critical applications. Some of the most important integrated circuit companies around the world, such as Xilinx, Intel and Nvidia are waging in dedicated platforms for accelerating the training and deployment of deep learning and other computer vision algorithms for autonomous cars and ADAS due to their high computational requirement. Thus, implementing a deep learning system that achieves high performance with low area utilization and power consumption costs is a big challenge. Besides, electronic equipment for automotive industry must be reliable even under radiation effects, manufacturing defects and aging effects, inasmuch as if a system failure occurs, a car accident can happen. Thus, a Convolutional Neural Network (CNN) VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) automatic generator was developed to reduce the design time associated to the implementation of deep learning algorithms in hardware. As a case study, a CNN was trained by the Convolutional Architecture for Fast Feature Embedding (Caffe) framework, in order to classify 6 traffic-sign classes, achieving an average accuracy of about 89.8% on the German Traffic-Sign Recognition Benchmark (GTSRB) dataset, which contains trafficsigns images in complex scenarios. This CNN was implemented on a Zynq-7000 All- Programmable System-on-Chip (APSoC), achieving about 313 Frames Per Second (FPS) on 32x32-normalized images, with the APSoC consuming only 2.057W, while an embedded Graphics Processing Unit (GPU), in its minimum operation mode, consumes 10W. The proposed CNN reliability was investigated by random piled-up fault injection by emulation in the Programming Logic (PL) configuration bits of the APSoC, achieving 80.5% of reliability under Single-Bit-Upset (SBU) where both critical Silent Data Corruptions (SDCs) and time-outs were considered. Regarding the multiple faults, the proposed CNN reliability exponentially decreases with the number of piled-up faults. Hence, the proposed CNN reliability must be increased by using hardening techniques during the design flow.

This thesis proposes an automatic road sign recognition system, including all steps from the initial detection of road signs from a digital image to the final recognition step that determines the class of the sign. We develop a Bayesian approach for image segmentation in the detection step using colour information in the HSV (Hue, Saturation and Value) colour space. The image segmentation uses a probability model which is constructed based on manually extracted data on colours of road signs collected from real images. We show how the colour data is fitted using mixture multivariate normal distributions, where for the case of parameter estimation Gibbs sampling is used. The fitted models are then used to find the (posterior) probability of a pixel colour to belong to a road sign using the Bayesian approach. Following the image segmentation, regions of interest (ROIs) are detected by using the Maximally Stable Extremal Region (MSER) algorithm, followed by classification of the ROIs using a cascade of classifiers. Synthetic images are used in training of the classifiers, by applying various random distortions to a set of template images constituting most road signs in Sweden, and we demonstrate that the construction of such synthetic images provides satisfactory recognition rates. We focus on a large set of the signs on the Swedish road network, including almost 200 road signs. We use classification models such as the Support Vector Machine (SVM), and Random Forest (RF), where for features we use Histogram of Oriented Gradients (HOG).