This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.

Récemment, dans la recherche automobile et dans le domaine des transports intelligents,plusieurs projets intéressants ont été menés afin de diminuer le nombre d’accidents. Lors du développement de ces projets, de nouveaux systèmes d’aide à la conduite ont été proposés,comme les systèmes de prévention de collision, d’aide à la vision de nuit et à la navigation.Ces études ont permis de proposer de nouvelles perspectives telles que les systèmes d’aide à la conduite coopératifs, en utilisant la communication entre les véhicules ou entre les véhicules et l’infrastructure basée sur les réseaux VANETs. Pour évaluer l’impact de systèmes ADAS sur l’amélioration de la sécurité routière et la réaction du conducteur, il est indispensable d’utiliser des outils flexibles et efficaces. Des métriques intéressantes sont ainsi proposées dans le but de tester la performance de ces systèmes. La plateforme LaRA qui est équipée de plusieurs capteurs et d’un système d’acquisition en temps réel nous a fourni une base de données réelles de position et de vitesse. Ces données sont traitées et analysées afin de calculer les métriques de performances tels que : la distance entre véhicules et le temps à collision. Nous avons proposé dans cette thèse une nouvelle méthodologie de développement pour le prototypage de systèmes ADAS. Cette méthodologie dédiée aux systèmes ADAS coopératifs, combine les données de plusieurs modules tels que : le module de vision, le module de communication V2V et le module de géo-localisation GPS. Un des problèmes majeurs des systèmes ADAS communicants concerne la qualité et la robustesse de la communication. Elle est fonction d’un grand nombre de paramètres qu’il faut modéliser pour pouvoir évaluer la fiabilité du système d’aide à la conduite.Nous proposons ainsi, un système de prototypage basé sur le principe de la réalité augmentée,dans lequel nous pouvons rejouer des données réelles et modifier des paramètres de l’environnement de communication. Nous avons mis en œuvre notre méthodologie avec la réalisation d’un système d’alerte coopératif entre les véhicules. Les données du système de géolocalisation GPS et les protocoles de routage ont été des éléments primordiaux pour la simulation du modèleV2V sous le simulateur ns-2. L’étape de la simulation du protocole avec les données réelles a été suivie par l’intégration des résultats de simulations dans le nouveau prototype développé sous RTMaps. La mise en œuvre du système d’alerte a permis d’estimer le nombre de pré-collisions détectées dans les deux situations réelle et simulée. L’écart entre ces deux dernières a été étudié et analysé pour plusieurs scénarios qui correspondent aux différentes situations routières. / During the last recent years, ADAS systems such as collision warning, tracking, night vision and navigation systems have been developed. The development of these systems has witness eda growing importance, as they are expected to help improving both road safety and traffic efficiency. More over, they have an ability to enhance the communication between the road infrastructure and the vehicle or between vehicles for safer and efficient transportation services such as : embedded advance collision, collision avoidance and automatic control. In addition,given the rapidly increasing interest in wireless communications, cooperative ADAS define anew framework of autonomous inter vehicular communication which operates on the assumption that such vehicles consist of a multitude of coordinated advanced sensory technologies.Sensors acquire real-time data about road conditions to help the driver respond effectively by sending appropriate messages between vehicles. In addition, these data help to assess the performance of ADAS in the context of improving driver behavior. It is necessary to set some main metrics such as inter-vehicle distance, driver reaction time and time to collision. The messages are transmitted to drivers using vehicular Ad-hoc networks (VANETs) which are a specific type of Mobile Ad-hoc Networks hold the promise to contribute to safe and more efficient roadways.In this thesis we proposed a new methodology of development to prototype ADAS. This methodology dedicated to cooperative ADAS drove us to implement a new simulated frameworkof prototyping system. This framework combines the data from three models : Geo-localizationGPS, vision and V2V communication towards an application of anti-collision warning system. A major problem in communicating ADAS systems is the quality and robustness of the communication.It depends on a large number of parameters that must be modeled to assess there liability of these systems. We developed a new prototyping system based on the principle ofaugmenting the reality in which we can replay actual data and change settings of communication environment. The GPS data and routing protocols were crucial elements for V2V model simulation into ns-2 simulator. We have performed real tests on the experimental prototyping platform LaRA. Multiple results are presented to show up the constancy of the method and the performance efficiency of real-time multi sensors in an integrated framework for collision avoidance applications. Results of this research have shown that IVCs simulations system provides enhanced data for the verification of features of new ADAS. The results of routing protocols simulation with real-time location data are integrated in the new developed prototype. The implementation of the system warning was used to estimate the number of pre-collisions detected in both real and simulated situations. The difference between these two situations was studied and analyzed for several scenarios corresponding to different road situations.

Die vorliegende Arbeit widmet sich der Erforschung der Fahrer-Fahrzeug-Interaktion mit dem Ziel der Fahrerabsichtserkennung bei Spurwechselmanövern. Diese Fahrmanöver sind mit einer überproportionalen Unfallhäufigkeit verbunden, die sich in den Unfallstatistiken widerspiegelt. Laut Statistischem Bundesamt (2008) kamen im Jahr 2007 12,0% (1857) aller Unfälle mit schwerem Sachschaden auf Autobahnen in Deutschland aufgrund von Zusammenstößen mit seitlich in die gleiche Richtung fahrenden Fahrzeugen zustande (S. 65). Mit Hilfe der Information über einen intendierten Spurwechsel kann ein System an das zukünftige Fahrerverhalten angepasst werden, um so die Funktionalität und damit das Sicherheitspotential des Gesamtsystems zu erhöhen. Zusätzlich können mit dieser Information auch unerwünschte Systemeingriffe unterdrückt werden, die den Fahrer stören und so zu einer Minderung der Akzeptanz des jeweiligen Fahrerassistenz- und Informationssystems führen könnten. So kann einerseits ein Assistenzsystem eingeschaltet werden, das den Spurwechsel erleichtert (z.B. Side Blind Zone Alert, Kiefer & Hankey, 2008). Zum anderen kann ein Assistenzsystem abgeschaltet werden, das den Fahrer irrtümlich warnen würde, wie zum Beispiel ein Spurverlassenswarner im Falle eines beabsichtigten Überfahrens der Fahrspur (Henning, Beyreuther et al., 2007). In diesem Zusammenhang bilden drei Untersuchungen das Herzstück der vorliegenden Arbeit. In einer Feldstudie untersuchten Henning, Georgeon, Dapzol und Krems (2009) Indikatoren, die auf die Vorbereitung eines Spurwechsels hindeuten und fanden dabei vor allem Blickverhalten in den linken Außenspiegel als einen geeigneten und sehr frühen Indikator. Dieser dient wahrscheinlich vor allem dem Aufbau einer mentalen Repräsentation des rückwärtigen Verkehrs. In einer anschließenden Fahrsimulatorstudie wurde experimentell erforscht, wie diese mentale Repräsentation beschaffen ist und in welchen Komponenten des Arbeitsgedächtnisses sie gespeichert wird (Henning, Beyreuther, & Krems, 2009). In einer dritten Studie, bestehend aus zwei Laborexperimenten, wurde nach einer Schwelle für den Übergang von einer statischen in eine dynamische mentale Repräsentation sich nähernder Fahrzeuge mit Hilfe des Paradigmas des Representational Momentum (Freyd & Finke, 1984) gesucht und ebenfalls deren Lokalisation im Arbeitsgedächtnis erforscht (Henning & Krems, 2009). Die den drei Manuskripten vorangestellte Einleitung dient der allgemeinen Einführung in das Thema und der Einordnung der Befunde. Dabei wird zuerst der Spurwechselprozess dargestellt, gefolgt von einer Diskussion der zugrundeliegenden kognitiven Prozesse und einem Exkurs über die Möglichkeiten der Spurwechselabsichtserkennung und deren Verbesserung im Lichte der Befunde.

Seit 2015 arbeitet das Fraunhofer IVV, Dresden intensiv mit interdisziplinären Forschergruppen aus Maschinenbauern, Mechatronikern, Psychologen und Designern an der Entwicklung eines selbstlernendes Bediener-Assistenzsystems. Von Beginn an wird das Team außerdem von einem industriellen Beraterkreis aus Verbänden, Maschinenbetreibern und -herstellern unterstützt. Dadurch wird die Forschung und Entwicklung eng an den Bedarfen der potentiellen Nutzer ausgerichtet. Gleichzeitig erhalten unsere Partner die Möglichkeit, ihre eigenen Entwicklungen und Prozesse zu hinterfragen und sich mit kompetenten Experten über bestimmte Herausforderungen auszutauschen. In dieser Kooperation hat sich das jährliche VVD-Anwenderforum zum zentralen Baustein entwickelt. Am 10. Oktober 2019 findet nun unser 3. VVD-Anwenderforum „Bediener-Assistenzsysteme“ in Dresden statt. Dazu möchten wir Sie recht herzlich einladen. Zusätzlich vom VVD-Anwenderforum bieten wir am 9. Oktober ein Workshop „Einstieg in Machine Learning“ statt. In diesem Workshop stellen wir das wichtigste Wording, die grundlegende Mathematik, die Möglichkeiten und Grenzen vor. Damit wollen wir die Teilnehmenden in die Lage versetzen, Ideen für eigene Anwendungsmöglichkeiten zu entwickeln und sich mit Fachexperten über Zielstellungen auszutauschen.:1. Andre Schult (Fraunhofer IVV Dresden): Aktueller Stand SAM und Vorstellung der Pilotprojekte 2. Dr. Romy Müller (TU Dresden, Professur für Ingenieurpsychologie und angewandte Kognitionsforschung): Psychologische Aspekte der Mensch-Maschine-Interaktion 3. Moritz Schroth (Fraunhofer IVV Dresden): Aktuelle Forschungsprojekte für die Industrie4.0 – opticSAM 4. Patrick Binzer (Multivac Sepp Haggenmüller SE & Co. KG): Automatisierte Maschinenkonfigurationen aus Kundensicht 5. Dr. Lukas Oehm (Fraunhofer IVV Dresden): Vorstellung geplanter Forschungsvorhaben Fraunhofer IVV

No description available.

Auch mit modernster Technik und Maschinen ist der Mensch aus der Produktion nicht wegzudenken. Bediener mit Erfahrung sind elementar wichtig für effiziente Produktionsprozesse und bleiben unersetzbar – so die Theorie. In der Praxis fehlt den Unternehmen allerdings zunehmend gut ausgebildetes Fachpersonal. Lange Stillstandszeiten und hohe Ausschussmengen können die Folge sein. Gemeinsam mit Ihnen und weiteren Vertretern aus Wissenschaft und Industrie wollen wir uns mit neuen Konzepten und Visionen selbstlernender Bediener-Assistenzsysteme auseinandersetzen, - psychologische Aspekte, - die Nutzung von Augmented und Virtual Reality sowie - selbstlernende Systeme (künstliche Intelligenz) vorstellen und anschließend diskutieren.:1. Dr. Peter Golz (VDMA, Frankfurt am Main): Der Mensch im Produktionsumfeld 2. Dr. Romy Müller (TU Dresden, Professur für Ingenieurpsychologie und angewandte Kognitionsforschung): Mensch-Maschine-Kooperation in hochautomatisierten Systemen 3. Andre Schult (Fraunhofer IVV Dresden): Selbstlernendes Bediener-Assistenzsystem 4. Harald Wolf (Hassia Verpackungsmaschinen GmbH, Ranstadt): Mensch-Maschine im internationalen Umfeld 5. Ulf Heinemann (Robotron Datenbank- Software GmbH, Dresden): Störungserkennung durch Motorstromanalysen in Produktionsstraßen 6. Tilman Klaeger (Fraunhofer IVV Dresden): Maschinelles Lernen am Fraunhofer IVV Dresden 7. Patrick Marchion (Dividella AG, Grabs, CH): Augmented Reality für Wartung und Bedienung

Mit der Automatisierung in der Produktion wird oft versucht, den Menschen als mögliche Fehlerquelle zunehmend vom Prozess auszuschließen. Dabei besitzt der Mensch einzigartige und nützliche motorische, sensorische und kognitive Fähigkeiten. Innovative Technologien bieten nun die Grundlage, Automatisierung und menschliche Fähigkeiten ideal zusammenzuführen und somit die Effizienz von Produktionsprozessen deutlich zu steigern. Wir möchten Sie herzlich einladen, diese neuen Möglichkeiten mit uns zu diskutieren. Vertreter aus Forschung und Industrie werden aktuelle Strategien und Entwicklungen vorstellen. In der begleitenden Demo-Session finden Sie Gelegenheit, mit Experten zu sprechen und Technologien auszuprobieren.Ziel ist es, Ihnen einen ersten Einblick zu bieten und dadurch den Grundstein für eigene Anwendungsideen und -projekte zu legen.:1. Andre Schult (Fraunhofer IVV, Dresden): Begrüßung 2. Peter Seeberg (Softing Industrial Automation GmbH): KeyNote: Industrie 4.0 - Revolution durch Maschinelles Lernen 3. Andre Schult (Fraunhofer IVV, Dresden): Selbstlernende Bediener-Assistenzsysteme - Ein Update 4. Dr. Lukas Oehm (Fraunhofer IVV, Dresden): Ideenwerkstatt zukünftiger Projekte 5. Dr. Romy Müller (TU Dresden): Übervertrauen in Assistenzsysteme: Entstehungsbedingungen und Gegenmaßnahmen 6. Diego Arribas (machineering GmbH & Co. KG): Mehr Geschwindigkeit durch Digitales Engineering, Virtuelle Realität und Simulation 7. Sebastian Carsch (Fraunhofer IVV, Dresden): Informationsaustausch im interdisziplinären Entwicklungsprozess 8. Prof. Rainer Groh (TU Dresden): Das menschliche Maß der Interaktion 9. Fanny Seifert (Elco Industrie Automation GmbH): Smart Maintenance - Industrie-Apps als Grundlage für ein durchgängig integriertes Assistenzsystem 10. Markus Windisch (Fraunhofer IVV, Dresden): Cyber Knowledge Systems - Wissensbausteine für die digitalisierte Bauteilreinigung 11. Dr. Marius Grathwohl (MULTIVAC Sepp Hagemüller SE & Co. KG): IoT und Smart Services in agiler Entwicklung – Phasen der digitalen Transformation bei MULTIVAC 12. Andre Schult (Fraunhofer IVV, Dresden): Zusammenfassung und Abschlussdiskussion

Moderne Fahrerassistenzsysteme basieren auf der Verarbeitung von Informationen, welche durch die Umfeldwahrnehmung mit unterschiedlicher Sensorik erfolgt. Neben den Informationen aus dem eigenen Fahrzeug ergeben sich durch unterschiedliche Kommunikationsmöglichkeiten (Car2Car, Car2X, ...) erweiterte Umfeldwahrnehmungen (siehe Abb. 1). Diese Daten gilt es aufbereitet und zielorientiert einer Anwendung zur Verfügung zu stellen, was mit Hilfe einer Local Dynamic Map (LDM) erfüllt werden kann. Die vorliegende Veröffentlichung beschreibt den Aufbau, Verwendungszweck und Eigenschaften einer entwickelten LDM und geht auf einige Applikationen ein, die mit Hilfe dieser realisiert wurden.

No description available.

Τα αυτοκινητιστικά δυστυχήματα αποτελούν μια από τις κυριότερες αιτίες θανάτου παγκοσμίως. Ο αυξανόμενος αριθμός τους οδήγησε στην συνειδητοποίηση ότι η χρήση προηγμένης τεχνολογίας για την κατασκευή ασφαλέστερων οχημάτων είναι απαραίτητη για την μείωση των ατυχημάτων και κατά συνέπεια των θανάτων που οφείλονται σε αυτά. Από τη στιγμή που οι τεχνολογικές εξελίξεις επέτρεψαν την ενσωμάτωση φθηνών, χαμηλής κατανάλωσης συστημάτων με μεγάλη επεξεργαστική ταχύτητα σε οχήματα, κατέστη προφανές ότι περίπλοκες τεχνικές υπολογιστικής όρασης μπορούσαν πλέον να χρησιμοποιηθούν για την υποβοήθηση της οδήγησης. Σε αυτή την κατεύθυνση, η παρούσα διατριβή εστιάζει στην ανάπτυξη καινοτόμων λύσεων για διαφορετικά κομμάτια που εμπλέκονται στα προηγμένα συστήματα υποβοήθησης του οδηγού. Πιο συγκεκριμένα, σε αυτή την διατριβή προτείνονται καινοτόμα υποσυστήματα για την αναγνώριση σημάτων οδικής κυκλοφορίας, την αναγνώριση φωτεινών σηματοδοτών, τον εντοπισμό προπορευόμενου οχήματος και τον εντοπισμό δρόμου. Οι τεχνικές που χρησιμοποιήθηκαν για την ανάπτυξη των προτεινόμενων λύσεων βασίζονται στην χρωματική επεξεργασία εικόνας με έμφαση στην ανεξαρτησία από την φωτεινότητα της σκηνής, στην χρήση πληροφορίας συμμετρίας για τον εντοπισμό χαρακτηριστικών αντικειμένων (όπως σήματα οδικής κυκλοφορίας, φωτεινοί σηματοδότες και οχήματα), στην χώρο-χρονική παρακολούθηση των εντοπισμένων αντικειμένων και στην αυτόματη κατάτμηση εικόνας για τον εντοπισμό δρόμου. Τα προτεινόμενα συστήματα αναπτύχθηκαν με στόχο την ανθεκτικότητα σε αλλαγές της φωτεινότητας ή τις καιρικές συνθήκες, καθώς και στην οδήγηση σε απαιτητικά περιβάλλοντα. Επίσης, έχει δοθεί ιδιαίτερη έμφαση στην προοπτική υλοποίησης συστημάτων πραγματικού χρόνου. Τα αποτελέσματα που παρουσιάζονται σε αυτή την διατριβή αποδεικνύουν την ανωτερότητα των προτεινόμενων μεθόδων έναντι αντίστοιχων της σχετικής βιβλιογραφίας, ειδικά στις περιπτώσεις του εντοπισμού προπορευόμενου οχήματος και του εντοπισμού δρόμου. Ελπίζουμε ότι μέρη της έρευνας αυτής θα εμπνεύσουν νέες προσεγγίσεις για τις μελλοντικές υλοποιήσεις αντίστοιχων συστημάτων. / Traffic accidents are one of the main reasons for the loss of human lives worldwide. Their increasing number has led to the realization that the use of advanced technology for manufacturing safer vehicles is imperative for limiting casualties. Since technological breakthroughs allowed the incorporation of cheap, low consumption systems with high processing speeds in vehicles, it became apparent that complex computer vision techniques could be used to assist drivers in navigating their vehicles. In this direction, this thesis focuses on providing novel solutions for different tasks involved in advanced driver assistance systems. More specifically, this thesis proposes novel sub-systems for traffic sign recognition, traffic light recognition, preceding vehicle detection and road detection. The techniques used for developing the proposed solutions are based on color image processing with a focus on illumination invariance, using symmetry information for man-made objects (like traffic signs, traffic lights and vehicles) detection, spatiotemporal tracking of detected results and automated image segmentation for road detection. The proposed systems were implemented with a goal of robustness to changes of illumination and weather conditions, as well as to diverse driving environments. A special focus on the prospect for real-time implementation has also been given. The results presented in this thesis indicate the superiority of the proposed methods to their counterparts found in relevant literature in both normal and challenging conditions, especially in the cases of preceding vehicle detection and road detection. Hopefully, parts of this research will provide new insights for future developments in the field of intelligent transportation.