Die sensorbasierte Erfassung des Nahfeldes im Kontext des hochautomatisierten Fahrens erfährt einen spürbaren Trend bei der Integration von Radarsensorik. Fortschritte in der Mikroelektronik erlauben den Einsatz von hochauflösenden Radarsensoren, die durch effiziente Verfahren sowohl im Winkel als auch in der Entfernung und im Doppler die Messgenauigkeit kontinuierlich ansteigen lassen. Dadurch ergeben sich neuartige Möglichkeiten bei der Bestimmung der geometrischen und kinematischen Beschaffenheit ausgedehnter Ziele im Fahrzeugumfeld, die zur gezielten Entwicklung von automotiven Sicherheitssystemen herangezogen werden können. Im Rahmen dieser Arbeit werden ungeschützte Verkehrsteilnehmer wie Fußgänger und Radfahrer mittels eines hochauflösenden Automotive-Radars analysiert. Dabei steht die Erscheinung des Mikro-Doppler-Effekts, hervorgerufen durch das hohe Maß an kinematischen Freiheitsgraden der Objekte, im Vordergrund der Betrachtung. Die durch den Mikro-Doppler-Effekt entstehenden charakteristischen Radar-Signaturen erlauben eine detailliertere Perzeption der Objekte und können in direkten Zusammenhang zu ihren aktuellen Bewegungszuständen gesetzt werden. Es werden neuartige Methoden vorgestellt, die die geometrischen und kinematischen Ausdehnungen der Objekte berücksichtigen und echtzeitfähige Ansätze zur Klassifikation und Verhaltensindikation realisieren. Wird ein ausgedehntes Ziel (z.B. Radfahrer) von einem Radarsensor detektiert, können aus dessen Mikro-Doppler-Signatur wesentliche Eigenschaften bezüglich seines Bewegungszustandes innerhalb eines Messzyklus erfasst werden. Die Geschwindigkeitsverteilungen der sich drehenden Räder erlauben eine adaptive Eingrenzung der Tretbewegung, deren Verhalten essentielle Merkmale im Hinblick auf eine vorausschauende Unfallprädiktion aufweist. Ferner unterliegen ausgedehnte Radarziele einer Orientierungsabhängigkeit, die deren geometrischen und kinematischen Profile direkt beeinflusst. Dies kann sich sowohl negativ auf die Klassifikations-Performance als auch auf die Verwertbarkeit von Parametern auswirken, die eine Absichtsbekundung des Radarziels konstituieren. Am Beispiel des Radfahrers wird hierzu ein Verfahren vorgestellt, das die orientierungsabhängigen Parameter in Entfernung und Doppler normalisiert und die gemessenen Mehrdeutigkeiten kompensiert. Ferner wird in dieser Arbeit eine Methodik vorgestellt, die auf Grundlage des Mikro- Doppler-Profils eines Fußgängers dessen Beinbewegungen über die Zeit schätzt (Tracking) und wertvolle Objektinformationen hinsichtlich seines Bewegungsverhaltens offenbart. Dazu wird ein Bewegungsmodell entwickelt, das die nichtlineare Fortbewegung des Beins approximiert und dessen hohes Maß an biomechanischer Variabilität abbildet. Durch die Einbeziehung einer wahrscheinlichkeitsbasierten Datenassoziation werden die Radar-Detektionen ihren jeweils hervorrufenden Quellen (linkes und rechtes Bein) zugeordnet und eine Trennung der Gliedmaßen realisiert. Im Gegensatz zu bisherigen Tracking-Verfahren weist die vorgestellte Methodik eine Steigerung in der Genauigkeit der Objektinformationen auf und stellt damit einen entscheidenden Vorteil für zukünftige Fahrerassistenzsysteme dar, um deutlich schneller auf kritische Verkehrssituationen reagieren zu können.:1 Introduction 1 1.1 Automotive environmental perception 2 1.2 Contributions of this work 4 1.3 Thesis overview 6 2 Automotive radar 9 2.1 Physical fundamentals 9 2.1.1 Radar cross section 9 2.1.2 Radar equation 10 2.1.3 Micro-Doppler effect 11 2.2 Radar measurement model 15 2.2.1 FMCW radar 15 2.2.2 Chirp sequence modulation 17 2.2.3 Direction-of-arrival estimation 22 2.3 Signal processing 25 2.3.1 Target properties 26 2.3.2 Target extraction 28 Power detection 28 Clustering 30 2.3.3 Real radar data example 31 2.4 Conclusion 33 3 Micro-Doppler applications of a cyclist 35 3.1 Physical fundamentals 35 3.1.1 Micro-Doppler signatures of a cyclist 35 3.1.2 Orientation dependence 36 3.2 Cyclist feature extraction 38 3.2.1 Adaptive pedaling extraction 38 Ellipticity constraints 38 Ellipse fitting algorithm 39 3.2.2 Experimental results 42 3.3 Normalization of the orientation dependence 44 3.3.1 Geometric correction 44 3.3.2 Kinematic correction 45 3.3.3 Experimental results 45 3.4 Conclusion 47 3.5 Discussion and outlook 47 4 Micro-Doppler applications of a pedestrian 49 4.1 Pedestrian detection 49 4.1.1 Human kinematics 49 4.1.2 Micro-Doppler signatures of a pedestrian 51 4.1.3 Experimental results 52 Radially moving pedestrian 52 Crossing pedestrian 54 4.2 Pedestrian feature extraction 57 4.2.1 Frequency-based limb separation 58 4.2.2 Extraction of body parts 60 4.2.3 Experimental results 62 4.3 Pedestrian tracking 64 4.3.1 Probabilistic state estimation 65 4.3.2 Gaussian filters 67 4.3.3 The Kalman filter 67 4.3.4 The extended Kalman filter 69 4.3.5 Multiple-object tracking 71 4.3.6 Data association 74 4.3.7 Joint probabilistic data association 80 4.4 Kinematic-based pedestrian tracking 84 4.4.1 Kinematic modeling 84 4.4.2 Tracking motion model 87 4.4.3 4-D radar point cloud 91 4.4.4 Tracking implementation 92 4.4.5 Experimental results 96 Longitudinal trajectory 96 Crossing trajectory with sudden turn 98 4.5 Conclusion 102 4.6 Discussion and outlook 103 5 Summary and outlook 105 5.1 Developed algorithms 105 5.1.1 Adaptive pedaling extraction 105 5.1.2 Normalization of the orientation dependence 105 5.1.3 Model-based pedestrian tracking 106 5.2 Outlook 106 Bibliography 109 List of Acronyms 119 List of Figures 124 List of Tables 125 Appendix 127 A Derivation of the rotation matrix 2.26 127 B Derivation of the mixed radar signal 2.52 129 C Calculation of the marginal association probabilities 4.51 131 Curriculum Vitae 135 / Sensor-based detection of the near field in the context of highly automated driving is experiencing a noticeable trend in the integration of radar sensor technology. Advances in microelectronics allow the use of high-resolution radar sensors that continuously increase measurement accuracy through efficient processes in angle as well as distance and Doppler. This opens up novel possibilities in determining the geometric and kinematic nature of extended targets in the vehicle environment, which can be used for the specific development of automotive safety systems. In this work, vulnerable road users such as pedestrians and cyclists are analyzed using a high-resolution automotive radar. The focus is on the appearance of the micro-Doppler effect, caused by the objects’ high kinematic degree of freedom. The characteristic radar signatures produced by the micro-Doppler effect allow a clearer perception of the objects and can be directly related to their current state of motion. Novel methods are presented that consider the geometric and kinematic extents of the objects and realize real-time approaches to classification and behavioral indication. When a radar sensor detects an extended target (e.g., bicyclist), its motion state’s fundamental properties can be captured from its micro-Doppler signature within a measurement cycle. The spinning wheels’ velocity distributions allow an adaptive containment of the pedaling motion, whose behavior exhibits essential characteristics concerning predictive accident prediction. Furthermore, extended radar targets are subject to orientation dependence, directly affecting their geometric and kinematic profiles. This can negatively affect both the classification performance and the usability of parameters constituting the radar target’s intention statement. For this purpose, using the cyclist as an example, a method is presented that normalizes the orientation-dependent parameters in range and Doppler and compensates for the measured ambiguities. Furthermore, this paper presents a methodology that estimates a pedestrian’s leg motion over time (tracking) based on the pedestrian’s micro-Doppler profile and reveals valuable object information regarding his motion behavior. To this end, a motion model is developed that approximates the leg’s nonlinear locomotion and represents its high degree of biomechanical variability. By incorporating likelihood-based data association, radar detections are assigned to their respective evoking sources (left and right leg), and limb separation is realized. In contrast to previous tracking methods, the presented methodology shows an increase in the object information’s accuracy. It thus represents a decisive advantage for future driver assistance systems in order to be able to react significantly faster to critical traffic situations.:1 Introduction 1 1.1 Automotive environmental perception 2 1.2 Contributions of this work 4 1.3 Thesis overview 6 2 Automotive radar 9 2.1 Physical fundamentals 9 2.1.1 Radar cross section 9 2.1.2 Radar equation 10 2.1.3 Micro-Doppler effect 11 2.2 Radar measurement model 15 2.2.1 FMCW radar 15 2.2.2 Chirp sequence modulation 17 2.2.3 Direction-of-arrival estimation 22 2.3 Signal processing 25 2.3.1 Target properties 26 2.3.2 Target extraction 28 Power detection 28 Clustering 30 2.3.3 Real radar data example 31 2.4 Conclusion 33 3 Micro-Doppler applications of a cyclist 35 3.1 Physical fundamentals 35 3.1.1 Micro-Doppler signatures of a cyclist 35 3.1.2 Orientation dependence 36 3.2 Cyclist feature extraction 38 3.2.1 Adaptive pedaling extraction 38 Ellipticity constraints 38 Ellipse fitting algorithm 39 3.2.2 Experimental results 42 3.3 Normalization of the orientation dependence 44 3.3.1 Geometric correction 44 3.3.2 Kinematic correction 45 3.3.3 Experimental results 45 3.4 Conclusion 47 3.5 Discussion and outlook 47 4 Micro-Doppler applications of a pedestrian 49 4.1 Pedestrian detection 49 4.1.1 Human kinematics 49 4.1.2 Micro-Doppler signatures of a pedestrian 51 4.1.3 Experimental results 52 Radially moving pedestrian 52 Crossing pedestrian 54 4.2 Pedestrian feature extraction 57 4.2.1 Frequency-based limb separation 58 4.2.2 Extraction of body parts 60 4.2.3 Experimental results 62 4.3 Pedestrian tracking 64 4.3.1 Probabilistic state estimation 65 4.3.2 Gaussian filters 67 4.3.3 The Kalman filter 67 4.3.4 The extended Kalman filter 69 4.3.5 Multiple-object tracking 71 4.3.6 Data association 74 4.3.7 Joint probabilistic data association 80 4.4 Kinematic-based pedestrian tracking 84 4.4.1 Kinematic modeling 84 4.4.2 Tracking motion model 87 4.4.3 4-D radar point cloud 91 4.4.4 Tracking implementation 92 4.4.5 Experimental results 96 Longitudinal trajectory 96 Crossing trajectory with sudden turn 98 4.5 Conclusion 102 4.6 Discussion and outlook 103 5 Summary and outlook 105 5.1 Developed algorithms 105 5.1.1 Adaptive pedaling extraction 105 5.1.2 Normalization of the orientation dependence 105 5.1.3 Model-based pedestrian tracking 106 5.2 Outlook 106 Bibliography 109 List of Acronyms 119 List of Figures 124 List of Tables 125 Appendix 127 A Derivation of the rotation matrix 2.26 127 B Derivation of the mixed radar signal 2.52 129 C Calculation of the marginal association probabilities 4.51 131 Curriculum Vitae 135

This dissertation evaluates the possibilities and limitations of rock type identification in rock cutting with conical picks. For this, machine learning in conjunction with features derived from high frequency cutting force measurements is used. On the basis of linear cutting experiments, it is shown that boundary layers can be identified with a precision of less than 3.7 cm when using the developed programme routine. It is further shown that rocks weakened by cracks can be well identified and that anisotropic rock behaviour may be problematic to the classification success. In a case study, it is shown that the supervised algorithms artificial neural network and distributed random forest perform relatively well while unsupervised k-means clustering provides limited accuracies for complex situations. The 3d-results are visualised in a web app. The results suggest that a possible rock classification system can achieve good results—that are robust to changes in the cutting parameters when using the proposed evaluation methods.:1 Introduction...1 2 Cutting Excavation with Conical Picks...5 2.1 Cutting Process...8 2.1.2 Cutting Parameters...11 2.1.3 Influences of Rock Mechanical Properties...17 2.1.4 Influences of the Rock Mass...23 2.2 Ratios of Cutting Force Components...24 3 State of the Art...29 3.1 Data Analysis in Rock Cutting Research...29 3.2 Rock Classification Systems...32 3.2.1 MWC – Measure-While-Cutting...32 3.2.2 MWD – Measuring-While-Drilling...34 3.2.3 Automated Profiling During Cutting...35 3.2.4 Wear Monitoring...36 3.3 Machine learning for Rock Classification...36 4 Problem Statement and Justification of Topic...38 5 Material and Methods...40 5.1 Rock Cutting Equipment...40 5.2 Software & PC...42 5.3 Samples and Rock Cutting Parameters...43 5.3.1 Sample Sites...43 5.3.2 Experiment CO – Zoned Concrete...45 5.3.3 Experiment GN – Anisotropic Rock Gneiss...47 5.3.4 Experiment GR – Uncracked and Cracked Granite...49 5.3.5 Case Study PB and FBA – Lead-Zinc and Fluorite-Barite Ores...50 5.4 Data Processing...53 5.5 Force Component Ratio Calculation...54 5.6 Procedural Selection of Features...57 5.7 Image-Based Referencing and Rock Boundary Modelling...60 5.8 Block Modelling and Gridding...61 5.9 Correlation Analysis...63 5.10 Regression Analysis of Effect...64 5.11 Machine Learning...65 5.11.2 K-Means Algorithm...66 5.11.3 Artificial Neural Networks...67 5.11.4 Distributed Random Forest...70 5.11.5 Classification Success...72 5.11.6 Boundary Layer Recognition Precision...73 5.12 Machine Learning Case Study...74 6 Results...75 6.1 CO – Zoned Concrete...75 6.1.1 Descriptive Statistics...75 6.1.2 Procedural Evaluation...76 6.1.3 Correlation of the Covariates...78 6.1.4 K-Means Cluster Analysis...79 6.2 GN – Foliated Gneiss...85 6.2.1 Cutting Forces...86 6.2.2 Regression Analysis of Effect...88 6.2.3 Details Irregular Behaviour...90 6.2.4 Interpretation of Anisotropic Behaviour...92 6.2.5 Force Component Ratios...92 6.2.6 Summary and Interpretations of Results...93 6.3 CR – Cracked Granite...94 6.3.1 Force Component Results...94 6.3.2 Spatial Analysis...97 6.3.3 Error Analysis...99 6.3.4 Summary...100 6.4 Case Study...100 6.4.1 Feature Distribution in Block Models...101 6.4.2 Distributed Random Forest...105 6.4.3 Artificial Neural Network...107 6.4.4 K-Means...110 6.4.5 Training Data Required...112 7 Discussion...114 7.1 Critical Discussion of Experimental Results...114 7.1.1 Experiment CO...114 7.1.2 Experiment GN...115 7.1.3 Experiment GR...116 7.1.4 Case Study...116 7.1.5 Additional Outcomes...117 7.2 Comparison of Machine Learning Algorithms...118 7.2.1 K-Means...118 7.2.2 Artificial Neural Networks and Distributed Random Forest...119 7.2.3 Summary...120 7.3 Considerations Towards Sensor System...121 7.3.1 Force Vectors and Data Acquisition Rate...121 7.3.2 Sensor Types...122 7.3.3 Computation Speed...123 8 Summary and Outlook...125 References...128 Annex A Fields of Application of Conical Tools...145 Annex B Supplements Cutting and Rock Parameters...149 Annex C Details Topic-Analysis Rock Cutting Publications...155 Annex D Details Patent Analysis...157 Annex E Details Rock Cutting Unit HSX-1000-50...161 Annex F Details Used Pick...162 Annex G Error Analysis Cutting Experiments...163 Annex H Details Photographic Modelling...166 Annex I Laser Offset...168 Annex J Supplements Experiment CO...169 Annex K Supplements Experiment GN...187 Annex L Supplements Experiment GR...191 Annex M Preliminary Artificial Neural Network Training...195 Annex N Supplements Case Study (CD)...201 Annex O R-Codes (CD)...203 Annex P Supplements Rock Mechanical Tests (CD)...204 / Die Dissertation evaluiert Möglichkeiten und Grenzen der Gebirgserkennung bei der schneidenden Gewinnung von Festgesteinen mit Rundschaftmeißeln unter Nutzung maschinellen Lernens – in Verbindung mit aus hochaufgelösten Schnittkraftmessungen abgeleiteten Kennwerten. Es wird auf linearen Schneidversuchen aufbauend gezeigt, dass Schichtgrenzen mit Genauigkeiten unter 3,7 cm identifiziert werden können. Ferner wird gezeigt, dass durch Risse geschwächte Gesteine gut identifiziert werden können und dass anisotropes Gesteinsverhalten möglicherweise problematisch auf den Klassifizierungserfolg wirkt. In einer Fallstudie wird gezeigt, dass die überwachten Algorithmen Künstliches Neurales Netz und Distributed Random Forest teils sehr gute Ergebnisse erzielen und unüberwachtes k-means-Clustering begrenzte Genauigkeiten für komplexe Situationen liefert. Die Ergebnisse werden in einer Web-App visualisiert. Aus den Ergebnissen wird abgeleitet, dass ein mögliches Sensorsystem mit den vorgeschlagenen Auswerteroutinen gute Ergebnisse erzielen kann, die gleichzeitig robust gegen Änderungen der Schneidparameter sind.:1 Introduction...1 2 Cutting Excavation with Conical Picks...5 2.1 Cutting Process...8 2.1.2 Cutting Parameters...11 2.1.3 Influences of Rock Mechanical Properties...17 2.1.4 Influences of the Rock Mass...23 2.2 Ratios of Cutting Force Components...24 3 State of the Art...29 3.1 Data Analysis in Rock Cutting Research...29 3.2 Rock Classification Systems...32 3.2.1 MWC – Measure-While-Cutting...32 3.2.2 MWD – Measuring-While-Drilling...34 3.2.3 Automated Profiling During Cutting...35 3.2.4 Wear Monitoring...36 3.3 Machine learning for Rock Classification...36 4 Problem Statement and Justification of Topic...38 5 Material and Methods...40 5.1 Rock Cutting Equipment...40 5.2 Software & PC...42 5.3 Samples and Rock Cutting Parameters...43 5.3.1 Sample Sites...43 5.3.2 Experiment CO – Zoned Concrete...45 5.3.3 Experiment GN – Anisotropic Rock Gneiss...47 5.3.4 Experiment GR – Uncracked and Cracked Granite...49 5.3.5 Case Study PB and FBA – Lead-Zinc and Fluorite-Barite Ores...50 5.4 Data Processing...53 5.5 Force Component Ratio Calculation...54 5.6 Procedural Selection of Features...57 5.7 Image-Based Referencing and Rock Boundary Modelling...60 5.8 Block Modelling and Gridding...61 5.9 Correlation Analysis...63 5.10 Regression Analysis of Effect...64 5.11 Machine Learning...65 5.11.2 K-Means Algorithm...66 5.11.3 Artificial Neural Networks...67 5.11.4 Distributed Random Forest...70 5.11.5 Classification Success...72 5.11.6 Boundary Layer Recognition Precision...73 5.12 Machine Learning Case Study...74 6 Results...75 6.1 CO – Zoned Concrete...75 6.1.1 Descriptive Statistics...75 6.1.2 Procedural Evaluation...76 6.1.3 Correlation of the Covariates...78 6.1.4 K-Means Cluster Analysis...79 6.2 GN – Foliated Gneiss...85 6.2.1 Cutting Forces...86 6.2.2 Regression Analysis of Effect...88 6.2.3 Details Irregular Behaviour...90 6.2.4 Interpretation of Anisotropic Behaviour...92 6.2.5 Force Component Ratios...92 6.2.6 Summary and Interpretations of Results...93 6.3 CR – Cracked Granite...94 6.3.1 Force Component Results...94 6.3.2 Spatial Analysis...97 6.3.3 Error Analysis...99 6.3.4 Summary...100 6.4 Case Study...100 6.4.1 Feature Distribution in Block Models...101 6.4.2 Distributed Random Forest...105 6.4.3 Artificial Neural Network...107 6.4.4 K-Means...110 6.4.5 Training Data Required...112 7 Discussion...114 7.1 Critical Discussion of Experimental Results...114 7.1.1 Experiment CO...114 7.1.2 Experiment GN...115 7.1.3 Experiment GR...116 7.1.4 Case Study...116 7.1.5 Additional Outcomes...117 7.2 Comparison of Machine Learning Algorithms...118 7.2.1 K-Means...118 7.2.2 Artificial Neural Networks and Distributed Random Forest...119 7.2.3 Summary...120 7.3 Considerations Towards Sensor System...121 7.3.1 Force Vectors and Data Acquisition Rate...121 7.3.2 Sensor Types...122 7.3.3 Computation Speed...123 8 Summary and Outlook...125 References...128 Annex A Fields of Application of Conical Tools...145 Annex B Supplements Cutting and Rock Parameters...149 Annex C Details Topic-Analysis Rock Cutting Publications...155 Annex D Details Patent Analysis...157 Annex E Details Rock Cutting Unit HSX-1000-50...161 Annex F Details Used Pick...162 Annex G Error Analysis Cutting Experiments...163 Annex H Details Photographic Modelling...166 Annex I Laser Offset...168 Annex J Supplements Experiment CO...169 Annex K Supplements Experiment GN...187 Annex L Supplements Experiment GR...191 Annex M Preliminary Artificial Neural Network Training...195 Annex N Supplements Case Study (CD)...201 Annex O R-Codes (CD)...203 Annex P Supplements Rock Mechanical Tests (CD)...204

Virtual reconstruction of historic sites, planning of restorations and attachments of new building parts, as well as forest inventory are few examples of fields that benefit from the application of 3D surveying data. Originally using 2D photo based documentation and manual distance measurements, the 3D information obtained from multi camera and laser scanning systems realizes a noticeable improvement regarding the surveying times and the amount of generated 3D information. The 3D data allows a detailed post processing and better visualization of all relevant spatial information. Yet, for the extraction of the required information from the raw scan data and for the generation of useable visual output, time-consuming, complex user-based data processing is still required, using the commercially available 3D software tools. In this context, the automatic object recognition from 3D point cloud and depth data has been discussed in many different works. The developed tools and methods however, usually only focus on a certain kind of object or the detection of learned invariant surface shapes. Although the resulting methods are applicable for certain practices of data segmentation, they are not necessarily suitable for arbitrary tasks due to the varying requirements of the different fields of research. This thesis presents a more widespread solution for automatic scene reconstruction from 3D point clouds, targeting street scenarios, specifically for the task of traffic accident scene analysis and documentation. The data, obtained by sampling the scene using a mobile scanning system is evaluated, segmented, and finally used to generate detailed 3D information of the scanned environment. To realize this aim, this work adapts and validates various existing approaches on laser scan segmentation regarding the application on accident relevant scene information, including road surfaces and markings, vehicles, walls, trees and other salient objects. The approaches are therefore evaluated regarding their suitability and limitations for the given tasks, as well as for possibilities concerning the combined application together with other procedures. The obtained knowledge is used for the development of new algorithms and procedures to allow a satisfying segmentation and reconstruction of the scene, corresponding to the available sampling densities and precisions. Besides the segmentation of the point cloud data, this thesis presents different visualization and reconstruction methods to achieve a wider range of possible applications of the developed system for data export and utilization in different third party software tools.

Virtual reconstruction of historic sites, planning of restorations and attachments of new building parts, as well as forest inventory are few examples of fields that benefit from the application of 3D surveying data. Originally using 2D photo based documentation and manual distance measurements, the 3D information obtained from multi camera and laser scanning systems realizes a noticeable improvement regarding the surveying times and the amount of generated 3D information. The 3D data allows a detailed post processing and better visualization of all relevant spatial information. Yet, for the extraction of the required information from the raw scan data and for the generation of useable visual output, time-consuming, complex user-based data processing is still required, using the commercially available 3D software tools. In this context, the automatic object recognition from 3D point cloud and depth data has been discussed in many different works. The developed tools and methods however, usually only focus on a certain kind of object or the detection of learned invariant surface shapes. Although the resulting methods are applicable for certain practices of data segmentation, they are not necessarily suitable for arbitrary tasks due to the varying requirements of the different fields of research. This thesis presents a more widespread solution for automatic scene reconstruction from 3D point clouds, targeting street scenarios, specifically for the task of traffic accident scene analysis and documentation. The data, obtained by sampling the scene using a mobile scanning system is evaluated, segmented, and finally used to generate detailed 3D information of the scanned environment. To realize this aim, this work adapts and validates various existing approaches on laser scan segmentation regarding the application on accident relevant scene information, including road surfaces and markings, vehicles, walls, trees and other salient objects. The approaches are therefore evaluated regarding their suitability and limitations for the given tasks, as well as for possibilities concerning the combined application together with other procedures. The obtained knowledge is used for the development of new algorithms and procedures to allow a satisfying segmentation and reconstruction of the scene, corresponding to the available sampling densities and precisions. Besides the segmentation of the point cloud data, this thesis presents different visualization and reconstruction methods to achieve a wider range of possible applications of the developed system for data export and utilization in different third party software tools.

Die Stadtbiotopkartierung hat sich in Deutschland als die Methode zur Schaffung einer ökologischen Datenbasis für den urbanen Raum etabliert. Sie dient der Untersuchung naturschutzfachlicher Fragen, der Vertretung der Belange des Naturschutzes in zahlreichen räumlichen Planungsverfahren und ganz allgemein einer ökologisch orientierten Stadtplanung. Auf diese Weise kommen die Städte ihrem gesetzlichen Auftrag nach, Natur und Landschaft zu schützen, zu pflegen und zu entwickeln (§ 1 BNatSchG), den es explizit auch innerhalb der besiedelten Fläche zu erfüllen gilt. Ein Großteil der heute bestehenden 228 Stadtbiotoptypenkarten ist in der Etablierungsphase der Methode in den 80er Jahren entstanden und wurde häufig durch Landesmittel gefördert. Der Anteil der Städte, die jemals eine Aktualisierung durchgeführt haben, wird jedoch auf unter fünf Prozent geschätzt. Dies hängt vor allem mit dem hohen Kosten- und Zeitaufwand der Datenerhebung zusammen, die durch visuelle Interpretation von CIR-Luftbildern und durch Feldkartierungen erfolgt. Um die Aktualisierung von Stadtbiotoptypenkarten zu vereinfachen, wird in der vorliegenden Arbeit das Automatisierungspotenzial von Stadtbiotopkartierungen durch Nutzung von Fernerkundungsdaten untersucht. Der Kern der Arbeit besteht in der Entwicklung einer Methode, die einen wichtigen Arbeitsschritt der Stadtbiotopkartierung automatisiert durchführt: Die Erkennung des Biotoptyps von Biotopen. Darüber hinaus zeigt die Arbeit das Automatisierungspotenzial bei der flächenhaften Erhebung von quantitativen Parametern und Indikatoren zur ökologischen Bewertung von Stadtbiotopen auf. Durch die automatische Biotoptypenerkennung kann die Überprüfung und Aktualisierung einer Biotoptypenkarte in weiten Teilen der Stadt automatisiert erfolgen, wodurch der Zeitaufwand reduziert wird. Das entwickelte Verfahren kann in den bestehenden Ablauf der Stadtbiotopkartierung integriert werden, indem zunächst die Kartierung ausgewählter Biotoptypen automatisch erfolgt und die verbleibenden Flächen der Stadt durch visuelle Luftbildinterpretation und Feldbegehung überprüft und zugeordnet werden. Die thematische Einteilung der Biotoptypen orientiert sich im urbanen Raum in erster Linie an der anthropogenen Nutzung, da diese den dominierenden Faktor für die biologische Ausstattung der Biotope darstellt. Die entwickelte Methode eignet sich vor allem zur Erkennung von baulich geprägten Biotopen, da die Nutzung - und dadurch der Biotoptyp einer Fläche - durch eine automatische Analyse der Geoobjekte innerhalb der Biotopfläche ermittelt werden kann. Die Geoobjekte wiederum können durch eine Klassifizierung von multisensoralen Fernerkundungsdaten (hyperspektrale Flugzeugscannerdaten und digitale Oberflächenmodelle) identifiziert werden. Die Analyse der Geoobjekte und der urbanen Oberflächenarten innerhalb der Biotopfläche erfolgt anhand von räumlichen, morphologischen und quantitativen Merkmalen. Auf Basis dieser Merkmale wurden zwei Varianten eines automatischen Biotopklassifizierers entwickelt, die unter Verwendung von Fuzzy Logik und eines neu entwickelten, paarweise arbeitenden Maximum Likelihood Klassifizierers (pMLK) implementiert wurden. Für die bisher implementierten 10 Biotoptypen, die zusammen etwa die Hälfte des Stadtgebiets abdecken, wurde eine Erkennungsgenauigkeit von über 80 % ermittelt. Der pMLK wurde erfolgreich in zwei Städten (Berlin, Dresden) erprobt, wodurch seine Übertragbarkeit nachgewiesen werden konnte.

The ability of the visual system for object recognition is remarkable. A better understanding of its processing would lead to better computer vision systems and could improve our understanding of the underlying principles which produce intelligence. We propose a computational model of the visual areas V1 and V2, implementing a rich connectivity inspired by the neocortical circuit. We combined the three most important cortical plasticity mechanisms. 1) Hebbian synaptic plasticity to learn the synapse strengths of excitatory and inhibitory neurons, including trace learning to learn invariant representations. 2) Intrinsic plasticity to regulate the neurons responses and stabilize the learning in deeper layers. 3) Structural plasticity to modify the connections and to overcome the bias for the learnings from the initial definitions. Among others, we show that our model neurons learn comparable receptive fields to cortical ones. We verify the invariant object recognition performance of the model. We further show that the developed weight strengths and connection probabilities are related to the response correlations of the neurons. We link the connection probabilities of the inhibitory connections to the underlying plasticity mechanisms and explain why inhibitory connections appear unspecific. The proposed model is more detailed than previous approaches. It can reproduce neuroscientific findings and fulfills the purpose of the visual system, invariant object recognition. / Das visuelle System des Menschen hat die herausragende Fähigkeit zur invarianten Objekterkennung. Ein besseres Verständnis seiner Arbeitsweise kann zu besseren Computersystemen für das Bildverstehen führen und könnte darüber hinaus unser Verständnis von den zugrundeliegenden Prinzipien unserer Intelligenz verbessern. Diese Arbeit stellt ein Modell der visuellen Areale V1 und V2 vor, welches eine komplexe, von den Strukturen des Neokortex inspirierte, Verbindungsstruktur integriert. Es kombiniert die drei wichtigsten kortikalen Plastizitäten: 1) Hebbsche synaptische Plastizität, um die Stärke der exzitatorischen und inhibitorischen Synapsen zu lernen, welches auch „trace“-Lernen, zum Lernen invarianter Repräsentationen, umfasst. 2) Intrinsische Plastizität, um das Antwortverhalten der Neuronen zu regulieren und damit das Lernen in tieferen Schichten zu stabilisieren. 3) Strukturelle Plastizität, um die Verbindungen zu modifizieren und damit den Einfluss anfänglicher Festlegungen auf das Lernergebnis zu reduzieren. Neben weiteren Ergebnissen wird gezeigt, dass die Neuronen des Modells vergleichbare rezeptive Felder zu Neuronen des visuellen Kortex erlernen. Ebenso wird die Leistungsfähigkeit des Modells zur invariante Objekterkennung verifiziert. Des Weiteren wird der Zusammenhang von Gewichtsstärke und Verbindungswahrscheinlichkeit zur Korrelation der Aktivitäten der Neuronen aufgezeigt. Die gefundenen Verbindungswahrscheinlichkeiten der inhibitorischen Neuronen werden in Zusammenhang mit der Funktionsweise der inhibitorischen Plastizität gesetzt, womit erklärt wird warum inhibitorische Verbindungen unspezifisch erscheinen. Das vorgestellte Modell ist detaillierter als vorangegangene Arbeiten. Es ermöglicht neurowissenschaftliche Erkenntnisse nachzuvollziehen, wobei es ebenso die Hauptleistung des visuellen Systems erbringt, invariante Objekterkennung. Darüber hinaus ermöglichen sein Detailgrad und seine Selbstorganisationsprinzipien weitere neurowissenschaftliche Erkenntnisse und die Modellierung komplexerer Modelle der Verarbeitung im Gehirn.

Visual attention is an important cognitive concept for the daily life of humans, but still not fully understood. Due to this, it is also rarely utilized in computer vision systems. However, understanding visual attention is challenging as it has many and seemingly-different aspects, both at neuronal and behavioral level. Thus, it is very hard to give a uniform explanation of visual attention that can account for all aspects. To tackle this problem, this thesis has the goal to identify a common set of neuronal mechanisms, which underlie both neuronal and behavioral aspects. The mechanisms are simulated by neuro-computational models, thus, resulting in a single modeling approach to explain a wide range of phenomena at once. In the thesis, the chosen aspects are multiple neurophysiological effects, real-world object localization, and a visual masking paradigm (OSM). In each of the considered fields, the work also advances the current state-of-the-art to better understand this aspect of attention itself. The three chosen aspects highlight that the approach can account for crucial neurophysiological, functional, and behavioral properties, thus the mechanisms might constitute the general neuronal substrate of visual attention in the cortex. As outlook, our work provides for computer vision a deeper understanding and a concrete prototype of attention to incorporate this crucial aspect of human perception in future systems.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion / Visuelle Aufmerksamkeit ist ein wichtiges kognitives Konzept für das tägliche Leben des Menschen. Es ist aber immer noch nicht komplett verstanden, so dass es ein langjähriges Ziel der Neurowissenschaften ist, das Phänomen grundlegend zu durchdringen. Gleichzeitig wird es aufgrund des mangelnden Verständnisses nur selten in maschinellen Sehsystemen in der Informatik eingesetzt. Das Verständnis von visueller Aufmerksamkeit ist jedoch eine komplexe Herausforderung, da Aufmerksamkeit äußerst vielfältige und scheinbar unterschiedliche Aspekte besitzt. Sie verändert multipel sowohl die neuronalen Feuerraten als auch das menschliche Verhalten. Daher ist es sehr schwierig, eine einheitliche Erklärung von visueller Aufmerksamkeit zu finden, welche für alle Aspekte gleichermaßen gilt. Um dieses Problem anzugehen, hat diese Arbeit das Ziel, einen gemeinsamen Satz neuronaler Mechanismen zu identifizieren, welche sowohl den neuronalen als auch den verhaltenstechnischen Aspekten zugrunde liegen. Die Mechanismen werden in neuro-computationalen Modellen simuliert, wodurch ein einzelnes Modellierungsframework entsteht, welches zum ersten Mal viele und verschiedenste Phänomene von visueller Aufmerksamkeit auf einmal erklären kann. Als Aspekte wurden in dieser Dissertation multiple neurophysiologische Effekte, Realwelt Objektlokalisation und ein visuelles Maskierungsparadigma (OSM) gewählt. In jedem dieser betrachteten Felder wird gleichzeitig der State-of-the-Art verbessert, um auch diesen Teilbereich von Aufmerksamkeit selbst besser zu verstehen. Die drei gewählten Gebiete zeigen, dass der Ansatz grundlegende neurophysiologische, funktionale und verhaltensbezogene Eigenschaften von visueller Aufmerksamkeit erklären kann. Da die gefundenen Mechanismen somit ausreichend sind, das Phänomen so umfassend zu erklären, könnten die Mechanismen vielleicht sogar das essentielle neuronale Substrat von visueller Aufmerksamkeit im Cortex darstellen. Für die Informatik stellt die Arbeit damit ein tiefergehendes Verständnis von visueller Aufmerksamkeit dar. Darüber hinaus liefert das Framework mit seinen neuronalen Mechanismen sogar eine Referenzimplementierung um Aufmerksamkeit in zukünftige Systeme integrieren zu können. Aufmerksamkeit könnte laut der vorliegenden Forschung sehr nützlich für diese sein, da es im Gehirn eine Aufgabenspezifische Optimierung des visuellen Systems bereitstellt. Dieser Aspekt menschlicher Wahrnehmung fehlt meist in den aktuellen, starken Computervisionssystemen, so dass eine Integration in aktuelle Systeme deren Leistung sprunghaft erhöhen und eine neue Klasse definieren dürfte.:1. General introduction 2. The state-of-the-art in modeling visual attention 3. Microcircuit model of attention 4. Object localization with a model of visual attention 5. Object substitution masking 6. General conclusion