Diese Diplomarbeit beschäftigt sich mit der Entwicklung von Teststrukturen zur Charakterisierung von Mikrosystemen auf Waferebene. Sie dienen zur Bestimmung von Prozesstoleranzen. Ziel dieser Arbeit ist es, einen Algorithmus zu entwickeln, mit dem Teststrukturen optimiert werden können. Dazu wird ein Ansatz zur Optimierung von Teststrukturen mittels eines Genetischen Algorithmus untersucht. Grundlage für diesen ist eine Bewertung der Strukturen hinsichtlich der Sensitivität gegenüber den Fertigungsparametern und der Messbarkeit der Eigenmoden. Dem Leser wird zuerst ein Einblick in das Themengebiet und in die Verwendung von Teststrukturen gegeben. Es folgen Grundlagen zur Fertigung und Messung von Mikrosystemen, zur Parameteridentifikation, sowie zu Optimierungsalgorithmen. Anschließend wird ein Bewertungs- und Optimierungskonzept, sowie eine Softwareimplementation für die sich aus der Optmierung ergebenden Aufgaben, vorgestellt. Unter anderem eine Eigenmodenerkennung mittels Neuronalem Netz und einer auf der Vandermond’schen Matrix basierende Datenregression. Die Ergebnisse aus der Umsetzung durch ein Testframework werden abschließend erläutert. Es wird gezeigt, dass die Optimierung von Teststrukturen mittels Genetischem Algorithmus möglich ist. Die dargestellte Bewertung liefert für die untersuchten Teststrukturen nachvollziehbare Resultate. Sie ist in der vorliegenden Form allerdings auf Grund zu grober Differenzierung nicht für den Genetischen Algorithmus geeignet. Entsprechende Verbesserungsmöglichkeiten werden gegeben. / This diploma thesis deals with the development of test-structures for the characterization of microsystems on wafer level. Test-structures are used for the determination of geometrical parameters and material properties deviations which are influenced by microsystem fabrication prozesses. The aim of this work is to establish principles for the optimization of the test-structures. A genetic algorithm as an approach for optimization is investigated in detail. The reader will get an insight in the topic and the application of test-structures. Fundamentals of fabrication and measurement methods of microsystems, the parameter identification procedure and algorithms for optimization follow. The procedures and a corresponding software implementation of some applied issues, which are needed for the optimization of test structures, are presented. Among them are neural network algorithms for mode identification and a data regression algorithm, based on Vandermonde Matrix. Results of implemented software algorithms and an outlook conclude this work. It is shown, that the optimization of test-structure using a genetic algorithm is possible. An automated parameter variation procedure and the extraction of important test-structures parameters like sensitivity and mode order are working properly. However, the presented evaluation is not suitable for the genetic algorithm in the presented form. Hence, improvements of evaluation procedure are suggested.

Mathematical modelling using advanced approach based on the neural networks has been applied to the control and the quality optimisation in the main processes of steelwork such as the ladle metallurgical treatment and continuous casting. Particular importance has been given to the improvement of breakout prediction system and the reduction in the rate of false alarm generated by the conventional breakout detection system. Prediction of the chemical composition and temperature of liquid steel in the ladle has been achieved by neural networks and linear model. This prediction can be considered as a soft sensor. Slab surface temperature stabilisation on the basis of the casting events has been controlled by a neural networks algorithm, that gives an improvement in the surface temperature fluctuation in comparison to the conventional control system which is based on the PID controller. Quality monitoring and classification is also achieved by a neural network which is related to the breakout detection system. This technique achieves a classification of different defects based on the different alarm signal given by the breakout prediction system. Fault detection and process monitoring is developed using neural networks modelling. All models are developed on basis of practical operating database obtained from the iron and steel industry.

In der vorliegenden Arbeit werden die Darstellungsmöglichkeiten Boolescher Funktionen durch Neuronale Netze untersucht und eine neue Art von Booleschen Neuronalen Netzen (BNN) entwickelt. Das Basiselement Boolescher Neuronaler Netze ist ein neuartiges Boolesches Neuron (BN), das im Gegensatz zum klassischen Neuron direkt mit Booleschen Signalen operiert und dafür ausschließlich Boolesche Operationen benutzt. Für das Training der BNN wurde ein sequentieller Algorithmus erarbeitet, der eine schnelle Konvergenz garantiert und somit eine kurze Trainingzeit benötigt. Dieser Trainingsalgorithmus bildet die Grundlage eines neuen geschaffenen Verfahrens zur Architektursynthese der BNN. Das entwickelte Training stellt darüber hinaus ein spezielles Dekompositionsverfahren Boolescher Funktionen dar. Neuronale Netze können sowohl in Software als auch in Hardware realisiert werden. Der sehr hohe Aufwand der Hardware-Realisierung üblicher Neuronaler Netze wurde durch die Verwendung von BN und BNN wesentlich vereinfacht. Die Anzahl erforderlicher CLBs (configurable logic blocks) zur Realisierung eines Neurons wurde um 2 Größenordnungen verringert. Ein Boolesches Neuron wird direkt auf eine einzige LUT (lookup table) abgebildet. Für diese sehr kompakte Abbildung der BNN in eine FPGA-Struktur wurde der Trainingsalgorithmus des BNN angepasst. Durch die Spezifikation der BNN mit UML-Modellen und die Anwendung der MDA-Technologie zum Hardware/Software-Codesign konnte der Syntheseaufwand für Hardware-Realisierung von BNN signifikant verringert werden.

Environmental issues have emerged especially since humans burned fossil fuels, which led to air pollution and climate change that harm the environment. These issues’ substantial consequences evoked strong efforts towards assessing the state of our environment. Various environmental machine learning (ML) tasks aid these efforts. These tasks concern environmental data but are common ML tasks otherwise, i.e., datasets are split (training, validatition, test), hyperparameters are optimized on validation data, and test set metrics measure a model’s generalizability. This work focuses on the following environmental ML tasks: Regarding air pollution, land use regression (LUR) estimates air pollutant concentrations at locations where no measurements are available based on measured locations and each location’s land use (e.g., industry, streets). For LUR, this work uses data from London (modeled) and Zurich (measured). Concerning climate change, a common ML task is model output statistics (MOS), where a climate model’s output for a study area is altered to better fit Earth observations and provide more accurate climate data. This work uses the regional climate model (RCM) REMO and Earth observations from the E-OBS dataset for MOS. Another task regarding climate is grain size distribution interpolation where soil properties at locations without measurements are estimated based on the few measured locations. This can provide climate models with soil information, that is important for hydrology. For this task, data from Lower Franconia is used. Such environmental ML tasks commonly have a number of properties: (i) geospatiality, i.e., their data refers to locations relative to the Earth’s surface. (ii) The environmental variables to estimate or predict are usually continuous. (iii) Data can be imbalanced due to relatively rare extreme events (e.g., extreme precipitation). (iv) Multiple related potential target variables can be available per location, since measurement devices often contain different sensors. (v) Labels are spatially often only sparsely available since conducting measurements at all locations of interest is usually infeasible. These properties present challenges but also opportunities when designing ML methods for such tasks. In the past, environmental ML tasks have been tackled with conventional ML methods, such as linear regression or random forests (RFs). However, the field of ML has made tremendous leaps beyond these classic models through deep learning (DL). In DL, models use multiple layers of neurons, producing increasingly higher-level feature representations with growing layer depth. DL has made previously infeasible ML tasks feasible, improved the performance for many tasks in comparison to existing ML models significantly, and eliminated the need for manual feature engineering in some domains due to its ability to learn features from raw data. To harness these advantages for environmental domains it is promising to develop novel DL methods for environmental ML tasks. This thesis presents methods for dealing with special challenges and exploiting opportunities inherent to environmental ML tasks in conjunction with DL. To this end, the proposed methods explore the following techniques: (i) Convolutions as in convolutional neural networks (CNNs) to exploit reoccurring spatial patterns in geospatial data. (ii) Posing the problems as regression tasks to estimate the continuous variables. (iii) Density-based weighting to improve estimation performance for rare and extreme events. (iv) Multi-task learning to make use of multiple related target variables. (v) Semi–supervised learning to cope with label sparsity. Using these techniques, this thesis considers four research questions: (i) Can air pollution be estimated without manual feature engineering? This is answered positively by the introduction of the CNN-based LUR model MapLUR as well as the off-the-shelf LUR solution OpenLUR. (ii) Can colocated pollution data improve spatial air pollution models? Multi-task learning for LUR is developed for this, showing potential for improvements with colocated data. (iii) Can DL models improve the quality of climate model outputs? The proposed DL climate MOS architecture ConvMOS demonstrates this. Additionally, semi-supervised training of multilayer perceptrons (MLPs) for grain size distribution interpolation is presented, which can provide improved input data. (iv) Can DL models be taught to better estimate climate extremes? To this end, density-based weighting for imbalanced regression (DenseLoss) is proposed and applied to the DL architecture ConvMOS, improving climate extremes estimation. These methods show how especially DL techniques can be developed for environmental ML tasks with their special characteristics in mind. This allows for better models than previously possible with conventional ML, leading to more accurate assessment and better understanding of the state of our environment. / Umweltprobleme sind vor allem seit der Verbrennung fossiler Brennstoffe durch den Menschen entstanden. Dies hat zu Luftverschmutzung und Klimawandel geführt, was die Umwelt schädigt. Die schwerwiegenden Folgen dieser Probleme haben starke Bestrebungen ausgelöst, den Zustand unserer Umwelt zu untersuchen. Verschiedene Ansätze des maschinellen Lernens (ML) im Umweltbereich unterstützen diese Bestrebungen. Bei diesen Aufgaben handelt es sich um gewöhnliche ML-Aufgaben, z. B. werden die Datensätze aufgeteilt (Training, Validation, Test), Hyperparameter werden auf den Validierungsdaten optimiert, und die Metriken auf den Testdaten messen die Generalisierungsfähigkeit eines Modells, aber sie befassen sich mit Umweltdaten. Diese Arbeit konzentriert sich auf die folgenden Umwelt-ML-Aufgaben: In Bezug auf Luftverschmutzung schätzt Land Use Regression (LUR) die Luftschadstoffkonzentration an Orten, an denen keine Messungen verfügbar sind auf Basis von gemessenen Orten und der Landnutzung (z. B. Industrie, Straßen) der Orte. Für LUR werden in dieser Arbeit Daten aus London (modelliert) und Zürich (gemessen) verwendet. Im Zusammenhang mit dem Klimawandel ist eine häufige ML-Aufgabe Model Output Statistics (MOS), bei der die Ausgaben eines Klimamodells so angepasst werden, dass sie mit Erdbeobachtungen besser übereinstimmen. Dadurch werden genauere Klimadaten erzeugt. Diese Arbeit verwendet das regionale Klimamodell REMO und Erdbeobachtungen aus dem E-OBS-Datensatz für MOS. Eine weitere Aufgabe im Zusammenhang mit dem Klima ist die Interpolation von Korngrößenverteilungen. Hierbei werden Bodeneigenschaften an Orten ohne Messungen auf Basis von wenigen gemessenen Orten geschätzt, um Klimamodelle mit Bodeninformationen zu versorgen, die für die Hydrologie wichtig sind. Für diese Aufgabe werden in dieser Arbeit Bodenmessungen aus Unterfranken herangezogen. Solche Umwelt-ML-Aufgaben haben oft eine Reihe von Eigenschaften: (i) Georäumlichkeit, d. h. ihre Daten beziehen sich auf Standorte relativ zur Erdoberfläche. (ii) Die zu schätzenden oder vorherzusagenden Umweltvariablen sind normalerweise kontinuierlich. (iii) Daten können unbalanciert sein, was auf relativ seltene Extremereignisse (z. B. extreme Niederschläge) zurückzuführen ist. (iv) Pro Standort können mehrere verwandte potenzielle Zielvariablen verfügbar sein, da Messgeräte oft verschiedene Sensoren enthalten. (v) Zielwerte sind räumlich oft nur spärlich vorhanden, da die Durchführung von Messungen an allen gewünschten Orten in der Regel nicht möglich ist. Diese Eigenschaften stellen eine Herausforderung, aber auch eine Chance bei der Entwicklung von ML-Methoden für derlei Aufgaben dar. In der Vergangenheit wurden ML-Aufgaben im Umweltbereich mit konventionellen ML-Methoden angegangen, wie z. B. lineare Regression oder Random Forests (RFs). In den letzten Jahren hat der Bereich ML jedoch durch Deep Learning (DL) enorme Fortschritte über diese klassischen Modelle hinaus gemacht. Bei DL verwenden die Modelle mehrere Schichten von Neuronen, die mit zunehmender Schichtungstiefe immer abstraktere Merkmalsdarstellungen erzeugen. DL hat zuvor undurchführbare ML-Aufgaben realisierbar gemacht, die Leistung für viele Aufgaben im Vergleich zu bestehenden ML-Modellen erheblich verbessert und die Notwendigkeit für manuelles Feature-Engineering in einigen Bereichen aufgrund seiner Fähigkeit, Features aus Rohdaten zu lernen, eliminiert. Um diese Vorteile für ML-Aufgaben in der Umwelt nutzbar zu machen, ist es vielversprechend, geeignete DL-Methoden für diesen Bereich zu entwickeln. In dieser Arbeit werden Methoden zur Bewältigung der besonderen Herausforderungen und zur Nutzung der Möglichkeiten von Umwelt-ML-Aufgaben in Verbindung mit DL vorgestellt. Zu diesem Zweck werden in den vorgeschlagenen Methoden die folgenden Techniken untersucht: (i) Faltungen wie in Convolutional Neural Networks (CNNs), um wiederkehrende räumliche Muster in Geodaten zu nutzen. (ii) Probleme als Regressionsaufgaben stellen, um die kontinuierlichen Variablen zu schätzen. (iii) Dichtebasierte Gewichtung zur Verbesserung der Schätzungen bei seltenen und extremen Ereignissen. (iv) Multi-Task-Lernen, um mehrere verwandte Zielvariablen zu nutzen. (v) Halbüber- wachtes Lernen, um auch mit wenigen bekannten Zielwerten zurechtzukommen. Mithilfe dieser Techniken werden in der Arbeit vier Forschungsfragen untersucht: (i) Kann Luftverschmutzung ohne manuelles Feature Engineering geschätzt werden? Dies wird durch die Einführung des CNN-basierten LUR-Modells MapLUR sowie der automatisierten LUR–Lösung OpenLUR positiv beantwortet. (ii) Können kolokalisierte Verschmutzungsdaten räumliche Luftverschmutzungsmodelle verbessern? Hierfür wird Multi-Task-Learning für LUR entwickelt, das Potenzial für Verbesserungen mit kolokalisierten Daten zeigt. (iii) Können DL-Modelle die Qualität der Ausgaben von Klimamodellen verbessern? Die vorgeschlagene DL-MOS-Architektur ConvMOS demonstriert das. Zusätzlich wird halbüberwachtes Training von Multilayer Perceptrons (MLPs) für die Interpolation von Korngrößenverteilungen vorgestellt, das verbesserte Eingabedaten liefern kann. (iv) Kann man DL-Modellen beibringen, Klimaextreme besser abzuschätzen? Zu diesem Zweck wird eine dichtebasierte Gewichtung für unbalancierte Regression (DenseLoss) vorgeschlagen und auf die DL-Architektur ConvMOS angewendet, um die Schätzung von Klimaextremen zu verbessern. Diese Methoden zeigen, wie speziell DL-Techniken für Umwelt-ML-Aufgaben unter Berücksichtigung ihrer besonderen Eigenschaften entwickelt werden können. Dies ermöglicht bessere Modelle als konventionelles ML bisher erlaubt hat, was zu einer genaueren Bewertung und einem besseren Verständnis des Zustands unserer Umwelt führt.

A detailed and comprehensive description of the state of the art in the field of flood forecasting opens this work. Advantages and shortcomings of currently available methods are identified and discussed. Amongst others, one important aspect considers the most exigent weak point of today’s forecasting systems: The representation of all the fundamentally different event specific patterns of flood formation with one single set of model parameters. The study exemplarily proposes an alternative for overcoming this restriction by taking into account the different process characteristics of flood events via a dynamic parameterisation strategy. Other fundamental shortcomings in current approaches especially restrict the potential for real time flash flood forecasting, namely the considerable computational requirements together with the rather cumbersome operation of reliable physically based hydrologic models. The new PAI-OFF methodology (Process Modelling and Artificial Intelligence for Online Flood Forecasting) considers these problems and offers a way out of the general dilemma. It combines the reliability and predictive power of physically based, hydrologic models with the operational advantages of artificial intelligence. These operational advantages feature extremely low computation times, absolute robustness and straightforward operation. Such qualities easily allow for predicting flash floods in small catchments taking into account precipitation forecasts, whilst extremely basic computational requirements open the way for online Monte Carlo analysis of the forecast uncertainty. The study encompasses a detailed analysis of hydrological modeling and a problem specific artificial intelligence approach in the form of artificial neural networks, which build the PAI-OFF methodology. Herein, the synthesis of process modelling and artificial neural networks is achieved by a special training procedure. It optimizes the network according to the patterns of possible catchment reaction to rainstorms. This information is provided by means of a physically based catchment model, thus freeing the artificial neural network from its constriction to the range of observed data – the classical reason for unsatisfactory predictive power of netbased approaches. Instead, the PAI-OFF-net learns to portray the dominant process controls of flood formation in the considered catchment, allowing for a reliable predictive performance. The work ends with an exemplary forecasting of the 2002 flood in a 1700 km² East German watershed.

Zugl.: Dresden, Techn. Univ., Diss., 2009

Brandenburgische Techn. University, Diss., 2004--Cottbus.

Es werden die Möglichkeiten zur Parallelisierung des Algorithmus zum Indexaufbau im ICIx System untersucht. Ausgehend von der Vorstellung dieses Algorithmus erfolgt zuerst die Erläuterung des verwendeten Kostenmodells. Nach einer Zerlegung des gesamten Trainingsprozesses in Teilschritte werden diese hinsichtlich der zu erwartenden Beschleunigung des Trainings untersucht.

Invariant object recognition is maybe the most basic and fundamental property of our visual system. It is the basis of many other cognitive tasks, like motor actions and social interactions. Hence, the theoretical understanding and modeling of invariant object recognition is one of the central problems in computational neuroscience. Indeed, object recognition consists of two different tasks: classification and identification. The focus of this thesis is on object identification under the basic geometrical transformations shift, scaling, and rotation. The visual system can perform shift, size, and rotation invariant object identification. This thesis consists of two parts. In the first part, we present and investigate the VisNet model proposed by Rolls. The generalization problems of VisNet triggered our development of a new neural network model for invariant object identification. Starting point for an improved generalization behavior is the search for an operation that extracts images features that are invariant under shifts, rotations, and scalings. Extracting invariant features guarantees that an object seen once in a specific pose can be identified in any pose. We present and investigate our model in the second part of this thesis.

Im Rahmen der additiven Fertigungsplanung bietet die geometriebasierte individuelle Fertigungsparametrisierung das Potential die Fertigungsgeschwindigkeit und -qualität weiter zu steigern. Dafür ist eine automatische Erkennung der zu fertigenden Geometriennotwendig, weshalb diese Arbeit die Eignung von faltungsbasierten künstlichen neuronalen Netzen zur Detektion von Regelgeometrien in Voxeldaten untersucht. Hierfür wird ein faltungsbasierter Detektionsalgorithmus entworfen und implementiert, welcher in der Lage ist, zylindrische, sphärische und ebene Flächen zu identifizieren. Dieser Algorithmus erreicht bei der Analyse von realen CAD-Daten eine Intersection over Union von 77,99% bzw. einen Dice-Score von 87,63 %. Dies entspricht den von vergleichbaren Algorithmen erreichten Genauigkeitswerten und bestätigt die Eignung des gewählten Ansatzes.:Kurzfassung III Abstract IV Abkürzungsverzeichnis VII Formelzeichen und Symbole VIII 1 Einleitung 1 1.1 Motivation 1 1.2 Zielstellung 2 1.3 Struktur der Arbeit 2 2 Stand der Forschung 4 2.1 Überblick CAM-Prozess 4 2.2 Geometrierepräsentationen 5 2.3 Deep Learning und faltungsbasierte neuronale Netze 9 2.3.1 Grundlagen des maschinellen Lernens 9 2.3.2 Künstliche Neuronale Netze 12 2.3.3 Faltungsbasierte neuronale Netze 15 3 Anforderungen und Konzeption 24 3.1 Vorgehensmodell und Anforderungen 24 3.2 Lösungskonzept 27 3.2.1 Struktur des Algorithmus 27 3.2.2 Versuchsplanung 31 4 Datengenerierung 32 4.1 Trainings- und Validierungsdaten 32 4.2 Testdaten 37 5 Auswahl, Training und Optimierung eines CNN-Algorithmus 39 5.1 Auswahl und Vorstellung des CNN-Algorithmus 39 5.2 Training des CNN-Algorithmus 41 5.3 Optimierung des CNN-Algorithmus 46 6 Transferlernen und Postprocessing 50 6.1 Transferlernen 50 6.1.1 Generierung von Trainings- und Validierungsdaten 51 6.1.2 Auswirkungen des Transferlernens 53 6.2 Postprocessing 55 6.2.1 Ersetzen von unsicheren Klassifizierungsergebnissen 55 6.2.2 Ersetzen von Ausreißern 57 7 Diskussion der Ergebnisse 58 7.1 Erreichte Detektionsleistung 58 7.2 Beschränkungen der Implementierung 61 8 Zusammenfassung 65 8.1 Zusammenfassung 65 8.2 Ausblick 66 Literaturverzeichnis 68 Abbildungsverzeichnis 75 Tabellenverzeichnis 77 Anlagenverzeichnis 78 Selbstständigkeitserklärung 79 / In the context of additive manufacturing planning, geometry-based individual manufacturing parameterization offers the potential to further increase manufacturing speed and quality. For this purpose, an automatic detection of the geometries to be manufactured is necessary, which is why this thesis investigates the suitability of convolution-based artificial neural networks for the detection of regular geometries in voxel data. Therefore, a convolutional-based detection algorithm is designed and implemented, which is able to identify cylindrical, spherical and planar surfaces. This algorithm achieves an intersection over union detection accuracy of 77.99% and a dice score of 87.63 %, respectively, when analyzing real CAD data. This is in line with the accuracy values achieved by comparable algorithms and confirms the suitability of the chosen approach.:Kurzfassung III Abstract IV Abkürzungsverzeichnis VII Formelzeichen und Symbole VIII 1 Einleitung 1 1.1 Motivation 1 1.2 Zielstellung 2 1.3 Struktur der Arbeit 2 2 Stand der Forschung 4 2.1 Überblick CAM-Prozess 4 2.2 Geometrierepräsentationen 5 2.3 Deep Learning und faltungsbasierte neuronale Netze 9 2.3.1 Grundlagen des maschinellen Lernens 9 2.3.2 Künstliche Neuronale Netze 12 2.3.3 Faltungsbasierte neuronale Netze 15 3 Anforderungen und Konzeption 24 3.1 Vorgehensmodell und Anforderungen 24 3.2 Lösungskonzept 27 3.2.1 Struktur des Algorithmus 27 3.2.2 Versuchsplanung 31 4 Datengenerierung 32 4.1 Trainings- und Validierungsdaten 32 4.2 Testdaten 37 5 Auswahl, Training und Optimierung eines CNN-Algorithmus 39 5.1 Auswahl und Vorstellung des CNN-Algorithmus 39 5.2 Training des CNN-Algorithmus 41 5.3 Optimierung des CNN-Algorithmus 46 6 Transferlernen und Postprocessing 50 6.1 Transferlernen 50 6.1.1 Generierung von Trainings- und Validierungsdaten 51 6.1.2 Auswirkungen des Transferlernens 53 6.2 Postprocessing 55 6.2.1 Ersetzen von unsicheren Klassifizierungsergebnissen 55 6.2.2 Ersetzen von Ausreißern 57 7 Diskussion der Ergebnisse 58 7.1 Erreichte Detektionsleistung 58 7.2 Beschränkungen der Implementierung 61 8 Zusammenfassung 65 8.1 Zusammenfassung 65 8.2 Ausblick 66 Literaturverzeichnis 68 Abbildungsverzeichnis 75 Tabellenverzeichnis 77 Anlagenverzeichnis 78 Selbstständigkeitserklärung 79