This paper inspired by simulation by Artificial Neural Networks (ANNs) applied recently for evaluation of phonics methodology to teach children "how to read". A novel approach for teaching a mathematical topic using a computer aided learning (CAL) package applied at educational field (a children classroom). Interesting practical results obtained after field application of suggested CAL package with and without associated teacher''s voice. Presented study highly recommends application of a novel teaching trend based on behaviorism and individuals'' learning styles. That is to improve quality of children mathematical learning performance.

Für den zielgerichteten Einsatz von präventiven und mitigativen Notfallmaßnahmen sowie zur Beurteilung ihrer Wirksamkeit während auslegungsüberschreitender Unfälle in Druckwasserreaktoren aber auch für Hinweise zum Störfallverlauf und für die Abschätzung der Auswirkungen auf die Anlagenumgebung müssen geeignete Störfallinstrumentierungen vorhanden sein. Insbesondere der Zustand des Reaktordruckbehälterinventars (RDB-Inventar) während der In-Vessel-Phase eines auslegungsüberschreitenden Unfalls lässt sich mit aktuellen Störfallinstrumentierungen nur stark eingeschränkt überwachen, wodurch die o. g. Forderungen nicht erfüllt werden können. Die vorliegende Arbeit beinhaltet detaillierte Untersuchungen für die Entwicklung einer Störfallinstrumentierung, welche eine durchgängige Zustandsüberwachung des RDB-Inventars während der In-Vessel-Phase eines auslegungsüberschreitenden Unfalls ermöglicht. Die Störfallinstrumentierung basiert auf der Messung und Klassifikation von unterschiedlichen Gammaflussverteilungen, welche während der In-Vessel-Phase außerhalb des Reaktordruckbehälters auftreten können. Ausgehend von der Analyse zum Stand von Wissenschaft und Technik wird der modell-basierte Ansatz für Structural Health Monitoring-Systeme genutzt, um eine grundlegende Vorgehensweise für die Entwicklung der Störfallinstrumentierung zu erarbeiten. Anschließend erfolgt eine detaillierte Analyse zu den Vorgängen während der In-Vessel-Phase und eine daraus abgeleitete Definition von Kernzuständen für einen generischen Kernschmelzunfall. Für die definierten Kernzustände werden mittels Simulationen (Monte-Carlo-Simulationen zum Gammastrahlungstransport in einem zu dieser Arbeit parallel laufenden Vorhaben) Gammaflüsse außerhalb des Reaktordruckbehälters berechnet. Die Simulationsergebnisse dienen dem Aufbau von Datenbasen für die Entwicklung und Analyse eines Modells zur Klassifikation von Gammaflussverteilungen. Für die Entwicklung des Klassifikationsmodells kommen drei diversitäre und unabhängig arbeitende Klassifikationsverfahren (Entscheidungsbaum, k-nächste-Nachbarn-Klassifikation, Multilayer Perzeptron) zur Anwendung, um die Identifikationsgenauigkeit und Robustheit der Störfallinstrumentierung zu erhöhen. Die abschließenden Betrachtungen umfassen die Validierung der Störfallinstrumentierung mittels eines Versuchstandes zur Erzeugung unterschiedlicher Gammaflussverteilungen. Im Ergebnis der Untersuchungen konnte die prinzipielle Funktionsweise der entwickelten Störfallinstrumentierung nachgewiesen werden. Unter der Voraussetzung, die Gültigkeit der definierten Kernzustände zu untermauern sowie weitere, nicht in dieser Arbeit betrachtete Kernschmelzszenarien mit in die Entwicklung der Störfallinstrumentierung einzubeziehen, steht somit insbesondere für zukünftige Kernkraftwerke mit Druckwasserreaktoren eine Möglichkeit für die messtechnische Überwachung des RDB-Inventars während auslegungsüberschreitender Unfälle bereit. Die Arbeit leistet einen wesentlichen Beitrag auf dem Gebiet der Reaktorsicherheitsforschung sowie für den sicheren Betrieb von kerntechnischen Anlagen.

Modellbasierte virtuelle Sensoren (VS) ermöglichen die Messung von qualitätsbestimmenden Prozessparametern (bzw. Hilfsregelgrößen) dort, wo eine direkte Messung zu teuer oder gar nicht möglich ist. Für die adaptiven VS, die ihr internes Prozessmodell nach Data-Driven-Methode bilden (z. B. durch die Benutzung künstlicher neuronaler Netze (KNN)), besteht das Problem der Abschätzung der Prädiktionsstabilität. Aktuelle Lösungsansätze lösen dieses Problem nur für wenige KNN-Typen und erfordern enormen Entwurfs- und Rechenaufwand. In dieser Arbeit wird eine alternative Methode vorgestellt, welche für eine breite Klasse von KNN gilt und keinen hohen Entwurfs- und Rechenaufwand erfordert. Die neue Methode wurde anhand realer Anwendungsbeispiele getestet und hat sehr gute Ergebnisse geliefert. Für die nicht adaptiven virtuellen Sensoren wurde eine aufwandsreduzierte Adaption nach Smith-Schema vorgeschlagen. Dieses Verfahren ermöglicht die Regelung totzeitbehafteter und zeitvarianter Prozesse mit VS in einem geschlossenen Regelkreis. Im Vergleich zu anderen Regelungsstrategien konnte damit vergleichbare Regelungsqualität bei einem deutlich geringeren Entwurfsaufwand erzielt werden. / Model-based virtual sensors allow the measurement of parameters critical for process quality where a direct measurement is too expensive or not at all possible. For the adaptive virtual sensors built after data-driven method (e.g., by use of an ANN model) there is a problem of the prediction stability. Current solutions attempt to solve this problem only for a few ANN types and require a very high development effort. In this dissertation a new method for the solution of this problem is suggested, which is valid for a wide class of the ANNs and requires no high development effort. The new method was tested on real application examples and has delivered very good results. For the non-adaptive virtual sensors a simple adaptation mechanism was suggested. This technique allows the control of dead-time and time-variant processes in closed loop. Besides, in comparison to other control strategies the comparable results were achieved with smaller development effort.

Modellbasierte virtuelle Sensoren (VS) ermöglichen die Messung von qualitätsbestimmenden Prozessparametern (bzw. Hilfsregelgrößen) dort, wo eine direkte Messung zu teuer oder gar nicht möglich ist. Für die adaptiven VS, die ihr internes Prozessmodell nach Data-Driven-Methode bilden (z. B. durch die Benutzung künstlicher neuronaler Netze (KNN)), besteht das Problem der Abschätzung der Prädiktionsstabilität. Aktuelle Lösungsansätze lösen dieses Problem nur für wenige KNN-Typen und erfordern enormen Entwurfs- und Rechenaufwand. In dieser Arbeit wird eine alternative Methode vorgestellt, welche für eine breite Klasse von KNN gilt und keinen hohen Entwurfs- und Rechenaufwand erfordert. Die neue Methode wurde anhand realer Anwendungsbeispiele getestet und hat sehr gute Ergebnisse geliefert. Für die nicht adaptiven virtuellen Sensoren wurde eine aufwandsreduzierte Adaption nach Smith-Schema vorgeschlagen. Dieses Verfahren ermöglicht die Regelung totzeitbehafteter und zeitvarianter Prozesse mit VS in einem geschlossenen Regelkreis. Im Vergleich zu anderen Regelungsstrategien konnte damit vergleichbare Regelungsqualität bei einem deutlich geringeren Entwurfsaufwand erzielt werden. / Model-based virtual sensors allow the measurement of parameters critical for process quality where a direct measurement is too expensive or not at all possible. For the adaptive virtual sensors built after data-driven method (e.g., by use of an ANN model) there is a problem of the prediction stability. Current solutions attempt to solve this problem only for a few ANN types and require a very high development effort. In this dissertation a new method for the solution of this problem is suggested, which is valid for a wide class of the ANNs and requires no high development effort. The new method was tested on real application examples and has delivered very good results. For the non-adaptive virtual sensors a simple adaptation mechanism was suggested. This technique allows the control of dead-time and time-variant processes in closed loop. Besides, in comparison to other control strategies the comparable results were achieved with smaller development effort.

Für den zielgerichteten Einsatz von präventiven und mitigativen Notfallmaßnahmen sowie zur Beurteilung ihrer Wirksamkeit während auslegungsüberschreitender Unfälle in Druckwasserreaktoren aber auch für Hinweise zum Störfallverlauf und für die Abschätzung der Auswirkungen auf die Anlagenumgebung müssen geeignete Störfallinstrumentierungen vorhanden sein. Insbesondere der Zustand des Reaktordruckbehälterinventars (RDB-Inventar) während der In-Vessel-Phase eines auslegungsüberschreitenden Unfalls lässt sich mit aktuellen Störfallinstrumentierungen nur stark eingeschränkt überwachen, wodurch die o. g. Forderungen nicht erfüllt werden können. Die vorliegende Arbeit beinhaltet detaillierte Untersuchungen für die Entwicklung einer Störfallinstrumentierung, welche eine durchgängige Zustandsüberwachung des RDB-Inventars während der In-Vessel-Phase eines auslegungsüberschreitenden Unfalls ermöglicht. Die Störfallinstrumentierung basiert auf der Messung und Klassifikation von unterschiedlichen Gammaflussverteilungen, welche während der In-Vessel-Phase außerhalb des Reaktordruckbehälters auftreten können. Ausgehend von der Analyse zum Stand von Wissenschaft und Technik wird der modell-basierte Ansatz für Structural Health Monitoring-Systeme genutzt, um eine grundlegende Vorgehensweise für die Entwicklung der Störfallinstrumentierung zu erarbeiten. Anschließend erfolgt eine detaillierte Analyse zu den Vorgängen während der In-Vessel-Phase und eine daraus abgeleitete Definition von Kernzuständen für einen generischen Kernschmelzunfall. Für die definierten Kernzustände werden mittels Simulationen (Monte-Carlo-Simulationen zum Gammastrahlungstransport in einem zu dieser Arbeit parallel laufenden Vorhaben) Gammaflüsse außerhalb des Reaktordruckbehälters berechnet. Die Simulationsergebnisse dienen dem Aufbau von Datenbasen für die Entwicklung und Analyse eines Modells zur Klassifikation von Gammaflussverteilungen. Für die Entwicklung des Klassifikationsmodells kommen drei diversitäre und unabhängig arbeitende Klassifikationsverfahren (Entscheidungsbaum, k-nächste-Nachbarn-Klassifikation, Multilayer Perzeptron) zur Anwendung, um die Identifikationsgenauigkeit und Robustheit der Störfallinstrumentierung zu erhöhen. Die abschließenden Betrachtungen umfassen die Validierung der Störfallinstrumentierung mittels eines Versuchstandes zur Erzeugung unterschiedlicher Gammaflussverteilungen. Im Ergebnis der Untersuchungen konnte die prinzipielle Funktionsweise der entwickelten Störfallinstrumentierung nachgewiesen werden. Unter der Voraussetzung, die Gültigkeit der definierten Kernzustände zu untermauern sowie weitere, nicht in dieser Arbeit betrachtete Kernschmelzszenarien mit in die Entwicklung der Störfallinstrumentierung einzubeziehen, steht somit insbesondere für zukünftige Kernkraftwerke mit Druckwasserreaktoren eine Möglichkeit für die messtechnische Überwachung des RDB-Inventars während auslegungsüberschreitender Unfälle bereit. Die Arbeit leistet einen wesentlichen Beitrag auf dem Gebiet der Reaktorsicherheitsforschung sowie für den sicheren Betrieb von kerntechnischen Anlagen.:1 Einleitung 2 Analyse zum Stand von Wissenschaft und Technik 2.1 Sicherheit in deutschen Kernkraftwerken mit Druckwasserreaktor 2.1.1 Mehrstufenkonzept 2.1.2 Störfallinstrumentierungen 2.2 Auslegungsüberschreitende Unfälle mit Kernschmelze in DWR 2.2.1 Auslösende Ereignisse 2.2.2 Grundlegender Ablauf eines auslegungsüberschreitenden Unfall mit Kernschmelze 2.3 Strahlungstechnik, Strahlungsmesstechnik 2.3.1 Grundlagen der Strahlungstechnik 2.3.2 Wechselwirkungen von Gammastrahlung mit Materie 2.3.3 Messung ionisierender Strahlung 2.4 Verfahren und Methoden der Zustandsüberwachung 2.4.1 Zustandsüberwachung 2.4.2 Structural Health Monitoring 2.4.3 Mustererkennung 2.4.4 Entscheidungsbäume 2.4.5 k-nächste-Nachbarn-Klassifikation 2.4.6 Künstliche neuronale Netze 2.5 Schlussfolgerungen aus der Analyse zum Stand von Wissenschaft und Technik 2.5.1 Zusammenfassung zum Kapitel 2 2.5.2 Zielstellung, Aufbau und Abgrenzung der Arbeit 3 Analyse der In-Vessel-Phase und Definition von Kernzuständen 3.1 Detaillierte Analyse der In-Vessel-Phase 3.1.1 Auftretende Temperaturbereiche 3.1.2 Vorgänge während der frühen In-Vessel-Phase 3.1.3 Vorgänge während der späten In-Vessel-Phase 3.1.4 Spaltproduktfreisetzung 3.2 Definition von Kernzuständen für einen generischen Kernschmelzunfall 3.3 Zusammenfassung zum Kapitel 3 4 Datenbasen zur Entwicklung und Analyse des Klassifikationsmodells 4.1 Beschreibung der Monte-Carlo-Simulationsmodell 4.2 Beschreibung der Simulationsergebnisse und Merkmalsextraktion 4.3 Datenbasis zur Entwicklung 4.4 Datenbasen zur Analyse 4.5 Zusammenfassung zum Kapitel 4 5 Entwicklung und Analyse des Klassifikationsmodells 5.1 Beschreibung des Klassifikationsmodells 5.2 Teilmodell 1 - Entscheidungsbaum 5.2.1 Entwicklung 5.2.2 Analyse der Identifikationsgenauigkeit 5.3 Teilmodell 3 - k-nächste-Nachbarn-Klassifikation 5.3.1 Entwicklung 5.3.2 Analyse der Identifikationsgenauigkeit 5.4 Teilmodell 3 - Multilayer Perzeptron 5.4.1 Trainings- und Testdatenbasis 5.4.2 Entwicklung 5.4.3 Analyse der Identifikationsgenauigkeit 5.5 Teilmodell 4 - Vergleichsalgorithmus 5.5.1 Entwicklung 5.5.2 Analyse der Identifikationsgenauigkeit 5.6 Analysen zur Robustheit des Klassifikationsmodells 5.6.1 Ausfall einzelner Gammastrahlungsdetektoren 5.6.2 Gleichzeitiger Ausfall mehrerer Gammastrahlungsdetektoren 5.7 Zusammenfassung und Schlussfolgerungen für das Kapitel 5 6 Validierung der Kernzustandsüberwachungsverfahren 6.1 Zielstellung und Vorgehensweise 6.2 Versuchstand zur Validierung 6.2.1 Aufbau 6.2.2 Funktionsweise 6.3 Anpassung der Kernzustandsüberwachungsverfahren an den Versuchsstand 6.4 Validierungsexperimente 6.4.1 Experiment 1 - Füllstandsänderungen 6.4.2 Experiment 2 - Quellenbewegungen 6.4.3 Experiment 3 - Füllstandsänderungen, Quellenbewegungen und Änderung von Profilkonturen 6.5 Zusammenfassung und Schlussfolgerungen für das Kapitel 6 7 Zusammenfassung und Ausblick

Inverse, multidimensional input-output flow mapping is very important for use of valves in precision motion control applications. Due to the highly nonlinear characteristic and uncertain model structure of the cartridge valves, it is hard to formulate the modelling of their flow mappings into simple parameter estimation problems. This contribution conducts a comprehensive analysis and validation of three- and four-dimensional input-output-mapping approaches for a proportional pilot operated seat valves. Therefore, a virtual and a physical test-rig setup are utilized for initial measurement, implementation and assessment. After modeling and validating the valve under consideration, as a function of flow, pressure and temperature different mapping methods are investigated. More specifically, state of the art approaches, deep-learning methods and a newly developed approach (extPoly) are examined. Especially ANNs and Polynomials show reasonable approximation results even for more than two inputs. However, the results are strongly dependent on the structure and distribution of the input data points. Besides identification effort, the invertibility was investigated.

Moderne Präzisionsgartenbaulicheproduktion schließt hoch technifizierte Gewächshäuser, deren Einsatz in großem Maße von der Qualität der Sensorik- und Regelungstechnik abhängt, mit ein. Zu den Regelungsstrategien gehören unter anderem Methoden der Künstlichen Intelligenz, wie z.B. Künstliche Neuronale Netze (KNN, aus dem Englischen). Die vorliegende Arbeit befasst sich mit der Eignung KNN-basierter Modelle als Bauelemente von Klimaregelungstrategien in Gewächshäusern. Es werden zwei Modelle vorgestellt: Ein Modell zur kurzzeitigen Voraussage des Gewächshausklimas (Lufttemperatur und relative Feuchtigkeit, in Minuten-Zeiträumen), und Modell zur Einschätzung von phytometrischen Signalen (Blatttemperatur, Transpirationsrate und Photosyntheserate). Eine Datenbank, die drei Kulturjahre umfasste (Kultur: Tomato), wurde zur Modellbildung bzw. -test benutzt. Es wurde festgestellt, dass die ANN-basierte Modelle sehr stark auf die Auswahl der Metaparameter und Netzarchitektur reagieren, und dass sie auch mit derselben Architektur verschiedene Kalkulationsergebnisse liefern können. Nichtsdestotrotz, hat sich diese Art von Modellen als geeignet zur Einschätzung komplexer Pflanzensignalen sowie zur Mikroklimavoraussage erwiesen. Zwei zusätzliche Möglichkeiten zur Erstellung von komplexen Simulationen sind in der Arbeit enthalten, und zwar zur Klimavoraussage in längerer Perioden und zur Voraussage der Photosyntheserate. Die Arbeit kommt zum Ergebnis, dass die Verwendung von KNN-Modellen für neue Gewächshaussteuerungstrategien geeignet ist, da sie robust sind und mit der Systemskomplexität gut zurechtkommen. Allerdings muss beachtet werden, dass Probleme und Schwierigkeiten auftreten können. Diese Arbeit weist auf die Relevanz der Netzarchitektur, die erforderlichen großen Datenmengen zur Modellbildung und Probleme mit verschiedenen Zeitkonstanten im Gewächshaus hin. / One facet of the current developments in precision horticulture is the highly technified production under cover. The intensive production in modern greenhouses heavily relies on instrumentation and control techniques to automate many tasks. Among these techniques are control strategies, which can also include some methods developed within the field of Artificial Intelligence. This document presents research on Artificial Neural Networks (ANN), a technique derived from Artificial Intelligence, and aims to shed light on their applicability in greenhouse vegetable production. In particular, this work focuses on the suitability of ANN-based models for greenhouse environmental control. To this end, two models were built: A short-term climate prediction model (air temperature and relative humidity in time scale of minutes), and a model of the plant response to the climate, the latter regarding phytometric measurements of leaf temperature, transpiration rate and photosynthesis rate. A dataset comprising three years of tomato cultivation was used to build and test the models. It was found that this kind of models is very sensitive to the fine-tuning of the metaparameters and that they can produce different results even with the same architecture. Nevertheless, it was shown that ANN are useful to simulate complex biological signals and to estimate future microclimate trends. Furthermore, two connection schemes are proposed to assemble several models in order to generate more complex simulations, like long-term prediction chains and photosynthesis forecasts. It was concluded that ANN could be used in greenhouse automation systems as part of the control strategy, as they are robust and can cope with the complexity of the system. However, a number of problems and difficulties are pointed out, including the importance of the architecture, the need for large datasets to build the models and problems arising from different time constants in the whole greenhouse system.

From the initial computing machines, Colossus of 1943 and ENIAC of 1945, to modern high-performance data centers and Internet of Things (IOTs), four design goals, i.e., high-performance, energy-efficiency, resource utilization, and ease of programmability, have remained a beacon of development for the computing industry. During this period, the computing industry has exploited the advantages of technology scaling and microarchitectural enhancements to achieve these goals. However, with the end of Dennard scaling, these techniques have diminishing energy and performance advantages. Therefore, it is necessary to explore alternative techniques for satisfying the computational and energy requirements of modern applications. Towards this end, one promising technique is analyzing and surrendering the strict notion of correctness in various layers of the computation stack. Most modern applications across the computing spectrum---from data centers to IoTs---interact and analyze real-world data and take decisions accordingly. These applications are broadly classified as Recognition, Mining, and Synthesis (RMS). Instead of producing a single golden answer, these applications produce several feasible answers. These applications possess an inherent error-resilience to the inexactness of processed data and corresponding operations. Utilizing these applications' inherent error-resilience, the paradigm of Approximate Computing relaxes the strict notion of computation correctness to realize high-performance and energy-efficient systems with acceptable quality outputs. The prior works on circuit-level approximations have mainly focused on Application-specific Integrated Circuits (ASICs). However, ASIC-based solutions suffer from long time-to-market and high-cost developing cycles. These limitations of ASICs can be overcome by utilizing the reconfigurable nature of Field Programmable Gate Arrays (FPGAs). However, due to architectural differences between ASICs and FPGAs, the utilization of ASIC-based approximation techniques for FPGA-based systems does not result in proportional performance and energy gains. Therefore, to exploit the principles of approximate computing for FPGA-based hardware accelerators for error-resilient applications, FPGA-optimized approximation techniques are required. Further, most state-of-the-art approximate arithmetic operators do not have a generic approximation methodology to implement new approximate designs for an application's changing accuracy and performance requirements. These works also lack a methodology where a machine learning model can be used to correlate an approximate operator with its impact on the output quality of an application. This thesis focuses on these research challenges by designing and exploring FPGA-optimized logic-based approximate arithmetic operators. As multiplication operation is one of the computationally complex and most frequently used arithmetic operations in various modern applications, such as Artificial Neural Networks (ANNs), we have, therefore, considered it for most of the proposed approximation techniques in this thesis. The primary focus of the work is to provide a framework for generating FPGA-optimized approximate arithmetic operators and efficient techniques to explore approximate operators for implementing hardware accelerators for error-resilient applications. Towards this end, we first present various designs of resource-optimized, high-performance, and energy-efficient accurate multipliers. Although modern FPGAs host high-performance DSP blocks to perform multiplication and other arithmetic operations, our analysis and results show that the orthogonal approach of having resource-efficient and high-performance multipliers is necessary for implementing high-performance accelerators. Due to the differences in the type of data processed by various applications, the thesis presents individual designs for unsigned, signed, and constant multipliers. Compared to the multiplier IPs provided by the FPGA Synthesis tool, our proposed designs provide significant performance gains. We then explore the designed accurate multipliers and provide a library of approximate unsigned/signed multipliers. The proposed approximations target the reduction in the total utilized resources, critical path delay, and energy consumption of the multipliers. We have explored various statistical error metrics to characterize the approximation-induced accuracy degradation of the approximate multipliers. We have also utilized the designed multipliers in various error-resilient applications to evaluate their impact on applications' output quality and performance. Based on our analysis of the designed approximate multipliers, we identify the need for a framework to design application-specific approximate arithmetic operators. An application-specific approximate arithmetic operator intends to implement only the logic that can satisfy the application's overall output accuracy and performance constraints. Towards this end, we present a generic design methodology for implementing FPGA-based application-specific approximate arithmetic operators from their accurate implementations according to the applications' accuracy and performance requirements. In this regard, we utilize various machine learning models to identify feasible approximate arithmetic configurations for various applications. We also utilize different machine learning models and optimization techniques to efficiently explore the large design space of individual operators and their utilization in various applications. In this thesis, we have used the proposed methodology to design approximate adders and multipliers. This thesis also explores other layers of the computation stack (cross-layer) for possible approximations to satisfy an application's accuracy and performance requirements. Towards this end, we first present a low bit-width and highly accurate quantization scheme for pre-trained Deep Neural Networks (DNNs). The proposed quantization scheme does not require re-training (fine-tuning the parameters) after quantization. We also present a resource-efficient FPGA-based multiplier that utilizes our proposed quantization scheme. Finally, we present a framework to allow the intelligent exploration and highly accurate identification of the feasible design points in the large design space enabled by cross-layer approximations. The proposed framework utilizes a novel Polynomial Regression (PR)-based method to model approximate arithmetic operators. The PR-based representation enables machine learning models to better correlate an approximate operator's coefficients with their impact on an application's output quality.:1. Introduction 1.1 Inherent Error Resilience of Applications 1.2 Approximate Computing Paradigm 1.2.1 Software Layer Approximation 1.2.2 Architecture Layer Approximation 1.2.3 Circuit Layer Approximation 1.3 Problem Statement 1.4 Focus of the Thesis 1.5 Key Contributions and Thesis Overview 2. Preliminaries 2.1 Xilinx FPGA Slice Structure 2.2 Multiplication Algorithms 2.2.1 Baugh-Wooley’s Multiplication Algorithm 2.2.2 Booth’s Multiplication Algorithm 2.2.3 Sign Extension for Booth’s Multiplier 2.3 Statistical Error Metrics 2.4 Design Space Exploration and Optimization Techniques 2.4.1 Genetic Algorithm 2.4.2 Bayesian Optimization 2.5 Artificial Neural Networks 3. Accurate Multipliers 3.1 Introduction 3.2 Related Work 3.3 Unsigned Multiplier Architecture 3.4 Motivation for Signed Multipliers 3.5 Baugh-Wooley’s Multiplier 3.6 Booth’s Algorithm-based Signed Multipliers 3.6.1 Booth-Mult Design 3.6.2 Booth-Opt Design 3.6.3 Booth-Par Design 3.7 Constant Multipliers 3.8 Results and Discussion 3.8.1 Experimental Setup and Tool Flow 3.8.2 Performance comparison of the proposed accurate unsigned multiplier 3.8.3 Performance comparison of the proposed accurate signed multiplier with the state-of-the-art accurate multipliers 3.8.4 Performance comparison of the proposed constant multiplier with the state-of-the-art accurate multipliers 3.9 Conclusion 4. Approximate Multipliers 4.1 Introduction 4.2 Related Work 4.3 Unsigned Approximate Multipliers 4.3.1 Approximate 4 × 4 Multiplier (Approx-1) 4.3.2 Approximate 4 × 4 Multiplier (Approx-2) 4.3.3 Approximate 4 × 4 Multiplier (Approx-3) 4.4 Designing Higher Order Approximate Unsigned Multipliers 4.4.1 Accurate Adders for Implementing 8 × 8 Approximate Multipliers from 4 × 4 Approximate Multipliers 4.4.2 Approximate Adders for Implementing Higher-order Approximate Multipliers 4.5 Approximate Signed Multipliers (Booth-Approx) 4.6 Results and Discussion 4.6.1 Experimental Setup and Tool Flow 4.6.2 Evaluation of the Proposed Approximate Unsigned Multipliers 4.6.3 Evaluation of the Proposed Approximate Signed Multiplier 4.7 Conclusion 5. Designing Application-specific Approximate Operators 5.1 Introduction 5.2 Related Work 5.3 Modeling Approximate Arithmetic Operators 5.3.1 Accurate Multiplier Design 5.3.2 Approximation Methodology 5.3.3 Approximate Adders 5.4 DSE for FPGA-based Approximate Operators Synthesis 5.4.1 DSE using Bayesian Optimization 5.4.2 MOEA-based Optimization 5.4.3 Machine Learning Models for DSE 5.5 Results and Discussion 5.5.1 Experimental Setup and Tool Flow 5.5.2 Accuracy-Performance Analysis of Approximate Adders 5.5.3 Accuracy-Performance Analysis of Approximate Multipliers 5.5.4 AppAxO MBO 5.5.5 ML Modeling 5.5.6 DSE using ML Models 5.5.7 Proposed Approximate Operators 5.6 Conclusion 6. Quantization of Pre-trained Deep Neural Networks 6.1 Introduction 6.2 Related Work 6.2.1 Commonly Used Quantization Techniques 6.3 Proposed Quantization Techniques 6.3.1 L2L: Log_2_Lead Quantization 6.3.2 ALigN: Adaptive Log_2_Lead Quantization 6.3.3 Quantitative Analysis of the Proposed Quantization Schemes 6.3.4 Proposed Quantization Technique-based Multiplier 6.4 Results and Discussion 6.4.1 Experimental Setup and Tool Flow 6.4.2 Image Classification 6.4.3 Semantic Segmentation 6.4.4 Hardware Implementation Results 6.5 Conclusion 7. A Framework for Cross-layer Approximations 7.1 Introduction 7.2 Related Work 7.3 Error-analysis of approximate arithmetic units 7.3.1 Application Independent Error-analysis of Approximate Multipliers 7.3.2 Application Specific Error Analysis 7.4 Accelerator Performance Estimation 7.5 DSE Methodology 7.6 Results and Discussion 7.6.1 Experimental Setup and Tool Flow 7.6.2 Behavioral Analysis 7.6.3 Accelerator Performance Estimation 7.6.4 DSE Performance 7.7 Conclusion 8. Conclusions and Future Work

In the context of evolutionary robotics and neurorobotics, artificial neural networks, used as controllers for animats, are examined to identify principles of neuro-control, network organization, the interaction between body and control, and other likewise properties. Before such an examination can take place, suitable neuro-controllers have to be identified. A promising and widely used technique to search for such networks are evolutionary algorithms specifically adapted for neural networks. These allow the search for neuro-controllers with various network topologies directly on physically grounded (simulated) animats. This neuro-evolution approach works well for small neuro-controllers and has lead to interesting results. However, due to the exponentially increasing search space with respect to the number of involved neurons, this approach does not scale well with larger networks. This scaling problem makes it difficult to find non-trivial, larger networks, that show interesting properties. In the context of this thesis, networks of this class are called mid-scale networks, having between 50 and 500 neurons. Searching for networks of this class involves very large search spaces, including all possible synaptic connections between the neurons, the bias terms of the neurons and (optionally) parameters of the neuron model, such as the transfer function, activation function or parameters of learning rules. In this domain, most evolutionary algorithms are not able to find suitable, non-trivial neuro-controllers in feasible time. To cope with this problem and to shift the frontier for evolvable network topologies a bit further, a novel evolutionary method has been developed in this thesis: the Interactively Constrained Neuro-Evolution method (ICONE). A way to approach the problem of increasing search spaces is the introduction of measures that reduce and restrict the search space back to a feasible domain. With ICONE, this restriction is realized with a unified, extensible and highly adaptable concept: Instead of evolving networks freely, networks are evolved within specifically designed constraint masks, that define mandatory properties of the evolving networks. These constraint masks are defined primarily using so called functional constraints, that actively modify a neural network to enforce the adherence of all required limitations and assumptions. Consequently, independently of the mutations taking place during evolution, the constraint masks repair and readjust the networks so that constraint violations are not able to evolve. Such functional constraints can be very specific and can enforce various network properties, such as symmetries, structure reuse, connectivity patterns, connectivity density heuristics, synaptic pathways, local processing assemblies, and much more. Constraint masks therefore describe a narrow, user defined subset of the parameter space -- based on domain knowledge and user experience -- that focuses the search on a smaller search space leading to a higher success rate for the evolution. Due to the involved domain knowledge, such evolutions are strongly biased towards specific classes of networks, because only networks within the defined search space can evolve. This, surely, can also be actively used to lead the evolution towards specific solution approaches, allowing the experimenter not only to search for any upcoming solution, but also to confirm assumptions about possible solutions. This makes it easier to investigate specific neuro-control principles, because the experimenter can systematically search for networks implementing the desired principles, simply by using suitable constraints to enforce them. Constraint masks in ICONE are built up by functional constraints working on so called neuro-modules. These modules are used to structure the networks, to define the scope for constraints and to simplify the reuse of (evolved) neural structures. The concept of functional, constrained neuro-modules allows a simple and flexible way to construct constraint masks and to inherit constraints when neuro-modules are reused or shared. A final cornerstone of the ICONE method is the interactive control of the evolution process, that allows the adaptation of the evolution parameters and the constraint masks to guide evolution towards promising domains and to counteract undesired developments. Due to the constraint masks, this interactive guidance is more effective than the adaptation of the evolution parameters alone, so that the identification of promising search space regions becomes easier. This thesis describes the ICONE method in detail and shows several applications of the method and the involved features. The examples demonstrate that the method can be used effectively for problems in the domain of mid-scale networks. Hereby, as effects of the constraint masks and the herewith reduced complexity of the networks, the results are -- despite their size -- often easy to comprehend, well analyzable and easy to reuse. Another benefit of constraint masks is the ability to deliberately search for very specific network configurations, which allows the effective and systematic exploration of distinct variations for an evolution experiment, simply by changing the constraint masks over the course of multiple evolution runs. The ICONE method therefore is a promising novel evolution method to tackle the problem of evolving mid-scale networks, pushing the frontier of evolvable networks a bit further. This allows for novel evolution experiments in the domain of neurorobotics and evolutionary robotics and may possibly lead to new insights into neuro-dynamical principles of animat control.