A large number of current mobile robots use 3D sensors as part of their sensor setup. Common 3D sensors, i.e., laser scanners or RGB-D cameras, emit a signal (laser light or infrared light for instance), and its reflection is recorded in order to estimate depth to a surface. The resulting set of measurement points is commonly referred to as 'point clouds'. In the first part of this dissertation an inherent problem of sensors that emit some light signal is addressed, namely that these signals can be reflected and/or refracted by transparent of highly specular surfaces, causing erroneous or missing measurements. A novel heuristic approach is introduced how such objects may nevertheless be identified and their size and shape reconstructed by fusing information from several viewpoints of the scene. In contrast to other existing approaches no prior knowledge about the objects is required nor is the shape of the reconstructed objects restricted to a limited set of geometric primitives. The thesis proceeds to illustrate problems caused by sensor noise and registration errors and introduces mechanisms to address these problems. Finally a quantitative comparison between equivalent directly measured objects, the reconstructions and "ground truth" is provided. The second part of the thesis addresses the problem of automatically determining the quality of the registration for a pair of point clouds. Although a different topic, these two problems are closely related, if modeled in the fashion of this thesis. After illustrating why the output parameters of a popular registration algorithm (ICP) are not suitable to deduce registration quality, several heuristic measures are developed that provide better insight. Experiments performed on different datasets were performed to showcase the applicability of the proposed measures in different scenarios.

Planning under uncertainty is a central topic at the intersection of disciplines such as artificial intelligence, cognitive science and robotics, and its aim is to enable artificial agents to solve challenging problems through a systematic approach to decision-making. Some of these challenges include generating expectations about different outcomes governed by a probability distribution and estimating the utility of actions based only on partial information. In addition, an agent must incorporate observations or information from the environment into its deliberation process and produce the next best action to execute, based on an updated understanding of the world. This process is commonly modeled as a POMDP, a discrete stochastic system that becomes intractable very quickly. Many real-world problems, however, can be simplified following cues derived from contextual information about the relative expected value of actions. Based on an intuitive approach to problem solving, and relying on ideas related to attention and relevance estimation, we propose a new approach to planning supported by our two main contributions: PGS grants an agent the ability to generate internal preferences and biases to guide action selection, and IRE allows the agent to reduce the dimensionality of complex problems while planning online. Unlike existing work that improves the performance of planning on POMDPs, PGS and IRE do not rely on detailed heuristics or domain knowledge, explicit action hierarchies or manually designed dependencies for state factoring. Our results show that this level of autonomy is important to solve increasingly more challenging problems, where manually designed simplifications scale poorly.

Following an introduction to the context of Human-Level Artificial Intelligence (HLAI) and (computational) analogy research, a formal analysis assessing and qualifying the suitability of the Heuristic-Driven Theory Projection (HDTP) analogy-making framework for HLAI purposes is presented. An account of the application of HDTP (and analogy-based approaches in general) to the study and computational modeling of conceptual blending is outlined, before a proposal and initial proofs of concept for the application of computational analogy engines to modeling and analysis questions in education studies, teaching research, and the learning sciences are described. Subsequently, the focus is changed from analogy-related aspects in learning and concept generation to rationality as another HLAI-relevant cognitive capacity. After outlining the relation between AI and rationality research, a new conceptual proposal for understanding and modeling rationality in a more human-adequate way is presented, together with a more specific analogy-centered account and an architectural sketch for the (re)implementation of certain aspects of rationality using HDTP. The methods and formal framework used for the initial analysis of HDTP are then applied for proposing general guiding principles for models and approaches in HLAI, together with a proposal for a formal characterization grounding the notion of heuristics as used in cognitive and HLAI systems as additional application example. Finally, work is reported trying to clarify the scientific status of HLAI and participating in the debate about (in)adequate means for assessing the progress of a computational system towards reaching (human-level) intelligence. Two main objectives are achieved: Using analogy as starting point, examples are given as inductive evidence for how a cognitively-inspired approach to questions in HLAI can be fruitful by and within itself. Secondly, several advantages of this approach also with respect to overcoming certain intrinsic problems currently characterizing HLAI research in its entirety are exposed. Concerning individual outcomes, an analogy-based proposal for theory blending as special form of conceptual blending is exemplified; the usefulness of computational analogy frameworks for understanding learning and education is shown and a corresponding research program is suggested; a subject-centered notion of rationality and a sketch for how the resulting theory could computationally be modeled using an analogy framework is discussed; computational complexity and approximability considerations are introduced as guiding principles for work in HLAI; and the scientific status of HLAI, as well as two possible tests for assessing progress in HLAI, are addressed.

Die vorliegende Arbeit widmet sich der Untersuchung und Weiterentwicklung selbständig lernender maschineller Lernverfahren (Reinforcement Lernen) in der Anwendung auf visuelle Wahrnehmungen. Zuletzt wurden mit der Einführung speicherbasierter Methoden in das Reinforcement Lernen große Fortschritte beim Lernen an realen Systemen erzielt, aber der Umgang mit hochkomplexen visuellen Eingabedaten, wie sie z.B. von einer digitalen Kamera aufgezeichnet werden, stellt weiterhin ein ungelöstes Problem dar. Bestehende Methoden sind auf den Umgang mit niedrigdimensionalen Zustandsbeschreibungen beschränkt, was eine Anwendung dieser Verfahren direkt auf den Strom von Bilddaten bisher ausschließt und den vorgeschalteten Einsatz klassischer Methoden des Bildverstehens zur Extraktion und geeigneten Kodierung der relevanten Informationen erfordert. Einen Ausweg bietet der Einsatz von so genannten `tiefen Autoencodern'. Diese mehrschichtigen neuronalen Netze ermöglichen es, selbstorganisiert niedrigdimensionale Merkmalsräume zur Repräsentation hochdimensionaler Eingabedaten zu erlernen und so eine klassische, aufgabenspezifische Bildanalyse zu ersetzen. In typischen Objekterkennungsaufgaben konnten auf Basis dieser erlernten Repräsentationen bereits beeindruckende Ergebnisse erzielt werden. Im Rahmen der vorliegenden Arbeit werden nun die tiefen Autoencodernetze auf ihre grundsätzliche Tauglichkeit zum Einsatz im Reinforcement Lernen untersucht. Mit dem ``Deep Fitted Q''-Algorithmus wird ein neuer Algorithmus entwickelt, der das Training der tiefen Autoencodernetze auf effiziente Weise in den Reinforcement Lernablauf integriert und so den Umgang mit visuellen Wahrnehmungen beim Strategielernen ermöglicht. Besonderes Augenmerk wird neben der Dateneffizienz auf die Stabilität des Verfahrens gelegt. Im Anschluss an eine Diskussion der theoretischen Aspekte des Verfahrens wird eine ausführliche empirische Evaluation der erzeugten Merkmalsräume und der erlernten Strategien an simulierten und realen Systemen durchgeführt. Dabei gelingt es im Rahmen der vorliegenden Arbeit mit Hilfe der entwickelten Methoden erstmalig, Strategien zur Steuerung realer Systeme direkt auf Basis der unvorverarbeiteten Bildinformationen zu erlernen, wobei von außen nur das zu erreichende Ziel vorgegeben werden muss.

Die Extraktion von Informationen aus Texten – insbesondere aus unstrukturierten Textdaten wie Foren, Bewertungsportalen bzw. aus offenen Angaben – stellen heute eine besondere Herausforderung für Marktforscher und Marktforscherinnen dar. Hierzu wird zum einen neues methodisches Know-how gebraucht, um mit den komplexen Datenbeständen sowohl bei der Erhebung wie auch bei der Bewertung dieser umzugehen. Zum anderen müssen im Kontext der digitalen Beforschung von neuen Customer Insights sowohl technische als auch organisationale Infrastrukturen geschaffen werden, um u. a. Geschäftsmodelle in Abläufen und Arbeitsprozessen von Unternehmen, Institutionen und Organisationen etablieren zu können. Die Beiträge des Bandes besprechen nicht nur vielfältigste Methoden und Verfahren zur automatischen Textextraktion, sondern zeigen hierbei sowohl die Relevanz als auch die Herausforderungen für die Online-Marktforschung auf, die mit dem Einsatz solch innovativer Ansätze und Verfahren verbunden sind.:C. M. Stützer, A. Wachenfeld-Schell & S. Oglesby: Digitale Transformation der Marktforschung A. Lang & M. Egger, Insius UG: Wie Marktforscher durch kooperatives Natural Language Processing bei der qualitativen Inhaltsanalyse profitieren können M. Heurich & S. Štajner, Symanto Research: Durch Technologie zu mehr Empathie in der Kundenansprache – Wie Text Analytics helfen kann, die Stimme des digitalen Verbrauchers zu verstehen G. Heisenberg, TH Köln & T. Hees, Questback GmbH: Text Mining-Verfahren zur Analyse offener Antworten in Online-Befragungen im Bereich der Markt- und Medienforschung T. Reuter, Cogia Intelligence GmbH: Automatische semantische Analysen für die Online-Marktforschung P. de Buren, Caplena GmbH: Offenen Nennungen gekonnt analysieren

Die Nachfrage der Kunden nach individualisierten Produkten, die Globalisierung, neue Konsummuster sowie kürzere Produktlebenszyklen führen dazu, dass Unternehmen immer mehr Varianten anbieten. Aufgrund der Arbeitsteilung und der unterschiedlichen Perspektiven können einzelne Entwickler die Komplexität des Produktportfolios nicht durchdringen. Dennoch sind die heutigen Verfahren im Produktportfolio- und Variantenmanagement geprägt durch manuelle und erfahrungsbasierte Aktivitäten. Eine systematische Analyse und Optimierung des Produktportfolios sind damit nicht möglich. Unternehmen benötigen stattdessen intelligente Lösungen, welche das gespeicherte Wissen in Daten nutzen und einsetzen, um Entscheidungen über Innovation, Differenzierung und Elimination von Produktvarianten zu unterstützen. Zielstellung dieses Forschungsvorhabens ist die Entwicklung eines Frameworks zur Analyse komplexer Produktportfolios mittels Machine Learning. Machine Learning ermöglicht es, Wissen aus Daten unterschiedlicher Lebenszyklusphasen einer Produktvariante automatisiert zu generieren und zur Unterstützung des Produktportfolio- und Variantenmanagements einzusetzen. Für die Unterstützung der Entscheidungen über Produktvarianten ist Wissen über deren Abhängigkeiten und Beziehungen sowie die Eigenschaften der einzelnen Elemente erforderlich. Dadurch soll ein Beitrag zur besseren Handhabung komplexer Produktportfolios geleistet werden. Das Framework zur Analyse komplexer Produktportfolios mittels Machine Learning besteht aus drei Bausteinen, die das zentrale Ergebnis dieser Arbeit darstellen. Zuerst wird in Baustein 1 auf die Wissensbedarfe bei der Analyse und Anpassung komplexer Produktportfolios eingegangen. Anschließend werden in Baustein 2 die Daten, welche für Entscheidungen und somit für die Wissensgenerierung im Produktportfolio- und Variantenmanagement erforderlich sind, beschrieben und charakterisiert. Abschließend findet in Baustein 3 die Datenvorbereitung und die Implementierung der Machine Learning Verfahren statt. Es wird auf unterschiedliche Verfahren eingegangen und eine Unterstützung bei der Auswahl und Evaluation der Algorithmen sowie die Möglichkeiten zum Einsatz des generierten Wissens für die Analyse komplexer Produktportfolios aufgezeigt. Das Framework wird in einer Fallstudie bei einem Industriepartner aus der Nutzfahrzeugbranche mit einem besonders komplexen Produktportfolio angewendet. Dabei werden die drei Anwendungsfälle Prognose von „marktspezifischen und technischen Eigenschaften der Produktvarianten“, Ermittlung von „Ähnlichkeiten von Produktvarianten“ und Identifikation von „Korrelationen zwischen Merkmalsausprägungen“ mit realen Daten des Industriepartners umgesetzt. Das Framework sowie die in der Fallstudie beim Industriepartner erzielten Ergebnisse werden anschließend Experten im Produktportfolio- und Variantenmanagement vorgestellt. Diese bewerten die Ergebnisse hinsichtlich der funktionalen Eigenschaften sowie dem Mehrwert aus Sicht der Forschung und industriellen Praxis anhand zuvor definierter Kriterien.:1 Einführung 1.1 Motivation 1.2 Komplexe Produktportfolios: Eine Industrieperspektive 1.3 Zielsetzung und Forschungsfragen 1.4 Aufbau der Arbeit 2 Grundlagen zur Analyse von Produktportfolios mittels Machine Learning 2.1 Komplexe Produktportfolios 2.1.1 Terminologie komplexer Produktportfolios 2.1.2 Strukturierung komplexer Produktportfolios 2.1.3 Analyse und Anpassung komplexer Produktportfolios 2.1.4 Zusammenfassung: Komplexe Produktportfolios 2.2 Machine Learning 2.2.1 Machine Learning als Teil der künstlichen Intelligenz 2.2.2 Terminologie Machine Learning 2.2.3 Wissensgenerierung mit Machine Learning 2.2.4 Datenanalyseprozess 2.2.5 Machine Learning Verfahren und Algorithmen 2.2.6 Zusammenfassung: Machine Learning 3 Ansätze zur Analyse von Produktportfolios mittels Machine Learning 3.1 Kriterien zur Bewertung bestehender Ansätze 3.2 Bestehende Ansätze aus der Literatur 3.2.1 Einsatz überwachter Lernverfahren 3.2.2 Einsatz unüberwachter Lernverfahren 3.2.3 Einsatz kombinierter Lernverfahren 3.3 Resultierender Forschungsbedarf 4 Forschungsvorgehen 4.1 Design Research Methodology (DRM) 4.2 Vorgehen und Methodeneinsatz 4.3 Kriterien für die Entwicklung des Frameworks 4.4 Schlussfolgerungen zum Forschungsvorgehen 5 Framework zur Analyse komplexer Produktportfolios 5.1 Übersicht über das Framework 5.2 Baustein 1: Wissensbedarfe zur Analyse komplexer Produktportfolios 5.2.1 Informationssuche 5.2.2 Formulierung von Alternativen 5.2.3 Prognose 5.2.4 Kriterien zur Auswahl der Wissensbedarfe 5.3 Baustein 2: Datenbasierte Beschreibung komplexer Produktportfolios 5.3.1 Produktdatenmodell 5.3.2 Vertriebsdaten 5.3.3 Nutzungsdaten 5.4 Baustein 3: Systematische Generierung und Einsatz von Wissen 5.4.1 Baustein 3.0: Vorbereitung von Produktportfoliodaten 5.4.2 Baustein 3.1: Regressionsanalyse 5.4.3 Baustein 3.2: Klassifikationsanalyse 5.4.4 Baustein 3.3: Clusteranalyse 5.4.5 Baustein 3.4: Assoziationsanalyse 5.5 Anwendung des Frameworks 5.6 Schlussfolgerung zum Framework 6 Validierung des Frameworks 6.1 Konzept der Validierung 6.2 Baustein 1: Wissensbedarfe zur Analyse komplexer Produktportfolios 6.3 Baustein 2: Datenbasierte Beschreibung komplexer Produktportfolios 6.4 Baustein 3: Systematische Generierung und Einsatz von Wissen 6.4.1 Marktspezifische und technische Produkteigenschaften 6.4.2 Ähnlichkeiten von Produktvarianten 6.4.3 Korrelationen zwischen Merkmalsausprägungen 6.5 Erfolgsvalidierung mit einer Expertenbefragung 6.6 Schlussfolgerung zur Validierung 7 Diskussion 7.1 Nutzen und Einschränkungen 7.2 Ergebnisbeitrag für die Forschung 7.3 Ergebnisbeitrag für die Industrie 8 Zusammenfassung und Ausblick 8.1 Zusammenfassung 8.2 Ausblick 9 Literaturverzeichnis 10 Abbildungsverzeichnis 11 Tabellenverzeichnis Anhang A-1

Subject of the present study is the agent-based computer simulation of Agent Island. Agent Island is a macroeconomic model, which belongs to the field of monetary theory. Agent-based modeling is an innovative tool that made much progress in other scientific fields like medicine or logistics. In economics this tool is quite new, and in monetary theory to this date virtual no agent-based simulation model has been developed. It is therefore the topic of this study to close this gap to some extend. Hence, the model integrates in a straightforward way next to the common private sectors (i.e. households, consumer goods firms and capital goods firms) and as an innovation a banking system, a central bank and a monetary circuit. Thereby, the central bank controls the business cycle via an interest rate policy; the according mechanism builds on the seminal idea of Knut Wicksell (natural rate of interest vs. money rate of interest). In addition, the model contains also many Keynesian features and a flow-of-funds accounting system in the tradition of Wolfgang Stützel. Importantly, one objective of the study is the validation of Agent Island, which means that the individual agents (i.e. their rules, variables and parameters) are adjusted in such a way that on the aggregate level certain phenomena emerge. The crucial aspect of the modeling and the validation is therefore the relation between the micro and macro level: Every phenomenon on the aggregate level (e.g. some stylized facts of the business cycle, the monetary transmission mechanism, the Phillips curve relationship, the Keynesian paradox of thrift or the course of the business cycle) emerges out of individual actions and interactions of the many thousand agents on Agent Island. In contrast to models comprising a representative agent, we do not apply a modeling on the aggregate level; and in contrast to orthodox GE models, true interaction between heterogeneous agents takes place (e.g. by face-to-face-trading). / Gegenstand der vorliegenden makroökonomischen Untersuchung ist Agent Island. Agent Island ist eine agentenbasierte Computersimulation, welche im Gebiet der Geldtheorie anzusiedeln ist. Agentenbasierte Computersimulationen sind innovative Werkzeuge, die bereits in vielen anderen Forschungsfeldern, wie der Medizinforschung oder der Erforschung komplexer Logistiksysteme, Verwendung finden. Im Fach Volkswirtschaftslehre ist der Einsatz dieser Technik allerdings noch recht neu, und im Gebiet der monetären Makroökonomik ist bis heute praktisch noch kein agentenbasiertes Simulationsmodell entwickelt worden. Diese Lücke soll durch die vorliegende Arbeit zumindest ein Stück weit geschlossen werden. Angestrebt wird deshalb die Ausarbeitung eines validierten Simulationsmodells für geldpolitische Anwendungen. Zu diesem Zweck wird als Innovation in einem agentenbasierten Makro-Modell – neben den Sektoren der privaten Haushalte, der Konsum- und Kapitalgüterunternehmen – ein Bankensystem, die Notenbank und ein Geldkreislauf (auf einfache Weise) integriert. Die Notenbank kontrolliert dabei die Konjunktur durch Zinspolitik; der entsprechende Transmissionsmechanismus knüpft an die Arbeiten Knut Wicksells im Bereich der Geldtheorie an. Darüber hinaus beinhaltet das Modell viele Keynesianische Elemente sowie eine Geldvermögensrechnung in der Tradition von Wolfgang Stützel. Im Rahmen der Validierung spielt insbesondere der Zusammenhang zwischen Mikro- und Makroebene eine besondere Rolle, wobei wir einen Bottom-Up-Ansatz wählen. Die Idee der Validierung, wie wir sie anwenden, besteht demnach darin, die individuellen Regeln der Agenten so einzustellen, dass auf der aggregierten Ebene Ergebnisse entstehen, die für ein monetäres Makro-Modell sinnvoll erscheinen. Im Ergebnis des validierten Modells sind alle Phänomene auf der aggregierten Ebene (z. B. einige stilisierte Fakten, die Wirkung des Transmissionsmechanismus, der Phillips-Kurven-Zusammenhang, das Spar-Paradoxon oder der Konjunkturverlauf von Agent Island) alleine durch die Handlungen und Interaktionen der vielen tausend Agenten auf der Mikroebene erzeugt. Es erfolgt – im Gegensatz zu Modellen mit einem repräsentativen Agenten – keine Modellierung auf der aggregierten Ebene. Im Rahmen der Mikrostruktur von Agent Island gilt es, die drei vorkommenden Typen von Agenten, d.h. die private Haushalte, Unternehmen sowie die Notenbank, mit einem geeigneten Regelwerk auszustatten. Dementsprechend ist die Arbeit so aufgebaut, dass im ersten Kapitel der methodischen Rahmen für die Entwicklung des Modells (d.h. der Regeln) sowie für die Validierung des Modells (d.h. die Einstellung der Regeln) dargestellt wird. Außerdem erfolgt eine Ausarbeitung der Vorteile des agentenbasierten Ansatzes gegenüber den Allgemeinen Gleichgewichts-Modellen. Im darauffolgenden zweiten Kapitel erfolgt die Darstellung des Modells, welche die Beschreibung aller Regeln und Variablen umfasst. Da es bis heute keine vergleichbare Arbeit auf dem Gebiet der Geldtheorie gibt, musste sich das Modell von Agent Island an verwandte, bereits existierende agentenbasierte Modelle orientieren, sowie in vielen Bereichen an nicht-agentenbasierten Ansätze. Im zweiten Kapitel erfolgt ebenfalls die Verknüpfung des Modells mit der relevanten Literatur. Es liegt in der Natur der Sache, dass die Darstellung von Agent Island zunächst auf der Mikroebene erfolgt. Somit befasst sich der größte Teil von Kapitel 2 mit der Ausarbeitung der Regeln auf der Mikroebene. Erst am Ende des Kapitels wechselt die Darstellung auf die Makroebene – und legt hierbei auch die Grundlagen für den späteren Validierungsprozess. Dort werden makroökonomische Zusammenhänge erläutert, die für Agent Island relevant sein sollten und die im darauffolgenden dritten Kapitel dann auch untersucht bzw. angewandt werden. In Kapitel 3 erfolgt die Validierung des Modells. Hier erfolgen Sensitivitäts-Analysen, Kalibrierungen sowie weitere (z.T. statistische) Untersuchungen des Modells bzw. der Modellergebnisse. Ziel ist es dabei, sinnvolle Ergebnisse auf der Makroebene für verschiedene Zeitreihen zu generieren. Am Ende von Kapitel 3 liegt ein vernünftig validiertes Modell vor. Dies könnte beispielsweise als Ausgangsbasis für die Fortentwicklung eines weiter verfeinerten Modells dienen.

This thesis investigates combining learning action nodes in behavior trees with control barrier functions based on the extended active constraint conditions of the nodes and whether the approach improves the performance, in terms of training time and policy quality, compared to a purely learning-based approach. Behavior trees combine several behaviors, called action nodes, into one behavior by switching between them based on the current state. Those behaviors can be hand-coded or learned in so-called learning action nodes. In these nodes, the behavior is a reinforcement learning agent. Behavior trees can be constructed in a process called backward chaining. In order to ensure the success of a backward-chained behavior tree, each action node must uphold previously achieved subgoals. So-called extended active constraint conditions formalize this notion as conditions that must stay true for the action node to continue execution. In order to incentivize upholding extended active constraint conditions in learning action nodes, a negative reward can be given to the agent upon violating extended active constraint conditions. However, this approach does not guarantee not violating the extended active constraint conditions since it is purely learning-based. Control barrier functions can be used to restrict the actions available to an agent so that it stays within a safe subset of the state space. By defining the safe subset of the state space as the set in which the extended active constraint conditions are satisfied, control barrier functions can be employed to, ideally, guarantee that the extended active constraint conditions will not be violated. The results show that significantly less training is needed to get comparable, or slightly better, results, when compared to not using control barrier functions. Furthermore, extended active constraint conditions are considerably less frequently violated and the overall performance is slightly improved. / Denna avhandling undersöker kombinationen av inlärningsregulatornoder i beteendeträd med styrbarriärfunktioner baserade på utökade aktiva begränsningsvillkor för noderna, samt om detta tillvägagångssätt förbättrar prestandan avseende tränings- och policynkvalitet, jämfört med ett rent inlärningsbaserat tillvägagångssätt. Beteendeträd kombinerar flera regulatorer, kallade regulatornoder, till en enda regulator genom att växla mellan dem baserat på det aktuella tillståndet. Dessa regulatorer kan vara handkodade eller inlärda i så kallade inlärningsnoder. I dessa noder är regulatorn en förstärkningsinlärningsagent. Beteendeträd kan konstrueras genom en process som kallas bakåtkoppling. För att säkerställa framgången för ett bakåtkopplat beteendeträd måste varje regulatornod upprätthålla tidigare uppnådda delmål. Utökade aktiva begränsningsvillkor formaliserar denna uppfattning som villkor som inte får överträdas för att regulatornoden ska fortsätta exekvera. För att uppmuntra till att upprätthålla utökade aktiva begränsningsvillkor i inlärningsnoder kan en negativ belöning ges till agenten vid överträdelse av utökade aktiva begränsningsvillkor. Denna metod garanterar dock inte att utökade aktiva begränsningsvillkor inte kommer att överträdas, eftersom den är helt inlärningsbaserad. Kontrollbarriärfunktioner kan användas för att begränsa de åtgärder som är tillgängliga för en agent så att den förblir inom en säker delmängd av tillståndsrymden. Genom att definiera den säkra delmängden av tillståndsrymden som den uppsättning där de utökade aktiva begränsningsvillkoren uppfylls kan kontrollbarriärfunktioner användas för att, i bästa fall, garantera att de utökade aktiva begränsningsvillkoren inte kommer att överträdas. Resultaten visar att det krävs betydligt mindre träning för att få jämförbara, eller något bättre, resultat jämfört med att inte använda kontrollbarriärfunktioner. Dessutom överträds utökade aktiva begränsningsvillkor betydligt mer sällan och den övergripande prestandan är något förbättrad. I would like to thank Katrina Liang and Petter Ögren for translating the to Swedish. / Diese Arbeit untersucht die Kombination von Lernaktionsknoten in Verhaltensbäumen mit Kontrollbarrierefunktionen, die auf den erweiterten aktiven Einschränkungsbedingungen und Vorbedingungen der Knoten basieren, und ob dieser Ansatz die Leistung hinsichtlich Trainingszeit und Qualität der erlernten Strategie im Vergleich zu einem rein lernbasierten Ansatz verbessert. Verhaltensbäume kombinieren mehrere Regler, die als Aktionsknoten bezeichnet werden, zu einem zusammengesetzten Regler, indem sie abhängig vom aktuellem Zustand zwischen ihnen wechseln. Diese Regler können entweder manuell programmiert oder in sogenannten lernenden Aktionsknoten erlernt werden. In diesen Knoten ist der Regler ein Reinforcement Learning Agent. Verhaltensbäume können in einem Prozess namens Rückwärtsverkettung erstellt werden. Um den Erfolg eines rückwärtsverketteten Verhaltensbaums sicherzustellen, muss jeder Aktionsknoten zuvor erreichte Teilerfolge aufrechterhalten. Sogenannte erweiterte aktive Einschränkungsbedingungen formalisieren diesen Gedanken als Bedingungen, die nicht verletzt werden dürfen, damit der Aktionsknoten die Ausführung fortsetzen kann. Um einen Anreiz für die Aufrechterhaltung erweiterter aktiver Einschränkungsbedingungen in Lernaktionsknoten zu schaffen, kann dem Agenten bei Verstoß gegen erweiterte aktive Einschränkungsbedingungen eine negative Belohnung gewährt werden. Diese Herangehensweise garantiert jedoch nicht die Einhaltung der erweiterten aktiven Einschränkungsbedingungen, da sie rein lernbasiert ist. Kontrollbarrierefunktionen können verwendet werden, um die verfügbaren Aktionen eines Agenten zu beschränken, damit dieser in einer sicheren Teilmenge des Zustandsraums bleibt. Indem die sichere Teilmenge des Zustandsraums als die Menge definiert wird, in der die erweiterten aktiven Einschränkungsbedingungen erfüllt sind, können Kontrollbarrierefunktionen idealerweise verwendet werden, um sicherzustellen, dass die erweiterten aktiven Einschränkungsbedingungen nicht verletzt werden. Die Ergebnisse zeigen, dass im Vergleich zur Nichtverwendung von Kontrollbarrierefunktionen deutlich weniger Training erforderlich ist, um vergleichbare oder etwas bessere Ergebnisse zu erzielen. Darüber hinaus werden erweiterte aktive Einschränkungsbedingungen deutlich seltener verletzt und die Gesamtleistung wird leicht verbessert.

Der Bulbus olfactorius (OB) spielt eine wichtige Rolle in der Wahrnehmung von Gerüchen. Das OB-Volumen korreliert mit der Riechfunktion und ist daher ein Biomarker für mehrere neurodegenerative Erkrankungen sowie für Riechstörungen. In mehreren Studien wurde gezeigt, dass eine Abnahme des OB-Volumens mit einer Abnahme der Geruchsempfindlichkeit einhergeht und umgekehrt. Dies bedeutet, dass die Messung des OB-Volumens für verschiedene Diagnose- und Forschungszwecke von großem Interesse ist. Bisher wurden diese Messungen manuell durchgeführt, was mit einem Zeitaufwand von 15-20 Minuten pro Probanden eine sehr langwierige Methode ist, die außerdem zu erheblichen Messungenauigkeiten führt. Dies erschwert die Verarbeitung großer Datensätze sowie den Vergleich verschiedener Studien. Um dieses Problem zu lösen, haben wir einen vollautomatisierten, auf Deep-Learning basierten Algorithmus zur Segmentierung des OB sowie zur Messung dessen Volumens entwickelt und ein einsatzbereites Tool zur Anwendung veröffentlicht. Des Weiteren wurde eine Studie an Patienten mit Mild Cognitive Impairment (MCI) durchgeführt, um den Effekt von Riechtraining auf funktionale und morphologische Veränderungen des OB und des Hippocampus zu untersuchen. Methoden: Wir haben unseren Algorithmus auf vier Datensätzen trainiert und getestet, die jeweils aus T1-gewichteten MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelösten T2-gewichteten Aufnahmen der vorderen Schädelbasis und den entsprechenden klinischen Informationen über das Riechvermögen der Probanden bestehen. Ein Datensatz enthielt Patienten mit gesicherter Anosmie oder Hyposmie (N = 79). Die anderen drei Datensätze enthielten gesunde Probanden (N = 91). Um die Grundwahrheit für die OB-Segmentierung und die Volumenmessung zu erhalten, wurden die Datensätze von zwei erfahrenen wissenschaftlichen Mitarbeitern unabhängig voneinander nach einem einheitlichen Protokoll manuell segmentiert. Verglichen mit dem gesamten Gehirn nimmt der OB ein sehr kleines Volumen ein. Jedes Bild hat daher viel mehr Voxel, die dem Hintergrund angehören als solche, die zum OB gehören. Somit sind die Daten sehr unausgewogen, was eine Herausforderung für die automatische Lokalisierung des OB darstellt. Um dieses Problem zu lösen, haben wir zunächst die manuellen Segmentierungen mit dem Template des Montreal Neurological Institute (MNI) registriert und den Massenschwerpunkt (Center of Gravity, COG) ermittelt. Im Preprocessing übertragen wir die COG-Koordinaten aus dem MNI-Raum in den individuellen Raum der jeweiligen MR-Aufnahme und konstruieren eine Bounding Box um den OB. Anschließend selektieren wir den in der Bounding Box enthaltenen Bildanteil, in welchem dann der OB durch das 3D-U-Net-Modell segmentiert wird. Bei dem Modell handelt es sich um ein neuronales Netz, welches für die 3D-Bildsegmentierung entwickelt wurde und sich im Bereich der medizinischen Bildverarbeitung bewährt hat. Der Algorithmus gibt anschließend die binären Segmentierungsmasken und eine Datei mit den Volumina für den linken und rechten OB heraus. Im Rahmen der Studie an MCI-Patienten wurden 37 Patienten randomisiert in Verum- und Placebo-Gruppe eingeteilt. Das Riechtraining wurde zweimal täglich über einen Zeitraum von vier Monaten durchgeführt. Olfaktorische und kognitive Testungen sowie MRT-Bildgebung wurden zu Anfang und Ende der viermonatigen Studie durchgeführt. Ergebnisse : Zum Trainieren des neuronalen Netzes haben wir den Datensatz in einen Trainings- (60%; N = 191), einen Validierungs- (20%; N = 64) und einen Testdatensatz (20%; N = 64) aufgeteilt. Auf zuvor ungesehenen Daten (d. h. auf dem Testdatensatz) wurde ein mittlerer Dice-Koeffizient (DC) von 0,77 ± 0,05 erreicht, was dem zwischen den beiden manuellen Segmentierungen ermittelten DC von 0,79 ± 0,08 für dieselbe Kohorte sehr nahe kommt. Darüber hinaus wurden die von unserem Algorithmus erzeugten Segmentierungen von einem unabhängigen verblindeten Bewerter manuell auf einer standardisierten Skala evaluiert und erreichten eine vergleichbare Punktzahl von 5,95 ± 0,87 im Vergleich zu einer Bewertungszahl von 6,23 ± 0,87 für die erste und 5,92 ± 0,81 für die zweite Segmentierung. Diese Evaluierungsergebnisse zeigen, dass unser Algorithmus mit drei bis vier Minuten pro Probanden eine schnelle und zuverlässige automatische Segmentierung des OB ermöglicht, die der Genauigkeit der derzeitigen Goldstandard-Methode entspricht. In der Studie mit MCI-Patienten wurde nach Durchführung des viermonatigen Riechtrainings eine Zunahme der Riechfähigkeit sowie der kortikalen Schichtdicke des Hippocampus beidseits beobachtet. Sowohl in der Verum-Gruppe als auch in der Placebo-Gruppe konnte keine signifikante Zunahme des OB-Volumens festgestellt werden. Diskussion: Der von uns vorgeschlagene Algorithmus kann sowohl bei gesunden Probanden als auch bei Patienten mit diagnostizierten Riechstörungen eingesetzt werden und ist daher von hoher klinischer Relevanz. Er ermöglicht die schnelle Verarbeitung großer Datensätze und die Durchführung vergleichender Studien zur Entwicklung des OB-Volumens im Laufe der Zeit, da er zuverlässigere Ergebnisse liefert als die manuellen Annotationsmethoden. In der Studie an MCI-Patienten war das Riechtraining mit einer Zunahme der kortikalen Schichtdicke des Hippocampus assoziiert, nicht jedoch mit einer Zunahme des OB- oder Hippocampus-Volumens. Ein Grund hierfür könnte die Tendenz des OB-Volumens sein, in MCI-Patienten abzunehmen. Somit könnte das stabile OB-Volumen nach Riechtraining bereits als positiver Effekt gewertet werden. Andererseits könnte das unveränderte OB-Volumen auch auf die methodisch bedingten manuellen Messfehler zurückgeführt werden. Um das Problem der ungenauen manuellen Messungen zu lösen, haben wir ein auf Python basierendes, sofort einsetzbares Tool entwickelt, das Segmentierungsmasken sowie Messungen des linken und rechten OB-Volumens liefert. Es kann sowohl über eine Befehlszeilenschnittstelle als auch über eine grafische Benutzeroberfläche verwendet werden. Für die Segmentierung des OB werden T1-gewichtete MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelöste T2-gewichtete Aufnahmen der vorderen Schädelbasis verwendet.

Während die Menschheit bereits seit Jahrtausenden von der Brillanz von Gold und Silber im ausgedehnten Zustand fasziniert ist, bestechen ihre nanoskaligen Gegenstücke mit ihren wundervollen Farben und ihrer breiten Farbpalette. Motiviert durch diese Farben versuchten Wissenschaftler das zugrundeliegende Phänomen dieser Farben, die lokalisierte Oberflächenplasmonenresonanz, zu verstehen, was den Grundstein der Forschung im Bereich Plasmonik legte. Für die Anwendung muss diese lokalisierte Oberflächenplasmonenresonanz umfassend durch Änderung von Material, Größe, Form, Anordnung und Umgebung der Nanopartikel angepasst werden. Es scheint unausweichlich, dass dieser komplexe Parameterraum nur durch die Anwendung von künstlicher Intelligenz verstanden werden kann und die Eigenschaften von solchen komplexen Strukturen — in isolierten oder gekoppelten Strukturen — angepasst werden können. Diese Dissertation untersucht die Anpassung der Plasmonenresonanz in isolierten und gekoppelten Nanostrukturen durch Kombination von Kolloidsynthese, Anordnung und künstlicher Intelligenz. Der erste Teil behandelt die Synthese von Goldnanopartikeln mit Unterstützung des maschinellen Lernens. Durch die Nutzung von baumbasierten Lernalgorithmen wird die Wichtigkeit von bestimmten Syntheseparametern und dessen Auswirkungen auf die finalen Eigenschaften der synthetisierten Nanopartikel beleuchtet. Dabei wird gezeigt, dass der Algorithmus die zugrundeliegenden Chemiekonzepte der Synthese lernen kann, ohne sie explizit zu lehren, sondern ausschließlich durch das Lernen der Synthese- und Charakterisierungsdaten. Der zweite Teil fokussiert sich auf die Anordnung und die optische Charakterisierung von heterogenen Ketten aus Gold- und Silbernanopartikeln. Dabei wird gezeigt, dass nahezu jede Konfiguration bis zu einer Länge von 17 auf einem Quadratzentimeter durch Beschränkungsanordnung angeordnet werden können. Dies löst die synthetische Herausforderung des exponentiell wachsenden Parameterraums, der durch die Einführung eines zweiten Bausteins in der Kette eröffnet wurde. Allerdings ist die Charakterisierung zeitaufwändig und daher für die enorme Menge an Konfigurationen nicht realisierbar. Infolgedessen können elektrodynamische Simulationen hier helfen und diese Lücke schließen. Leider sind diese Simulationen durch ihre Berechnungskomplexität beschränkt, was jedoch durch den Einsatz von rekurrenten neuronalen Netzen im letzten Teil der Dissertation abgemildert wird. Letztlich zeigt diese Dissertation wie innovative Zugänge zu diesen Herausforderungen die Synthese, Charakterisierung und Verständnis von plasmonischen Nanostrukturen ermöglichen und wie die Plasmonenresonanz in Bezug zu ihren Anwendungen angepasst werden kann. / While the brilliance of gold and silver has fascinated humankind for millennia in their bulk state, their nanoscale counterparts captivate with their beautiful colors and broad color range. Motivated by these colors, researchers pursued to understand the underlying phenomenon of these colors, the localized surface plasmon resonance, which sparked the research in the field of plasmonics. In order to be useful, this localized surface plasmon resonance needs to be extensively engineered by variation of material, size, shape, arrangement, and surrounding of the nanoparticles. To explore this complex parameter space, the use of the emerging technology of artificial intelligence seems inevitable to understand and engineer the properties of such complex structures — either in isolated or coupled structures. This thesis investigates the plasmon resonance engineering in isolated and coupled nanostructures by combining colloidal synthesis, assembly, and artificial intelligence. The first part covers the machine learning assisted synthesis of gold nanoparticles, which aims to use tree-based learning algorithms to elucidate the importance of certain synthesis parameters and how they affect the final characteristics of the synthesized nanoparticles. It is shown that the algorithm can learn the underlying concepts of the chemistry of the synthesis without explicitly teaching the algorithm, but purely learning from data that was gathered during synthesis and characterization. The second part focuses on the assembly and optical characterization of heterogeneous chains composed of gold and silver nanospheres. Applying confinement assembly, virtually any configuration up to a length of 17 can be assembled on a square centimeter, which solves the synthetic challenge that is imposed by the exponentially growing configuration space due to the introduction of a second building block in the chain. However, characterization is time-consuming and therefore not feasible for vast amounts of configurations, thus only a tiny subsample is selected for electromagnetic characterization. Consequently, electrodynamicsimulations aid this task and try to fill the gap. Unfortunately, these simulations are limited by computational complexity; however, the use of recurrent neural networks enables to mitigate this problem, as shown in the final part of this thesis. In the end, this thesis showcases how innovative approaches to these challenges can enable the synthesis, characterization, and understanding of plasmonic nanostructures and how they can be used to engineer the plasmonic resonance in accordance with their desired applications.