Die motorischen Fähigkeiten humanoider Roboter werden häufig von antriebsbedingten Nichtlinearitäten und Reibungseffekten negativ beeinflusst. Zur deren Kompensation werden üblicherweise modellbasierte Regelkreise genutzt, die i.d.R. von einer hochfrequenten Signalverarbeitung und mehreren Sensorqualitäten abhängen. Entgegen solch modellbasierten Techniken werden in der vorliegenden Arbeit modellfreie Steuerungsmethoden auf Basis parallel gekoppelter Antriebe entwickelt. Zur Entwicklung und Untersuchung dieser Steuerungsmethoden wird nach der von Pfeifer in seinem Werk “How the body shapes the way we think” beschriebenen synthetischen Methodik vorgegangen. Entgegen modellbasierten Untersuchungen auf Basis von Simulationen stehen bei der synthetischen Methodik empirische Untersuchungen am realen System im Vordergrund. Als Ausgangspunkt dienen konventionelle elektromechanische Antriebe mit deren bekannten leistungseinschränkenden Nichtlinearitäten und Reibungseffekten. Durch die parallele Kopplung mehrerer Antriebe an einem einzelnen Gelenk wird das Spektrum der Steuerungsmöglichkeiten deutlich erweitert. Es zeigt sich, dass (1) durch eine konstante antagonistische Vorspannung das Arbeitsverhalten von konventionellen Proportionalreglern optimiert werden kann, (2) durch dynamische asymmetrische Änderung der Vorspannung Nichtlinearitäten bei niedrigen Geschwindigkeiten ausgeglichen werden können und (3) getriebebedingte Reibungseffekte mit einer phasenverschobenen Pulsmodulation der Steuersignale kompensiert werden können. Weiterhin wird gezeigt, wie die erarbeiteten Steuerungsmethoden auf beliebig viele parallel gekoppelte Antriebe übertragen werden können. Für den praktischen Einsatz der Steuerungsmethoden werden diese in einer hybriden Steuerung zusammengeführt. Diese wird durch eine weitere Funktion, den Energiesparmodus beim Halten statischer Positionen, ergänzt und am humanoiden Roboter Myon implementiert und experimentell evaluiert. / Motor functions of humanoid robots are often negatively influenced by nonlinearities and friction effects of the actuators. The popular means of compensation are control circuits based on modelling, which rely on powerful HF Signal processing and various sensor qualities. In contrast, this thesis develops non-modelling control methods based on parallel coupled actuators. Development and exploration of these control methods follow Pfeifer’s synthetic methodology as described in his work “How the body shapes the way we think”. In contrast to the analysis based on emulation as used in modelling, the synthetic methodology focuses rather on empirical tests within the real system. The present work explores control methods for parallel coupled actuators for use in robot points. It starts from conventional electromechanical actuators with their known power limiting nonlinearities and frictional effects. Linking several parallel coupled actuators to a single joint significantly expands the spectrum of control capabilities. Using two parallel coupled actuators as an example, it is examined to which extent undesirable properties of single actuators can be compensated. The results show that (1) the Performance of conventional proportional controllers can be optimized by a constant antagonistic bias voltage, (2) nonlinearities at low velocities can be balanced out by a dynamic asymmetrical adjustment of the bias, and that (3) gear related frictional effects can be compensated by a phase shifted pulse modulation of the control signals. In addition, it is shown how the developed control methods can be applied to a random number of parallel coupled actuators. For practical use, the various control methods are combined in a hybrid control, which is supplemented by an energy saving mode when maintaining static positions. The hybrid control is being implemented into the humanoid robot Myon and evaluated by experiment.

Diese Arbeit wird einer Weiterentwicklung der Dichtematrixtheorie und ihrer Anwendung zum Studium ultraschneller laserpulsinduzierter Dynamik in Molekularsystemen in Wechselwirkung mit einem thermischen Bad gewidmet. Zwei grosse Themenkomplexe werden behandelt. Zuerst werden die sogenannten Gedächtniseffekte diskutiert. Diese folgen aus einer reduzierten Beschreibung des Molekularsystems, in der die Umgebungsfreiheitsgrade eliminiert werden. Im zweiten Teil wird die Laserpulssteuerung der dissipativen Molekulardynamik untersucht. Die theoretische Beschreibung von offenen Quantensystemen führt zu einer zeitlich nicht-lokalen Bewegungsgleichung: Die Zeitentwicklung des Molekularsystems hängt von seiner Vergangenheit ab. In dieser Arbeit wird eine numerische Methode zur Lösung der zeitlich nicht-lokalen Bewegungsgleichung entwickelt und mit einem minimalen Modell eines polyatomaren Moleküls unter dissipativem Einfluss der Umgebung getestet. Eine analytische Lösung der Bewegungsgleichung für den speziellen Fall einer sehr langen Gedächtniszeit wurde hergeleitet. Zur Identifizierung solcher Gedächtniseffekte vergleichen wir diese analytische Lösung mit numerischen Rechnungen inklusive Gedächtnis und mit approximativen Rechnungen, die die zeitliche Nicht-Lokalität vernachlässigen. Für eine Anregung mit einem Laserpuls, der kürzer als die Gedächtniszeit des Systems ist, zeigt das Molekularsystem eine erkennbar unterschiedliche Dynamik als ohne Gedächtniss. Die Gedächtniseffekte werden mit abfallender Laserpulslänge deutlich ausgeprägter. Der zweite Teil der Arbeit konzentriert sich auf die Anwendung der Theorie der Optimalen Kontrolle, um die molekulare Dynamik zu steuern. Aus der Theorie der Optimalen Kontrolle erhält man Laserpulse, die bestimmte Aufgaben erfüllen, z.B. die Besetzung gewünschter vibronischer Niveaus des Molekularsystems oder die Platzierung eines Wellenpakets auf einer vorgegebenen Position auf der molekularen Potentialfläche. Als erstes Beispiel haben wir die Kontrolle des dissipativen fotoinduzierten Elektronentransfers in einem Donator-Brückenmolekül-Akzeptor System betrachtet, wobei wir das Gedächtniss vernachlässigt haben. Die Steuerbarkeit des Elektronentransfers wird diskutiert und der Mechanismus, mit dem sie möglich wird, wird identifiziert. Wir haben festgestellt, dass die Steuerung der Elektronentransferreaktionen selbst unter dem Einfluss von Dissipation möglich ist, obwohl die Kontrollausbeute mit steigender Dissipation drastisch abfällt. In Anwesenheit von Dissipation verändert sich auch der Mechanismus der Steuerung. Die experimentelle Ausführbarkeit der Herstellung des aus der Theorie der Optimalen Kontrolle resultierenden Kontrollpulses wird diskutiert und Methoden werden präsentiert, die die Abschätzung der Effizienz ermöglichen, mit der ein Flussigkristall--Laserpulsformer, wie er heute in Experimenten verwendet wird, den gewünschten Puls erzeugen kann. Um zwischen verschiedenen Kontrollaufgaben zu unterscheiden, wird ein quantitatives Mass eingeführt, das die Komplexität der Kontrollaufgabe charakterisiert. Die Theorie der Optimalen Kontrolle wird auch für Molekularsysteme formuliert, die statische Unordnung zeigen, und wird auf ein Ensemble von Molekülen mit zufälligen Orientierungen angewendet. Zum Schluss wird die Bedeutung der Gedächtnisseffekte für die Steuerung der dissipativen Dynamik diskutiert und die Theorie der Optimalen Kontrolle neu formuliert um eine zeitliche Nicht-Lokalität in der Bewegungsgleichung des Molekularsystems zu berücksichtigen. / This work is dedicated to a further development of the density matrix theory and its application to the study of ultrafast laser pulse induced dynamics in molecular systems interacting with a thermal environment. Two topics are considered, first the so-called memory effects are analyzed which result from a reduced description of the molecular system excluding the environmental degrees of freedom. And secondly, the laser pulse control of dissipative molecular dynamics is examined. The theoretical description of open quantum systems results in a time non-local equation of motion so that the evolution of the molecular system depends on its past. In this work a numerical method to solve the time non-local equations of motion has been developed and tested for a minimal model of a polyatomic molecule subject to the dissipative influence of an environment. An analytical solution of the equation of motion for the special case of very long standing memory is also achieved. To identify signatures of such memory effects in general case we compare this analytical solution with numerical calculations involving memory and with approximative computations ignoring time non-locality. For the excitation by a laser pulse shorter than the duration of the memory the molecular systems exhibit noticeably different dynamics than for the absence of the memory. The effects become significantly more pronounced with decreasing laser pulse durations. The second part of the work concentrates on the application of the optimal control theory to guide molecular dynamics. Optimal control theory provides laser pulses which are designed in such a manner to fulfill certain control tasks, e.g. the population of a desired vibrational level of the molecular system or the placement of a wavepacket on a prescribed position on the molecular potential energy surface. As a first example the control of the dissipative photo-induced electron transfer in a donor--bridge--acceptor systems has been particularly considered ignoring the memory. The controllability of the electron transfer has been discussed and the mechanism by which it becomes possible has been identified. We have found the control of electron transfer reactions feasible even under the influence of dissipation although the yield of the control decreases drastically with increasing dissipation. In the presence of dissipation mechanism of the control has been found to change. The feasibility of the reproduction of the control pulses resulting for the optimal control theory in the experiment has been discussed and methods have been presented how to check the efficiency of the reproduction of optimal control pulses by liquid crystal pulse shapers, prevailingly used in modern control experiments. To distinguish different control tasks a quantitative measure has been introduced characterizing complexity of the control task. The optimal control theory has also been formulated for molecular systems showing static disorder and applied on an ensemble of molecules exhibiting random orientations. Finally, the importance of memory effects for the control of dissipative dynamics has been discussed and the optimal control theory has been formulated to account for a time non-locality in the equation of motion for molecular systems.

Das Institut für Kern- und Teilchenphysik (IKTP) der Technischen Universität Dresden (TUD) hat im Forschungszentrum Dresden-Rossendorf (FZD) ein Labor zur Untersuchung von neutroneninduzierten kernphysikalischen Prozessen in Materialien, die für die Fusionsforschung relevant sind, aufgebaut. Das Labor ist ausgestattet mit drei intensiven Neutronenquellen: einer 14 MeV-Neutronenquelle, einer weißen kontinuierlichen Photoneutronen-Quelle, die näher in dieser Arbeit beschrieben wird, und einer gepulsten Photoneutronen-Quelle, die vom FZD inKooperation mit der TUD aufgebaut wurde. Die kontinuierliche Photoneutronen-Quelle basiert auf einem Radiator aus Wolfram (engl. Tungsten Photoneutron Source (TPNS)). TPNS nutzt die im ELBE-Beschleuniger (Elektronen Linearbeschleuniger für Strahlen hoher Brillianz und niedriger Emittanz (ELBE)) beschleunigten Elektronen zur Neutronenerzeugung. Der Prozess läuft über Zwischenschritte ab, indem bei der Abbremsung der Elektronen im Radiator Bremsstrahlungsphotonen entstehen, die anschließend Neutronen durch (γ,xn)-Reaktionen erzeugen. Das Neutronenspektrum der TPNS kann mittels Moderatoren so modifiziert werden, dass es dem in der ersten Wand im Fusionsreaktor entspricht. Dies ermöglicht Untersuchungen mit einem für einen Fusionsreaktor typischen Neutronenspektrum. Die technische Verwirklichung des Projektes, die Inbetriebnahme der Anlage sowie die Durchführung der ersten Experimente zur Neutronenerzeugung ist Inhalt dieser Arbeit. Die Neutronenquelle ist insbesondere für qualitative Untersuchungen in der Fusionsneutronik bestimmt. Der Fusionsreaktor produziert, im Vergleich zu einem Spaltungsreaktor, keine langlebigen Isotope als Abfall. Die wesentliche Aktivität des Reaktors ist in Konstruktionsmaterialien akkumuliert. Durch sorgfältige Auswahl der Materialien kann man die Aktivierung minimieren und damit künftig wesentlich weniger radioaktives Inventar produzieren als in Spaltreaktoren. Ziel der kernphysikalischen Untersuchungen ist, solche Materialien für den Aufbau eines Fusionsreaktors zu erforschen, die niedrigaktivierbar sind, das heißt wenig Aktivität akkumulieren können, und eine Halbwertzeit von einigen Jahren haben. Es ist das Ziel, alle Konstruktionsmaterialien nach 100 Jahren wiederverwenden zu können. Die Neutronenflussdichte einer Photoneutronenquelle ist einige Größenordnungen höher als die, die mittels eines DT-Neutronengenerators mit anschließender Moderation erreicht werden kann. Die gesamte Arbeit ist in drei Teile geteilt. Der erste Teil leitet in die Problematik der Energieversorgung ein und zeigt die Kernfusion als eine vielversprechende Energiequelle der naher Zukunft auf. Das Neutronenlabor der TUD, in dem die TPNS aufgebaut ist, wird ebenfalls kurz vorgestellt. Der zweite Teil befasst sich mit der TPNS selbst, mit ihrem physikalischen Entwurf, der Konstruktion und dem Aufbau bis zu der Inbetriebnahme sowie dem ersten Experiment an der TPNS. Der letzte, dritte Teil ist die Zusammenfassung der vorhandenen Ergebnisse und gibt einen Ausblick auf die zukünftige Vorhaben. / The Institute for Nuclear and Particle Physics at the Technische Universität Dresden (TUD) has build a neutron physics laboratory at Forschungszentrum Dresden-Rossendorf (FZD) to investigate nuclear processes in materials. The experiments are focused on materials relevant to nuclear fusion. The laboratory is equipped with three intensive neutron sources. The first is a 14 MeV monochromatic neutron source based on the DT reaction (owned by TUD); the other two are continuous and pulsed white photoneutron sources based on (γ,xn) reactions. One pulsed photoneutron source is realized by FZD in cooperation with the TUD. The continuous photoneutron source utilises a tungsten radiator (Tungsten Photoneutron Source) to produce neutrons with a wide energy spectra. The TPNS uses the ELBE-accelerator as a source of electrons for neutron production. This process involves an intermediate step, where slowed down electrons produce bremsstrahlung (γ -rays) absorbed by tungsten nuclei. Consecutively, the excited nuclei emit neutrons. The neutron flux of the photoneutron source is five orders of magnitude higher than the flux of the DT neutron sources with appropriate moderation. The neutron spectrum of TPNS can be modified by moderators, in such a way that the spectrum is comparable to that in the first wall of a Tokamak-Reactor. That allows investigations with the typical neutron spectrum of the fusion reactor. The technical solution, initial operation and the first experiment are described in this work. The neutron source is, in particular, dedicated to quantitative investigations in fusion neutronics. A fusion reactor produces radioactive isotopes as a nuclear waste. The main activity is accumulated in the structural materials. Carefully selected structural materials can significantly minimize the activity and thereby the amount of nuclear waste. The purpose of this project is to find constructional materials with half-lives shorter than several years, which can be recycled after about 100 years. The work is divided into three parts. The first part is dedicated to the energy supply problem and nuclear fusion is addressed as a promising solution of the near future. The neutron laboratory housing the TPNS is also briefly described. The second part deals with the tungsten photoneutron source, the design, construction, operation and the first experiments for neutron production. The third part summarises results and presents an outlook for future experiments with the TPNS.

This thesis is concerned with motion planning for the classical two-phase Stefan problem in level set formulation. The interface separating the fluid phases from the solid phases is represented as the zero level set of a continuous function whose evolution is described by the level set equation. Heat conduction in the two phases is modeled by the heat equation. A quadratic tracking-type cost functional that incorporates temperature tracking terms and a control cost term that expresses the desire to have the interface follow a prescribed trajectory by adjusting the heat flux through part of the boundary of the computational domain. The formal Lagrange approach is used to establish a first-order optimality system by applying shape calculus tools. For the numerical solution, the level set equation and its adjoint are discretized in space by discontinuous Galerkin methods that are combined with suitable explicit Runge-Kutta time stepping schemes, while the temperature and its adjoint are approximated in space by the extended finite element method (which accounts for the weak discontinuity of the temperature by a dynamic local modification of the underlying finite element spaces) combined with the implicit Euler method for the temporal discretization. The curvature of the interface which arises in the adjoint system is discretized by a finite element method as well. The projected gradient method, and, in the absence of control constraints, the limited memory BFGS method are used to solve the arising optimization problems. Several numerical examples highlight the potential of the proposed optimal control approach. In particular, they show that it inherits the geometric flexibility of the level set method. Thus, in addition to unidirectional solidification, closed interfaces and changes of topology can be tracked. Finally, the Moreau-Yosida regularization is applied to transform a state constraint on the position of the interface into a penalty term that is added to the cost functional. The optimality conditions for this penalized optimal control problem and its numerical solution are discussed. An example confirms the efficacy of the state constraint. / Die vorliegende Arbeit beschäftigt sich mit einem Optimalsteuerungsproblem für das klassische Stefan-Problem in zwei Phasen. Die Phasengrenze wird als Niveaulinie einer stetigen Funktion modelliert, was die Lösung der so genannten Level-Set-Gleichung erfordert. Durch Anpassen des Wärmeflusses am Rand des betrachteten Gebiets soll ein gewünschter Verlauf der Phasengrenze angesteuert werden. Zusammen mit dem Wunsch, ein vorgegebenes Temperaturprofil zu approximieren, wird dieses Ziel in einem quadratischen Zielfunktional formuliert. Die notwendigen Optimalitätsbedingungen erster Ordnung werden formal mit Hilfe der entsprechenden Lagrange-Funktion und unter Benutzung von Techniken aus der Formoptimierung hergeleitet. Für die numerische Lösung müssen die auftretenden partiellen Differentialgleichungen diskretisiert werden. Dies geschieht im Falle der Level-Set-Gleichung und ihrer Adjungierten auf Basis von unstetigen Galerkin-Verfahren und expliziten Runge-Kutta-Methoden. Die Wärmeleitungsgleichung und die entsprechende Gleichung im adjungierten System werden mit einer erweiterten Finite-Elemente-Methode im Ort sowie dem impliziten Euler-Verfahren in der Zeit diskretisiert. Dieser Zugang umgeht die aufwändige Adaption des Gitters, die normalerweise bei der FE-Diskretisierung von Phasenübergangsproblemen unvermeidbar ist. Auch die Krümmung der Phasengrenze wird numerisch mit Hilfe der Methode der finiten Elemente angenähert. Zur Lösung der auftretenden Optimierungsprobleme werden ein Gradienten-Projektionsverfahren und, im Fall dass keine Kontrollschranken vorliegen, die BFGS-Methode mit beschränktem Speicherbedarf eingesetzt. Numerische Beispiele beleuchten die Stärken des vorgeschlagenen Zugangs. Es stellt sich insbesondere heraus, dass sich die geometrische Flexibilität der Level-Set-Methode auf den vorgeschlagenen Zugang zur optimalen Steuerung vererbt. Zusätzlich zur gerichteten Bewegung einer flachen Phasengrenze können somit auch geschlossene Phasengrenzen sowie topologische Veränderungen angesteuert werden. Exemplarisch, und zwar an Hand einer Beschränkung an die Lage der Phasengrenze, wird auch noch die Behandlung von Zustandsbeschränkungen mittels der Moreau-Yosida-Regularisierung diskutiert. Ein numerisches Beispiel demonstriert die Wirkung der Zustandsbeschränkung.

No description available.

No description available.

Motivation and background The enormous amount of capabilities that every human learns throughout his life, is probably among the most remarkable and fascinating aspects of life. Learning has therefore drawn lots of interest from scientists working in very different fields like philosophy, biology, sociology, educational sciences, computer sciences and mathematics. This thesis focuses on the information theoretical and mathematical aspects of learning. We are interested in the learning process of an agent (which can be for example a human, an animal, a robot, an economical institution or a state) that interacts with its environment. Common models for this interaction are Markov decision processes (MDPs) and partially observable Markov decision processes (POMDPs). Learning is then considered to be the maximization of the expectation of a predefined reward function. In order to formulate general principles (like a formal definition of curiosity-driven learning or avoidance of unpleasant situation) in a rigorous way, it might be desirable to have a theoretical framework for the optimization of more complex functionals of the underlying process law. This might include the entropy of certain sensor values or their mutual information. An optimization of the latter quantity (also known as predictive information) has been investigated intensively both theoretically and experimentally using computer simulations by N. Ay, R. Der, K Zahedi and G. Martius. In this thesis, we develop a mathematical theory for learning in the sensorimotor loop beyond expected reward maximization. Approaches and results This thesis covers four different topics related to the theory of learning in the sensorimotor loop. First of all, we need to specify the model of an agent interacting with the environment, either with learning or without learning. This interaction naturally results in complex causal dependencies. Since we are interested in asymptotic properties of learning algorithms, it is necessary to consider infinite time horizons. It turns out that the well-understood theory of causal networks known from the machine learning literature is not powerful enough for our purpose. Therefore we extend important theorems on causal networks to infinite graphs and general state spaces using analytical methods from measure theoretic probability theory and the theory of discrete time stochastic processes. Furthermore, we prove a generalization of the strong Markov property from Markov processes to infinite causal networks. Secondly, we develop a new idea for a projected stochastic constraint optimization algorithm. Generally a discrete gradient ascent algorithm can be used to generate an iterative sequence that converges to the stationary points of a given optimization problem. Whenever the optimization takes place over a compact subset of a vector space, it is possible that the iterative sequence leaves the constraint set. One possibility to cope with this problem is to project all points to the constraint set using Euclidean best-approximation. The latter is sometimes difficult to calculate. A concrete example is an optimization over the unit ball in a matrix space equipped with operator norm. Our idea consists of a back-projection using quasi-projectors different from the Euclidean best-approximation. In the matrix example, there is another canonical way to force the iterative sequence to stay in the constraint set: Whenever a point leaves the unit ball, it is divided by its norm. For a given target function, this procedure might introduce spurious stationary points on the boundary. We show that this problem can be circumvented by using a gradient that is tailored to the quasi-projector used for back-projection. We state a general technical compatibility condition between a quasi-projector and a metric used for gradient ascent, prove convergence of stochastic iterative sequences and provide an appropriate metric for the unit-ball example. Thirdly, a class of learning problems in the sensorimotor loop is defined and motivated. This class of problems is more general than the usual expected reward maximization and is illustrated by numerous examples (like expected reward maximization, maximization of the predictive information, maximization of the entropy and minimization of the variance of a given reward function). We also provide stationarity conditions together with appropriate gradient formulas. Last but not least, we prove convergence of a stochastic optimization algorithm (as considered in the second topic) applied to a general learning problem (as considered in the third topic). It is shown that the learning algorithm converges to the set of stationary points. Among others, the proof covers the convergence of an improved version of an algorithm for the maximization of the predictive information as proposed by N. Ay, R. Der and K. Zahedi. We also investigate an application to a linear Gaussian dynamic, where the policies are encoded by the unit-ball in a space of matrices equipped with operator norm.

Eine stetig gleichbleibende hohe Qualität zu fertigen, ist erklärtes Ziel des Spritzgießgewer-bes. Aus technischen oder wirtschaftlichen Gründen ist es jedoch nicht möglich, für konstan-te Produktionsrahmenbedingungen zu sorgen. Die effizienteste Methode ist , die Schwan-kungen über die Wahl der richtigen Prozessführungsmethode auszugleichen. Im ersten Teil der Arbeit konnte herausgefunden werden, welche praxisrelevanten Störgrö-ßen einen Einfluss auf den Spritzgießprozess haben und wie sie sich auswirken. Bei den Materialparametern sind Änderungen der Viskosität (15 %) und der Einfriertemperatur des Materials (4 °C) am Einzug festzustellen. Zusätzlich veränderte sich das Messverhalten der Drucksensoren, wodurch ein Drift von 5 bar entstand. Störgrößenbedingt änderten sich auch die Prozesstemperaturen um 1 °C. Im zweiten Teil der Arbeit werden diverse, während der Arbeit entwickelte, Prozessfüh-rungsmethoden miteinander verglichen. Aufgabe war es, die im ersten Teil gefundenen rea-len störgrößenbedingten Einflüsse zu kompensieren. Es stellte sich heraus, dass sich ledig-lich die materialbedingten Schwankungen nicht ausgleichen lassen. Zumindest können de-ren Auswirkungen durch eine Regelung der werkstoffnahen Parameter abschwächt werden. / To produce a steady consistent high quality is the declared goal of the injection moulding industry. For technical or economic reasons, it is not possible to ensure constant production framework conditions. The proper method is to compensate the variable influences with the choice of the correct process control method. The first part of the thesis focuses on the analysis of the different disturbances factors. The investigation showed that the material property, melt viscosity, varies about 15% and the recrystallisation temperature arises a deviation of 4°C. Another changes could be measured in the offset of the pressure sensor (5 bar) and the process temperatures (1°C). The next goal was to find a suitable control method to balance these intermittencies. The test series showed clearly that changes in the material properties could not be compensated. But there impact toward the quality could be extenuated with a constant course of the process parameter in the cavity.

Auf dem Gebiet der Gerätesteuerung existieren zahlreiche Insellösungen, die den Anspruch nach generischer Eignung nicht erfüllen. In besonderer Weise defizitär ist der Mangel an ganzheitlichen, offenen Frameworks, bei denen die Autokonfiguration, die Gerätezuordenbarkeit vor Ort, die Geräteüberwachbarkeit, die Inter-Gerätekommunikation und die Automatisierbarkeit von Abläufen Berücksichtigung finden. Vor diesem Hintergrund öffnet die Arbeit mit einer Bestandsaufnahme von Technologien, die Einzelanforderungen der generischen Gerätesteuerung erfüllen. Sie bilden im weiteren Verlauf das potentielle Architekturfundament. Der Betrachtungsrahmen wird hierbei soweit ausgedehnt, dass relevante Verfahrensschritte vom Geräteanschluss bis zur automatisierten Generierung von User Interfaces abgedeckt sind. Unter Rückgriff auf ausgewählte Technologien wird ein zweigliedriger Ansatz vorgestellt, der ein sehr breites Spektrum potentieller Steuergeräte unterstützt und gleichzeitig technologieoffen im Hinblick auf die Autogenerierung von User Interfaces ist. Höchstmögliche Funktionalität wird durch die Beschreibungssprache Device XML (DevXML) erreicht, deren Entwicklung einen Schwerpunkt der Arbeit darstellte. In Anlehnung an die etablierte Petrinetztheorie werden Abhängigkeiten zwischen Zuständen und Funktionen formal beschrieben. Das Sprachvokabular von DevXML ermöglicht hierauf aufbauend Regeldefinitionen mit dem Ziel der Ablaufautomatisierung. Das entworfene Framework wurde anhand von insgesamt elf praktischen Beispielen wie z.B. einem Schalter, einem Heizungsmodul, einem Multimeter bis hin zu virtuellen Geräten erfolgreich verifiziert.

Motivation and background The enormous amount of capabilities that every human learns throughout his life, is probably among the most remarkable and fascinating aspects of life. Learning has therefore drawn lots of interest from scientists working in very different fields like philosophy, biology, sociology, educational sciences, computer sciences and mathematics. This thesis focuses on the information theoretical and mathematical aspects of learning. We are interested in the learning process of an agent (which can be for example a human, an animal, a robot, an economical institution or a state) that interacts with its environment. Common models for this interaction are Markov decision processes (MDPs) and partially observable Markov decision processes (POMDPs). Learning is then considered to be the maximization of the expectation of a predefined reward function. In order to formulate general principles (like a formal definition of curiosity-driven learning or avoidance of unpleasant situation) in a rigorous way, it might be desirable to have a theoretical framework for the optimization of more complex functionals of the underlying process law. This might include the entropy of certain sensor values or their mutual information. An optimization of the latter quantity (also known as predictive information) has been investigated intensively both theoretically and experimentally using computer simulations by N. Ay, R. Der, K Zahedi and G. Martius. In this thesis, we develop a mathematical theory for learning in the sensorimotor loop beyond expected reward maximization. Approaches and results This thesis covers four different topics related to the theory of learning in the sensorimotor loop. First of all, we need to specify the model of an agent interacting with the environment, either with learning or without learning. This interaction naturally results in complex causal dependencies. Since we are interested in asymptotic properties of learning algorithms, it is necessary to consider infinite time horizons. It turns out that the well-understood theory of causal networks known from the machine learning literature is not powerful enough for our purpose. Therefore we extend important theorems on causal networks to infinite graphs and general state spaces using analytical methods from measure theoretic probability theory and the theory of discrete time stochastic processes. Furthermore, we prove a generalization of the strong Markov property from Markov processes to infinite causal networks. Secondly, we develop a new idea for a projected stochastic constraint optimization algorithm. Generally a discrete gradient ascent algorithm can be used to generate an iterative sequence that converges to the stationary points of a given optimization problem. Whenever the optimization takes place over a compact subset of a vector space, it is possible that the iterative sequence leaves the constraint set. One possibility to cope with this problem is to project all points to the constraint set using Euclidean best-approximation. The latter is sometimes difficult to calculate. A concrete example is an optimization over the unit ball in a matrix space equipped with operator norm. Our idea consists of a back-projection using quasi-projectors different from the Euclidean best-approximation. In the matrix example, there is another canonical way to force the iterative sequence to stay in the constraint set: Whenever a point leaves the unit ball, it is divided by its norm. For a given target function, this procedure might introduce spurious stationary points on the boundary. We show that this problem can be circumvented by using a gradient that is tailored to the quasi-projector used for back-projection. We state a general technical compatibility condition between a quasi-projector and a metric used for gradient ascent, prove convergence of stochastic iterative sequences and provide an appropriate metric for the unit-ball example. Thirdly, a class of learning problems in the sensorimotor loop is defined and motivated. This class of problems is more general than the usual expected reward maximization and is illustrated by numerous examples (like expected reward maximization, maximization of the predictive information, maximization of the entropy and minimization of the variance of a given reward function). We also provide stationarity conditions together with appropriate gradient formulas. Last but not least, we prove convergence of a stochastic optimization algorithm (as considered in the second topic) applied to a general learning problem (as considered in the third topic). It is shown that the learning algorithm converges to the set of stationary points. Among others, the proof covers the convergence of an improved version of an algorithm for the maximization of the predictive information as proposed by N. Ay, R. Der and K. Zahedi. We also investigate an application to a linear Gaussian dynamic, where the policies are encoded by the unit-ball in a space of matrices equipped with operator norm.