With the recent advances in the field of unmanned aerial vehicles, many applications have been identified. In tasks that require high-payload-to-weight ratios, flight times in the order of days, reduced noise and/or hovering capabilities, lighter-than-air vehicles present themselves as a competitive platform compared to fixed-wing and rotor based vehicles. The limiting factor in their widespread use in autonomous applications comes from the complexity of the control task. The so-called airships are highly-susceptible to aerodynamic forces and pose complex nonlinear system dynamics that complicate their modeling and control. Model-free control lends itself well as a solution to this type of problem, as it derives its control policies using input-output data, and can therefore learn complex dynamics and handle uncertain or unknown parameters and disturbances. In this work, two multi-input multi-output algorithms are presented on the basis of optimal control theory. Leveraging results from reinforcement learning, a single layer, partially connected neural network is formulated as a value function appropriator in accordance with Weierstrass higher-order approximation theorem. The so-called critic-network is updated using gradient descent methods on the mean-squared error of the temporal difference equation. In the single-network controller, the control policy is formulated as a closed form equation that is parameterized on the weights of the critic-network. A second controller is proposed that uses a second single-layer partially connected neural network, the actor-network, to calculate the control action. The actor-network is also updated using gradient descent on the squared error of the temporal difference equation. The controllers are employed in a highly realistic simulation airship model in nominal conditions and in the presence of external disturbances in the form of turbulent wind. To verify the validity and test the sensitivity of the algorithms to design parameters (the initialization of certain terms), ablation studies are carried out with multiple initial parameters. Both of the proposed algorithms are able to track the desired waypoints in both the nominal and disturbed flight tests. Furthermore, the performance of the controllers is compared to a modern, state-of-the-art multi-input multi-output controller. The two proposed controllers outperform the comparison controller in all but one flight test, with up to four fold reduction in the integral absolute error and integral time absolute error metrics. On top of the quantitative improvements seen in the proposed controllers, both controllers demonstrate a reduction in system oscillation and actuator chattering with respect to the comparison algorithm.

Ce travail vise à faire une pré-évaluation des paramètres de contrôle en vue de réduire la traînée sur véhicule réel. Deux mécanismes d’actionnement différents (Murata micro-blower et couteau d’air) ont été caractérisés et comparés en vue de déterminer leurs qualités ainsi que leurs limites. Les micro-blowers ont pour but d’exciter la couche limite en vue de perturber directement les structures tourbillonnaires formées dans la couche de cisaillement. Le couteau d’air étudié, à surface arrondie, pourrait être considéré comme un dispositif actif de réduction de la traînée à effet Coanda équivalent au dispositif passif de type boat-tail. Différentes stratégies de contrôle en boucles ouverte et fermée sont examinées, telles que le soufflage continu, le forçage périodique, le contrôle du mode glissant (SMC) et le contrôle par apprentissage (MLC). La SMC est un algorithme robuste en boucle fermée permettant de suivre, d’atteindre et de maintenir une consigne prédéfinie; cette approche présente l’intérêt d’avoir une capacité d’adaptation prenant en compte les perturbations extérieures inconnues. Le contrôle par apprentissage est un contrôle sans modèle qui permet de définir des lois de contrôle efficaces qualifiées et optimisées via une fonction coût/objectif spécifique au problème donné. Une solution hybride entre MLC et SMC peut également fournir un contrôle adaptatif exploitant les mécanismes d’actionnement non linéaires les plus adaptés au problème. L’ensemble de ces techniques de contrôle ont été testées sur diverses applications expérimentales allant d’une simple configuration académique de marche descendante jusqu’à des géométries présentant une structure d’écoulement représentatives de véhicules réels. Pour la configuration de marche descendante, l’objectif était de réduire expérimentalement la zone de recirculation via une rangée de micro-jets et de l’estimer par des capteurs de pression. Les contrôles d’écoulement ont été réalisés par forçage périodique ainsi que par MLC. On démontre dans ce cas que la MLC peut surpasser le contrôle par forçage périodique. Pour la configuration sur corps épais (corps d’Ahmed), l’objectif était de réduire et/ou de maintenir la traînée aérodynamique via un couteau d’air placé sur la partie supérieure du hayon arrière et évalué par le biais d’une balance aérodynamique. Le soufflage continu et le forçage périodique ont été utilisés dans ce cas comme stratégies de contrôle en boucle ouverte permettant ainsi de faire une comparaison avec les algorithmes SMC et MLC. La pré-évaluation des paramètres de contrôle a permis d’obtenir des informations importantes en vue d’une réduction de la traînée sur un véhicule réel. Dans ce cadre, les premiers essais de caractérisation sur véhicules réels ont été réalisés sur piste et un dispositif d’actionnement ainsi qu’un protocole expérimental sont également présentés en perspective à ce travail. / The present work aims to pre-evaluate flow control parameters to reduce the drag in a real vehicle. Two different actuation mechanisms (Murata’s micro-blower, and air-knives) are characterized and compared to define their advantages and limitations. Murata micro-blowers energized the boundary layer to directly perturb the vortex structures formed in the shear layer region. The air-knife has a rounded surface, adjacent to the slit exit, that could be considered as an active boat-tail (Coanda effect) for drag reduction. Different open-loop and closed-loop control strategies are examined, such as continuous blowing, periodic forcing, sliding mode control (SMC) and machine learning control (MLC). SMC is a robust closed-loop algorithm to track, reach and maintain a predefined set-point; this approach has on-line adaptivity in changing conditions. Machine learning control is a model-free control that learns an effective control law that is judged and optimized with respect to a problem-specific cost/objective function. A hybrid between MLC and SMC may provide adaptive control exploiting the best non-linear actuation mechanisms. Finally, all these parameters are brought together and tested in real experimental applications representative of the mean wake and shear-layer structures related to control of real cars. For the backward-facing step, the goal is to experimentally reduce the recirculation zone. The flow is manipulated by a row of micro-blowers and sensed by pressure sensors. Initial measurements were carried out varying the periodic forcing. MLC is used to improve performance optimizing a control law with respect to a cost function. MLC is shown to outperform periodic forcing. For the Ahmed body, the goal is to reduce the aerodynamic drag of the square-back Ahmed body. The flow is manipulated by an air-knife placed on the top trailing edge and sensed by a force balance. Continuous blowing and periodic forcing are used as open-loop strategies. SMC and MLC algorithms are applied and compared to the open-loop cases. The pre-evaluation of the flow control parameters yielded important information to reduce the drag of a car. The first real vehicle experiments were performed on a race track. The first actuator device concept and sensor mechanism are presented.

The demand for automated decision making, learning and inference in uncertain, risk sensitive and dynamically changing situations presents a challenge: to design computational approaches that promise to be widely deployable and flexible to adapt on the one hand, while offering reliable guarantees on safety on the other. The tension between these desiderata has created a gap that, in spite of intensive research and contributions made from a wide range of communities, remains to be filled. This represents an intriguing challenge that provided motivation for much of the work presented in this thesis. With these desiderata in mind, this thesis makes a number of contributions towards the development of algorithms for automated decision-making and inference under uncertainty. To facilitate inference over unobserved effects of actions, we develop machine learning approaches that are suitable for the construction of models over dynamical laws that provide uncertainty bounds around their predictions. As an example application for conservative decision-making, we apply our learning and inference methods to control in uncertain dynamical systems. Owing to the uncertainty bounds, we can derive performance guarantees of the resulting learning-based controllers. Furthermore, our simulations demonstrate that the resulting decision-making algorithms are effective in learning and controlling under uncertain dynamics and can outperform alternative methods. Another set of contributions is made in multi-agent decision-making which we cast in the general framework of optimisation with interaction constraints. The constraints necessitate coordination, for which we develop several methods. As a particularly challenging application domain, our exposition focusses on collision avoidance. Here we consider coordination both in discrete-time and continuous-time dynamical systems. In the continuous-time case, inference is required to ensure that decisions are made that avoid collisions with adjustably high certainty even when computation is inevitably finite. In both discrete-time and finite-time settings, we introduce conservative decision-making. That is, even with finite computation, a coordination outcome is guaranteed to satisfy collision-avoidance constraints with adjustably high confidence relative to the current uncertain model. Our methods are illustrated in simulations in the context of collision avoidance in graphs, multi-commodity flow problems, distributed stochastic model-predictive control, as well as in collision-prediction and avoidance in stochastic differential systems. Finally, we provide an example of how to combine some of our different methods into a multi-agent predictive controller that coordinates learning agents with uncertain beliefs over their dynamics. Utilising the guarantees established for our learning algorithms, the resulting mechanism can provide collision avoidance guarantees relative to the a posteriori epistemic beliefs over the agents' dynamics.

Verdrängergesteuterte hydrostatische Antriebssysteme mit drehzahlvariablem Pumpenantrieb zeichnen sich durch ihre im Vergleich mit ventilgesteuerten Antrieben gute Energieeffizienz und die Möglichkeit der einfachen Stillsetzung aus, weisen jedoch durch die mangelnde Einspannung des Aktors geringere Eigenfrequenzen auf, was die Einstellung von Standardregelkreisen erschwert und meist eine geringere Dynamik und Positioniergenauigkeit zur Folge hat. Hydraulische Achsantriebe, die ohnehin über zahlreiche dominante Nichtlinearitäten verfügen und schwach gedämpft sind können in der Folge das ihnen innewohnende Potential nicht ausschöpfen. Mit einem Vergleich von Dynamik und Präzision verschiedener Antriebssysteme an Hauptantriebsachsen von Kunststoff-Spritzgießmaschinen mittlerer Baugröße wird zunächst das Leistungspotential analysiert. Auf dieser Basis werden Methoden zur Verbesserung der statischen und dynamischen Eigenschaften drehzahlvariabler verdrängergesteuerter Antriebe in Positions- und Druckregelung entwickelt, welche sich durch eine einfache Parametrierung und hohe Robustheit auszeichnen, da sie ohne einen geschlossenen Regelkreis funktionieren. Die dynamische inversionsbasierte Vorsteuerung ermöglicht dabei ein initial gutes Folgeverhalten, das durch die Anwendung einer iterativ lernenden Regelung in jedem Zyklus weiter verbessert wird. Um die Dynamik von Folgeregelungen mit weiteren Randbedingungen zu maximieren wird eine Methode entwickelt, mit der es möglich ist, eine Bewegungsvorgabe entlang der physikalischen Leistungsgrenzen des Antriebssystems zu berechnen und die wirkenden Begrenzungen aufzuzeigen. Die Erstellung von Bewegungsvorgaben sowie die Einstellung der lernenden Regelung sind dabei jeweils mit einem einzigen Parameter möglich. Die experimentelle Untersuchung und der Funktionsnachweis der entwickelten Methoden am Beispiel der Kunststoff-Spritzgießmaschine zeigt eine deutliche Steigerung der möglichen Dynamik verdrängergesteuerter Antriebssysteme, ein gutes Folgeverhalten sowie eine erhöhte Positioniergenauigkeit bei gleichzeitiger Unabhängigkeit von der Betriebstemperatur.:1. Einleitung und wissenschaftliche Problemstellung 7 2. Zielsetzung der Arbeit 11 3. Stand der Forschung und Technik 13 3.1 Architekturen hydraulischer Linearantriebe 13 3.2 Betriebsverhalten drehzahlvariabler verdrängergesteuerter Antriebe 16 3.3 Regelung hydraulischer Achsantriebe in Verdrängersteuerung 18 3.4 Vorsteuerungen und iterativ lernende Regelungen 21 4. Antriebstechnik in Kunststoff-Spritzgießmaschinen 25 5. Analyse der Leistungsfähigkeit von Antriebssystemen in SGM 27 5.1 Aufbau und Funktionsweise von Spritzgießmaschinen 28 5.2 Auswahl der Antriebssysteme 31 5.3 Analyse der Bewegungsdynamik 34 5.4 Analyse der Positioniergenauigkeit 37 5.5 Analyse der Druckregelung 39 5.6 Identifikation von Potentialen für die Leistungssteigerung 44 6. Trajektoriengenerierung entlang der Systemleistungsgrenzen 47 6.1 Kniehebel-Schließeinheit 48 6.2 Analyse statischer und dynamischer Restriktionen 50 6.3 Trajektorienentwurfsmethodik 59 7. Modellbasierte dynamische Vorsteuerung 67 7.1 Methodik 68 7.2 Mathematisch-physikalische Beschreibung 69 7.3 Inversionsbasiertes Steuergesetz 75 8. Modellbasierte lernende Vorsteuerung 77 8.1 Methodik 78 8.2 Entwurf modellbasierter normoptimaler iterativ lernender Regelungen 79 8.3 Stabilitätsnachweis 84 8.4 Generierung von Lernmodellen 86 9. Anwendung der Verfahren und Diskussion 91 9.1 Positionsregelung im geschlossenen hydrostatischen Kreis 93 9.2 Lastkraftregelung im offenen Kreis 108 9.3 Ablösende Regelung: Geschwindigkeit - Last 123 10. Zusammenfassung 127 11. Literatur 133 12. Anhang 145 / Displacement-controlled hydrostatic drive systems with variable-speed pump are characterized by their good energy efficiency and the possibility of simple shutdown compared with valve-controlled drives, but they have lower natural frequencies, which makes the application of standard closed-loop control more difficult and usually results in lower dynamics and positioning accuracy. As a result hydraulic drives, which already have numerous dominant nonlinearities and are weakly damped, cannot exploit their full potential. The work starts with a comparison and an analysis of the dynamics and precision of different drive systems on main drive axes of medium-size plastic injection molding machines. On this basis, methods are developed for improving the static and dynamic properties of variable-speed displacement-controlled drives in position and pressure control. These methods are characterized by simple parameterization and high robustness without relying on a closed-loop control. In this context, the dynamic inversion-based feedforward control allows for a good tracking performance, which is further improved by applying a cycle-wise iterative learning control. In order to fulfill the dynamics of follow-up control with position boundary conditions, a method is developed which allows for calculating a motion specification along the physical performance limits of the drive system and to show the existing limitations. The creation of motion presets as well as the setting-up of a learning controller may be done with one single parameter. Experimental investigation of the developed methods using the example of the plastic injection molding machine shows a significant increase in dynamics of displacement-controlled drive systems, good follow-up behavior, and increased positioning accuracy while remaining independent of the operating temperature.:1. Einleitung und wissenschaftliche Problemstellung 7 2. Zielsetzung der Arbeit 11 3. Stand der Forschung und Technik 13 3.1 Architekturen hydraulischer Linearantriebe 13 3.2 Betriebsverhalten drehzahlvariabler verdrängergesteuerter Antriebe 16 3.3 Regelung hydraulischer Achsantriebe in Verdrängersteuerung 18 3.4 Vorsteuerungen und iterativ lernende Regelungen 21 4. Antriebstechnik in Kunststoff-Spritzgießmaschinen 25 5. Analyse der Leistungsfähigkeit von Antriebssystemen in SGM 27 5.1 Aufbau und Funktionsweise von Spritzgießmaschinen 28 5.2 Auswahl der Antriebssysteme 31 5.3 Analyse der Bewegungsdynamik 34 5.4 Analyse der Positioniergenauigkeit 37 5.5 Analyse der Druckregelung 39 5.6 Identifikation von Potentialen für die Leistungssteigerung 44 6. Trajektoriengenerierung entlang der Systemleistungsgrenzen 47 6.1 Kniehebel-Schließeinheit 48 6.2 Analyse statischer und dynamischer Restriktionen 50 6.3 Trajektorienentwurfsmethodik 59 7. Modellbasierte dynamische Vorsteuerung 67 7.1 Methodik 68 7.2 Mathematisch-physikalische Beschreibung 69 7.3 Inversionsbasiertes Steuergesetz 75 8. Modellbasierte lernende Vorsteuerung 77 8.1 Methodik 78 8.2 Entwurf modellbasierter normoptimaler iterativ lernender Regelungen 79 8.3 Stabilitätsnachweis 84 8.4 Generierung von Lernmodellen 86 9. Anwendung der Verfahren und Diskussion 91 9.1 Positionsregelung im geschlossenen hydrostatischen Kreis 93 9.2 Lastkraftregelung im offenen Kreis 108 9.3 Ablösende Regelung: Geschwindigkeit - Last 123 10. Zusammenfassung 127 11. Literatur 133 12. Anhang 145