Feedback, Trainingsplan und individuelle Unterschiede zwischen Lernern sind drei Faktoren die den motorischen Fertigkeitserwerb beeinflussen und wurden in der vorliegenden Dissertation untersucht. Ein besonderer Fokus lag auf den zugrundeliegenden Gehirnprozessen von Feedbackverarbeitung und Handlungsvorbereitung, die mittels ereigniskorrelierter Potenziale (EKPs) untersucht wurden. 120 Teilnehmer trainierten auf virtuelle Zielscheiben zu werfen und wurden in einer Folgesitzung auf Abruf und Transfer getestet. Der Trainingsplan verursachte entweder hohe contextual interference (CI) (randomisiert) oder niedrige CI (geblockt). In einer anschließenden Onlinestudie, bearbeiteten 80% der Teilnehmer eine Untermenge der Raven advanced progressive matrices, die schlussfolgerndes Denken (SD) erfassen. Unter hoher CI hängt besseres SD mit größerem Zuwachs im Training und höherer Performanz in Abruf und Transfer zusammen. Ähnliche Effekte von SD im späten Trainingsverlauf unter niedriger CI lassen darauf schließen, dass Variabilität eine notwendige Voraussetzung für positive Effekte von SD ist. Wir folgern, dass CI das Ausmaß an Praxisvariabilität über den Trainingsverlauf beeinflusst und darüber moduliert, ob Regeln abstrahiert werden (Studie 1). Diese Interpretation wird durch differenzielle Lerneffekte auf EKPs in der Vorbereitungsphase gestützt. Hohe CI führt zu einer stärkeren Abnahme von aufmerksamkeits- und kontrollbezogenen EKPs während der Vorbereitungsphase. Die CNV Amplitude, als Maß motorischer Vorbereitungsaktivität nimmt zu, wenn die Anforderungen in Training und Abruf gleich sind, wie bei niedriger CI. Das spricht für zwei parallele Mechanismen motorischen Lernens, die gemeinsam zur CNV Amplitude beitragen (Studie 2). Wir zeigten außerdem, dass sich graduelle Verarbeitung positiven Performanz-Feedbacks in der Variation der Amplitude der Reward Positivity widerspiegelt (Studie 3). / Feedback, training schedule and individual differences between learners influence the acquisition of motor skills and were investigated in the present thesis. A special focus was on brain processes underlying feedback processing and motor preparation, investigated using event related potentials (ERPs). 120 participants trained to throw at virtual targets and were tested for retention and transfer. Training schedule was manipulated with half of the participants practicing under high contextual interference (CI) (randomized training) and the other half under low CI (blocked training). In a follow-up online study, 80% of the participants completed a subset of the Raven advanced progressive matrices, testing reasoning ability. Under high CI, participants’ reasoning ability was related to higher performance increase during training and higher subsequent performance in retention and transfer. Similar effects in late stages of low CI training indicate, that variability is a necessary prerequisite for beneficial effects of reasoning ability. We conclude, that CI affects the amount of variability of practice across the course of training and the abstraction of rules (Study 1). Differential learning effects on ERPs in the preparatory phase foster this interpretation. High CI shows a larger decline in attention- and control-related ERPs than low CI. CNV amplitude, as a measure of motor preparatory activity, increases with learning only, when attention demands of training and retention are similar, as in low CI training. This points to two parallel mechanisms in motor learning, with a cognitive and a motor processor, mutually contributing to CNV amplitude (Study 2). In the framework of the “reinforcement learning theory of the error related negativity”, we showed, that positive performance feedback is processed gradually and that this processing is reflected in varying amplitudes of reward positivity (Study 3). Together these results provide new insights on motor learning.

Bisherige Forschung hat zwischen zwei Gedächtnissystemen unterschieden: dem sog. deklarativen Gedächtnis (DG), welches sich durch die Fähigkeit vergangene Lebensereignisse bewusst zu erinnern auszeichnet und mit dem lobus temporalis medialis (MTL) in Verbindung steht, und dem prozeduralen Gedächtnis (PG), welches erlernte Fertigkeiten beinhaltet und mit dem Corpus striatum assoziiert ist. Weitere Studien haben ergeben, dass Alterung von neurologischen Schäden in beiden Systemen, erhöhter Aktivität im MTL und einer relativ geringeren Beeinträchtigung des PG begleitet ist. Hyperaktivität im MTL wurde dabei sowohl mit verbesserten als auch verschlechterten Gedächtnisleistungen in Verbindung gebracht. Die hier vorgelegte Dissertation befasst sich mit dem Einfluss von Alterung auf die Beziehungen zwischen o. g. Hirnnetzwerken und prozeduralen bzw. deklarativen Gedächtnisfähigkeiten. Studie I zeigte, dass Altersunterschiede in einer prozeduralen Gedächtnisaufgabe graduell im Verlaufe des Trainings entstehen und vmtl. mit negativen Einflüssen von Alterung auf den Übergang von PG zu DG in Zusammenhang stehen. Zwei striatal-dopaminerge genetische Polymorphismen, rs907094 auf DARPP-32 und VNTR auf DAT, wirkten sich dabei auf das DG älterer aber nicht jüngerer Erwachsener aus. In Studie II wurden Beeinträchtigungen im neuronalen Vorhersagefehler, einem neuronales Lernsignal im Striatum, in älteren Probanden gefunden. Studie III konnte teilweise intaktes PG in einer räumlichen Gedächtnisaufgabe demonstrieren, wobei der Polymorphismus rs17070145 auf WWC1, der sich auf Lanzeitpotenzierung im MTL auswirkt, diese Altersunterschiede modulierte. In Studie IV wurden neuronale Repräsentationen und Komputationen während einer räumlichen Gedächtnisaufgabe untersucht. Während jüngere Probanden in dieser Studie Anzeichen von MTL-basiertem DG zeigten, zeigten ältere Teilnehmer Evidenz von PG. Die neuronalen Signaturen älterer Erwachsener wurden jedoch am stärksten im MTL beobachtet. / Previous research has distinguished between a declarative memory system that stores flexible representations and is subserved by the medial-temporal lobe (MTL) and a procedural memory system that expresses past experiences through skills and is based mainly on the striatum. Investigations into age-related changes in these memory systems indicated a complex pattern of neural degradation in both systems, elevated MTL activity as well as partially spared procedural memory functions in older adults. A literature review further suggests that MTL overactivity can be caused by factors which are either beneficial or detrimental for memory. The present dissertation investigated the effects of human aging on the relations of brain functions to declarative and procedural memory. In Study I, age differences in a procedural memory task gradually emerged over the course of training and were linked to negative effects of aging on the transition from procedural to declarative memory. In addition, this study showed that striatal dopaminergic genetic polymorphisms, rs907094 on DARPP-32 and VNTR on DAT, affected declarative knowledge in older but not younger adults. Study II indicated that prediction error signals in the human brain, a neural computation associated with striatal learning functions, were partially impaired in older adults. Study III demonstrated partially intact procedural memory in older adults in a spatial memory task, whereby age differences were modulated by a polymorphism influencing long-term potentiation in the MTL (rs17070145 on WWC1). Finally, Study IV showed hat that neural representations and computations subserving spatial memory qualitatively differed between younger and older adults. The performance and neural activation of younger adults showed unique properties of MTL-dependent declarative memory. Older adults, in contrast, showed behavioral and neural indications of procedural memory but the localization of the neural signatures peaked in the MTL.

Background: Human and animal work suggests a shift from goal-directed to habitual decision-making in addiction. However, the evidence for this in human alcohol dependence is as yet inconclusive. Methods: Twenty-six healthy controls and 26 recently detoxified alcohol-dependent patients underwent behavioral testing with a 2-step task designed to disentangle goal-directed and habitual response patterns. Results: Alcohol-dependent patients showed less evidence of goal-directed choices than healthy controls, particularly after losses. There was no difference in the strength of the habitual component. The group differences did not survive controlling for performance on the Digit Symbol Substitution Task. Conclusion: Chronic alcohol use appears to selectively impair goal-directed function, rather than promoting habitual responding. It appears to do so particularly after nonrewards, and this may be mediated by the effects of alcohol on more general cognitive functions subserved by the prefrontal cortex.

Due to the robustness and flexibility of hydraulic components, hydraulic control systems are used in a wide range of applications under various environmental conditions. However, the coverage of this broad field of applications often comes with a loss of performance. Especially when conditions and working points change often, hydraulic control systems cannot work at their optimum. Flexible electronic controllers in combination with techniques from the field of machine learning have the potential to overcome these issues. By applying a reinforcement learning algorithm, this paper examines whether learned controllers can compete with an expert-tuned solution. Thereby, the method is thoroughly validated by using simulations and experiments as well.

Our ability to learn from the outcomes of our actions and to adapt our decisions accordingly changes over the course of the human lifespan. In recent years, there has been an increasing interest in using computational models to understand developmental changes in learning and decision-making. Moreover, extensions of these models are currently applied to study socio-emotional influences on learning in different age groups, a topic that is of great relevance for applications in education and health psychology. In this article, we aim to provide an introduction to basic ideas underlying computational models of reinforcement learning and focus on parameters and model variants that might be of interest to developmental scientists. We then highlight recent attempts to use reinforcement learning models to study the influence of social information on learning across development. The aim of this review is to illustrate how computational models can be applied in developmental science, what they can add to our understanding of developmental mechanisms and how they can be used to bridge the gap between psychological and neurobiological theories of development.

Our ability to learn from the outcomes of our actions and to adapt our decisions accordingly changes over the course of the human lifespan. In recent years, there has been an increasing interest in using computational models to understand developmental changes in learning and decision-making. Moreover, extensions of these models are currently applied to study socio-emotional influences on learning in different age groups, a topic that is of great relevance for applications in education and health psychology. In this article, we aim to provide an introduction to basic ideas underlying computational models of reinforcement learning and focus on parameters and model variants that might be of interest to developmental scientists. We then highlight recent attempts to use reinforcement learning models to study the influence of social information on learning across development. The aim of this review is to illustrate how computational models can be applied in developmental science, what they can add to our understanding of developmental mechanisms and how they can be used to bridge the gap between psychological and neurobiological theories of development.

This paper presents an active component damage reducing control approach for driving manoeuvres of a wheel loader. For this purpose, the front and rear axle loads will be manipulated by force pulses induced into the machine chassis via the lifting cylinders of the function drive. The associated control approach is based on the principles of Reinforcement Learning. The essential advantage of such methods against linear control approaches is that no descriptive system properties are required, but the algorithm automatically determines the system behaviour. Due to the high number of necessary training runs, the algorithm is designed and taught using a validated wheel loader simulation model. After over 850 training runs, an optimal strategy for damping the axle loads could not yet be determined. In spite of the unprecedented convergence, initial improvements of the damage values have already been achieved on tracks that deviate from the training track. Some of these results show a 4.9 % lower component damage compared to a machine setting with no damping system. The results and limits of this strategy are discussed due to a comparison with other scientific active vibration damping approaches. Currently, a linear control method (P-PI-controller) has a higher damage reduction potential, but it is expected that further training runs and another learning algorithm could make the reinforcement learning approach even more effective. Coupling the linear control method with the selflearning approach shows the highest potential for the axle damage reduction.

Kommunikation entsteht, ohne dass hierfür notwendigerweise semantische oder syntaktische Regeln definiert werden müssen: Irgendwann haben unsere Vorfahren erlernt, miteinander zu kommunizieren, ohne dass ihnen jemand erklärte, wie das geht. In dieser Arbeit wird der philosophischen Frage nachgegangen, wie das möglich ist. Es soll geklärt werden, welche Bedingungen im Abstrakten dafür hinreichend sind, dass Wesen miteinander zu kommunizieren erlernen, und zwar insbesondere, ohne dass man ihnen hierfür eine konkrete Sprache vorgibt. Die Arbeit baut auf neuen Modellen und Erkenntnissen aus der Signalspieltheorie auf. Diese belegen, dass selbst einfache verstärkungsbasierte Lernverfahren in bestimmten Koordinierungsproblemen selbständig erlernen können, Information miteinander auszutauschen. Diese Erkenntnisse werden in dieser Arbeit mit Techniken aus dem maschinellen Lernen, insbesondere aus dem Bereich des deep reinforcement learning, kombiniert. Hiermit soll demonstriert werden, dass rudimentär intelligente Akteure selbstständig in relativ komplexen Sprachen miteinander kommunizieren können, wenn dies einer effizienteren Lösung nicht-trivialer Koordinierungsprobleme dient. Anders als in vergleichbaren Ansätzen, werden die lernfähigen Algorithmen, die in dieser Arbeit zum Einsatz kommen, weder dazu trainiert, real existierende Sprachen zu benutzen, noch werden sie dazu programmiert, künstliche Protokollsprachen zu verwenden. Vielmehr wird ihnen lediglich eine Menge von Signalen vorgegeben. Sowohl die syntaktischen Regeln, wie diese Signale aneinandergereiht werden dürfen, als auch die Semantik der Signale entstehen von alleine. / Communication emerges without the need for explicit definitions of semantic or syntactic rules: At some point, our ancestors learned to communicate with one another without anyone explaining to them how to do that. In this work, I'll try to answer the philosophical question of how that is possible. The goal is to find abstract conditions that are sufficient for the emergence of communication between creatures that do not have any predefined language available to them. This work builds on recent models and insights from the theory of signaling games. There, it is shown that simple reinforcement learning agents are able to learn to exchange meaningful information in suitable coordination problems autonomously. These insights will be combined with more powerful deep reinforcement learning techniques. Thus, it shall be demonstrated that moderately intelligent agents can learn to communicate in relatively complex languages, if this is useful to them in sufficiently non-trivial coordination problems. In contrast to existing work on communication based on artificial intelligence, the learning algorithms that will be applied here, will neither be trained to communicate in an existing natural language, nor will they be hard coded to use a predefined protocol. Instead, they will construct their messages freely from arbitrary sets of signals. The syntactic rules according to which these elementary signals can be chained together, as well as their semantics, will emerge autonomously.

Eine Vielzahl an Studien konnte Veränderungen dopaminerger Signale in verschiedenen Stadien von Übergewicht zeigen. Diese Veränderungen wurden mit fehlangepassten Verhaltensweisen wie zum Beispiel maladaptiven Veränderungen im Kontext von Dopamin-abhängigem Verstärkungslernen in Verbindung gebracht. Solche Verhaltensänderungen wiederum können die Entstehung und Aufrechterhaltung von Übergewicht fördern. Tierstudien lieferten erste Hinweise, dass nicht nur Übergewicht an sich, sondern auch eine Ernährung reich an gesättigten Fetten und freien Zuckern – eine der wichtigsten Triebkräfte der aktuellen Adipositas-Pandemie – unabhängig von Übergewicht zu solchen maladaptiven Veränderungen in Dopamin-abhängigem Verhalten beitragen könnte. Belastbare Erkenntnisse aus Studien am Menschen stehen hierzu noch aus. Hier setzt diese Promotionsarbeit an, die den Einfluss einer diätetischen Dopamin-Vorläufer Manipulation – der akuten diätetischen Phenylalanin/ Tyrosin Depletion (APTD) – auf das Verstärkungslernen von zwei Gruppen gesunder Frauen untersucht, die sich in der habituellen Aufnahme von gesättigten Fettsäuren und freien Zuckern unterscheiden. Ausgehend von der Annahme, dass eine Ernährung reich an gesättigten Fetten und freien Zuckern zu veränderten dopaminergen Signalen führen könnte, erwartete ich, dass Dopamin-abhängiges Verstärkungslernen in den beiden Ernährungsgruppen unterschiedlich von der APTD beeinflusst werden würde. Dazu habe ich zunächst mithilfe des Dietary Fat and Free Sugar Kurzfragebogens (DFS) die habituelle Aufnahme von gesättigten Fettsäuren und freien Zuckern von gesunden Probandinnen erhoben. Auf Basis der erreichten Punktzahl im DFS wurden die Probandinnen entweder der Gruppe mit hoher oder der Gruppe mit niedriger Fett- und Zuckeraufnahme zugeteilt. Um einen möglichen Einfluss veränderter dopaminerger Signale zu bestimmen, habe ich dann eine diätetische Phenylalanin und Tyrosin Depletion durchgeführt. Diese Methode hat eine diätetische Manipulation der Dopamin-Synthese mittels Depletion von Dopamin-Vorläufern zum Ziel. Konkret wurde in früheren Studien bereits gezeigt, dass die APTD die peripheren Konzentrationen der Aminosäuren Phenylalanin und Tyrosin senkt, Dopaminvorstufen welche enzymatisch in Dopamin umgewandelt werden. Demzufolge senkt die APTD potenziell zentrales Dopamin in beiden Ernährungsgruppen. Verstärkungslernen habe ich schließlich mithilfe der Probabilistischen Auswahlaufgabe (PST), gemessen. Im Ergebnis konnte ich keine direkten Anhaltspunkte für einen Einfluss der Dopamin-Manipulation in Interaktion mit Ernährungsgruppen finden. Dennoch liefert diese Promotionsarbeit wichtige Ansatzpunkte für zukünftige Studien: In einer explorativen Analyse konnte ich vorläufige Hinweise für einen Zusammenhang zwischen Variationen in Dopamin-Vorstufen und einer habituellen fett- und zuckerreichen Ernährung aufzeigen. / Many studies have found alterations in dopaminergic signaling in different stages of obesity. Such alterations have been linked to maladaptive behaviors such as maladaptive alterations in the context of dopamine-dependent reinforcement learning. These behavioral changes are likely to foster the further emergence and maintenance of obesity. Animal studies have delivered first indications, that not only obesity itself, but also a diet high in saturated fat and free sugars – one of the main drivers of the current obesity epidemic – could independently contribute to such maladaptive alterations in dopamine-dependent behaviors. However, profound evidence in human studies is pending. Addressing this issue, this thesis investigates the influence of a dietary dopamine precursor manipulation – the acute phenylalanine/tyrosine depletion (APTD) – on reinforcement learning in two groups of healthy females that differ in their habitual intake of saturated fat and free sugars. Assuming, that a diet high in saturated fat and free sugars might lead to changes in dopaminergic signaling, I expected a differential influence of APTD on dopamine-dependent reinforcement learning in the diet groups. To test this hypothesis, I firstly assessed the habitual intake of saturated fat and free sugars in healthy female participants using the Dietary Fat and Free Sugar – Short Questionnaire (DFS). According to their score, participants were assigned either to the group with a high or the group with a low habitual intake of fat and sugar. To determine the impact of possible dopaminergic alterations, I secondly administered an acute phenylalanine/tyrosine depletion. This method aims at a dietary manipulation of dopamine synthesis via manipulation of its precursors. Concretely, the APTD has been shown to significantly reduce the peripheral concentration of the amino acids phenylalanine and tyrosine, dopamine precursors that are converted to dopamine enzymatically. Thus, the APTD is likely to lower central dopamine signaling in both diet groups. Thirdly, I measured reinforcement learning with the Probabilistic Selection Task (PST). As a result, I could not find direct evidence for an influence of APTD on reinforcement learning in interaction with diet groups. Nevertheless, this thesis supplies important starting points for further investigation: In an exploratory analysis, I could reveal preliminary evidence for a positive association between variations in dopamine precursors and habitual high-fat high-sugar diet.

A digital twin of the human neuromuscular system can substantially improve the prediction of injury risks and the evaluation of the readiness to return to sport. Reinforcement learning (RL) algorithms already learn physical quantities unmeasurable in biomechanics, and hence can contribute to the development of the digital twin. Our preliminary results confirm the potential of RL algorithms to estimate the muscle activations of an athlete’s moves. / Ein digitaler Zwilling des menschlichen neuromuskulären Systems kann die Vorhersage von Verletzungsrisiken und die Bewertung der Bereitschaft zur Rückkehr in den Sport erheblich verbessern. Algorithmen des bestärkenden Lernens (Reinforcement Learning, RL) lernen bereits physikalische Größen, die in der Biomechanik nicht messbar sind, und können daher zur Entwicklung des digitalen Zwillings beitragen. Unsere vorläufigen Ergebnisse bestätigen das Potenzial von RL-Algorithmen zur Schätzung der Muskelaktivierung bei den Bewegungen eines Sportlers.