Restless legs syndrome (RLS) is a sensory-motor disorder characterized by abnormal circadian rhythm with an increase in the severity of sensory and motor symptoms at night. Even though many neurological diseases have shown a strong nexus between motor and cognitive symptoms, to date, cognitive functions especially cognitive control in RLS has been poorly understood. Given that cognitive control is a key to leading a self-serving and successful life, including many aspects of employment, social life, and attaining long-term goals, this thesis aimed to examine cognitive control and the underlying mechanisms in RLS. Thalamic gamma aminobutyric acid (GABA), which has been linked to RLS sensory-motor symptoms, also plays an important role in cognitive control. Therefore, the potential relationship between thalamic GABA level and cognitive control in RLS was examined (Study I). RLS patients displayed reduced working memory-based control performances as compared to healthy controls. Elevated thalamic GABA was found to attenuate the observed control deficits in RLS, even though changes in thalamic GABA levels might not be the ultimate causes of these deficits. According to the modulatory effect of thalamic GABA on thalamic activity and thalamo-cortical connectivity, relatively higher GABA levels may have helped RLS patients compensate for their pathological changes such as thalamic hyperactivity and hypoconnectivity, which may underpin the observed control deficits. The critical feature of RLS, abnormal circadian rhythm is thought to be related to nocturnal striatal dopamine deficiency. Concerning the dopaminergic modulation of cognitive control, the circadian variation of cognitive control processes has been investigated (Study II & III). RLS patients displayed reduced attentional control (Study II) and automatic response activation (Study III) at night, which resulted from decreased activation within the extra-striate visual cortex, the superior parietal cortex, and the premotor cortex. As there were no activity changes within the prefrontal cortex, it is likely that cortico-basal ganglia cognitive loops were less prone to RLS. Instead, striatal dopamine deficiency at night may have influenced the cortico-cortical functional connectivity and cortico-basal ganglia motor loops in RLS. These findings not only shed light on the underlying mechanisms of cognitive control, but also advance early clinical treatment possibilities for cognitive changes in RLS patients. Furthermore, recent insights into daytime-related cognition may help patients develop a suitable daytime schedule to minimize the detrimental effects induced by cognitive deficits.

Making decisions is a dynamic process. Especially when we face a decision between conflicting options, different forces seem to drag our mind from one option to the other one (James, 1890), again and again. This process may last for a long time, sometimes only coming to a decision when we are finally forced to choose, e.g. by an important deadline. Psychology and many other disciplines were interested in how humans make decisions from their beginnings on. Many different influences on decisions were discovered (e.g. Kahneman & Tversky, 1979; Todd & Gigerenzer, 2000). In the face of these advances, it seems odd, that knowledge about the ongoing process of reaching a decision is rare and much of the investigation has focused on the final outcome of choice situations (Townsend & Busemeyer, 1995). A very recent approach, called neuroeconomics, started out to investigate what happens behind the scenes of a final decision. Using modern neuroimaging methods, many neuroeconomists explain decision making in the brain in terms of a hierarchy of different neural modules that work together like a big corporation to finally make the best possible decision (Sanfey, Loewenstein, McClure, & Cohen, 2006). However, the focus on neural modules also limits this approach to a quite static view of decision making and many questions, related to the dynamic aspects of decision making, still remain open: How do we continuously control impulsive or habitual tendencies in our decisions when we pursue long-term goals? How do we shift attention back and forth between (goal) relevant properties of choice options? How do we adjust and readjust our focus of attention to relevant information in order to avoid distraction by irrelevant or misleading information? And how are we influenced by the environmental context when we make decisions? The present work aims to show how an approach based on the concepts of dynamic systems theory could complement the module oriented approach and enhance our knowledge of the processes of decision making. Chapter 2 elaborates the limits of the module oriented approach, with a special focus on decisions under conflict, when we are faced with conflicting information, and introduces the principles of a complementary dynamic approach. Chapter 3 deduces the dynamic hypothesis of this work: ongoing processes interactions at different time scales can explain specific cognitive functions without postulating specialized modules for this function. To approach this hypothesis, chapter 4 will develop a theoretical and empirical framework to study decision making dynamically. The empirical part, building on the empirical framework, starts with chapter 5 presenting an EEG experiment. Chapter 6 presents two mouse tracking experiments, and chapter 7 presents a modelling study, reproducing the empirical data of chapters 5 and 6. The general discussion in chapter 8 summarizes the theoretical and empirical results and discusses possible limitations. Finally, chapter 9 discusses the implications of the dynamic approach to decision making, presents an outlook on future research projects, and closes the work by offering a dynamic picture of the processes behind the stage of a final decision.:Statement I Brief Contents III Contents V Figures IX Chapter 1 Introduction 1 Chapter 2 Decision making under conflict 3 Chapter 3 Investigating decision making under conflict dynamically 14 Chapter 4 Making decisions with a continuous mind 17 Chapter 5 The dynamics of cognitive control: evidence for within trial conflict adaptation from frequency tagged EEG 56 Chapter 6 How decisions evolve: the temporal dynamics of action selection 77 Chapter 7 Dynamic goal states: adapting cognitive control at different time scales without conflict monitoring 97 Chapter 8 General discussion 115 Chapter 9 Conclusion and outlook 123 References 130 Deutsche Zusammenfassung 153 Appendix I Supplementary material for chapter 5 159 Appendix II Model formulas for chapter 7 163 / „Man kann nicht beides haben: Den Rahm und die Butter.“ - „Wer die Wahl hat, hat die Qual.“ Mit diesen Sprichwörtern beklagt der Volksmund, womit das Leben uns immer wieder konfrontiert: wir müssen entscheiden, und oftmals führt uns das in Entscheidungskonflikte. Im Dilemma solcher Konflikte mag es begründet sein, dass das Thema der vorliegenden Arbeit, die Entscheidungsforschung, nicht nur in der Psychologie schon immer eine wichtige Rolle spielte, sondern auch in anderen Disziplinen, wie der Ökonomie, der angewandten Mathematik und der Philosophie. Die langjährigen Bestrebungen, diese unterschiedlichen Fachbereiche zu integrieren (z.B. Kahneman & Tversky, 1979; von Neumann & Morgenstern, 1944; Savage, 1972), münden aktuell in das Forschungsgebiet der Neuroökonomie (Camerer, Loewenstein, & Prelec, 2005; Loewenstein, Rick, & Cohen, 2008; Sanfey, Loewenstein, McClure, & Cohen, 2006). Neuroökonomen nutzen vielfach die Methoden der bildgebenden Hirnforschung, um durch die Lokalisierung der neuronalen Basis hierarchisch gegliederter Module Entscheidungsprozesse zu erklären (z.B. Sanfey et al., 2006; Fellows, 2004). Während die Anwendung bildgebender Methoden Potential birgt (z.B. Harrison, 2008), ist es vor allem der modulorientierte Ansatz, der das Risiko einer zu eingeschränkten Sichtweise auf Entscheidungsprozesse trägt (z.B. Ortmann, 2008; Oullier & Kelso, 2006). Dies zeigt sich zum Beispiel im von der kognitiven Psychologie intensiv erforschten Bereich von Entscheidungen unter Konflikt. Eine zentrale Rolle bei dieser Art von Entscheidungen spielen kognitive Kontrollprozesse, die der Umsetzung zielorientierten Verhaltens (Norman & Shallice, 2000) durch Konfliktlösung und -anpassung dienen. Als Bindeglied dieser beiden Prozesse gilt die Detektion von Entscheidungskonflikten, welche die vorherrschende Conflict Monitoring Theory (Botvinick, Braver, Barch, Carter, & Cohen, 2001) entsprechend dem modulorientiertem Ansatz einem speziellen neuronalen Modul zuordnet, das im anterioren cingulären Cortex lokalisiert ist (Botvinick, Cohen, & Carter, 2004). Die Probleme eines einseitigen modulorientierten Ansatzes verdeutlichen hier unter anderem die widersprüchliche Befundlage (z.B. Mansouri, Tanaka, & Buckley, 2009) und die letztlich weiterhin ungeklärte Frage nach den zugrundeliegenden Prozessen. Die Arbeit hat deshalb zum Ziel, den modulorientierten Ansatz um einen komplementären Ansatz auf Basis der Theorie dynamischer Systeme (Dynamical Systems Theory, DST) zu ergänzen. Aus dem grundlegenden DST-Prinzip der kontinuierlichen (z.B. Spivey, 2007) Interaktion rückgekoppelter Komponenten (z.B. Kelso, 1995; Van Orden, Holden, & Turvey, 2003) wird zunächst die dynamische Hypothese abgeleitet, dass sich Effekte auf verschiedenen Zeitskalen gegenseitig bedingen und einander hervorbringen. Für Entscheidungen unter Konflikt bedeutet dies, dass sich die Prozesse der Konfliktlösung und anpassung durch ihre direkte Interaktion im kognitiven System gegenseitig erzeugen. Zur Überprüfung dieser Hypothese werden innerhalb der Arbeit generelle empirische Strategien entwickelt, welche die Untersuchung von Entscheidungsprozessen auf verschiedenen Zeitskalen ermöglichen. Im empirischen Teil der Arbeit werden sodann zwei dieser Strategien zur Anwendung gebracht, um den Erkenntnisgewinn des dynamischen Ansatzes zu illustrieren. Zunächst wird in einer EEG-Studie eine Frequency-Tagging-Methode (z.B. Müller & Hübner, 2002; Müller, Andersen, & Keil, 2007) auf die Untersuchung der kognitiven Kontrollprozesse in einer Flanker-Aufgabe (Eriksen & Eriksen, 1974) adaptiert. Die neue Kombination einer kontinuierlichen neurophysiologischen Methode und eines klassischen Konflikt-Paradigmas ermöglicht die gleichzeitige Untersuchung kontinuierlicher Veränderungen der Aufmerksamkeit auf relevante und irrelevante Information. Die Ergebnisse der Studie stützen die Hypothese einer direkten Interaktion von Prozessen der Konfliktlösung und -anpassung und stellen bereits einen Widerspruch zur Conflict Monitoring Theory dar. Als weitere empirische Strategie wird in zwei Experimenten die Methode des Maus-Tracking (z.B. Buetti & Kerzel, 2009; Song & Nakayama, 2009; Spivey, Grosjean, & Knoblich, 2005) im Rahmen einer Simon-Aufgabe (Simon, 1969) eingesetzt. Die erneute Kombination einer kontinuierlichen Methode, diesmal auf Reaktionsebene, mit einem klassischen Konflikt-Paradigma erlaubt die Messung von Verhaltenstendenzen im Verlauf des gesamten Entscheidungsprozesses. Mit Hilfe einer neu entwickelten regressionsbasierten Analysemethode werden die Subprozesse einzelner Entscheidungen separiert und Einblicke in die Dynamik von Konfliktlösung und -anpassung gewonnen. Die Ergebnisse zeigen ein komplexes Muster zeitlicher Interaktion zwischen den beiden kognitiven Kontrollprozessen, wobei die Konfliktanpassung zeitlich unabhängig von der Verarbeitung irrelevanter Information ist. Dies steht erneut im Widerspruch zu Annahmen der Conflict Monitoring Theory. Zusammenfassend stützen die empirischen Ergebnisse die dynamische Hypothese der kontinuierlichen Interaktion rückgekoppelter Komponenten und werden im nächsten Schritt in einem dynamisch-konnektionistischen Netzwerkmodell integriert. Als Alternative zum Modell der Conflict Monitoring Theory verzichtet es entsprechend dem dynamischen Ansatz auf ein Conflict Monitoring Modul (Botvinick et al., 2001). Es verfügt stattdessen über Verarbeitungs-Prozesse auf verschiedenen Zeitskalen (Kiebel, Daunizeau, & Friston, 2008) und eine Rückkopplung zwischen der Netzwerkschicht, die der Informationsverarbeitung dient, und jener, die der Zielrepräsentation dient (Gilbert & Shallice, 2002; Cohen & Huston, 1994). Die Ergebnisse der Simulation zeigen, dass das Modell sowohl die klassischen Befunde zur Konfliktlösung und anpassung (z.B. Gratton, Coles, & Donchin, 1992), als auch das in den empirischen Studien gefundene kontinuierliche Datenmuster von Entscheidungsprozessen reproduziert. Die empirischen Befunde und die Ergebnisse der Modellierung bestätigen somit die postulierte dynamische Hypothese, dass sich Effekte auf verschiedenen Zeitskalen gegenseitig bedingen und einander hervorbringen. Dies verdeutlicht den komplementären Wert des dynamischen Ansatzes zum modulorientierten Ansatz, welcher vielfach in der Neuroökonomie verfolgt wird. Der hier entwickelte DST-basierte Ansatz bietet somit sowohl ein komplementäres Denkmodell, welches wie der modulorientierte Ansatz eine Verbindung zwischen den Phänomenen auf neuronaler und Verhaltensebene herstellt, als auch neue empirische Methoden zur dynamischen Erforschung von Entscheidungen. Daraus wird abschließend eine Fokuserweiterung für die zukünftige Forschung abgeleitet: zum einen auf die kontinuierlichen Prozesse, welche zu einer Entscheidung führen, und zum anderen auf die Interaktionsdynamik dieser Prozesse. Die Arbeit schließt mit dem Bild eines Entscheidungsprozesses als einer selbstorganisierten, metastabilen Balance (z.B. Kelso, 1995) bei der Lösung verschiedener Entscheidungsdilemmata (Goschke, 2003).:Statement I Brief Contents III Contents V Figures IX Chapter 1 Introduction 1 Chapter 2 Decision making under conflict 3 Chapter 3 Investigating decision making under conflict dynamically 14 Chapter 4 Making decisions with a continuous mind 17 Chapter 5 The dynamics of cognitive control: evidence for within trial conflict adaptation from frequency tagged EEG 56 Chapter 6 How decisions evolve: the temporal dynamics of action selection 77 Chapter 7 Dynamic goal states: adapting cognitive control at different time scales without conflict monitoring 97 Chapter 8 General discussion 115 Chapter 9 Conclusion and outlook 123 References 130 Deutsche Zusammenfassung 153 Appendix I Supplementary material for chapter 5 159 Appendix II Model formulas for chapter 7 163

Alcohol use disorder (AUD) is characterized by excessive habitual drinking and loss of control over alcohol intake despite negative consequences. Both of these aspects foster uncontrolled drinking and high relapse rates in AUD patients. Yet, common interventions mostly focus on the phenomenological level, and prioritize the reduction of craving and withdrawal symptoms. Our review provides a mechanistic understanding of AUD and suggests alternative therapeutic approaches targeting the mechanisms underlying dysfunctional alcohol-related behaviours. Specifically, we explain how repeated drinking fosters the development of rigid drinking habits and is associated with diminished cognitive control. These behavioural and cognitive effects are then functionally related to the neurobiochemical effects of alcohol abuse. We further explain how alterations in fronto-striatal network activity may constitute the neurobiological correlates of these alcohol-related dysfunctions. Finally, we discuss limitations in current pharmacological AUD therapies and suggest non-invasive brain stimulation (like TMS and tDCS interventions) as a potential addition/alternative for modulating the activation of both cortical and subcortical areas to help re-establish the functional balance between controlled and automatic behaviour.

La théorie du processus dual stipule que la cognition humaine fonctionne selon deux modes distincts : l’un pour le traitement rapide, habituel et associatif, appelé communément "système 1" et le second, ayant un traitement plus lent, délibéré et contrôlé, que l’on nomme "système 2". Cette distinction indique une caractéristique sous-jacente importante de la cognition humaine : la possibilité de passer de manière adaptative à différentes stratégies de calcul selon la situation. Cette capacité est étudiée depuis longtemps dans différents domaines et de nombreux bénéfices hypothétiques semblent y être liés. Cependant, les réseaux neuronaux profonds sont souvent construits sans cette capacité à gérer leurs ressources calculatoires de manière optimale. Cette limitation des modèles actuels est d’autant plus préoccupante que de plus en plus de travaux récents semblent montrer une relation linéaire entre la capacité de calcul utilisé et les performances du modèle lors de la phase d’évaluation. Pour résoudre ce problème, ce mémoire propose différentes approches et étudie leurs impacts sur les modèles, tout d’abord, nous étudions un agent d’apprentissage par renforcement profond qui est capable d’allouer plus de calcul aux situations plus difficiles. Notre approche permet à l’agent d’adapter ses ressources computationnelles en fonction des exigences de la situation dans laquelle il se trouve, ce qui permet en plus d’améliorer le temps de calcul, améliore le transfert entre des tâches connexes et la capacité de généralisation. L’idée centrale commune à toutes nos approches est basée sur les théories du coût de l’effort venant de la littérature sur le contrôle cognitif qui stipule qu’en rendant l’utilisation de ressource cognitive couteuse pour l’agent et en lui laissant la possibilité de les allouer lors de ses décisions il va lui-même apprendre à déployer sa capacité de calcul de façon optimale. Ensuite, nous étudions des variations de la méthode sur une tâche référence d’apprentissage profond afin d’analyser précisément le comportement du modèle et quels sont précisément les bénéfices d’adopter une telle approche. Nous créons aussi notre propre tâche "Stroop MNIST" inspiré par le test de Stroop utilisé en psychologie afin de valider certaines hypothèses sur le comportement des réseaux neuronaux employant notre méthode. Nous finissons par mettre en lumière les liens forts qui existent entre apprentissage dual et les méthodes de distillation des connaissances. Notre approche a la particularité d’économiser des ressources computationnelles lors de la phase d’inférence. Enfin, dans la partie finale, nous concluons en mettant en lumière les contributions du mémoire, nous détaillons aussi des travaux futurs, nous approchons le problème avec les modèles basés sur l’énergie, en apprenant un paysage d’énergie lors de l’entrainement, le modèle peut ensuite lors de l’inférence employer une capacité de calcul dépendant de la difficulté de l’exemple auquel il fait face plutôt qu’une simple propagation avant fixe ayant systématiquement le même coût calculatoire. Bien qu’ayant eu des résultats expérimentaux infructueux, nous analysons les promesses que peuvent tenir une telle approche et nous émettons des hypothèses sur les améliorations potentielles à effectuer. Nous espérons, avec nos contributions, ouvrir la voie vers des algorithmes faisant un meilleur usage de leurs ressources computationnelles et devenant par conséquent plus efficace en termes de coût et de performance, ainsi que permettre une compréhension plus intime des liens qui existent entre certaines méthodes en apprentissage machine et la théorie du processus dual. / The dual-process theory states that human cognition operates in two distinct modes: one for rapid, habitual and associative processing, commonly referred to as "system 1", and the second, with slower, deliberate and controlled processing, which we call "system 2". This distinction points to an important underlying feature of human cognition: the ability to switch adaptively to different computational strategies depending on the situation. This ability has long been studied in various fields, and many hypothetical benefits seem to be linked to it. However, deep neural networks are often built without this ability to optimally manage their computational resources. This limitation of current models is all the more worrying as more and more recent work seems to show a linear relationship between the computational capacity used and model performance during the evaluation phase. To solve this problem, this thesis proposes different approaches and studies their impact on models. First, we study a deep reinforcement learning agent that is able to allocate more computation to more difficult situations. Our approach allows the agent to adapt its computational resources according to the demands of the situation in which it finds itself, which in addition to improving computation time, enhances transfer between related tasks and generalization capacity. The central idea common to all our approaches is based on cost-of-effort theories from the cognitive control literature, which stipulate that by making the use of cognitive resources costly for the agent, and allowing it to allocate them when making decisions, it will itself learn to deploy its computational capacity optimally. We then study variations of the method on a reference deep learning task, to analyze precisely how the model behaves and what the benefits of adopting such an approach are. We also create our own task "Stroop MNIST" inspired by the Stroop test used in psychology to validate certain hypotheses about the behavior of neural networks employing our method. We end by highlighting the strong links between dual learning and knowledge distillation methods. Finally, we approach the problem with energy-based models, by learning an energy landscape during training, the model can then during inference employ a computational capacity dependent on the difficulty of the example it is dealing with rather than a simple fixed forward propagation having systematically the same computational cost. Despite unsuccessful experimental results, we analyze the promise of such an approach and speculate on potential improvements. With our contributions, we hope to pave the way for algorithms that make better use of their computational resources, and thus become more efficient in terms of cost and performance, as well as providing a more intimate understanding of the links that exist between certain machine learning methods and dual process theory.

No description available.

Wo und wie werden komplexe Regelsätze im Gehirn repräsentiert? Drei empirische Studien dieser Doktorarbeit untersuchen dies experimentell. Eine weitere methodische Studie liefert Beiträge zur Weiterentwicklung der genutzten empirischen Methode. Die empirischen Studien nutzen multivariate Musteranalyse (MVPA) funktioneller Magnetresonanzdaten (fMRT) gesunder Probanden. Die Fragestellungen der methodischen Studie wurden durch die empirischen Arbeiten inspiriert. Wirkung und Anwendungsbreite der entwickelten Methode gehen jedoch über die Anwendung in den empirischen Studien dieser Arbeit hinaus. Die empirischen Studien bearbeiten Fragen wie: Wo werden Hinweisreize und Regeln repräsentiert, und sind deren Repräsentationen voneinander unabhängig? Wo werden Regeln repräsentiert, die aus mehreren Einzelregeln bestehen, und sind Repräsentationen der zusammengesetzten Regeln Kombinationen der Repräsentationen der Einzelregeln? Wo sind Regeln verschiedener Hierarchieebenen repräsentiert, und gibt es einen hierarchieabhängigen Gradienten im ventrolateralen präfrontalen Kortex (VLPFK)? Wo wird die Reihenfolge der Regelausführung repräsentiert? Alle empirischen Studien verwenden informationsbasiertes funktionales Mapping ("Searchlight"-Ansatz), zur hirnweiten und räumlich Lokalisierung von Repräsentationen verschiedener Elemente komplexer Regelsätze. Kernergebnisse der Arbeit beinhalten: Kompositionalität neuronaler Regelrepräsentationen im VLPFK; keine Evidenz für Regelreihenfolgenrepräsentation im VLPFK, welches gegen VLPFK als generelle Task-Set-Kontrollregion spricht; kein Hinweis auf einen hierarchieabhängigen Gradienten im VLPFK. Die komplementierende methodische Studie präsentiert "The Same Analysis Approach (SAA)", ein Ansatz zur Erkennung und Behebung experimentspezifischer Fehler, besonders solcher, die aus Design–Analyse–Interaktionen entstehen. SAA ist für relevant MVPA, aber auch für anderen Bereichen innerhalb und außerhalb der Neurowissenschaften. / Where and how does the brain represent complex rule sets? This thesis presents a series of three empirical studies that decompose representations of complex rule sets to directly address this question. An additional methodological study investigates the employed analysis method and the experimental design. The empirical studies employ multivariate pattern analysis (MVPA) of functional magnetic resonance imaging (fMRI) data from healthy human participants. The methodological study has been inspired by the empirical work. Its impact and application range, however, extend well beyond the empirical studies of this thesis. Questions of the empirical studies (Studies 1-3) include: Where are cues and rules represented, and are these represented independently? Where are compound rules (rules consisting of multiple rules) represented, and are these composed from their single rule representations? Where are rules from different hierarchical levels represented, and is there a hierarchy-dependent functional gradient along ventro-lateral prefrontal cortex (VLPFC)? Where is the order of rule-execution represented, and is it represented as a separate higher-level rule? All empirical studies employ information-based functional mapping ("searchlight" approach) to localise representations of rule set features brain-wide and spatially unbiased. Key findings include: compositional coding of compound rules in VLPFC; no order information in VLPFC, suggesting VLPFC is not a general controller for task set; evidence against the hypothesis of a hierarchy-dependent functional gradient along VLPFC. The methodological study (Study 4) introduces "The Same Analysis Approach (SAA)". SAA allows to detect, avoid, and eliminate confounds and other errors in experimental design and analysis, especially mistakes caused by malicious experiment-specific design-analysis interactions. SAA is relevant for MVPA, but can also be applied in other fields, both within and outside of neuroscience.