Dans ce travail de thèse, nous avons modélisé le rôle de la dopamine dans l'apprentissage et dans les processus de sélection de l'action en lien avec les ganglions de la base. L'activité des neurones dopaminergiques présente de nombreuses similarités avec l'erreur de prédiction de la récompense utilisée par les algorithmes d'apprentissage par renforcement. Ainsi, ces neurones sont supposés guider le processus de sélection de l'action.Dans une première partie, nous avons analysé l'information encodée par les neurones dopaminergiques dans une tâche à choix multiples en la comparant à différentes informations utilisées par les modèles d'apprentissage par renforcement. Nos résultats suggèrent que l'information encodée par les neurones dopaminergiques enregistrer dans la tâche n'est que partiellement compatible avec une erreur de prédiction et semble en partie dissociée du comportement.Dans une deuxième partie, nous avons simulé l'effet de la dopamine sur un modèle des ganglions de la base prenant en compte des connections existant chez le primate, souvent négligées dans la littérature. La plupart des modèles actuels font en effet l'hypothèse d'une séparation stricte de deux chemins dans les ganglions de la base : le chemin direct lié à la récompense et le chemin indirect lié à la punition. Cependant des études anatomiques remettent en question cette dissociation, en particulier chez le primate. Nous proposons ainsi d'étudier comment différents niveaux de dopamine, dans le contexte de la maladie de Parkinson, affectent l'apprentissage et la sélection de l'action dans ce modèle / In this thesis work, we modelled the role of dopamine in learning and in the processes of action selection through its interaction with the basal ganglia. During the 90’s, the work of Schultz and colleagues has led to major progress in understanding the neural mechanisms underlying the influence of feedback on learning. The activity of dopaminergic neurons exhibited properties of the reward prediction error signal used in so-called Temporal Difference (TD) machine learning algorithms. Thus, DA has been thought to be the neural signal that help us to adapt our behavior. In the first part of my PhD, we analyze the information encoded by dopaminergic neurons recorded during a multi-choice task. In this purpose, we modeled the task and simulated different TD learning algorithms to quantitatively compare their ability to reproduce dopamine neurons activity. Our results show that the information carried out by dopamine neurons is only partly consistent with a reward prediction error and seems to be dissociated from behavioral adaptation.In the second part of my PhD, we study the effect of different levels of dopamine in a biologically plausible model of primates basal ganglia that considers existing connections often neglected in the literature. Indeed, most of current models of basal ganglia assume the existence of two segregated pathway: the direct pathway associated with reward and the indirect pathway associated with punishment. However, anatomical studies in primates revealed that these two pathways are not dissociated. We study the ability of such a model to reproduce beta oscillations observed in Parkinsonian and the differences in reward and punishment sensitivity, with high or low-level of dopamine.

Le conditionnement Pavlovien, l'acquisition de réponses vers des stimuli neutres associés à des récompenses, et le conditionnement instrumental, l'expression de comportements pour atteindre des buts, sont au cœur de nos capacités d'apprentissage. Ils sont souvent étudiés séparément malgré les preuves de leur enchevêtrement. Les modèles de conditionnement instrumental reposent sur le formalisme de l'apprentissage par renforcement (RL), alors que les modèles du conditionnement Pavlovien reposent surtout sur des architectures dédiées souvent incompatibles avec ce formalisme, compliquant l'étude de leurs interactions.Notre objectif est de trouver des concepts, qui combinés à des modèles RL puissent offrir une architecture unifiée permettant une telle étude. Nous développons un modèle qui combine un système RL classique, qui apprend une valeur par état, avec un système RL révisé, évaluant les stimuli séparément et biaisant le comportement vers ceux associés aux récompenses. Le modèle explique certaines réponses inadaptées par l'interaction néfaste des systèmes, ainsi que certaines différences inter-individuelles par une simple variation au niveau de la population de la contribution de chaque système dans le comportement global.Il explique une activité inattendue de la dopamine, vis-à-vis de l'hypothèse qu'elle encode un signal d'erreur, par son calcul sur les stimuli et non les états. Il est aussi compatible avec une hypothèse alternative que la dopamine contribue aussi à rendre certains stimuli recherchés pour eux-mêmes. Le modèle présente des propriétés prometteuses pour l'étude du conditionnement Pavlovien,du conditionnement instrumental et de leurs interactions. / Pavlovian conditioning, the acquisition of responses to neutral stimuli previously paired with rewards, and instrumental conditioning, the acquisition of goal-oriented responses, are central to our learning capacities. However, despite some evidences of entanglement, they are mainly studied separately. Reinforcement learning (RL), learning by trials and errors to reach goals, is central to models of instrumental conditioning, while models of Pavlovian conditioning rely on more dedicated and often incompatible architectures. This complicates the study of their interactions. We aim at finding concepts which combined with RL models may provide a unifying architecture to allow such a study. We develop a model that combines a classical RL system, learning values over states, with a revised RL system, learning values over individual stimuli and biasing the behaviour towards reward-related ones. It explains maladaptive behaviours in pigeons by the detrimental interaction of systems, and inter-individual differences in rats by a simple variation at the population level in the contribution of each system to the overall behaviour. It explains unexpected dopaminergic patterns with regard to the dominant hypothesis that dopamine parallels a reward prediction error signal by computing such signal over features rather than states, and makes it compatible with an alternative hypothesis that dopamine also contributes to the acquisition of incentive salience, making reward-related stimuli wanted for themselves. The present model shows promising properties for the investigation of Pavlovian conditioning, instrumental conditioning and their interactions.

La prise de décision est une capacité cognitive essentielle à l’adaptation de l’individu aux changements de son environnement, et résulte de l’intégration de processus émotionnels, motivationnels et exécutifs. Le contrôle de l’action nécessite notamment l’intégration de la représentation du but de l’action et les relations causales entre une action et ses conséquences. Ces processus sont dépendants de plusieurs circuits préfronto-striataux et des données récentes indiquent que le système dopaminergique serait un élément central de leur modulation. Par ailleurs, ces circuits pourraient également se développer tardivement au moment de l’adolescence. Mon travail de thèse s’est donc employé à déterminer, d’une part, l’implication de la voie dopaminergique mésocorticale dans le contrôle de l’action, et d’autre part, le développement de ce système et de ces processus cognitifs au moment de l’adolescence.En utilisant des procédures d’apprentissage instrumental permettant de dégrader la contingence instrumentale ou de dévaluer la récompense, nous avons mis en évidence que la perturbation du système dopaminergique au sein du cortex préfrontal médian altère la capacité des animaux à s’adapter à des changements des relations action-récompense, mais non à des changements de la valeur de celle-ci. Par la suite, nous avons montré que les processus de contrôle de l’action lors de changements des relations causales action-conséquence apparaissaient tardivement au cours de l’adolescence, en relation avec le développement de la voie dopaminergique mésocorticale. De plus, l’altération du système dopaminergique lors de l’adolescence modifie également le développement des processus de contrôle des réponses instrumentales. / Decision making is an essential cognitive ability which allows a correct adaptation to an ever changing environment. This function results from the integration of emotional, motivational and executive processes. In particular, action control requires the encoding of both action goal value and action-outcome causal relationships. Previous studies have established that these processes are dependent on activity within segregated prefronto-striatal circuits whom activity might be tightly modulated by dopamine. In addition, the neurobehavioral maturation of these processes is not well understood but may occur during adolescence. Therefore, the aim of this work was to determinate the role of the mesocortical dopamine pathway in action control and the maturation of these neurobiological and cognitive processes during adolescence.Using instrumental conditioning tasks, allowing us to manipulate selectively the action-outcome contingency or the value of the outcome, we have demonstrated that alteration of the mesocortical dopamine pathway disrupts animals’ adaptation to changes in action-outcome relationships but not to changes in the outcome value. Interestingly, we provided evidence for the emergence of these cognitive abilities during adolescence in association with the delayed maturation of the mesocortical dopamine pathway. Finally, the alteration of the dopamine system maturation during adolescence also disrupts the development of action control processes.

Les stimuli conditionnés (CS) guident les animaux vers des récompenses essentielles à leur survie, telle que la quête de nourriture et d'eau. Ils peuvent également promouvoir la poursuite excessive de récompense, comme dans l’addiction. La transmission glutamatergique dans l’amygdale basolatérale (BLA) régule les effets des CS. Cependant, le rôle des récepteurs glutamatergiques métabotropes du groupe II (mGlu2/3) de la BLA est inconnu. Les mGlu2/3 sont principalement localisés au niveau extrasynaptique sur les terminaisons neuronales. L’activation de ces récepteurs diminue la libération synaptique de glutamate. Ainsi, nous avons émis l’hypothèse que l'activation des mGlu2/3 dans la BLA diminue la capacité des CS à potentialiser la recherche de récompense via la réduction de la libération de glutamate. La méthode de transfert Pavlovien-à-instrumental (PIT) a été utilisée pour tester cette hypothèse. Nous avons d'abord confirmé un effet PIT chez des rats mâles. Les rats ont initialement appris à appuyer sur un levier pour obtenir de l’eau comme récompense. Ils ont ensuite appris qu'un stimulus auditif (CS+) prédit la livraison non-contingente d'eau, tandis qu’un stimulus auditif différent (CS-) ne signale aucune récompense. Le jour du test PIT, les rats ont pu appuyer sur le levier sous extinction (eau omise) et nous avons évalué l’influence des CS+ et CS- sur ce comportement. Les rats ont appuyé davantage sur le levier pendant le CS+ comparé au CS-, indiquant que le CS+ incite les rats à rechercher la récompense. Chez un nouveau groupe de rats mâles, les mêmes méthodes ont été appliquées avec un agoniste des mGlu2/3, le LY379268 (0, 3 ou 6 μg/hémisphère) injecté dans la BLA avant le test PIT. Le LY379268 a diminué la capacité du CS+ à inciter l’appui sur le levier. Dans une dernière étude, nous avons examiné l’influence d’une administration systémique de LY379268 (0, 0.3 ou 1 mg/kg, sous-cutanée) sur l’effet PIT chez un groupe de rats mâles et femelles. Les effets motivationnels du CS+ sur la recherche de récompense étaient similaires entre les rats mâles et femelles. De plus, l’injection systémique de LY379268 a diminué ces effets chez les deux sexes. Ces résultats indiquent que les mGlu2/3 régulent les propriétés motivationnelles des CS chez les deux sexes. / Conditioned stimuli (CS) guide animals towards rewards needed for survival, such as food and water. In parallel, they can also promote maladaptive reward seeking, as in addiction. Glutamate signaling within the basolateral amygdala (BLA) modulates the effects of cues. However, the role of metabotropic group II glutamate (mGlu2/3) receptors in the BLA is unknown. mGlu2/3 are localized predominantly extrasynaptically on presynaptic terminals. The activation of these receptors suppresses synaptic glutamate release. Thus, we hypothesized that activating BLA mGlu2/3 receptors would attenuate cue-triggered increases in incentive motivation for reward, via reduced glutamate release. The Pavlovian-to-Instrumental transfer (PIT) method was used to test this hypothesis. We first confirmed a PIT effect in a cohort of male rats. Rats initially learned to press a lever to obtain a water reward. Then, they learned that one auditory cue predicts noncontingent delivery of water (CS+), while a second different auditory cue does not (CS-). On PIT test day, the rats could lever press under extinction (water deliveries omitted), and we assessed changes in lever pressing in response to CS+ and CS-. The rats pressed more on the lever during CS+ versus CS-, indicating cue-triggered potentiation of incentive motivation. In a separate cohort of male rats, the methods were repeated with the mGlu2/3 agonist LY379268 (0, 3 or 6 μg/hemisphere) infused into the BLA prior to PIT testing. LY379268 abolished CS+ potentiated pressing on the water-associated lever. In a last study, we examined the influence of systemic administration of LY379268 (0, 0.3 or 1 mg/kg, subcutaneous) on PIT, in a cohort of female and male rats. We found that cue-triggered increases in incentive motivation was similar across sexes, and that systemic injection of LY379268 decreased this effect in both sexes. These results indicate that mGlu2/3 receptors mediate the motivational effects of cues in both sexes.